Business Intelligence na era Big Data

2.4 Business Intelligence na era Big Data

2.4.1 Contextualização

O mundo organizacional de hoje está construído à volta dos dados e do poder que estes fornecem. A vida de uma organização é altamente influenciada pela sua capacidade de gerir e extrair informação e conhecimento relevante dos dados que possui (Ularu et al., 2012). Os resultados de todos os processos de Business Intelligence são uma ajuda essencial no processo de tomada de decisão. A cada vez maior presença de dados Big Data no dia-a-dia das organizações significa que existe um vasto conhecimento que está ao alcance mas ao mesmo tempo inexplorado. Apesar dos desejos das organizações, os processos e tecnologias Business Intelligence ainda não se encontram preparados para conseguir domar este novo paradigma. A integração de dados Big Data e dados operacionais num mesmo repositório, poderá conduzir a análises e conhecimentos inimagináveis até ao momento.

Para tornar os dados Big Data numa vantagem para o negócio, as organizações terão de repensar a maneira como gerem os dados dentro dos seus repositórios de dados. Tradicionalmente, os processos de gestão e análises de dados seguem uma estrutura bem definida e sequencial que tem vindo a ser aprimorada e melhorada ao longo de vários anos. Primeiro definem-se os requisitos do negócio, de seguida desenvolvem-se os módulos de integração de dados, para assim se incluírem dados de vários sistemas empresariais (Vendas, Marketing, Finanças, CRM, ERP); o passo seguinte implica analisar e gerar perfis dos dados, para verificar se estes se encontram completos e corretos. Depois de os dados estarem agregados e validados é necessário criar modelos orientados à execução de análises (armazéns de dados empresariais, data marts); sobre eles são realizadas análises condizentes com os objetivos do negócio; estas análises resultam em relatórios, gráficos e cubos multidimensionais que podem depois ser explorados de diferentes modos, para se obterem diferentes informações. A grande influência da web e dos dispositivos móveis está a colocar alguns desafios a este modelo e processos tradicionais. O grande fator por detrás desta ocorrência é a mudança na natureza dos dados. Os dados são cada vez menos centralizados e deixam de estar meramente limitados aos sistemas das organizações.

2.4.2 Armazéns de dados na era Big Data

O conceito de armazém de dados foi introduzido no início da década de 90 do século XX, por (Inmon, 1992). Desde então, têm surgido várias tecnologias, paradigmas e implementações esmiuçadas por investigadores académicos e empresariais. Simultaneamente, a taxa de adoção destes sistemas tem-se tornado cada vez mais elevada. A realidade é que o conceito armazém de dados possui uma definição ampla dependendo do contexto utilizado. Para (Chaudhuri e Dayal, 1997), um armazém de dados é um conjunto de tecnologias e métodos de apoio à decisão, vocacionados para apoiar os “profissionais do conhecimento” a tomarem melhores e

2 A era Big Data

mais rápidas decisões no seio das organizações que suportam. Já (Chaudhuri e Dayal, 1997), na sua definição apresenta um foco no aspeto armazenamento. Para a fonte citada um armazém de dados é uma coleção de dados, não voláteis, variáveis no tempo, orientados para um tópico específico e é principalmente utilizado na tomada de decisões organizacionais.

Durante as últimas décadas, os sistemas de armazéns de dados empresariais têm sido considerados como o braço direito das organizações no que diz respeito à extração de informação e conhecimento. O movimento Big Data representa uma grande oportunidade para todas as organizações. No entanto, adotar este paradigma implica a utilização de estilos de implementação e tecnologia diferente daquela utilizada tradicionalmente pelos armazéns de dados empresariais. Para conseguir tirar partido dos dados Big Data e deste movimento que se prevê a próxima fonte de riqueza informacional, as organizações terão de desenvolver e implementar um ecossistema/plataforma que utilize os armazéns de dados tradicionais conjugados com dados Big Data. Para alcançar esse efeito terão de recorrer a soluções híbridas, meticulosamente desenvolvidas para o efeito. Seguidamente, será apresentada uma comparação entre alguns conceitos inerentes a armazéns de dados tradicionais e armazéns de dados capazes de albergar dados Big Data (Mohanty et al., 2013):

 Expetativas empresariais

o Armazém de dados Big Data

Principalmente focados em análises exploratórias que possibilitem encontrar novas perspetivas e um rápido e pronto acesso a novos dados. A veracidade dos resultados pode, ou não, ser questionável; uma vez que o valor e veracidade dos dados não são apurados e a qualidade dos mesmos não é controlada antes destes chegarem à organização.

o Armazém de dados Empresarial

Todos os dados são estritamente verificados e é garantida a sua qualidade e veracidade. Maioritariamente baseados em factos, são geridos e organizados de forma a responderem a requerimentos específicos de análises orientadas ao modelo de negócio da organização. Em muitos casos, o armazém de dados empresarial é considerado como a única fonte de veracidade numa empresa.  Metodologia de Desenho

o Armazém de dados Big Data

Abordagem altamente ágil e interativa que possibilita a criação rápida de conhecimento. Conseguido através da agregação do maior número de fontes de dados possível, ao mesmo tempo que se executam o maior número possível de algoritmos sofisticados. O objetivo é provar ou validar hipóteses de negócio, para isso combinando dados de diferentes fontes, originados dentro e fora da organização, com ou sem, estrutura e modelo de dados bem definidos.

2.4 Business Intelligence na era Big Data

integração e utilização desses dados. São desenhadas de modo a serem aplicadas aos requerimentos específicos do negócio.

 Considerações de Arquitetura o Armazém de dados Big Data

Deve ser capaz de conseguir integrar todo o tipo de dados, independentemente da estrutura que apresentem. Deve possuir a capacidade de ser facilmente escalável e a um baixo preço. Deve ter a capacidade de analisar grandes volumes de dados, sem ter de recorrer a mecanismos de amostragens.

o Armazém de dados Empresarial

Nem todos os dados são administrados e mantidos dentro do armazém de dados. As fontes de dados são previamente conhecidas, e a qualidade dos dados é previamente assegurada, de modo a satisfazer requisitos específicos do negócio da organização. Tem a possibilidade de ser escalável, mas com um grande custo acrescentado. Arquiteturas MPP6 _{são utilizadas para se conseguir alcançar um} elevado desempenho. Os dados são periodicamente arquivados, de modo a acomodar o crescimento de dados e para manter o custo de armazenamento baixo.  Standards e Integridade dos dados

o Armazém de dados Big Data

Standards de integração de dados são vagamente definidos, maioritariamente orientados pelo programador ou pelo estilo da aplicação. Não possuem métodos de gestão de meta dados e regras de negócio.

o Armazém de dados Empresarial

Regem-se pelos princípios dos sistemas de gestão de bases de dados relacionais, e as respetivas abordagens no que diz respeito à arquitetura e consistência dos dados (integridade relacional, regras de negócio). Os dados são normalmente centralizados, e os programas de processamento de dados seguem uma abordagem de execução bem definida, na maioria dos casos a execução de programas concorrentes é realizada de forma sequencial.

2.4.3 Análises de dados na era Big Data

As análises de dados fornecem uma plataforma e uma oportunidade para medir tudo o que acontece numa organização. Os vários processos e métodos de análise têm por objetivo conseguir fornecer aos elementos decisores de uma organização as melhores perspetivas sobre potenciais oportunidades, ameaças, riscos e problemas que possam surgir. Este conhecimento e compreensão é algo essencial no processo de tomada de decisão no seio de uma organização.

6 _{Massively Parallel Processing (processamento paralelo massivo) refere-se à utilização de um elevado} número de processadores, para se executar um conjunto coordenado de computações, de forma paralela.

2 A era Big Data

A análise de dados Big Data pode ser definida como uma combinação de técnicas de análise e descoberta de conhecimento tradicionais, conjugadas com grandes volumes de dados. O seu objetivo passa por criar uma plataforma fundacional para analisar, modelar e prever o comportamento de clientes, mercados, produtos, serviços e competidores. Estes fatores permitem à organização definir estratégias à medida das necessidades e ambições da empresa, para o sector de mercado e clientes que pretende alcançar (Krishnan, 2013).

Quando conjugados na mesma linha de raciocínio é impossível desassociar os temas armazéns de dados, análises de dados e OLAP. O Processamento analítico de dados (OLAP) representa um conjunto de técnicas de exploração de bases de dados que permitem ao utilizador obter de forma eficiente uma agregação de dados específica (Chen e Ordonez, 2008). A agregação dos dados é utilizada para gerar maior ou menor nível de detalhe. Por baixo da estrutura visual das aplicações OLAP está presente uma malha multidimensional, que armazena agregações para todos os níveis de detalhe (Chen e Ordonez, 2008). De um ângulo de “visão” diferente, essa malha é considerada como um cubo multidimensional. Um cubo OLAP permite a análise centrada em agregações de dados transacionais, ao moldar os registos de dados em factos mensuráveis com caraterísticas dimensionais (Mansmann et al., 2014). Uma vista multidimensional é obtida através dos campos de dados disponíveis e das relações explícitas que existem entre eles. Este modelo clássico não é viável quando aplicado a cenários em que é necessário trabalhar com dados pouco estruturados (Mansmann et al., 2014).

O conceito OLAP, introduzido já há mais de duas décadas por (Codd et al., 1993), e os armazéns de dados têm vindo a evoluir conjuntamente e atingiram maturidade tecnológica ultrapassando para isso várias dificuldades e limitações (Abell et al., 2011). No entanto, alguns desafios ainda se encontram no horizonte, entre eles, a cada vez mais emergente necessidade de conseguir gerir e analisar dados Big Data. Em (Cuzzocrea et al., 2011) e (Cuzzocrea et al., 2013) são elucidados alguns dos problemas, desafios e questões relacionadas com análises de dados gerais e OLAP sobre dados Big Data, dos quais se salientam os seguintes:

 Tamanho: Quando alojam dados Big Data as tabelas de factos podem facilmente alcançar tamanhos bastante elevados. Esta situação traz grandes problemas computacionais, e o tamanho destas tabelas pode tornar-se num fator que coloca em causa a performance de aplicações que efetuam operações sobre essas tabelas.  Complexidade: A construção de cubos OLAP sobre dados Big Data, acarreta um grau

elevado de complexidade, que não está presente numa situação homóloga com dados relacionais. Devido à natureza não estruturada dos dados Big Data, o número de tabelas dimensionais num esquema pode alcançar valores bastante elevados. Ao mesmo tempo, nestes cubos pode existir a necessidade de representar medidas múltiplas e heterogéneas.