Big Data

Recentemente, tem-se verificado um crescimento exponencial da complexidade e quantidade dos dados, devido a estes serem recolhidos pelas mais diversas razões e através das mais variadas abordagens tecnológicas, como dispositivos móveis, sensores, logs de sistemas e de infraestruturas de rede, redes sociais e SI internos (e.g. CRM, ERP) e externos (e.g. parceiros, entidades reguladoras), sendo este fenómeno associado ao conceito de Big Data (Gandomi & Haider, 2015). Este conceito surgiu também com a necessidade de melhorar a gestão de grandes volumes de dados, agilizando o processo de tomada de decisão. Essencialmente, este conceito expõe as necessidades das organizações para gerir, armazenar e analisar grandes quantidade de dados (Jin, Wah, Cheng & Wang, 2015).

36

Apesar da explosão do interesse neste fenómeno, a sua definição, interpretação e propósito são ambíguas, assim como a sua ampla e variada aplicação. Alguns autores consideram que este conceito está intimamente relacionado com a capacidade de realizar previsões, conexões e estabelecer relacionamentos e padrões sobre o vasto conjunto de dados organizacionais disponíveis (McAfee & Brynjolfsson, 2012), enquanto outros autores associam o conceito com o facto de ser impossível tratar grandes volumes de dados manualmente ou através de métodos tradicionais como Folhas de cálculo ou bases de dados caraterizadas pelas caraterísticas de Atomicidade, Consistência, Isolamento e Durabilidade (ACID), como acontece tipicamente nas bases de dados relacionais (Han, Haihong, Le & Du, 2011). Apesar das ambiguidades existentes relacionadas com a essência do conceito, este é comummente considerado como sendo um movimento social ou vetor de mudança cultural nas organizações, no que diz respeito à gestão e utilização dos dados para a tomada de decisão (Chow-White & Green, 2013).

Neste conceito, o processo de armazenamento de dados é um dos aspetos mais importantes contemplado, uma vez que é necessário criar novas formas para o fazer, dado que a massiva quantidade de dados, excede as capacidades de processamento dos sistemas convencionais de bases de dados. Por outro lado, torna-se fundamental que os dados não sejam só armazenados, mas sejam também utilizados no dia-a-dia das organizações, para que possam agilizar e sustentar as suas atividades (C. Chen & Zhang, 2014).

Os sistemas convencionais de armazenamento de dados, especialmente os que utilizam

o modelo relacional (e.g. MySql®, Oracle®, PostgreSQL®), não se mostram os mais adequados

para responder às necessidades associadas a Big Data, devido ao facto de serem menos flexíveis (necessidade de distribuição de processamento e elasticidade, em curtos períodos de tempo). Isto acontece uma vez que o modelo relacional é baseado nas propriedades ACID que tornam a sua adoção segura, estável e eficiente, mas por outro lado, as propriedades consistência e atomicidade inviabilizam a elasticidade (Tan, Blake, Saleh & Dustdar, 2013). Para dar resposta a esta necessidade de flexibilidade, elasticidade e escalabilidade, surgem alternativas de armazenamento não relacional como o Not Only Structured Query Language (NoSQL), que permite suprir estas necessidades, com menor custo, de forma mais precisa e otimizada (Atzeni,

Bugiotti & Rossi, 2014) (e.g. MongoDB®, Redis®, Apache HBase®, Cassandra® e CouchDB®).

Apesar da adoção e crescimento do conceito de Big Data nos ambientes organizacionais, a simples obtenção de dados por si só não é garantia de vantagens competitivas. Os dados não passam de meras representações de factos reais, e que só passam a ter valor quando

37

contextualizados e entregues a quem os consiga interpretar, gerando informação. Para os processos de gestão é de interesse alcançar um nível superior de abstração, nomeadamente o conhecimento, que passa pela análise e extração de ilações da informação (Kebede, 2010). Contudo, para alcançar este nível de abstração é necessário aplicar métodos e tecnologias para o tratamento e análise dos dados, sendo recorrente a utilização de arquiteturas de BI (H. Chen, Chiang & Storey, 2012; Tulasi, 2013).

A aplicação de analítica de Big Data, pode trazer vários benefícios como a identificação dos clientes mais importantes e os que necessitam de estreitar relações (segmentação de clientes), maximizar lucros e vendas, minerar dados afetos a clientes para gerar novas campanhas de marketing, analisar dados dos média e banca para detetar novas tendências socioeconómicas de mercado, analisar dados provenientes das redes sociais, entre outros

insights que permitam obter vantagens competitivas (Bolón-Canedo, Sánchez-Maroño &

Alonso-Betanzos, 2015).

Este conceito foi rapidamente incorporado no léxico das organizações, independentemente do tipo de atividades que exercem e de serviços que prestam, apresentando- se as IES como organizações onde este conceito tem tido maior impacto e maior investimento (J. Johnson, 2014). O propósito e o valor das IES tem sido influenciado positivamente pela introdução deste conceito, porque aliado aos seus recursos de SI/TI, tem permitido melhorar os processos de ensino/aprendizagem, bem como reforçar as suas capacidades para enfrentar novos desafios, colocados muitas vezes pelo escrutínio de agências de acreditação, entidades governamentais, parceiros e partes interessadas na exploração do sucesso dos alunos e cumprimento dos objetivos e políticas (Tulasi, 2013).

2.6.2. Arquitetura de BI

A tomada de decisão implica que exista inteligência organizacional, estado cognitivo que é alcançado após reunir informação, analisá-la, disseminá-la (a quem conhece o negócio), obter novas oportunidades e reagir/adaptar a tempo. Esta capacidade organizacional deve ser parte integrante do dia-a-dia de qualquer organização, para que a tomada de decisões de negócio seja adequada e de qualidade. Contudo, dado que as organizações vão armazenando cada vez maiores quantidades de dados, existe a necessidade de recorrer a TI para o seu armazenamento,

38

disponibilização e processamento, para retirar inteligência organizacional e, para dar resposta a esta necessidade, surgiu o conceito de BI (Ramakrishnan, Jones & Sidorova, 2012).

Dado o impacto deste conceito nas organizações, este tem sido exaustivamente estudado e definido por diversos autores. Para Gangadharan e Swami (2004), BI é caracterizado como sendo uma arquitetura constituída por um conjunto integrado de informações operacionais, bem como aplicações de apoio à decisão e infraestruturas de armazenamento de dados (bases de dados), que fornece à comunidade empresarial fácil acesso aos dados de negócio e permite tomar decisões relacionadas com o mesmo. Segundo Petrini e Pozzebon (2009), o conceito de BI pode ser entendido como um conjunto de técnicas e ferramentas utilizadas para extrair inteligência a partir de um conjunto de dados. Associado a este tema está um conjunto de conceitos, métodos e processos usado para melhorar decisões de negócio, que usa informações provenientes de múltiplas fontes e aplica a experiência e os pressupostos para desenvolver de forma precisa um conhecimento da dinâmica do negócio.

Para este trabalho, a definição de BI seguida foi elaborada pelos autores Sharda, Delen, Turban e King (2015), em que é referido que BI trata-se de um termo agregador que combina arquiteturas, ferramentas, fontes de dados, ferramentas analíticas, aplicações e metodologias. Integra análise de dados com sistemas de suporte à decisão para fornecer informações para todas as pessoas da organização que necessitem de tomar decisões táticas e estratégicas. Com o desenvolvimento de uma arquitetura de BI apropriada, uma organização poderá ser capaz de desenvolver sistemas de apoio à decisão inteligentes para obter vantagens competitivas na indústria em que se insere (D. Wu, Chen & Olson, 2014).

A capacidade para combinar atividades de negócio, TI e analítica, passa por concentrar no foco de trabalho da organização, a criação de uma infraestrutura que permita atingir os objetivos da organização e que lhe permita: retirar vantagens competitivas; ganhar agilidade nos processos de tomada de decisão; ganhar capacidade de lidar com informação sensível; e facilitar a identificação de padrões, tendências ou comportamentos ocultos nos dados da organização que podem representar situações favoráveis relacionadas com os clientes e/ou novas oportunidades de negócio (H. Chen et al., 2012).

Nas IES, ao longo dos últimos anos tem-se verificado um aumento na adoção de arquiteturas de BI, uma vez que estas instituições consideram que a utilização de tecnologia associada a este conceito produz resultados promissores, no que diz respeito à adição de eficiência na organização, sobretudo ao nível estratégico. Nestes ambientes, a analítica combina os dados institucionais, com análises estatísticas e modelos preditivos para criar inteligência,

39

em que alunos, professores, investigadores e administradores tomam parte ativa neste processo, podendo ser responsáveis pela alteração do comportamento académico (Guster & Brown, 2012). Um exemplo de sucesso é o caso da Universidade da Geórgia (Estados Unidos da América), que realizou uma experiência para desenvolver um algoritmo preditivo, relativo à conclusão dos alunos de um curso online, em que os resultados indicaram que era possível prever com até 74% de precisão a probabilidade de o aluno concluir esse curso com êxito (L. Morris, Wu & Finnegan, 2005).

A construção destas arquiteturas nestes ambientes académicos devem seguir alguns cuidados como (Picciano, 2012): identificar quais os objetivos para a sua construção e o que se pretende retirar dela; garantir que existem especialistas neste área, que acompanhem todas as etapas, desde a análise de requisitos até à implementação; utilização de soluções de BI consistentes e fiáveis, de preferência customizadas para esta área de atividade; integração destas ferramentas com iniciativas estratégicas; identificação das fontes de dados no início do projeto, bem como proceder à construção de uma estrutura de dados o mais homogénea possível; e envolver todos os responsáveis por atividades de gestão na instituição.

Nestas instituições, a aplicação de arquiteturas de BI também tem sido feita ao nível do recrutamento de novos estudantes, transformando uma atitude passiva de limitarem-se a receber as candidaturas e a fazer o seu processamento, para passarem a ter uma atitude ativa em que procuram novos alunos, e através destas arquiteturas analisam perfis de estudantes que estejam próximos de ingressar no ensino superior, medindo o seu potencial e enquadramento com os cursos em vigor, podendo ainda construir novos cursos que se adequem à procura dos estudantes, em determinado momento (Luan, 2002). De outra forma, estas arquiteturas também têm sido utilizadas para analisar os dados dos alunos (e.g. desempenho, aproveitamento, satisfação, motivação, predição do comportamento tendo em conta o historial familiar e as suas relações interpessoais), orientar e redesenhar os cursos lecionados e incentivar a construção de novos modelos de comunicação e aprendizagem entre professores e alunos (Baepler & Murdoch, 2010).

Uma arquitetura de BI deve ser enquadrada na infraestrutura global dos sistemas de informação de uma organização. Tipicamente uma arquitetura de BI é constituída por (Olszak & Ziemba, 2007): fontes de dados internas (dados de sistemas operacionais) ou externas, módulo de Extract, Transform, Load (ETL), fonte de armazenamento de dados (e.g. base de dados relacional, Data Warehouse [DW], Data Mart), técnicas analíticas para o tratamento dos dados (e.g. servidores Online Analytical Processing [OLAP], Data Mining) e aplicações de

40

front-end onde serão apresentados os resultados das análises dos dados (e.g. dashboards, reports, graphics). Na Figura 5é possível visualizar uma arquitetura tradicional de BI.

Figura 5 - Arquitetura tradicional de Business Intelligence

A presença de metadados é observada desde as fontes de dados até à disponibilização de dashboards aos utilizadores. O termo metadados é referente às informações adicionais que descrevem caraterísticas de um conjunto de dados. Estas informações são de elevada importância, sobretudo quando é pretendido localizar dados, perceber a forma correta de lhes aceder e como aplicar devidamente as técnicas para o seu tratamento (Baars & Kemper, 2008). Para que seja possível aplicar as potencialidades das arquiteturas de BI é necessário que seja definida a localização dos dados, isto é, quais são as fontes de dados que as vão alimentar. Os dados usados para gerar informação podem vir de diversas fontes internas como é o caso dos sistemas CRM, ERP, bases de dados operacionais, relatórios e estudos internos, memorandos e Folhas de cálculo, sendo estas fontes de carácter mais formal e confiável. Para além das fontes internas de dados, as organizações podem recorrer a fontes externas, que se caraterizam-se pelos dados que a organização angaria, fruto do seu ambiente social, isto é, dados provenientes de jornais, publicações governamentais, rádio, televisão, Internet, redes sociais, conferências, associações comerciais e outras fontes similares de caracter impessoal e informal (Pirttimäki & Lönnqvist, 2006).

As ferramentas de ETL constituem uma parte fundamental nos sistemas de BI, uma vez que são usadas para simplificar e padronizar o processo de migração de dados. No âmbito deste trabalho, este processo tem um especial destaque, dada a complexidade e variedade de formatos dos dados dos sistemas usados neste caso de estudo. Este módulo, num sistema de BI, tem por

41

objetivo juntar os diversos dados das plataformas heterogéneas da organização num formato comum/homogéneo que possa ser usado pelo sistema de suporte à decisão, e ao mesmo tempo deve conseguir integrar e padronizar os dados. O módulo ETL deverá ser flexível pois os requisitos podem ser alterados e deve ser tida em conta a dinâmica das bases de dados (Guo, Yuan, Sun & Yue, 2015).

A tecnologia de ETL, como o próprio nome indica, engloba três etapas (Prema & Pethalakshmi, 2013): 1) Extração: em que é obtida uma cópia dos dados que surgiram desde a última aplicação das ferramentas de ETL, e que estão presentes nas diversas fontes de dados (podendo ter diferentes formatos e estruturas); 2) Transformação: onde os dados são transformados em informação, numa tarefa constituída pela tradução de valores codificados pela aplicação da transformação apenas a determinadas categorias de linhas e/ou colunas e pela fusão (merging) ou agregação dos dados, com o objetivo de criar uma estrutura uniforme passível de ser armazenada em base de dados; e 3) Carregamento: que consiste em povoar as tabelas de destino presentes na base de dados, podendo esta etapa ser simples, isto é, reescrever dados novos por cima de antigos, ou então um processo mais complexo em que são mantidos dados para que haja históricos, mantendo todos os registos de todas as alterações efetuadas.

A escalabilidade é um dos fatores mais importantes a ter em conta quando são construídos este tipo de módulos, visto que em algumas situações os módulos ETL têm que processar milhões de dados e atualizar bases de dados com outras dezenas de milhões. O crescimento exponencial de dados (Big Data) e o aumento das fontes de dados obrigam a que as tecnologias de ETL sejam cada vez mais evoluídas e flexíveis (Karagiannis, Vassiliadis & Simitsis, 2013).

O processo de ETL finaliza com o carregamento dos dados num repositório de dados, sendo neste tipo de arquiteturas, tipicamente uma DW, que é um repositório construído especificamente para a consolidação da informação da organização num formato válido e consistente, permitindo aos seus utilizadores a análise de dados de uma forma seletiva, favorecendo e facilitando esta tarefa, bem como a de reporting (Huang, Duy & Fang, 2014). A criação de uma DW prende-se sobretudo por dois motivos: pela necessidade de integração dos dados provenientes das diversas bases de dados operacionais, para que seja possível fazer uma análise global de forma otimizada e mais rápida; e pela necessidade de separação dos dados utilizados nas operações correntes dos que são utilizados nos processos de análise e reporting (estrutura utilizada como “histórico”) (Kern, Stolarczyk & Nguyen, 2013).

42

A construção de uma DW pode ser feita em menor escala (sem perder a sua essência e caraterísticas), e em vez de armazenar todos os dados organizacionais é segmentada por unidades de negócio (e.g. vendas, recursos humanos, produção), sendo neste caso denominada por Data Mart. Contudo, uma Data Mart pode ser construída para que seja aumentada a sua

performance (maior eficiência no tratamento dos dados), a segurança (separar conteúdos

confidenciais de conteúdos que dizem respeito a determinado segmento da organização) ou por necessidade de um modelo de dados diferente do utilizado na DW para uma finalidade de negócio diferente (Chhabra & Pahwa, 2014).

Após o armazenamento dos dados, para obtenção de insights sobre eles é necessário recorrer a técnicas concebidas para o tratamento de dados, garantindo sempre a qualidade dos mesmos. Quando estamos na presença de arquiteturas de BI, essas técnicas passam muitas vezes por Data Mining (relacionamentos, padrões ou modelos que estão implícitos nos dados, sob uma perspetiva de descrição ou previsão), Ad hoc queries, Machine Learning (recorre a Inteligência Artificial para criar algoritmos que permitam os modelos analíticos adaptarem-se conforme os dados disponíveis) (Romero, Ventura & García, 2008), OLAP (permite efetuar, de forma rápida e partilhada, a análise de informação multidimensional, originária de diversas fontes de dados) (Hsu & Li, 2011) e mecanismos desenvolvidos e implementados especificamente na disciplina de SI, como é caso dos MIS, DSS e EIS (Clark, Jones & Armstrong, 2007).

Este tipo de sistemas utilizado para o suporte à decisão, utiliza modelos analíticos de dados com possibilidade de simulação de cenários e criação de interface amigável e personalizável pelos utilizadores, através da qual fazem a criação de dashboards que representam de forma gráfica a complexidade dos dados, utilizando técnicas de DV, garantindo ainda a compatibilidade com o maior número possível de end devices (e.g. smartphone, tablet,

phablet, desktop) (Grierson, Corney & Hatcher, 2015).

Recentemente, associado ao conceito de BI surge uma outra tendência ou evolução deste conceito, denominado por SSBI. Este conceito foca-se em quatro grandes objetivos, nomeadamente (Stone & Woodcock, 2014): acesso rápido às fontes de dados para criação de relatórios e análises; tornar as ferramentas de BI mais fáceis de usar e dar maior suporte à análise de dados, sem que seja necessário ser um especialista ao nível da tecnologia; interfaces simples e customizáveis por parte dos utilizadores finais; e fácil de implementar e de gerir as opções de armazenamento.

43

Fazendo uso de tecnologias de SSBI é possível que diversos utilizadores possam colaborar, não só através da partilha de relatórios e resultados de consulta, mas também através da definição de novas formas de visualização e análise de informações. Com este tipo de ferramentas são adicionadas capacidades aos analistas para produzirem as suas consultas e relatórios ad hoc, o que permite obter ganhos de produtividade, tanto no setor de SI/TI porque não precisam de dispensar regularmente os seus elementos, como no setor de gestão porque, conseguem criar consultas e relatórios de forma mais rápida e precisa (Schlesinger & Rahman, 2015). Atendendo a que tanto no conceito de BI como de SSBI, a produção de dashboards é primordial, em seguida será explorada a importância do conceito de DV, nas organizações em geral e nas IES no particular.