JONATHAN HENRIQUE DE SOUZA
ARQUITETURA BIG DATA PARA ANÁLISE DE DADOS DO SISTEMA PORTAL DA TRANSPARÊNCIA
Florianópolis 2015
ARQUITETURA BIG DATA PARA ANÁLISE DE DADOS DO SISTEMA PORTAL DA TRANSPARÊNCIA
Trabalho de Conclusão de Curso apresentado ao Curso de pós-graduação em Engenharia de Projetos de Soft-ware, da Universidade do Sul de Santa Catarina, como requisito parcial para obtenção do título de Especializa-ção.
Orientador: Aran Bey Tcholakian Morales, Dr.
Florianópolis 2015
ARQUITETURA BIG DATA PARA ANÁLISE DE DADOS DO SISTEMA PORTAL DA TRANSPARÊNCIA
Este Trabalho de Conclusão de Curso foi julgado ade-quado à obtenção do título de Especialização em Enge-nharia de Projetos de Software e aprovado em sua forma final pelo Curso de Engenharia de Projetos de Software, da Universidade do Sul de Santa Catarina.
Florianópolis, 14 de março de 2015
Prof. e orientador Aran Bey Tcholakian Morales, Dr.
Universidade do Sul de Santa Catarina
Profa. Vera R. N. Schuhmacher, MEng. Universidade do Sul de Santa Catarina
Profa. Maria Inés Castiñeira, Dra. Universidade do Sul de Santa Catarina
que sempre esteve ao meu lado, deram-me amor e compreensão em todos os momen-tos e ajudaram a construir este projeto que muda a minha vida. Ao professor Aran pela ajuda e atenção ao orientar este trabalho.
A esta universidade, seu corpo docente, direção e administração pela opor-tunidade que me foi dada em ampliar o meu conhecimento na minha área de atuação profissional.
Ao meu orientador Aran Bey Tcholakian Morales, pelo suporte no pouco tempo que lhe coube, pelas suas correções e incentivos.
Aos meus pais, pelo amor, incentivo e apoio incondicional.
E a todos que direta ou indiretamente fizeram parte da minha formação, o meu muito obrigado.
Este trabalho propôs a construção de uma arquitetura de software para o processa-mento de grandes volumes de dados fornecidos pelo sistema Portal da Transparência, uma importante ferramenta de controle social mantida pelo governo federal brasileiro. Para tal fim, utilizou-se técnicas e ferramentas especialmente criadas para o tratamento de grandes bases de dados provenientes de diferentes fontes. Os resultados obti-dos desta pesquisa mostraram que a arquitetura proposta atingiu o seu objetivo de possibilitar uma análise dos dados confiável utilizando diversas tecnologias Big Data disponíveis no mercado e disponibilizando-as de uma forma mais acessível e de fácil interpretação para a população.
This paper proposed the construction of a software architecture for processing large volumes of data provided by the Portal da Transparência system, an important social control tool maintained by the Brazilian federal government. To this end, was used techniques and tools specially designed for the treatment of large bases of data coming from different sources. The results of this research showed that the proposed archi-tecture reached its goal of providing a reliable analysis of the data using various Big Data technologies available in the market and providing them with a more affordable and easier for the population to interpret.
Figura 1 – MapReduce . . . 22
Figura 2 – Arquitetura da Solução . . . 25
Figura 3 – Tela principal . . . 28
Figura 4 – Gastos de diárias por tempo . . . 29
Figura 5 – Transferências de verbas por município . . . 30
BI Business Intelligence
CGU Controladoria-Geral da União
IDH Índice de Desenvolvimento Humano JSON JavaScript Object Notation
NoSQL Not only SQL
SGBDR Sistema Gerenciador de Banco de Dados Relacional SQL Structured Query Language
1 INTRODUÇÃO . . . . 12 1.1 PROBLEMÁTICA . . . 12 1.2 OBJETIVOS . . . 13 1.2.1 Objetivo geral . . . . 13 1.2.2 Objetivos específicos . . . . 13 1.3 JUSTIFICATIVA . . . 14 1.4 ESTRUTURA DA MONOGRAFIA . . . 14 2 REVISÃO BIBLIOGRÁFICA . . . . 16 2.1 BIG DATA . . . 16 2.1.1 Contexto . . . . 16 2.1.2 Definição . . . . 17 2.1.3 Atributos . . . 18 2.1.3.1 Velocidade . . . 18 2.1.3.2 Variedade . . . 18 2.1.3.3 Volume . . . 19 2.1.3.4 Valor . . . 19 2.1.3.5 Veracidade . . . 19 2.1.4 Técnicas e Tecnologias . . . . 20 2.1.4.1 NoSQL . . . 20 2.1.4.2 MapReduce . . . 21 3 MÉTODO . . . . 23
3.1 CARACTERIZAÇÃO DO TIPO DE PESQUISA . . . 23
3.2 ETAPAS . . . 23
3.3 DELIMITAÇÕES . . . 24
4 DESENVOLVIMENTO . . . . 25
4.1 ARQUITETURA DA SOLUÇÃO . . . 25
4.2 HISTÓRICO DO DESENVOLVIMENTO . . . 27
4.3 APRESENTAÇÃO DO SISTEMA E ANÁLISE DOS RESULTADOS . . 27
5 CONCLUSÕES E TRABALHOS FUTUROS . . . . 33
5.1 CONCLUSÕES . . . 33
1 INTRODUÇÃO
O uso crescente dos mais diversos tipos de tecnologias permitem que tenhamos acesso à grandes bases de informação de forma fácil e rápida. Esta mudança provocou uma ampla transformação na maneira com que indivíduos de uma sociedade se relacionam, passando a ser mais atuantes no que tange à questões de interesse comum, tais como segurança, educação, saúde, economia, entre outros. Devido a este fenômeno social, foi possível que cada indivíduo exerça o seu papel de cidadão de modo mais participativo nos acontecimentos políticos e sociais de sua região.
Para que o exercício de cidadania seja aplicado, é necessário que o indivíduo tenha ao seu alcance direitos individuais, políticos e sociais. Dentre os direitos políticos de cada cidadão, estão o direito ao voto, à justiça, à liberdade de expressão pública de pensamento e, principalmente, à liberdade de informação e ao acesso às informações (SOLIS, 1994 apud HEERDT, 2000). Segundo Araújo (1999), a construção da cidadania passa necessariamente pelo acesso, uso, disseminação e discussão de informações sobre direitos e deveres referentes à construção de uma sociedade mais igualitária. Portanto, a falta de acesso à tais informações inibe a realização de atividades cívicas. A Lei no 12.527 de 18 de novembro de 20111 garante à cada cidadão
brasileiro o acesso às informações públicas dos poderes Executivo, Legislativo e Judi-ciário, criando regras de como estas informações são publicadas e consumidas. Esta regulamentação estimula o exercício da cidadania e fortalece a relação entre Estado e cidadão, significando um importante passo para a consolidação da Democracia brasi-leira. Uma maior participação pública nas questões governamentais permite uma maior fiscalização contra irregularidades, além de possibilitar avanços na gestão pública do país.
Como contribuição no sentido de facilitar o acesso à informações públicas fornecidas pelo governo brasileiro, este trabalho visa propor uma arquitetura com uso de tecnologias Big Data que permitam favorecer uma maior facilidade na busca e consumo de informações do uso da verba pública do governo federal, incentivando o exercício da cidadania e a fiscalização da administração pública.
1.1 PROBLEMÁTICA
O sistema Portal da Transparência2 mantido pelo Controladoria-Geral da
União (CGU), órgão responsável por defender o "patrimônio público e ao incremento da transparência da gestão" (Controladoria-Geral da União, 2014) dentro do Poder
Exe-1 BRASIL.Lei no 12.537 de 18 de novembro de 2011. 2014. Disponível em: <http://www.planalto.
gov.br/ccivil_03/_Ato2011-2014/2011/Lei/L12527.htm>. Acesso em: 31 Aug. 2014. 2 http://www.portaldatransparencia.gov.br
cutivo, provê um canal de acesso aberto à informações referentes ao uso de recursos públicos do governo federal. Ali são fornecidas informações como despesas, receitas, programas socais e convênios, desde o ano 2004. Em contrapartida, este sistema não disponibiliza informações resumidas, sendo necessário navegar em diversas páginas para obter, por exemplo, informações sobre o uso do dinheiro público na área da saúde para a região sul do país. A dificuldade em elicitar informações mais estruturados no sistema Portal da Transparência desestimula o seu uso e prejudica a fiscalização e acompanhamento da gestão pública pelo cidadão brasileiro, como demonstra uma pesquisa realizada por Santos (2012):
Embora, tais endereços eletrônicos funcionem como uma importante ferramenta por meio do qual a população conhece o destino que é dado aos recursos públicos, diversos fatores são limitadores de sua potencia-lidade. Entre esses fatores pode-se citar a dificuldade de compreensão das informações disponíveis nestas paginas da internet devido ao baixo nível de educação da população e à dificuldade de compreender as informações disponibilizadas.
O lançamento do Portal da Transparência em novembro de 2004 pela CGU trouxe um grande avanço no que se refere ao acompanhamento das execuções finan-ceiras das ações do governo federal. Percebe-se, porém, o uso de linguagens distantes da realidade de grande parcela da população. Ao utilizar uma linguagem mas "tecnista", cria-se uma barreira de compreensão entre o governo e a população. Para (CRUZ et al., 2012), devem estar à disposição da população "não apenas relatórios fiscais e financeiros, mas também informações de natureza qualitativa que, em princípio, são mais facilmente compreendidas pelos cidadãos". Portanto, prover informações acessíveis para população de forma ampla e irrestrita é uma importante ação vem de encontro com a manutenção de uma gestão mais transparente e participativa.
1.2 OBJETIVOS
Os objetivos deste trabalho estão divididos em: objetivo geral e objetivos específicos.
1.2.1 Objetivo geral
O objetivo deste trabalho é pesquisar e implantar uma arquitetura Big Data para captura, processamento e organização de informações sobre as contas públicas do governo federal disponibilizadas pelo sistema Portal da Transparência, de modo a torná-las mais fáceis e relevantes para os cidadãos brasileiros consumi-las.
1.2.2 Objetivos específicos
a) obter conhecimentos sobre técnicas de captura, processamento e orga-nização de grande volume de dados;
b) construir uma proposta de solução para o problema deste trabalho; c) desenvolver um protótipo baseado na solução;
d) apresentar os resultados alcançados.
1.3 JUSTIFICATIVA
O crescimento e popularização do uso da Internet como meio de comunica-ção possibilitaram que órgãos públicos o utilizem como meio de transmitir informações sobre suas ações de forma rápida e transparente, estimulando a participação popular e apoiando o desenvolvimento da cidadania e da democracia (SANTOS, 2012).
Além de estar disponível, a informação deve ser relevante e confiável, su-prindo as necessidades da sua população. Evangelista (2010) destaca a importância de disponibilizar informações de qualidade pela administração pública:
Em função da transparência que deve permear a gestão pública, con-forme princípio inserto na legislação infraconstitucional, os gestores públicos nacionais devem informar à sociedade sobre os resultados de suas ações em prol da própria sociedade. Somam-se a esses fa-tores as demandas do mundo globalizado que exigem em quantidade e qualidade informações cada vez mais sofisticadas e precisas sobre as atividades governamentais e os resultados sociais e econômicos alcançados, como fruto da crescente influência do Brasil na ordem mundial. Os mercados, os investidores, a sociedade e os próprios go-vernantes para controlar, avaliar e reprogramar, suas ações necessitam de informações tempestivas e confiáveis.
A construção de um sistema de informação que divulgue os dados disponibi-lizados pelo governo federal, porém de forma mais acessível e claro para a população, é, portanto, uma importante maneira de universalizar o consumo sobre as ações do gestão pública, aumentando assim a fiscalização e a participação pública dentro das atividades envolvidas pelo Estado.
1.4 ESTRUTURA DA MONOGRAFIA
Este trabalho está dividido em seis capítulos que são descritos a seguir: Os objetivos, as problemáticas e as justificativas são apresentados no Capí-tulo 1.
No Capítulo 2, tem-se a revisão bibliográfica. Nela, são abordados temas a respeito de tecnologias de captura, processamento e organização de dados proposto pelo Big Data.
Logo após, no Capítulo 3, são descritos o método de desenvolvimento do trabalho e a arquitetura do sistema proposto.
Em seguida, no Capítulo 4, é descrita a etapa de desenvolvimento e valida-ção do software, assim com a apresentavalida-ção do resultado final do trabalho.
Por fim, no Capítulo 5, é apresentada a conclusão e possíveis melhorias futuras.
2 REVISÃO BIBLIOGRÁFICA
Este capítulo apresenta os assuntos teóricos utilizados pelo presente tra-balho, abordando conceitos a cerca de Big Data e o seu papel na mudança de como consumimos informações.
2.1 BIG DATA
É apresentado nesta seção conceitos gerais sobre Big Data. 2.1.1 Contexto
O crescimento no uso de novas tecnologias como Cloud Computing, Inter-net e dispositivos móveis fez criar a necessidade de gerenciar a analisar uma vasta quantidade de informações que ultrapassa a nossa capacidade convencional de pro-cessamento (DUMBILL, 2013). Segundo Villars, Olofson e Eastwood (2011), em 2010, o mundo criou 1 zetabyte (1021 bytes) de dados, enquanto a previsão para 2014 será
de 7 zetabytes de dados. De acordo com pesquisas de Manyika et al. (2011), em 2010, mais de 4 bilhões de pessoas, ou 60% da população mundial, estão utilizando telefones celulares, sendo destes 12% smartphones e com um crescimento anual de 20%. Existem também mais de 30 milhões de sensores nos setores de transporte, automotivo, indústria, utilidades e de vendas. A taxa de crescimento destes sensores é de 30%. Toda esta informação produzida cria novas oportunidades para a extração de valor sobre a informação, como aponta Taurion (2013):
Geramos um imenso volume de dados a cada dia e análises de padrões e correlações nesta massa de dados podem produzir informações va-liosíssimas em todos os setores da sociedade humana, de governos buscando entender demandas da população a empresas buscando se posicionar mais competitivamente no mercado.
McAfee e Brynjolfsson (2012) citam um exemplo de como a captura e processamento de uma grande massa de dados pode dar vantagem competitiva para uma empresa. O tempo estimado de chegada (ETA - Estimated Time to Arrive), realizada pelos pilotos minutos antes do pouso, é uma informação importante para os passageiros e para os funcionários de uma companhia aérea. No caso de um avião pousar antes do que o tempo esperado, a tripulação e passageiros devem aguardar os funcionários do aeroporto se preparam para realizar o desembarque. Caso o pouso ocorra depois do tempo esperado, os funcionários ficarão ociosos aguardando a chegada da aeronave. Situações extremas como essas causam grandes custos para a companhia. Para a solução deste problema, uma empresa americana chamada
PASSUR1 criou, então, uma tecnologia para a indústria aviária chamada RightETA2, capaz de determinar com alta precisão o tempo estimado para chegada de cada voo baseando-se em diversas fontes de dados, tais como clima, programação dos voos, localização de outros aviões detectados pelo radar do aeroporto, entre outros. São coletados diversas informações sobre todos os aviões próximos a cada 4,6 segundos. Como resultado, milhares de dólares ao ano foram poupados em cada aeroporto em que a tecnologia foi implantada.
Organizações que conseguem se beneficiar de decisões em tempo real e de informações atuais e precisas terão vantagem competitiva sobre aquelas organizações incapazes de adotar e fazer uso desta tendência (VILLARS; OLOFSON; EASTWOOD, 2011). Através na análise de imensos volumes de dados que estão disponíveis, existe um grande potencial em realizar importantes avanços nos negócios de empresas e na obtenção de conhecimento em diversas áreas científicas (AGRAWAL et al., 2011). 2.1.2 Definição
Não existe um consenso sobre o conceito de Big Data totalmente aceito e aplicado no mercado. Diversos autores o definem sobre perspectivas distintas, porém, apresentam convergências em certos aspectos que permitem um melhor entendimento de sua definição. O encontro de uma definição para o termo é importante para o andamento desta pesquisa.
Segundo Manyika et al. (2011, tradução nossa), Big Data "refere-se a con-juntos de dados cujo tamanho é além da capacidade de ferramentas de software de banco de dados típicos para capturar, armazenar, gerenciar e analisar". Gartner (2012, tradução nossa), define Big Data como "ativos de alto volume, velocidade e variedade de informação que demandam custo-benefício, formas inovadoras de processamento de informação para maior visibilidade e suporte à tomada de decisão". Já a IDC (2011, tradução nossa) define Big Data como sendo "uma nova geração de tecnologias e arquiteturas, projetadas para extrair economicamente o valor de volumes muito grandes e de uma grande variedade de dados, permitindo uma alta velocidade de captura, descoberta, e/ou análise".
Percebe-se, com as definições citadas anteriormente, semelhanças entre os termos utilizados, como, por exemplo, o grande volume de dados, a alta velocidade de processamento e a diversa variedade de fontes de dados. Taurion (2013) resume atributos semelhantes entre diversos conceitos existentes sobre Big Data em uma fórmula que permite compreendê-la de maneira mais ampla:
BigData = V olume + V ariedade + V elocidade + V eracidade + V alor
1 http://www.passur.com
O mesmo autor ainda abrange o termo para além da área técnica:
Big Data não é apenas um produto de software ou hardware, mas um conjunto de tecnologias, processos e práticas que permitem às empresas analisarem dados a que antes não tinham acesso e tomar decisões ou mesmo gerenciar atividades de forma muita mais eficiente (TAURION, 2013).
Com base nas definições apresentadas, pode-se concluir, portanto, que o conceito Big Data pode ser direcionado para um conjunto de práticas e tecnologias que visam processar, armazenar, analisar e informar uma grande variedade e volume de dados a uma grande velocidade, permitindo que empresas possam utilizá-las de forma eficiente no seu processo de tomada de decisão.
2.1.3 Atributos
O termo Big Data é constituída por diversos atributos que o diferencia de outros conceitos já existentes no mercado, como Business Intelligence (BI). Segue a contextualização de cada atributo identificado pelo autor Taurion (2013).
2.1.3.1 Velocidade
O atributo Velocidade está relacionado à rapidez em que as informações são consumidas e analisadas (RIFFAT, 2014). O mesmo é um fator determinante para a tomada de decisão de empresas, pois "dados não tratados e analisados em tempo hábil são dados inúteis, pois não geram informação" (TAURION, 2013).
Velocidade é um critério que vai se tornar cada vez mais importante, devido à crescente rapidez com que as empresas precisam reagir às mudanças no cenário de negócios, bem como é necessária para tratar os dados em tempo real, interferindo na execução do próprio processo de negócios (TAURION, 2013).
Em situações em que as respostas rápidas à mudanças ou tendências for um fator importante para o negócio, a velocidade torna-se um atributo mais importante do que os demais (MCAFEE; BRYNJOLFSSON, 2012).
2.1.3.2 Variedade
O crescimento no uso das redes sociais e de smartphones, aliados à evolu-ção das tecnologias de armazenamento de dados e diminuievolu-ção no custo de hardware, causaram uma grande expansão na criação e proliferação de dados. Tal situação viabi-liza economicamente a elaboração de tecnologias capazes de armazenar e processas diversas fontes diferentes de dados (MCAFEE; BRYNJOLFSSON, 2012).
Taurion (2013) cita a importância de ligar diversas fontes de dados com o objetivo de obter informações:
A variedade é um parâmetro importante, pois, com diversas fontes de dados aparentemente sem relações, podemos derivar informações ex-tremamente importantes e fazer análises preditivas mais eficientes. Por exemplo, conectando dados meteorológicos com padrões de compra dos clientes podemos planejar que tipo de produtos deverão estar em destaque nas lojas quando for detectado que haverá um período de alguns dias de temperatura elevada, aqui a três dias. Ou conectar dados geográficos com detecção de fraudes.
Entretanto, existem desafios para serem enfrentados quando ocorre a busca por informações em diferentes tipos de dados. Os tipos de dados podem ser classifica-dos em estruturaclassifica-dos, não-estruturaclassifica-dos e semiestruturaclassifica-dos, esclareciclassifica-dos a seguir:
Os dados estruturados estão presentes em sistemas tradicionais cor-porativos (bancos de dados, arquivos sequenciais e hierárquicos etc). Os semiestruturados estão disponíveis por meio de logs de sistemas (web servers, CDRs etc.) e os não estruturados são os conteúdos digitalizados que, anteriormente, eram acessados em forma não digital, como arquivos de imagens, áudios, textos, entre outros (CIO, 2012).
Segundo o IDC (2011), 90% dos dados do universo digital são compostos por dados não-estruturados. Dessa forma, é importante atentar para este tipo de dado que é representado em sua ampla maioria armazenadas atualmente.
2.1.3.3 Volume
Trata-se da quantidade de dados que é consumida e processada (RIFFAT, 2014). Este atributo é o comumente mais conhecido, visto que o "Big Data vem chamando atenção pela acelerada escala em que volumes cada vez maiores de dados são criados pela sociedade" (TAURION, 2013).
2.1.3.4 Valor
"Big Data só faz sentido se o valor da análise dos dados compensar o custo de sua coleta, armazenamento e processamento" (TAURION, 2013). Assim sendo, espera-se que a implantação de uma solução Big Data gere retorno sobre o investimento (ROI) para quem o investiu.
2.1.3.5 Veracidade
Não basta ter posse de uma informação: é necessário que a mesma seja autêntica e tenha algum sentido para que o utiliza (TAURION, 2013). A veracidade torna-se, portanto, um atributo importante para ser utilizada em um mercado de alta competitividade e dinamismo.
2.1.4 Técnicas e Tecnologias
O crescimento de dados gerados todos os dias não é o único fator que possibilitou a existência do Big Data. Os avanços nas tecnologias de armazenamento e mineração de dados também são responsáveis pelo crescimento da quantidade de informações consumidas e analisadas (MICHAEL.; MILLER, 2013). Nesta seção são abordados alguns das técnicas e tecnologias mais utilizadas por soluções Big Data. 2.1.4.1 NoSQL
O Sistema Gerenciador de Banco de Dados Relacional (SGBDR) é, atual-mente, a tecnologia predominante para o armazenamento de dados estruturados para aplicações corporativos ou web. Diversas outras alternativas apareceram em alguns anos, como os bancos de dados orientados a objeto ou armazenamento em arquivos XML, porém nenhum deles conseguiu obter a mesma adoção do que os SGBDRs. O movimento NoSQL (Not only SQL) começou em 1998 como uma alternativa mais barata e eficiente para o gerenciamento de grandes massas de dados. Sua proposta vem ao encontro com a necessidade de alta escalabilidade, processamento eficiente de grande volume de dados e, principalmente, na fácil distribuição de processamento entre outros servidores (STRAUCH, 2011). Estas características fazem dos bancos de dados NoSQLs soluções ideais para a construção de tecnologias Big Data.
Segundo Hecht e Jablonski (2011), os SGBDRs tornam-se complexos e pouco performáticos quando o modelo de dados não corresponde com o modelo relaci-onal. Isto acarreta no uso de frameworks pouco performáticos e algoritmos complexos que tornam o modelo relacional difícil de manter e evoluir. Caso seja realizada uma operação de alteração, todo o SGBDR pode ficar inoperante. Já para aplicações que utilizam uma grande massa de dados, operações de join e lock influenciam diretamente na sua performance e disponibilidade, podendo ficar ainda mais crítico quando presente dentro de um sistema de armazenamento distribuído.
Pode-se classificar, segundo Hecht e Jablonski (2011), os banco de da-dos NoSQL em 5 diferentes categorias de acordo com o método utilizado para o gerenciamento de dados. São elas:
a) Chave/Valor: Os dados são armazenados em estruturas onde um deter-minado valor pode ser somente recuperado através de sua chave. Sua simplicidade permite registrar novos valores sem conflitar com os dados já armazenados e sem afetar a disponibilidade do sistema. São exemplos de bancos de dados para esta categoria: Redis, Voldemort, Membase. b) Documento: Semelhante à categoria anterior, porém possibilitam
geren-ciar estrutura de dados mais complexos. Para cada chave, utiliza-se a estrutura JSON como valor, permitindo armazenar mais de um atributo
para cada chave, para esta estrutura, dá-se o nome de Documento. Do-cumentos podem ser agrupados entre si e formar uma Coleção. Esta estruturação dos dados permite armazenar informações mais complexas e uma fácil migração e replicação de dados. São exemplos de banco de dados para esta categoria: CouchDB, MongoDB, Riak.
c) Tabular: Neste modelo de gerenciamento, são armazenados pares de campos chave/valor dentro de linhas (registros). Apesar de semelhança com o modelo relacional, os banco de dados tabulares somente armaze-nam os valores solicitados, ao invés de armazenar valores nulos em cada coluna onde não houver um valor para ela. Esta flexibilidade permite que banco de dados tabulares sejam eficientes em armazenamento de grande quantidade de dados. São exemplos de banco de dados para esta categoria: Apache Cassandra, HBase, Hypertable.
d) Grafos: Especialistas em associação de um ou mais dados entre si, os banco de dados baseados em grafos são indicados para sistemas que necessitam de relacionamento seus dados para prover informações para o usuários final, como redes sociais, sistemas de recomendação e serviços orientados a localização. São exemplos de banco de dados para esta categoria: Sesame, BigData, Neo4j, GraphDB, FlockDB. Com a grande quantidade de banco de dados NoSQL existentes no mercado, onde cada uma possui uma especialidade específica, cabem aos profissionais de análise de dados a escolher a melhor ferramenta para atender à suas necessidades. 2.1.4.2 MapReduce
Grandes volumes de dados exigem técnicas de processamento de alto desempenho e facilidade de uso em ambientes distribuídos. O MapReduce surgiu como uma solução popular para aproveitar o aumento do poder de processamento de sistemas interligados (CONDIE et al., 2010). Segundo (DEAN; GHEMAWAT, 2004, tradução nossa), MapReduce é "um modelo de programação e uma implementação associada para o processamento e a geração de grandes conjuntos de dados".
O MapReduce permite que programadores sem experiência em implementa-ção de sistemas distribuídos criem sistemas capazes de processar grandes quantidades de dados, e deixando que detalhes como particionamento, escalonamento, tolerâncias a falhas e comunicação entre diversos servidores à cargo do serviço MapReduce. Esta condição possibilita que o foco da implementação esteja apenas no tratamento dos dados (DEAN; GHEMAWAT, 2010).
Segundo Condie et al. (2010), para utilizar o MapReduce, o programador deve implementar algumas funções pré-determinadas. A entrada e saída de cada
função serão um conjunto de pares chave/valor. A primeira função a ser executa é a map, que é executada a cada entrada de par chave/valor, produzindo uma lista de pares intermediários. Em seguida, a função reduce é invocada uma única vez para cada chave distinta da lista criada anteriormente e retornar o resultado do processamento para o usuário. A figura 1 ilustra o fluxo de processamento de uma operação MapReduce.
Figura 1 – MapReduce
Fonte: Rathbone (2013)
A solução MapReduce mais conhecido no mercado atualmente é o Apache Hadoop3. Trata-se de uma implementação de código fonte aberto do MapRaduce
originalmente criada pela Google e atualmente mantida pela Fundação Apache. Ele é constituído por uma implementação MapReduce e por um sistema de arquivos chamado Hadoop Distributed File System (HDFS). Este sistema de arquivos é otimizado para receber grandes cargas de dados e possibilitar a execução das operações MapReduce em sistemas distribuídos. O mesmo armazena apenas os dados de entrada da função map e a saída da função reduce, deixando os dados intermediários em cada nodo do sistema (CONDIE et al., 2010).
3 MÉTODO
Por se tratar de uma pesquisa de natureza científica, é imprescindível a apresentação dos métodos que são utilizados para a realização da mesma. Pode-se definir método científico como "o conjunto de procedimentos intelectuais e técnicos adotados para se atingir o conhecimento" (GIL, 2008). Este capítulo aborda questões sobre a caracterização deste trabalho, suas etapas, solução proposta e delimitações.
3.1 CARACTERIZAÇÃO DO TIPO DE PESQUISA
É necessário definir, primeiramente, o conceito de pesquisa para seja possí-vel caracterizar o presente trabalho. Segundo Silva e Menezes (2005), pesquisa "é um conjunto de ações, propostas para encontrar a solução para um problema, que tem por base procedimentos racionais e sistemáticos". Gil (2008) define pesquisa como sendo um "processo formal e sistemático de desenvolvimento do método científico".
No que se refere à sua natureza, esta pesquisa é caracterizada como prática, pois "objetiva gerar conhecimentos para aplicação prática e dirigidos à solução de problemas específicos. Envolve verdades e interesses locais" (SILVA; MENEZES, 2005). A construção de uma solução Big Data para a captura, armazenamento e processamento de informações das contas públicas do governo federal vem ao encontro com esta definição.
Sob a perspectiva de abordagem ao problema, é possível caracterizar esta pesquisa como sendo qualitativa, pois existe "um vínculo indissociável entre o mundo objetivo e a subjetividade do sujeito que não pode ser traduzido em números" (SILVA; MENEZES, 2005). Os resultados desta pesquisa não poderão ser demonstrados por números, mas por meio de modelos e de protótipos (MEZZAROBA; MONTEIRO, 2004).
O objetivo de pesquisa proposto é o de pesquisa bibliográfica. Um pesquisa bibliográfica é caracterizada pelo desenvolvimento de uma linha de raciocínio baseando-se em materiais já elaborados, principalmente de livros e artigos científicos (GIL, 2008).
3.2 ETAPAS
As etapas para a elaboração desta pesquisa são: a) levantamento teórico;
b) estudo sobre as tecnologias do sistema proposto; c) implementação do sistema;
d) avaliação;
3.3 DELIMITAÇÕES
A solução apresentada por esta pesquisa está restrita somente à captura, processamento e armazenamento de dados fornecidas pelo programa Portal da Trans-parência do governo federal.
4 DESENVOLVIMENTO
Este capítulo descreve com maiores detalhes a arquitetura construída pro-posta por esta pesquisa, o histórico da etapa de desenvolvimento e apresenta o sistema resultante deste processo.
4.1 ARQUITETURA DA SOLUÇÃO
Levando em consideração os objetivos pretendidos e as tecnologias escolhi-das, uma proposta de solução para o problema foi desenvolvida, como mostra a figura 2:
Figura 2 – Arquitetura da Solução
Fonte: Elaboração do Autor, 2014
Segue um explicação sobre cada componente ilustrado na figura anterior: • Portal da Transparência: Sistema mantido pelo governo federal para fornecer
informações da gestão pública à população. Nele, há a possibilidade de consumir estes dados em formato HTML (visual) ou CSV (para carga de dados). Esta arquitetura utiliza-se da possiblidade de obter dados no formato CSV para realizar a carga dos dados.
• Carga de dados: Servidor responsável por armazenar as informações dispo-nibilizadas pelo Portal da Transparência, realizar tratamentos (conversão de codificação de caracteres e padronização de formato) e mandá-las para o banco de dados MongoDB. Todas estas tarefas são realizadas de forma automatizada com o auxílio de comandos sequenciais interpretado pelo sistema operacional (scripts).
• MongoDB: Responsável pelo armazenamento das informações tratadas pelo servidor Carga de dados e do resultado obtido do processamento das operações MapReduce do Apache Hadoop.
• Apresentação: Serviço criado apenas com o objetivo de mostrar visualmente as informações processadas pelo Apache Hadoop. Está fora do escopo desta trabalho apresentar o seu funcionamento, sendo útil apenas para demonstrar os resultados obtidos da pesquisa.
• NameNode: Responsável por aceitar tarefas definidas pelo usuário (jobs), realizar a divisão (split) dos dados de entrada (vindos do MongoDB) em pequenos blocos e distribuí-los para os NameNodes processarem, indicando se é necessário realizar um Map ou um Reduce para este conjunto de dados. No caso de um DataNode falhar a sua execução, imediatamente o NameNode delega o seu trabalho para outro DataNode que estiver operante. (APACHE, 2014). Ao final do processamento de todas as funções Map e Reduce, os dados são armazenados no banco de dados MongoDB.
• Secondary NameNode: É um elemento opcional dentro de uma arquitetura Apache Hadoop. Seu objetivo é assumir as responsabilidades do NameNode quando o mesmo estiver inoperante (APACHE, 2014). Foi instanciado somente um Secondary NameNode para a realização desta pesquisa.
• DataNodes 1 e 2: Servidores responsáveis pelo processamento de tarefas defini-das pelo programador. Cada DataNode recebe o bloco de dados para processar (Map ou Reduce, depende da requisição dada pelo NameNode). O ativo resul-tante deste processamento é armazenado no sistema de arquivo HDFS, portanto ele é compartilhado entre todos os DataNodes e NameNodes. A flexibilidade da arquitetura Apache Hadoop permite incluir quantos DataNodes forem dese-jados, para esta pesquisa foram instanciados dois DataNodes para realizar o processamento de dados. (APACHE, 2014).
Esta arquitetura proposta utiliza informações fornecidas pelo Portal da Trans-parência do governo federal por meio de rotinas programadas para capturar, processar
e armazenar as informações em um banco de dados NoSQL. Para esta solução, foi es-colhido o banco de dados MongoDB pela sua simplicidade e alta escalabilidade. Após a carga de dados estiver concluída, é iniciado a etapa de processamento de dados através da técnica MapReduce que a implementação Apache Hadoop proporciona. Este processamento é, então, armazenado no mesmo banco de dados NoSQL e é consumido por outra aplicação que apresenta estas informações para o usuário.
4.2 HISTÓRICO DO DESENVOLVIMENTO
Os principais desafios enfrentados durante o processo de codificação e implantação do sistema foram:
• Conhecimento técnico: Por se tratar de uma tecnologia relativamente nova (criada em 2005), poucas informações realmente completas e disponíveis sobre o Apache Hadoop dificultaram o seu aprendizado e implementação. Fez-se necessário o uso de alguns dias dedicados ao estudo e testes desta tecnologia até alcançar o estado operacional atualmente obtido.
• Armazenamento: A base de dados disponibilizada pelo Portal da Transparência é excessivamente grande. Para a captura das informações sobre gastos públicos, transferências de verbas para estados e diárias de viagens, foram necessários utilizar 631 gigabytes de armazenamento no servidor MongoDB para armazenar todos estes dados. Apesar de automatizado, este processo de captura durou 1 semana.
• Poder de processamento: Processar todo esse volume de dados exigiu tam-bém da capacidade de dos servidores de receberem grandes quantidades de requisições de processamento. Em certos momentos, alguns servidores ficaram inoperantes devido à falta de memória ou espaço em disco, sendo necessário aumentar o seu poder de processamento para poder continuar o processamento. Ainda assim, a média de processamento para cada item analisado durou, em média, um dia.
Alheio às estas situações acima citadas, o processo de desenvolvimento do sistema deste trabalho ocorreu conforme o planejado, sendo possível implementá-lo de acordo com o objetivo previamente determinado.
4.3 APRESENTAÇÃO DO SISTEMA E ANÁLISE DOS RESULTADOS
O sistema proposto por este trabalho, que foi desenvolvido com base nas ferramentas e tecnologias citadas na seção 4.1, é apresentado a seguir.
A figura 3 apresenta a tela principal do sistema. Nela, é possível visualizar uma descrição geral sobre o sistema e um menu para navegar pelas informações disponíveis.
Figura 3 – Tela principal
Fonte: Elaboração do Autor, 2014
Selecionando o menu "Diárias", é apresentado um gráfico demonstrando a evolução dos gastos de diárias em viagens oficiais do governo sobre o tempo desde janeiro de 2011, como apresentado na figura 4. Nela, é possível visualizar um padrão de gastos, havendo um gasto mínimo no início de cada ano e pico no final de cada ano. O pico de gastos em diárias em um único mês, entre todos os meses analisados, é de R$ 95.029.054,48 no período Maio/2014.
Figura 4 – Gastos de diárias por tempo
Fonte: Elaboração do Autor, 2014
O menu "Transferência" apresenta informações relacionadas à transferências de verbas que o governo federal realiza para municípios ou estados da federação, como demonstrado na figura 5. De posse destas informações, é possível deduzir que a transferência de verbas é realizada de acordo com a concentração populacional de cada estado. O estado de São Paulo, estado com maior concentração populacional (IBGE, 2014), recebe a maior parte das transferências federais (R$ 91.694.965.619,48 ou 14% do total). Já o estado de Roraima, estado com menor quantidade de pessoas, recebe a menor parcela de verbas do governo (R$ 2.206.649.397,45 ou 0,34% do total). O estado de Santa Catarina é o 12oestado que recebe mais transferências do
governo federal (R$ 19.608.310.990,57 ou 3% do total) no período analisado (entre Janeiro/2011 até Setembro/2014).
Figura 5 – Transferências de verbas por município
Fonte: Elaboração do Autor, 2014
Por fim, no menu "Pagamentos" (figura 6), está disponível informações os pagamentos realizados pelo governo federal agrupados por categoria e tempo.
Figura 6 – Pagamentos
Fonte: Elaboração do Autor, 2014
O período disponibilizado pelo Portal da Transparência para análise dos pagamentos é de Janeiro/2011 até Agosto/2014. As 28 categorias de pagamentos administradas pelo governo e disponibilizadas no Portal da Transparência são:
Legislativa Judiciária Essencial à Justiça Administração Defesa Nacional Segurança Pública Relações Exteriores Assistência Social Previdência Social
Saúde Trabalho Educação
Cultura Direitos da Cidadania Urbanismo
Habitação Saneamento Gestão Ambiental
Ciência e Tecnologia Agricultura Organização Agrária Indústria Comércio e Serviços Comunicações
Energia Transporte Desporto e Lazer
Encargos Especiais
Pode-se obter informações visualizando-se esta página, como por exemplo: • Uma grande alta de investimento em saneamento básico (de R$ 795.493,85 em
• Gastos em administração pública em tendência de alta. Em Agosto/2013 foi-se gasto R$ 447.584.572,24, enquanto foi gasto R$ 683.462.235,98 no mesmo mês de 2014. Um aumento de 14%;
• Somando-se todos os valores gastos de cada categoria desde Janeiro/2011, a ca-tegoria "Trabalho" é a que mais recebeu investimentos (R$ 185.089.720.470,48), seguida por "Encargos Especiais" (R$ 126.456.915.971,26) e "Educação" (R$ 84.023.198.583,98). Já a categoria "Legislativa" é a que recebeu menos investi-mentos (R$ 4.953.333,70).
Todos os gráficos obtidos nesta pesquisa referente à pagamentos encontram-se no Apêndice A.
As informações anteriormente citadas são uma pequena parcela do que o Portal da Transparência disponibiliza. Há também disponíveis dados sobre o programa Bolsa Família, uso do Cartão de Pagamento do Governo Federal (CPGF), convênios, receitas, salários a servidores públicos e militares, entre outros. Com o objetivo de implantar e demonstrar uma arquitetura Big Data com dados reais e significativos para a população, estas informações foram suficientes para que a sua viabilidade fosse comprovada.
5 CONCLUSÕES E TRABALHOS FUTUROS
Neste capítulo é apresentado as conclusões finais desta pesquisa, baseados no sistema desenvolvido proposto por este trabalho, assim como os resultados obtidos por meio apresentação dos resultados obtidos. Também, neste capítulo, é dado algumas sugestões de trabalhos futuros para outras pesquisas desta área.
5.1 CONCLUSÕES
Este trabalho apresentou uma proposta de arquitetura Big Data para a análise de dados fornecidos pelo sistema Portal da Transparência do governo federal, de modo a transformar seus dados em informações mais acessíveis para o cidadão. Para tal, foram utilizados as tecnologias e ferramentas Apache Hadoop, MongoDB e MapReduce.
Os conhecimentos teóricos e práticos obtidos ao longo da pesquisa foram essenciais para a compreensão do problema e também para a construção da arquite-tura. Apesar dos problemas enfrentados, como baixa velocidade de processamento e necessidade de uma alta capacidade de armazenamento, a arquitetura cumpriu a sua função de tratar os dados do sistema Portal da Transparência e fornecer informações mais estruturadas para a população, acessíveis através de um outro sistema desen-volvido. A sua robustez e confiabilidade permite que a mesma possa ser utilizada em outras fontes de dados.
Com base nos resultados obtidos, pode-se afirmar que a arquitetura Big Data construída, objeto de estudo deste trabalho, atingiu os objetivos de possibilitar a armazenar, processar e fornecer informações para uma grande fonte de dados, de modo que informações fossem criadas a partir deste processamento. Esta arquitetura aplicada na origem de dados escolhida, o Portal da Transparência, viabilizou a criação de uma base de dados de interesse público, demonstrando as ações do governo federal em diversas áreas da sociedade civil sob a ótica de investimentos e despesas de fácil compreensão.
5.2 TRABALHOS FUTUROS
Dada a relevância e a abrangência do tema e as constantes evoluções tecnológicas que surgem a cada momento, a arquitetura Big Data proposta por este trabalho pode ser aprimorada e adaptada para diversos cenários. Seguem algumas sugestões de trabalhos futuros:
o tempo necessário para capturar e processar as informações vindas de uma grande fonte de dados;
• Aplicar a mesma técnica para diferentes fontes de dados, como no Portal da Transparência do Governo de Santa Catarina1 ou de outros municípios, como a
de Palhoça2;
• Cruzar estas informações com outras fontes de dados com o objetivo de formar novas informações, como por exemplo: crescimento populacional, IDH, renda per capita, mortalidade infantil, empregos entre outros. Estas informações podem ser obtidas no site do IBGE (http://www.ibge.gov.br/);
• Estudo e inclusão de outras tecnologias à arquitetura, como o Apache Pig (Lin-guagem de alto nível para sistemas Hadoop que omite a grande complexidade de criar tarefas), Apache Hive (Permite realizar consultas sobre as informações armazenadas pelo sistema de arquivo distribuído do Hadoop, o HDFS), Apache Spark (semelhante ao Hadoop, porém apresenta índices de performance me-lhores ao seu concorrente), Apache Mahout (Biblioteca para sistema de apoio à decisão distribuído para sistemas Hadoop), entre outros.
1 http://sc.transparencia.gov.br/
REFERÊNCIAS
AGRAWAL, D. et al. Challenges and Opportunities with Big Data 2011-1. 2011. Disponível em: <http://docs.lib.purdue.edu/cgi/viewcontent.cgi?article=1000&context= cctech>. Acesso em: 18 Jan. 2015.
APACHE.Apache Hadoop. 2014. Disponível em: <http://wiki.apache.org/hadoop/>. Acesso em: 29 Out. 2014.
ARAÚJO, E. A. de. Informação, sociedade e cidadania: Gestão da informação no contexto de organizações não-governamentais (ONGs) brasileiras. 1999. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-19651999000200008&
nrm=iso>. Acesso em: 6 Set. 2014.
BRASIL. Lei no 12.537 de 18 de novembro de 2011. 2014. Disponível em:
<http://www.planalto.gov.br/ccivil_03/_Ato2011-2014/2011/Lei/L12527.htm>. Acesso em: 31 Aug. 2014.
CIO. Como saber se você está diante de um problema de Big Data. 2012. Disponível em: <http://cio.com.br/opiniao/2012/09/25/
como-saber-se-voce-esta-diante-de-um-problema-de-big-data/>. Acesso em: 27 Set. 2014.
CONDIE, T. et al. MapReduce Online. 2010. Disponível em: <http://db.cs.berkeley. edu/papers/nsdi10-hop.pdf>. Acesso em: 18 Jan. 2015.
Controladoria-Geral da União. Institucional. 2014. Disponível em: <http: //www.cgu.gov.br/sobre/institucional>. Acesso em: 6 Set. 2014.
CRUZ, C. F. et al.Transparência da gestão pública municipal: um estudo a partir dos portais eletrônicos dos maiores municípios brasileiros. 2012. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-76122012000100008&
nrm=iso>. Acesso em: 7 Set. 2014.
DEAN, J.; GHEMAWAT, S.MapReduce: Simplified data processing on large clusters. 2004. Disponível em: <http://research.google.com/archive/mapreduce.html>. Acesso em: 28 Set. 2014.
DEAN, J.; GHEMAWAT, S. MapReduce: A flexible data processing tool. 2010. Disponível em: <http://doi.acm.org/10.1145/1629175.1629198>. Acesso em: 28 Set. 2014.
DUMBILL, E. Making sense of big data. 2013. Disponível em: <http://online. liebertpub.com/doi/pdf/10.1089/big.2012.1503>. Acesso em: 18 Jan. 2015.
EVANGELISTA, L. Controle Social Versus Transparência Pública: Uma questão de cidadania. 2010. Disponível em: <http://portal2.tcu.gov.br/portal/pls/portal/docs/ 2053966.PDF>. Acesso em: 18 Jan. 2015.
GARTNER. Big Data. 2012. Disponível em: <http://www.gartner.com/it-glossary/ big-data/>. Acesso em: 20 Set. 2014.
GIL, A. C. Métodos e técnicas de pesquisa social. São Paulo: Atlas, 2008. v. 6. HECHT, R.; JABLONSKI, S. NoSQL Evaluation. 2011. Disponível em: <http: //rogerking.me/wp-content/uploads/2012/03/DatabaseSystemsPaper.pdf>. Acesso em: 18 Jan. 2015.
HEERDT, M. L.Construindo ética e cidadania todos os dias. Florianópolis: Sophos, 2000.
IBGE.Censo 2010. 2014. Disponível em: <http://www.censo2010.ibge.gov.br/apps/ mapa/>. Acesso em: 16 Nov. 2014.
IDC. Extracting Data from Chaos. 2011. Disponível em: <http://www.emc.com/ collateral/analyst-reports/idc-extracting-value-from-chaos-ar.pdf>. Acesso em: 20 Set. 2014.
MANYIKA, J. et al. Big Data: The next frontier for innovation, competition, and productivity. 2011. Disponível em: <http://www.mckinsey.com/insights/business_ technology/big_data_the_next_frontier_for_innovation>. Acesso em: 20 Set. 2014. MCAFEE, A.; BRYNJOLFSSON, E. Big Data: The management revolution. 2012. Disponível em: <https://hbr.org/2012/10/big-data-the-management-revolution/ar>. Acesso em: 18 Jan. 2015.
MEZZAROBA, O.; MONTEIRO, C. S. Manual de Metodologia da Pesquisa no Direito. São Paulo: Saraiva, 2004. ISBN 8502048694.
MICHAEL., K.; MILLER, K. W.Big Data: New opportunities and new challenges. 2013. Disponível em: <http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6527259>. Acesso em: 18 Jan. 2015.
RATHBONE, M. Real World Hadoop: Implementing a left outer join in map reduce. 2013. Disponível em: <http://blog.matthewrathbone.com/2013/02/09/ real-world-hadoop-implementing-a-left-outer-join-in-hadoop-map-reduce.html>. Acesso em: 28 Set. 2014.
RIFFAT, M. Big data: Not a panacea. ISACA Journal, v. 3, 2014.
SANTOS, D. G. dos. A internet como instrumento de controle social: o portal da transparência do governo federal. 2012. Disponível em: <http:
//bdm.unb.br/bitstream/10483/3983/6/2010_DanielaGomesdosSantos.pdf>. Acesso em: 18 Jan. 2015.
SILVA, E. L. da; MENEZES, E. M. Metodologia da Pesquisa e Elaboração de Dissertação. Florianópolis: UFSC, 2005. Disponível em: <https://projetos.inf.ufsc.br/ arquivos/Metodologia_de_pesquisa_e_elaboracao_de_teses_e_dissertacoes_4ed. pdf>. Acesso em: 4 Out. 2014.
SOLIS, D. E.Fazer filosofia. Rio de Janeiro: Uapê, 1994.
STRAUCH, C. NoSQL databases. 2011. Disponível em: <http://www.christof-strauch. de/nosqldbs.pdf>. Acesso em: 18 Jan. 2015.
VILLARS, R. L.; OLOFSON, C. W.; EASTWOOD, M. Big Data: What it is and why you should care. 2011. Disponível em: <http://sites.amd.com/us/Documents/IDC_AMD_ Big_Data_Whitepaper.pdf>. Acesso em: 18 Jan. 2015.
