B I G D A T A
B I G D A T A E A SUA APLICABILIDADE EM INSTITUIÇÕES FINANCEIRAS E A SUA APLICABILIDADE EM INSTITUIÇÕES FINANCEIRAS
Nome do orientador: Haroldo Luiz dos Santos Nome do orientador: Haroldo Luiz dos Santos Nome do acadêmico: Patrícia de Fátima e
Nome do acadêmico: Patrícia de Fátima e AlmeidaAlmeida
RESUMO RESUMO
Este trabalho apresenta informações sobre o conceito
Este trabalho apresenta informações sobre o conceito big databig data e a sua e a sua aplicabilidade em instituições financeiras que buscam evoluir na mesma aplicabilidade em instituições financeiras que buscam evoluir na mesma velocidade das mudanças comportamentais dos clientes para manterem sua velocidade das mudanças comportamentais dos clientes para manterem sua relevância no mercado.
relevância no mercado. PALAVRAS CHAVE
PALAVRAS CHAVE: BIG DATA, : BIG DATA, HADOOP, NOSQL, INTERNET DAS COISAS,HADOOP, NOSQL, INTERNET DAS COISAS, ANALYTICS.
ANALYTICS.
A B S T R A C T A B S T R A C T
This paper presents information about the Big Data concept and its applicability This paper presents information about the Big Data concept and its applicability to financial institutions seeking to evolve at the same rate
to financial institutions seeking to evolve at the same rate of behavioral changesof behavioral changes of customers to maintain their relevance in the market.
of customers to maintain their relevance in the market.
K E Y W O R D S :
K E Y W O R D S : BIG DATA, HADOOP, NOSQL, INTERNET OF THINGS,BIG DATA, HADOOP, NOSQL, INTERNET OF THINGS,
ANALYTICS. ANALYTICS.
INTRODUÇÃO INTRODUÇÃO Big data
Big data é um conceito que utiliza um conjunto de ferramentas capazes de é um conceito que utiliza um conjunto de ferramentas capazes de capturar, armazenar e analisar em tempo hábil um enorme volume de dados capturar, armazenar e analisar em tempo hábil um enorme volume de dados estruturados e não estruturados, transformando-os em informações úteis que estruturados e não estruturados, transformando-os em informações úteis que podem ajudar as organizações a operar de forma mais eficiente e rentável. podem ajudar as organizações a operar de forma mais eficiente e rentável. Diariamente volumes enormes de dados são gerados no mundo através de Diariamente volumes enormes de dados são gerados no mundo através de transações bancárias, e-mails, logs, sensores, redes sociais, sistemas ERP transações bancárias, e-mails, logs, sensores, redes sociais, sistemas ERP ((Enterprise Resource Planning Enterprise Resource Planning ) entre outros. Se as empresas souberem como) entre outros. Se as empresas souberem como utilizar esses dados poderão saber o que precisa ser feito para melhorar e utilizar esses dados poderão saber o que precisa ser feito para melhorar e personalizar os seus produtos e serviços, entender melhor o seu cliente, personalizar os seus produtos e serviços, entender melhor o seu cliente, desenvolver campanhas de marketing direcionadas, disponibilizar serviços desenvolver campanhas de marketing direcionadas, disponibilizar serviços parapara clientes especiais, escolher os melhores talentos para a sua empresa, melhorar clientes especiais, escolher os melhores talentos para a sua empresa, melhorar a segurança digital e assim por diante.
a segurança digital e assim por diante.
Grande parte destas informações são disponibilizadas atualmente pelas Grande parte destas informações são disponibilizadas atualmente pelas gerações Y e Z que
gerações Y e Z que nasceram em uma época de grandes avanços tecnológicos.nasceram em uma época de grandes avanços tecnológicos. Estas gerações são compostas por pessoas acostumadas a criar, consumir e Estas gerações são compostas por pessoas acostumadas a criar, consumir e divulgar conteúdos e que pela quantidade de acessos às informações são divulgar conteúdos e que pela quantidade de acessos às informações são consumidores extremamente exigentes.
consumidores extremamente exigentes.
Esta ‘explosão de dados’ será ainda maior com a Internet das
Esta ‘explosão de dados’ será ainda maior com a Internet das Coisas (rede deCoisas (rede de dispositivos conectados que se comunicam entre si),
dispositivos conectados que se comunicam entre si), quando vários dispositivosquando vários dispositivos das nossas casas tais como T
das nossas casas tais como TVs, lavadoras de roupa, cafeteiras, Vs, lavadoras de roupa, cafeteiras, computadorescomputadores e smartphones estiverem conectados à internet e gerando dados.
e smartphones estiverem conectados à internet e gerando dados. Inicialmente a IBM definiu que uma solução
Inicialmente a IBM definiu que uma solução big databig data se baseava em 3 Vs: se baseava em 3 Vs: Volume (quantidade de dados que crescem exponencialmente), Velocidade Volume (quantidade de dados que crescem exponencialmente), Velocidade (obtenção, gravação e transformação dos dados em tempo hábil ou até mesmo (obtenção, gravação e transformação dos dados em tempo hábil ou até mesmo em tempo real) e Variedade (formato estruturado ou não). Veracidade (qualidade em tempo real) e Variedade (formato estruturado ou não). Veracidade (qualidade dos dados) e Valor (agregação de valor que compense o investimento) surgiram dos dados) e Valor (agregação de valor que compense o investimento) surgiram posteriormente.
posteriormente. Antes as empresas
Antes as empresas já trabalhavam cojá trabalhavam com soluções dem soluções de Business IntelligenceBusiness Intelligence,, DataData Mining
data
data aparece neste cenário agregando volume de dados, inteligência às aparece neste cenário agregando volume de dados, inteligência às soluções e utilizando-se de análise preditiva para antecipar possíveis soluções e utilizando-se de análise preditiva para antecipar possíveis comportamentos, permitindo assim a geração de insights poderosos com os comportamentos, permitindo assim a geração de insights poderosos com os quais as empresas podem obter vantagens de negócio.
quais as empresas podem obter vantagens de negócio. A previsão é que as marcas q
A previsão é que as marcas que se prepararem melhor para obteue se prepararem melhor para obter inteligência ar inteligência a partir das informações geradas pelos consumidores nesse novo ambiente, partir das informações geradas pelos consumidores nesse novo ambiente, estarão na dianteira dessa nova era e
estarão na dianteira dessa nova era e serão as empresas do futuro.serão as empresas do futuro.
Como usuárias deste poderoso conceito surgem as instituições financeiras que Como usuárias deste poderoso conceito surgem as instituições financeiras que enfrentam o desafio de alcançar o seu espaço neste universo online o quanto enfrentam o desafio de alcançar o seu espaço neste universo online o quanto antes já que inovações como bancos totalmente digitais, Google Wallet e antes já que inovações como bancos totalmente digitais, Google Wallet e Square, iZettle e Alipay estão penetrando no território bancário, apresentando Square, iZettle e Alipay estão penetrando no território bancário, apresentando um novo desafio
um novo desafio competitivo.competitivo.
Segundo a Accenture, até 2020 mais de 30%
Segundo a Accenture, até 2020 mais de 30% das receitas bancárias estarão emdas receitas bancárias estarão em risco para esses novos competidores e tendências e que 40% dos clientes risco para esses novos competidores e tendências e que 40% dos clientes gostariam que empresas como Apple e Amazon oferecessem serviços gostariam que empresas como Apple e Amazon oferecessem serviços financeiros.
PROBLEMA DE PESQUISA PROBLEMA DE PESQUISA Como o
Como o big databig data pode ajudar as instituições financeiras a se destacarem no pode ajudar as instituições financeiras a se destacarem no mercado e a não sucumbirem
mercado e a não sucumbirem diante dos novos concorrentes?diante dos novos concorrentes?
OBJETIVO PRINCIPAL OBJETIVO PRINCIPAL
Identificar as aplicabilidades do conceito
Identificar as aplicabilidades do conceito big databig data nas Instituições Financeiras nas Instituições Financeiras com objetivo de torná-las ainda mais
com objetivo de torná-las ainda mais competitivas.competitivas.
OBJETIVOS ESPECÍFICOS OBJETIVOS ESPECÍFICOS
- Compreender o conceito Big Data, seus benefícios, aplicabilidades e as - Compreender o conceito Big Data, seus benefícios, aplicabilidades e as questões de ética e de privacidade que o
questões de ética e de privacidade que o envolvem;envolvem;
- Descrever de forma sucinta a infraestrutura e tecnologia necessárias para - Descrever de forma sucinta a infraestrutura e tecnologia necessárias para utilização do conceito Big Data, as
utilização do conceito Big Data, as formas de geração, captura, armazenamento,formas de geração, captura, armazenamento, processamento e análise dos dados e identificar quem
processamento e análise dos dados e identificar quem são os consumidores dossão os consumidores dos dados e informações geradas;
dados e informações geradas; - Identificar como o
- Identificar como o big databig data pode ajudar as Instituições Financeiras na tomada pode ajudar as Instituições Financeiras na tomada de decisões estratégicas, na geração de informações gerenciais para fins de decisões estratégicas, na geração de informações gerenciais para fins regulatórios e na redução de perdas com operações fraudulentas.
REFERENCIAL TEÓRICO REFERENCIAL TEÓRICO
B I G D A T A
B I G D A T A – – Um pouco de história Um pouco de história
Atualmente temos várias
Atualmente temos várias suposições sobre o nascimento do suposições sobre o nascimento do conceitoconceito Big DataBig Data.. Seguem abaixo alguns deles:
Seguem abaixo alguns deles:
““ A história A história de como de como os dados os dados se tornaram se tornaram grandes começa muitos grandes começa muitos anosanos antes da atual febre em torno do conceito
antes da atual febre em torno do conceito big databig data. Há 70 anos atrás,. Há 70 anos atrás, encontramos as primeiras tentativas de quantificar a taxa de crescimento encontramos as primeiras tentativas de quantificar a taxa de crescimento do volume de dados ou o que popularmente é conhecida
do volume de dados ou o que popularmente é conhecida como acomo a ‘‘explosãoexplosão da informação
da informação’”’”. (Gil Press da. (Gil Press da Forbes MagazineForbes Magazine, 2013)., 2013).
““O termoO termo big databig data nasceu no início da década de 1990, na NASA, para nasceu no início da década de 1990, na NASA, para descrever grandes conjuntos de dados complexos que desafiam os
descrever grandes conjuntos de dados complexos que desafiam os limiteslimites computacionais tradicionais de captura, processamento, análise e computacionais tradicionais de captura, processamento, análise e armazenamento informacional.
armazenamento informacional.”” (Rodrigo Arrigoni, 2013). (Rodrigo Arrigoni, 2013).
““O conceitoO conceito big databig data começou a ser discutido a cerca de 70 anos, a começou a ser discutido a cerca de 70 anos, a produção escrita da humanidade crescia a
produção escrita da humanidade crescia a taxas exponenciais e o acessotaxas exponenciais e o acesso à informação enfrentava grandes desafios devido ao seu volume. Essa à informação enfrentava grandes desafios devido ao seu volume. Essa discussão restringia-se ao universo da filosofia, já que a tecnologia da discussão restringia-se ao universo da filosofia, já que a tecnologia da informação ainda estava em etapa embrionária
informação ainda estava em etapa embrionária.”.”(Marcos Vieira, 2014).(Marcos Vieira, 2014). ““O termoO termobig databig data é relativamente novo e é relativamente novo e ao mesmo tempo velho, surgindoao mesmo tempo velho, surgindo por volta de 2005
por volta de 2005 com o Google e recebeu uma alavancada em 2008 comcom o Google e recebeu uma alavancada em 2008 com o pessoal do Yahoo que transformou a plataforma
o pessoal do Yahoo que transformou a plataforma HadoopHadoop emem OpenOpen Source
Source..”” (Alexandre Tarifa e Diego Nogare, 2015). (Alexandre Tarifa e Diego Nogare, 2015).
“B
“Big dataig data é um nome relativamente recente (ou, ao menos, começou a é um nome relativamente recente (ou, ao menos, começou a aparecer na mídia recentemente) [...] Há tempos que departamentos de aparecer na mídia recentemente) [...] Há tempos que departamentos de TI contemplam aplicações de
TI contemplam aplicações de Data Data Mining Mining ,, BusinessBusiness Intelligence
para tratar justamente de análise de dados, tomadas de decisões e outros para tratar justamente de análise de dados, tomadas de decisões e outros aspectos relacionados ao negócio.
aspectos relacionados ao negócio.”” (Emerson Alecrim, 2015). (Emerson Alecrim, 2015).
B I G D A T A
B I G D A T A – – Um conceito Um conceito
Abaixo conceitos de
Abaixo conceitos de big databig data segundo alguns autores: segundo alguns autores:
“
“ Big dataBig data é um termo utilizado para descrever o conjunto de soluções é um termo utilizado para descrever o conjunto de soluções tecnológicas ou uma ciência feita a partir das megabases de dados tecnológicas ou uma ciência feita a partir das megabases de dados disponíveis na internet, que analisam e dão sentido a essas informações. disponíveis na internet, que analisam e dão sentido a essas informações.”” (Carolina Cunha, 2015).
(Carolina Cunha, 2015).
““Um conceito criado pelo mercado relacionando novas arquiteturasUm conceito criado pelo mercado relacionando novas arquiteturas tecnológicas à capacidade de analisar qualquer volume e variedade de tecnológicas à capacidade de analisar qualquer volume e variedade de informações em uma velocidade próxima ao tempo real, abrindo novas informações em uma velocidade próxima ao tempo real, abrindo novas possibilidades a nível de negócio.
possibilidades a nível de negócio.”” (Jefferson Stela). (Jefferson Stela).
““Podemos definir o conceito dePodemos definir o conceito de big databig data como sendo conjuntos de dados como sendo conjuntos de dados extremamente amplos e que, por este motivo,
extremamente amplos e que, por este motivo, necessitam de ferramentasnecessitam de ferramentas especialmente preparadas para lidar com grandes volumes, de
especialmente preparadas para lidar com grandes volumes, de forma queforma que toda e qualquer informação nestes meios possa ser
toda e qualquer informação nestes meios possa ser encontrada, analisadaencontrada, analisada e aproveitada em tempo hábil.
e aproveitada em tempo hábil.”” (Emerson Alecrim, 2015). (Emerson Alecrim, 2015).
““É a ponta doÉ a ponta do iceberg iceberg de uma tendência maior que a gente esta vivendo de uma tendência maior que a gente esta vivendo na sociedade hoje. É a tendência de
na sociedade hoje. É a tendência de automação do processo de produçãoautomação do processo de produção de bens de informação... desde os dados brutos até os resultados das de bens de informação... desde os dados brutos até os resultados das análise [...]
análise [...] Big dataBig data é um pedacinho deste contexto. é um pedacinho deste contexto.”” (Thoran) (Thoran)
B I G D A T A
Em 2001, Doug Laney
Em 2001, Doug Laney (analista da(analista da Gartner Gartner ) baseou a definição do termo) baseou a definição do termo big databig data em três Vs: Volume,
em três Vs: Volume, Velocidade e Variedade.Velocidade e Variedade. Cézar Taurion definiu big data
Cézar Taurion definiu big data inicialmente como sendo a soma inicialmente como sendo a soma destes mesmosdestes mesmos 33‘‘VsVs’’. Posteriormente acrescentou os. Posteriormente acrescentou os ‘‘VVs’ veracidade e valor e ressaltou que ass’ veracidade e valor e ressaltou que as oportunidades que esses 5 ‘Vs’ trazem não podem ser desperdiças.
oportunidades que esses 5 ‘Vs’ trazem não podem ser desperdiças.
O Sebrae Nacional define os
O Sebrae Nacional define os 5 ‘Vs’5 ‘Vs’ conforme abaixo:conforme abaixo: Volume
Volume – – São informações medidas em São informações medidas em ZetabytesZetabytes que são que são compostas porcompostas por e-mails, mensagens, vídeos, fotos, imagens e comentários que circulam e-mails, mensagens, vídeos, fotos, imagens e comentários que circulam na rede.
na rede. Variedade
Variedade – – São dados estruturado e não estruturados que por São dados estruturado e não estruturados que por não teremnão terem padrão exigem um maior esforço na análise.
padrão exigem um maior esforço na análise. Velocidade
Velocidade – – É a possibilidade de obter dados sobre determinado É a possibilidade de obter dados sobre determinado fenômeno em tempo real diminuindo o tempo entre a obtenção da fenômeno em tempo real diminuindo o tempo entre a obtenção da informação e a tomada de decisão.
informação e a tomada de decisão. Veracidade
Veracidade – – São dados fidedignos porque São dados fidedignos porque representam interações reaisrepresentam interações reais em redes sociais ou rastros de
em redes sociais ou rastros de navegação.navegação. Valor
Valor – – As informações devem gerar valor para As informações devem gerar valor para o negócio.o negócio.
B I G D A T A
B I G D A T A – – Diferenças para o CRM e BI Diferenças para o CRM e BI
Em 2014, Edson Cardoso diferenciou o
Em 2014, Edson Cardoso diferenciou o conceitoconceito big databig data do BI e CRM de forma do BI e CRM de forma brilhante.
brilhante.
Para ele, CRM é uma ferramenta para análise de comportamento e Para ele, CRM é uma ferramenta para análise de comportamento e relacionamento com os clientes com a
que permite conhecer o perfil do público atendido, separado por critérios como que permite conhecer o perfil do público atendido, separado por critérios como regiões de atuação, ramo de vendas e horários de
regiões de atuação, ramo de vendas e horários de frequência e compras.frequência e compras. O Big Data é mais
O Big Data é mais abrangente porque engloba ferramentas que permite interagirabrangente porque engloba ferramentas que permite interagir e coletar dados de diversas fontes tais como: bancos de dados internos, e coletar dados de diversas fontes tais como: bancos de dados internos, sistemas ERP, redes sociais e até mesmo do CRM.
sistemas ERP, redes sociais e até mesmo do CRM.
O BI normalmente entrega análise de informações passadas que são extraídas O BI normalmente entrega análise de informações passadas que são extraídas das bases locais e analisadas e entregues em
das bases locais e analisadas e entregues em dashboards.dashboards. Já oJá o big databig data interpreta cenários e faz projeções antecipando possíveis acontecimentos interpreta cenários e faz projeções antecipando possíveis acontecimentos tornando a vida corporativa mais fácil.
tornando a vida corporativa mais fácil.
Todas as soluções que possuem os 5 V’s po
Todas as soluções que possuem os 5 V’s podem ser dem ser consideradasconsideradas big databig data..
B I G D A T A
B I G D A T A – – Geração de Geração de conteúdoconteúdo
As f
As fontes de ontes de geração de geração de conteúdo que conteúdo que impulsiona e impulsiona e serve como serve como base para base para osos resultados do conceito big data são diversas. Em
resultados do conceito big data são diversas. Em 2014, a IBM definiu que 2014, a IBM definiu que estasestas fontes podem vir de todos os canais e podem ser internos e externos às fontes podem vir de todos os canais e podem ser internos e externos às empresas.
empresas.
Segundo a IBM (2013), 90% das informações disponíveis no mundo foram Segundo a IBM (2013), 90% das informações disponíveis no mundo foram geradas entre 2010 e 2012 e
geradas entre 2010 e 2012 e dobrará até o final dobrará até o final de 2015 com uma geração diáriade 2015 com uma geração diária 2,5 exabytes de conteúdo. Esta quantidade de dados é tão grande que a única 2,5 exabytes de conteúdo. Esta quantidade de dados é tão grande que a única maneira de aproveitá-la é
maneira de aproveitá-la é utilizando automação máquina a máquina ou consultautilizando automação máquina a máquina ou consulta inteligente de
inteligente de big databig data..
Cézar Taurion afirmou em 2012 que o volume de dados do planeta dobra
Cézar Taurion afirmou em 2012 que o volume de dados do planeta dobra
a cada 18 meses e
a cada 18 meses e que a geração diária chega a
que a geração diária chega a
petabytes petabytesde dados. Ele
de dados. Ele
ressaltou também o ‘V’ variedade ao escrever que estes dados sãoressaltou também o ‘V’ variedade ao escrever que estes dados sãogeradosgerados
a partir de sistemas estruturados e não estruturados tais como:
a partir de sistemas estruturados e não estruturados tais como: emailsemails, mídias, mídias sociais (
apresentações estilo
apresentações estilo Powerpoint Powerpoint , mensagens instantâneas, sensores, etiquetas, mensagens instantâneas, sensores, etiquetas RFID e câmeras de vídeo.
RFID e câmeras de vídeo. Em seu site, a
Em seu site, a Hekima (2015) descreve que tudo é matéria prima para oHekima (2015) descreve que tudo é matéria prima para o big databig data.. Segundo ela, as empresas podem utilizar desde banco de dados de call center Segundo ela, as empresas podem utilizar desde banco de dados de call center até conteúdo de planilhas financeiras e contábeis para conhecerem melhor os até conteúdo de planilhas financeiras e contábeis para conhecerem melhor os seus clientes e concorrentes e preverem tendências.
seus clientes e concorrentes e preverem tendências.
Carolina cunha (2015) atribui a grande geração de informação atual à utilização Carolina cunha (2015) atribui a grande geração de informação atual à utilização de aplicativos de celular e tablet, GPS e câmeras, à interação em canais digitais de aplicativos de celular e tablet, GPS e câmeras, à interação em canais digitais tais como sites e redes sociais além da geração de dados pelos sensores e tais como sites e redes sociais além da geração de dados pelos sensores e equipamentos médicos. Ela ainda afirma que um dos impulsionadores do equipamentos médicos. Ela ainda afirma que um dos impulsionadores do conceito big data é a ascensão da Internet das Coisas com dispositivos que conceito big data é a ascensão da Internet das Coisas com dispositivos que podem gerar dados sobre meio-ambiente,
podem gerar dados sobre meio-ambiente, cidades, energia, saúde, entre outros.cidades, energia, saúde, entre outros. A revista Super Interes
A revista Super Interessante (2012) cita os csante (2012) cita os cookies como impreookies como imprescindíveis ao bigscindíveis ao big data ao ajudarem a conhecer melhor o
data ao ajudarem a conhecer melhor o internauta.internauta.
Jefferson Stela acrescenta que grande parte das informações usadas em Jefferson Stela acrescenta que grande parte das informações usadas em decisões são estruturadas e que as informações não estruturadas podem decisões são estruturadas e que as informações não estruturadas podem agregar ainda mais valor para as empresas e os consumidores. Ele cita como agregar ainda mais valor para as empresas e os consumidores. Ele cita como exemplo de dados não estruturados o conteúdo de redes sociais, vídeos, exemplo de dados não estruturados o conteúdo de redes sociais, vídeos, sensores, voz e dados de maquinas.
sensores, voz e dados de maquinas.
Em 2014, Paschoal Pipolo mencionou também a importância dos dados não Em 2014, Paschoal Pipolo mencionou também a importância dos dados não estruturados. Vide abaixo sua opinião sobre os dados gerado a partir da estruturados. Vide abaixo sua opinião sobre os dados gerado a partir da interação com o mundo digital:
interação com o mundo digital: “Aplicativos sociais como
“Aplicativos sociais como Facebook, Twitter, Linkedin, Waze, Foursquare, YouTube,Facebook, Twitter, Linkedin, Waze, Foursquare, YouTube, TripAdvisor
TripAdvisor , permitem que nos expressemos livremente e que nossas opiniões possam, permitem que nos expressemos livremente e que nossas opiniões possam ser vistas e ouvidas em qualquer lugar do planeta. Ao interagirmos com esse mundo ser vistas e ouvidas em qualquer lugar do planeta. Ao interagirmos com esse mundo digital passamos, ainda que inconscientemente, a deixar marcas e revelar quem somos, digital passamos, ainda que inconscientemente, a deixar marcas e revelar quem somos, como agimos e como nos posicionamos perante qualquer assunto, permitindo o como agimos e como nos posicionamos perante qualquer assunto, permitindo o estabelecimento de conexões em todos os níveis. [...] Diariamente, por meio desses estabelecimento de conexões em todos os níveis. [...] Diariamente, por meio desses
dispositivos e conexões, compartilhamos 30 bilhões de
dispositivos e conexões, compartilhamos 30 bilhões de informações, 10 bilhões da quaisinformações, 10 bilhões da quais relativas a novas mensagens n
relativas a novas mensagens no Facebook e 500 milhões de tweets [...].”o Facebook e 500 milhões de tweets [...].”
Marcos Panichi (2012), líder da área de soluções de
Marcos Panichi (2012), líder da área de soluções de Information Information ManagementManagement da IBM, conclui que esta grande geração de informações, que foi a da IBM, conclui que esta grande geração de informações, que foi a impulsionadora da era big data, está diretamente relacionada com a forma de impulsionadora da era big data, está diretamente relacionada com a forma de trabalhar da geração Y, sempre em equipe e
trabalhar da geração Y, sempre em equipe e conectada em redes sociais.conectada em redes sociais.
B I G D A T A
B I G D A T A - Tecn- Tecnologia ologia e Infre Infraestruturaaestrutura
Cézar Taurion esclareceu em 2012, que tecnologias como o modelo relacional Cézar Taurion esclareceu em 2012, que tecnologias como o modelo relacional utilizado pelas empresas para armazenarem e gerenciarem os dados gerados utilizado pelas empresas para armazenarem e gerenciarem os dados gerados pelos sistemas internos não suportam dados não estruturados e em grande pelos sistemas internos não suportam dados não estruturados e em grande volume utilizados pelo
volume utilizados pelo big databig data..
Segundo ele, as tecnologias que sustentam o conceito big data
Segundo ele, as tecnologias que sustentam o conceito big data são assão as Analytics Analytics,, tendo
tendo HadoopHadoop ee MapReduceMapReduce como nomes principais, e as tecnologias de como nomes principais, e as tecnologias de infraestrutura como os bancos de dados
infraestrutura como os bancos de dados NoSQL (Not Only SQL) NoSQL (Not Only SQL) que armazenamque armazenam e processam os
e processam os petabytes petabytes de dados. Cita também: de dados. Cita também: - Sistemas colunares como o
- Sistemas colunares como o Big TableBig Tablequeque sãosão usados internamente pelo usados internamente pelo Google;
Google; - Modelo
- Modelo Key/valueKey/value como DynamoDB da Amazon; como DynamoDB da Amazon; - Modelo
- Modelo document databasedocument database baseado no conceito proposto pelo Lotus baseado no conceito proposto pelo Lotus Notes da IBM e aplicado em
Notes da IBM e aplicado em softwaressoftwares como MongoDB; como MongoDB; - Modelo baseado em grafos como o Neo4j.
- Modelo baseado em grafos como o Neo4j. Para a IBM (2013), os aplicativos de
Para a IBM (2013), os aplicativos de big databig data precisam muitas vezes de soluções precisam muitas vezes de soluções que incluem APIs baseadas na nuvem para fazer interface com pesquisas que incluem APIs baseadas na nuvem para fazer interface com pesquisas colunares avançadas, algoritmos de aprendizado de máquina e analítica colunares avançadas, algoritmos de aprendizado de máquina e analítica avançada, como visão de computador, analítica de vídeo e ferramentas de avançada, como visão de computador, analítica de vídeo e ferramentas de visualização.
B I G D A T A
B I G D A T A – – Captura de conteúdo Captura de conteúdo
Segundo a IBM (2014), os dados são coletados diretamente ou através de Segundo a IBM (2014), os dados são coletados diretamente ou através de provedores de dados, em tempo real ou em modo em lote.
provedores de dados, em tempo real ou em modo em lote. Marcos Vieira (2014) relata a fase de
Marcos Vieira (2014) relata a fase de captura de dados como uma etapa em quecaptura de dados como uma etapa em que o trabalho varia muito de
o trabalho varia muito de acordo com o volume e a acordo com o volume e a complexidade dos dados.complexidade dos dados. Segundo ele, algumas fontes como
Segundo ele, algumas fontes como Google Analytics, Facebook, Twitter,Google Analytics, Facebook, Twitter, ferramentas de
ferramentas de Email Marketing Email Marketing e alguns publicadores de conteúdo possuem e alguns publicadores de conteúdo possuem extratores já programados, caso contrário
extratores já programados, caso contrário será necessário o desenvolvimento deserá necessário o desenvolvimento de um webservice para tal função.
um webservice para tal função.
“
“ Quando se faz necessário coletar dados de páginas, sejam estáticas ou dinâmicas, éQuando se faz necessário coletar dados de páginas, sejam estáticas ou dinâmicas, é necessário entender a estrutura dos dados contidos nessa página a fim de desenvolver necessário entender a estrutura dos dados contidos nessa página a fim de desenvolver um crawler capaz de buscar e armazenar esses dados. Quando a página não possui API um crawler capaz de buscar e armazenar esses dados. Quando a página não possui API de consumo ou a API possui limites indesejados, é possível utilizar ferramentas para de consumo ou a API possui limites indesejados, é possível utilizar ferramentas para capturar as páginas e extrair os dados sem a utilização de APIs
capturar as páginas e extrair os dados sem a utilização de APIs.”..”. (Node, 2014).(Node, 2014).
A
A Graph API Graph API e e aa Public Feed API Public Feed API são utilizadas para consumo de dados são utilizadas para consumo de dados disponibilizados pelo Facebook. A diferença entre as duas é que a
disponibilizados pelo Facebook. A diferença entre as duas é que a Public FeedPublic Feed API
API possui acesso restrito a um conjunto de editores de mídia e seu uso requer possui acesso restrito a um conjunto de editores de mídia e seu uso requer aprovação prévia. (Facebook, 2014).
aprovação prévia. (Facebook, 2014).
Segundo Eduardo Harada (2015), a Data API v3 é a API mais recente do Segundo Eduardo Harada (2015), a Data API v3 é a API mais recente do YouTube
YouTube e conta com e conta com suporte à utilização de comentários nos suporte à utilização de comentários nos vídeos, legendasvídeos, legendas e notificações.
e notificações. Abaixo
Abaixo Tiago Tiago Cruz Cruz França, França, Fabrício Fabrício Firmino Firmino de de Faria, Faria, Fabio Fabio Medeiros Rangel,Medeiros Rangel, Claudio Miceli de Farias e Jonice Oliveira (2014) descrevem formas e dão Claudio Miceli de Farias e Jonice Oliveira (2014) descrevem formas e dão exemplos de APIs de acesso à dados do Twitter :
exemplos de APIs de acesso à dados do Twitter :
““Normalmente, há duas formas diferentes de coleta de dados das redes sociaisNormalmente, há duas formas diferentes de coleta de dados das redes sociais onlineonline.. A primeira forma consiste em determinar termos e coletar por
A primeira forma consiste em determinar termos e coletar por citações destes termos nocitações destes termos no passado. Desta forma, existe a possibilidade de restrições na obtenção de dados antigos, passado. Desta forma, existe a possibilidade de restrições na obtenção de dados antigos,
pois normalmente há um período de tempo viável para a coleta dos dados. A segunda pois normalmente há um período de tempo viável para a coleta dos dados. A segunda se baseia em um conceito de
se baseia em um conceito de streaming streaming , onde a aplicação criada funciona como um, onde a aplicação criada funciona como um ‘ouvinte’ da rede e captura os dados à medida que estes surgem.
‘ouvinte’ da rede e captura os dados à medida que estes surgem.[...] O[...] O Twitter Twitter é uma é uma rede social
rede socialonlineonlineque possui duas APIs diferentes para a captura dos que possui duas APIs diferentes para a captura dos seus dados: RESTseus dados: REST API e
API e Streaming API Streaming API . [...] O. [...] OTwitter Twitter trabalha com o padrão de arquivo JSON (JavaScript trabalha com o padrão de arquivo JSON (JavaScript Object Notation). Todos os dados são recebidos nesse formato.
Object Notation). Todos os dados são recebidos nesse formato.””
B I G D A T A
B I G D A T A - Armazenamento - Armazenamento
Carolina Cunha (2015) reforça que os Sistemas de Gerenciamento de Banco de Carolina Cunha (2015) reforça que os Sistemas de Gerenciamento de Banco de Dados Relacional, embora tenha sido um dos grandes desenvolvimento Dados Relacional, embora tenha sido um dos grandes desenvolvimento tecnológicos em computação do século passado, não são compatíveis com os tecnológicos em computação do século passado, não são compatíveis com os dados não estruturados.
dados não estruturados.
Para solucionar este problema, a IBM (2014) cita o
Para solucionar este problema, a IBM (2014) cita o distributed file storagedistributed file storage (DFS), (DFS), nuvem e NoSQL como opções de armazenamento para estes dados.
nuvem e NoSQL como opções de armazenamento para estes dados.
Emerson Alecrim justifica que os bancos de dados tradicionais não são Emerson Alecrim justifica que os bancos de dados tradicionais não são adequados para tratar grandes volumes de dados não estruturados por serem adequados para tratar grandes volumes de dados não estruturados por serem menos
menos flexíveis. Cflexíveis. Como solução omo solução ele cita ele cita também também o conceo conceito NoSQito NoSQL L queque possibilita o armazenamento de diversas formas e é compatível com um grupo possibilita o armazenamento de diversas formas e é compatível com um grupo
de premissas que compete com as propriedades ACID
de premissas que compete com as propriedades ACID
(( Atomicity Atomicity ,, Consistency Consistency ,, IsolationIsolation e eDurability)Durability): a: aBASE BASE ( (Basically AvailableBasically Available,, SoftSoft state
state,, Eventually consistency)Eventually consistency)..
A
A seguir seguir alguns alguns exemplos exemplos de de bancos bancos de de dado dado NoSQL NoSQL segundo segundo EmersonEmerson Alecrim:
Alecrim: Cassandra,Cassandra, MongoDB, MongoDB, HBase, HBase, CouchDB CouchDB e oe o Redis. Redis.
BIG DATA
BIG DATA - Processame- Processamento e nto e análiseanálise
Renna Setti ressalta que o grande diferencial das soluções big data é a análise Renna Setti ressalta que o grande diferencial das soluções big data é a análise de dados não estruturados que dependem do contexto para terem sentido.
Na revista FEBRABAN de 2014, Paschoal Pipolo menciona que uso do
Na revista FEBRABAN de 2014, Paschoal Pipolo menciona que uso do big databig data através de
através de analyticsanalytics (um conjunto de (um conjunto de técnicas sofisticadas de análise quantitativatécnicas sofisticadas de análise quantitativa e estatística) aliada ao uso de modelos preditivos pode aumentar a e estatística) aliada ao uso de modelos preditivos pode aumentar a competitividade das empresas e proporcionar diferenciação num mercado competitividade das empresas e proporcionar diferenciação num mercado saturado de produtos similares.
saturado de produtos similares.
Segundo a IBM (2014), esta é uma tarefa complexa que exige processos Segundo a IBM (2014), esta é uma tarefa complexa que exige processos eficientes de alto desempenho com mecanismo de análise com vários fluxos de eficientes de alto desempenho com mecanismo de análise com vários fluxos de trabalho, algoritmos e ferramentas que apoiam
trabalho, algoritmos e ferramentas que apoiam o processamento paralelo.o processamento paralelo.
Para Carolina Cunha (2015), os sistemas e ferramentas implementados para o Para Carolina Cunha (2015), os sistemas e ferramentas implementados para o conceito
conceito big databig data devem combinar matemática, estatística e ciência da devem combinar matemática, estatística e ciência da computação e gerarem resultados em tempo hábil para tomada de decisões. computação e gerarem resultados em tempo hábil para tomada de decisões. Marcos Vieira (2014) descreve a etapa de pr
Marcos Vieira (2014) descreve a etapa de processamento e análise da seguinteocessamento e análise da seguinte forma:
forma:
““Uma vez que os dados já estão todos armazenados e disponíveis de forma adequada,Uma vez que os dados já estão todos armazenados e disponíveis de forma adequada, passamos para a etapa de tratamento e enriquecimento.
passamos para a etapa de tratamento e enriquecimento. A
A matéria matéria de de tratamento tratamento algorítmico algorítmico abrange: abrange: criação criação de de índices, índices, aplicação aplicação estatísticaestatística indutiva (análise de comportamento e clusters), modelagem preditiva (estimativa indutiva (análise de comportamento e clusters), modelagem preditiva (estimativa resultados futuros) e de algoritmos relativos a natureza de dados (processamento de resultados futuros) e de algoritmos relativos a natureza de dados (processamento de imagens, análise semântica de textos, etc).
imagens, análise semântica de textos, etc).
Esses processos têm grande dependência do resultado final que se deseja. Cada Esses processos têm grande dependência do resultado final que se deseja. Cada empresa possui uma necessidade e/ou uma capacidade técnica de aplicar alguns ou empresa possui uma necessidade e/ou uma capacidade técnica de aplicar alguns ou vários dos métodos citados.
vários dos métodos citados. As habilidades necessárias
As habilidades necessárias nessa etanessa etapa se dpa se dividem sobretudo ividem sobretudo entre conhecimentos entre conhecimentos dede economia (econometria), computação, matemática e estatística. Com
economia (econometria), computação, matemática e estatística. Com o se pode imaginaro se pode imaginar é muito difícil que uma empresa possua uma equipe que domine todas essa técnicas, é muito difícil que uma empresa possua uma equipe que domine todas essa técnicas, tanto mais difícil é encontrar um profissional que, sozinho, consiga resolver todas elas. tanto mais difícil é encontrar um profissional que, sozinho, consiga resolver todas elas. O padrão no mercado é terceirizar projetos com empresas especializadas que já O padrão no mercado é terceirizar projetos com empresas especializadas que já acumulam
Marcos Vieira ainda lista algumas técnicas que podem ser utilizadas na busca Marcos Vieira ainda lista algumas técnicas que podem ser utilizadas na busca dos dados. São elas:
dos dados. São elas: Análise Semântica, Análise Preditiva Análise Semântica, Análise Preditiva e Análise de Cluster e Análise de Cluster Emerson Alecrim cita a plataforma
Emerson Alecrim cita a plataforma openopensource Hadoopsource Hadoop como uma solução para como uma solução para o processamento e análise de grandes volumes de dados estruturados e não o processamento e análise de grandes volumes de dados estruturados e não estruturados e a tecnologia de
estruturados e a tecnologia de MapReduceMapReduce como um modelo de programação como um modelo de programação que distribui o processamento a ser realizado entre vários computadores para que distribui o processamento a ser realizado entre vários computadores para ajudar o seu mecanismo de busca a ficar mais rápido
ajudar o seu mecanismo de busca a ficar mais rápido e livre da necessidades dee livre da necessidades de servidores poderosos e caros.
servidores poderosos e caros. Abaixo as r
Abaixo as razões, segundo Emerson Alecrim, azões, segundo Emerson Alecrim, dodo HadoopHadoop ser considerado uma ser considerado uma solução adequada para o
solução adequada para o big data:big data: - Por ser um projeto
- Por ser um projeto open sourceopen source, permite modificações para fins de, permite modificações para fins de customização e o torna suscetível a melhorias constantes graças à
customização e o torna suscetível a melhorias constantes graças à sua rede desua rede de colaboração;
colaboração;
- Não exige o pagamento de licenças e suporta
- Não exige o pagamento de licenças e suporta hardwarehardware convencional tornando convencional tornando os projetos mais baratos;
os projetos mais baratos; - Tem recursos de t
- Tem recursos de tolerância a falhas, como replicação de dados;olerância a falhas, como replicação de dados; - É escalável, isto
- É escalável, isto é, permite o acréscimo de é, permite o acréscimo de computadores sem necessidade decomputadores sem necessidade de realizar reconfigurações complexas no sistema.
realizar reconfigurações complexas no sistema.
BIG DATA
BIG DATA - Consumidores d- Consumidores dos dados os dados e informaçõese informações
Em 2014 a IBM definiu como consumidores
Em 2014 a IBM definiu como consumidores das informações geradas pelo
das informações geradas pelo
conceito big data os aplicativos de visualização, seres humanos,
conceito big data os aplicativos de visualização, seres humanos,
processos de negócios ou serviços.
Paschoal Pipolo ressalta, na revista FEBRABAN de 2014, a importância das Paschoal Pipolo ressalta, na revista FEBRABAN de 2014, a importância das ferramentas de visualização. Segundo ele, estas ferramentas auxiliam as áreas ferramentas de visualização. Segundo ele, estas ferramentas auxiliam as áreas de negócio a interpretarem as informações geradas pelo
de negócio a interpretarem as informações geradas pelo big databig data e muitas vezes e muitas vezes possibilitam a descoberta e exploração visual de padrões e a identificação de possibilitam a descoberta e exploração visual de padrões e a identificação de relacionamentos, de maneira eficiente e
relacionamentos, de maneira eficiente e sem necessidade de programação. Elesem necessidade de programação. Ele cita o tableau como exemplo de ferramenta.
cita o tableau como exemplo de ferramenta.
BIG DATA - Benefícios BIG DATA - Benefícios
Jefferson Stela esclarece que: Jefferson Stela esclarece que:
““Big dataBig data não é uma tecnologia específica e, quando tratamos deste assunto focando não é uma tecnologia específica e, quando tratamos deste assunto focando nessa parte técnica, abstraímos aquilo de melhor que este novo conceito traz ao nessa parte técnica, abstraímos aquilo de melhor que este novo conceito traz ao mercado: a capacidade real de transformar o negócio mudando a maneira como mercado: a capacidade real de transformar o negócio mudando a maneira como analisamos as informações usadas em tomadas de decisão. Consumidores passarão a analisamos as informações usadas em tomadas de decisão. Consumidores passarão a serem tratados como únicos e serão mais entendidos em relação a anseios, desejos e serem tratados como únicos e serão mais entendidos em relação a anseios, desejos e comportamento. [...] Do outro lado empresas passarão a se beneficiar dessas comportamento. [...] Do outro lado empresas passarão a se beneficiar dessas informações e entenderão qual cliente precisa de qual produto ou serviço. Os benefícios, informações e entenderão qual cliente precisa de qual produto ou serviço. Os benefícios, de ambos os lados, são inúmeros, basicamente depende da criatividade de quem cria e de ambos os lados, são inúmeros, basicamente depende da criatividade de quem cria e atrelado a necessidade de quem usa.”
atrelado a necessidade de quem usa.”
Para Manyika, o grande benefício do big data é permitir a análise de qualquer Para Manyika, o grande benefício do big data é permitir a análise de qualquer tipo de informação digital em tempo real, gerando base para a tomada de tipo de informação digital em tempo real, gerando base para a tomada de decisões e consequentemente melhorando a competitividade, produtividade, decisões e consequentemente melhorando a competitividade, produtividade, inovação e benefícios ao consumidor.
inovação e benefícios ao consumidor.
Segundo Dyche Apud Computerworld (2013), o verdadeiro fascínio do big data Segundo Dyche Apud Computerworld (2013), o verdadeiro fascínio do big data para os executivos é a promessa de
para os executivos é a promessa de inovação.inovação.
B I G D A T A
B I G D A T A - A- Aplicabilidades e plicabilidades e CasesCases
Carolina Cunha cita comos aplicabilidades mais comum do conceito
Carolina Cunha cita comos aplicabilidades mais comum do conceito big databig data: a: a geração de informação para apoio na tomada de decisões, o maior geração de informação para apoio na tomada de decisões, o maior
conhecimento do comportamento do consumidor ou de determinado público e a conhecimento do comportamento do consumidor ou de determinado público e a identificação de tendências.
identificação de tendências. Jefferson Stela afirma que: Jefferson Stela afirma que:
“Não há uma indústria ou área específica que
“Não há uma indústria ou área específica que não se possa aplicar este novo conceito.não se possa aplicar este novo conceito. Basicamente, em todo lugar onde há informação, trabalhada de uma forma criativa e Basicamente, em todo lugar onde há informação, trabalhada de uma forma criativa e estratégica, e que possa trazer um valor agregado como objetivo final, terá credito na estratégica, e que possa trazer um valor agregado como objetivo final, terá credito na utilização de
utilização de Big DataBig Data. Temos desde casos complexos como a utilização na análise de. Temos desde casos complexos como a utilização na análise de sedimentos coletados no fundo de oceanos identificados possíveis melhores pontos de sedimentos coletados no fundo de oceanos identificados possíveis melhores pontos de perfuração de poços petrolíferos, como na utilização de lojas que querem entender se perfuração de poços petrolíferos, como na utilização de lojas que querem entender se um consumidor que comprou um determinado produto pode ser o futuro consumidor de um consumidor que comprou um determinado produto pode ser o futuro consumidor de um outro produto ou serviço específico.”
um outro produto ou serviço específico.”
Segundo a Hekima, as soluções
Segundo a Hekima, as soluções big databig data estão para os gestores modernos como estão para os gestores modernos como um radar está para um piloto de aeronave pois auxiliam a gerarem respostas um radar está para um piloto de aeronave pois auxiliam a gerarem respostas imediatas às mudanças.
imediatas às mudanças.
O site da Hekima cita
O site da Hekima cita também muitas outras aplicabilidades dotambém muitas outras aplicabilidades do big databig data. Seguem. Seguem algumas:
algumas:
““OObig databig data pode ser usado para coibir fraudes pode ser usado para coibir fraudes em sistemas corporativos, compreenderem sistemas corporativos, compreender o consumidor, identificar processos internos ineficientes, entre outras funções. Porta de o consumidor, identificar processos internos ineficientes, entre outras funções. Porta de entrada para entender
entrada para entender mudanças ainda mais profundas mudanças ainda mais profundas na maneira como o ser humanona maneira como o ser humano se relaciona com a tecnologia, essa solução e suas variáveis (como o Social
se relaciona com a tecnologia, essa solução e suas variáveis (como o Social Big DataBig Data,, que trabalha exclusivamente com m
que trabalha exclusivamente com mineração de dados em mídias sociais) é hoje a ineração de dados em mídias sociais) é hoje a maismais importante arma de diferencial competitivo às em
importante arma de diferencial competitivo às em presas ousadaspresas ousadas—— independentemente independentemente do porte
do porte—— e de gestores modernos. e de gestores modernos.””
““Dados capturados de redes sociais comoDados capturados de redes sociais como LinkedIn, FacebookLinkedIn, Facebook ee Twitter Twitter , por exemplo,, por exemplo, podem trazer metadados que acrescentam informações adicionais sobre os usuários, podem trazer metadados que acrescentam informações adicionais sobre os usuários, como geolocalização, o que permitie a um departamento de marketing compreender de como geolocalização, o que permitie a um departamento de marketing compreender de quais regiões surgem o maior percentual de
quais regiões surgem o maior percentual de hashtagshashtags de engajamento. Essa percepção de engajamento. Essa percepção mais apurada possibilita direcionar diferentes trabalhos de
mercados consumidores específicos (garantindo retorno sobre o investimento muito mais mercados consumidores específicos (garantindo retorno sobre o investimento muito mais elevado do que o que seria alcançado em uma campanha feita
elevado do que o que seria alcançado em uma campanha feita ‘às cegas’‘às cegas’).).”” Para Emerson Alecrim, os benefícios que o
Para Emerson Alecrim, os benefícios que o big databig data pode proporcionar com a pode proporcionar com a geração mais eficiente de informações são
geração mais eficiente de informações são:: geração de produtos melhores,geração de produtos melhores, estratégias de marketing mais eficientes, redução de gastos, melhoria no estratégias de marketing mais eficientes, redução de gastos, melhoria no processo de produção, superação de
processo de produção, superação de concorrentes e atendimento personalizadoconcorrentes e atendimento personalizado dos clientes.
dos clientes.
Michael Slaby, diretor de
Michael Slaby, diretor de inovação da campanha de reeleição de Barack Obamainovação da campanha de reeleição de Barack Obama nos EUA, conta como o
nos EUA, conta como o big databig data foi utilizado na foi utilizado na campanha de 2012:campanha de 2012:
““Campanha de Obama teve 35 milhões de pessoas naCampanha de Obama teve 35 milhões de pessoas na fan pagefan page oficial do oficial do Facebook Facebook e e 26 milhões de seguidores no
26 milhões de seguidores no Twitter Twitter . [...] Hoje, a tecnologia desempenha um papel que. [...] Hoje, a tecnologia desempenha um papel que não permite que seja vista como um departamento apartado dentro de uma organização. não permite que seja vista como um departamento apartado dentro de uma organização. [...] Nossos voluntários foram capazes de se comunicar com mais pessoas, fazendo bom [...] Nossos voluntários foram capazes de se comunicar com mais pessoas, fazendo bom uso de mídias e das funcionalidades das ferramentas. [...] Outro pilar da campanha de uso de mídias e das funcionalidades das ferramentas. [...] Outro pilar da campanha de Obama foi a estratégia de aplicar ferramentas de
Obama foi a estratégia de aplicar ferramentas deanalyticsanalytics, usadas para medição, coleta,, usadas para medição, coleta, análise e produção de relatórios de dados. Parte do sucesso deve-se à capacidade de análise e produção de relatórios de dados. Parte do sucesso deve-se à capacidade de apoiar a tomada de decisão em dados mais abrangentes e precisos, um benefício apoiar a tomada de decisão em dados mais abrangentes e precisos, um benefício inerente da arquitetura de integração. As ferramentas de
inerente da arquitetura de integração. As ferramentas de analyticsanalytics passaram a trabalhar passaram a trabalhar sobre uma base integrada de informações e puderam correlacionar o que ocorria online sobre uma base integrada de informações e puderam correlacionar o que ocorria online eeoff-lineoff-line. [...] A mobilidade e a geolocalização acabam abrindo mais uma frente para as. [...] A mobilidade e a geolocalização acabam abrindo mais uma frente para as disciplinas relacionadas a
disciplinas relacionadas a big databig data ee analyticsanalytics. Há um velho adágio que diz que toda. Há um velho adágio que diz que toda atividade política é local. Eu acrescentaria que toda atividade política é pessoal. atividade política é local. Eu acrescentaria que toda atividade política é pessoal. Precisamos usar os avanços dessa tecnologia para interagir com cada vez mais gente e Precisamos usar os avanços dessa tecnologia para interagir com cada vez mais gente e prover uma experiência pessoal a cada um
prover uma experiência pessoal a cada um.”.”
Cezar Tourion cita como aplicabilidade para o conceito
Cezar Tourion cita como aplicabilidade para o conceito big big datadata a análise de a análise de fraudes com o objetivo de minimizar os riscos e um
fraudes com o objetivo de minimizar os riscos e um casecase de uma empresa de de uma empresa de fabricação de semicondutores que monitora em tempo real o processo de fabricação de semicondutores que monitora em tempo real o processo de detecção e classificação de falhas possibilitando que os
detecção e classificação de falhas possibilitando que os waferswafers defeituosos defeituosos sejam reprocessados e ajustes sejam feitos em tempo real nos próprios sejam reprocessados e ajustes sejam feitos em tempo real nos próprios processos de fabricação.
processos de fabricação. Abaixo mais algumas ap
- Geoprocessamento para identificação de vagas de estacionamento e - Geoprocessamento para identificação de vagas de estacionamento e situação de navios atracados em portos;
situação de navios atracados em portos;
- Decifração da linguagem humana em redes sociais pela ONU para - Decifração da linguagem humana em redes sociais pela ONU para prever o desemprego, a situação econômica e epidemias;
prever o desemprego, a situação econômica e epidemias; - Monitoramento de hábitos de consumo;
- Monitoramento de hábitos de consumo; - Detecção da concentração de chips de
- Detecção da concentração de chips de celulares em ações humanitáriascelulares em ações humanitárias como aconteceu no terremoto ocorrido no Haiti;
como aconteceu no terremoto ocorrido no Haiti; - Uso de monitoramento em tempo
- Uso de monitoramento em tempo real de bebês pré-maturos no Canadáreal de bebês pré-maturos no Canadá que possibilitaram o cruzamento de dados e a antecipação de ações que que possibilitaram o cruzamento de dados e a antecipação de ações que salvaram a vida de di
salvaram a vida de diversas crianças.versas crianças. C
Casesases de sucesso premiados em 2013 de sucesso premiados em 2013 pelo IDCpelo IDC Brazil Brazil BI & BI &Big Data ConferenceBig Data Conference segundo a Exame Info:
segundo a Exame Info: - Projeto
- Projeto IntelligereIntelligere que tem como objetivo melhorar o processo de que tem como objetivo melhorar o processo de aprendizagem e assegurar o sucesso do aluno em completar seu aprendizagem e assegurar o sucesso do aluno em completar seu percurso acadêmico no prazo definido e dentro dos parâmetros de percurso acadêmico no prazo definido e dentro dos parâmetros de qualidade especificados. Isto é possível com aplicação de estudos qualidade especificados. Isto é possível com aplicação de estudos analíticos aos processos de
analíticos aos processos de aprendizagem, avaliação e acompanhamentoaprendizagem, avaliação e acompanhamento da vida do aluno.
da vida do aluno.
- Escritório de Prioridades Estratégicas de Minas Gerais
- Escritório de Prioridades Estratégicas de Minas Gerais que disponibilizaque disponibiliza informações da gestão pública com o objetivo de conseguir desenvolver informações da gestão pública com o objetivo de conseguir desenvolver novas políticas públicas com participação da população.
novas políticas públicas com participação da população.
O Uber é mais um usuário do conceito
O Uber é mais um usuário do conceito Big DataBig Data conforme informado pelo site daconforme informado pelo site da Hekima.
““No minuto em que você clica no seu aNo minuto em que você clica no seu aplicativo, oplicativo, obig databig data também está lá, dando suporte também está lá, dando suporte para que se ache um motorista nas cidades onde está o serviço, cruzando os dados da para que se ache um motorista nas cidades onde está o serviço, cruzando os dados da carona mais próxima, tornando o serviço mais ágil. Antes de você entrar no carro, os carona mais próxima, tornando o serviço mais ágil. Antes de você entrar no carro, os serviços de GPS já cruzaram outros tantos dados de quilometragem, ruas, tarifas e serviços de GPS já cruzaram outros tantos dados de quilometragem, ruas, tarifas e tempo em um algorítimo refinado, que determinam previamente o tempo estimado de tempo em um algorítimo refinado, que determinam previamente o tempo estimado de viagem e quanto ela custará. E se você mudar de ideia sobre o seu destino no meio do viagem e quanto ela custará. E se você mudar de ideia sobre o seu destino no meio do trajeto, não tem problema. Em tempo real, o aplicativo refaz o caminho, vê as condições trajeto, não tem problema. Em tempo real, o aplicativo refaz o caminho, vê as condições de tráfego e você já está em um novo trajeto com um novo
de tráfego e você já está em um novo trajeto com um novo preço.”.preço.”.
B I G D A T A
B I G D A T A – – Ética e Privacidade Ética e Privacidade
O big data cria
O big data cria um contexto em que as questões de privacidade precisam serum contexto em que as questões de privacidade precisam ser repensadas pois ainda não há entendimento consolidado sobre a viabilidade repensadas pois ainda não há entendimento consolidado sobre a viabilidade ética de replicação e uso de
ética de replicação e uso de dados de algumas fontes.dados de algumas fontes.
Para a Hekima, esta discursão ficou em maior evidência quando os EUA Para a Hekima, esta discursão ficou em maior evidência quando os EUA revelaram em 2013 que a Agência Nacional de Segurança dos Estados Unidos revelaram em 2013 que a Agência Nacional de Segurança dos Estados Unidos e o FBI possuíam
e o FBI possuíam acesso direto aos servidores centrais das mais importantes acesso direto aos servidores centrais das mais importantes empresas de internet
empresas de internet do mundo. Segundo o site, dados oriundos do Google, dodo mundo. Segundo o site, dados oriundos do Google, do Facebook, do Skype e do Aol, por exemplo, eram totalmente monitorados pelas Facebook, do Skype e do Aol, por exemplo, eram totalmente monitorados pelas agências de inteligência norte-americanas.
agências de inteligência norte-americanas.
Mas o site da Hekima ressalta também que inúmeros juristas no Brasil e no Mas o site da Hekima ressalta também que inúmeros juristas no Brasil e no exterior defendem a idéia de que as informações inseridas em mídias sociais exterior defendem a idéia de que as informações inseridas em mídias sociais não podem ser posteriormente reivindicadas como confidenciais porque já f
não podem ser posteriormente reivindicadas como confidenciais porque já f oramoram expostas ao acesso livre.
expostas ao acesso livre.
Carolina Cunha (2015) discorda quando afirma que o Marco Civil da internet Carolina Cunha (2015) discorda quando afirma que o Marco Civil da internet regulamenta que a privacidade é um direito e uma condição para ‘o pleno regulamenta que a privacidade é um direito e uma condição para ‘o pleno exercício do direito de acesso à internet’. Segundo ela, embora o usuário tenha exercício do direito de acesso à internet’. Segundo ela, embora o usuário tenha direito à inviolabilidade da intimidade e da vida privada, a facilidade de acesso direito à inviolabilidade da intimidade e da vida privada, a facilidade de acesso às informações públicas tornou mais frequente a coleta de informações às informações públicas tornou mais frequente a coleta de informações particulares sem autorização.
B I G D A T A
B I G D A T A – – Futuro Futuro
Para Carlos Barbieri (2011), quando as empresas começam a se fundir, comprar Para Carlos Barbieri (2011), quando as empresas começam a se fundir, comprar ou buscar parcerias com outras com o objetivo de dominar uma tecnologia ou buscar parcerias com outras com o objetivo de dominar uma tecnologia específica é sinal que esta tendência tecnológica está em evolução. Ele cita específica é sinal que esta tendência tecnológica está em evolução. Ele cita como exemplo desta tendências o
como exemplo desta tendências o conceitoconceito big databig data e e analyticsanalytics..
Feinberg em 2013, afirmou que as empresas que tiverem a capacidade de Feinberg em 2013, afirmou que as empresas que tiverem a capacidade de predição serão recompensadas pois conseguirão antecipar as necessidades e predição serão recompensadas pois conseguirão antecipar as necessidades e desejos dos clientes.
desejos dos clientes.
Cézar Tauron (2012) ressalta que o conceito
Cézar Tauron (2012) ressalta que o conceito big databig data disponibiliza um novo disponibiliza um novo território com conhecimentos, experiências e
território com conhecimentos, experiências e expertiseexpertise profissional que é profissional que é inevitável para os CIOs das empresas.
inevitável para os CIOs das empresas.
Jefferson Stela pontua que o mercado global já movimenta mais de US$70 Jefferson Stela pontua que o mercado global já movimenta mais de US$70 bilhões anuais em tecnologias do conceito big data e que a tendência de bilhões anuais em tecnologias do conceito big data e que a tendência de crescimento supera o percentual de 40% até
crescimento supera o percentual de 40% até 2016.2016.
Mas Edson Cardoso informa que, conforme um estudo da Bain & Company, o Mas Edson Cardoso informa que, conforme um estudo da Bain & Company, o mercado de
mercado de big databig data movimentará cerca de R$ 47 bilhões em 2018. Segundo movimentará cerca de R$ 47 bilhões em 2018. Segundo ele, este grande investimento será motivado pela capacidade de garantir aos ele, este grande investimento será motivado pela capacidade de garantir aos executivos tomadas de decisões até cinco vezes mais rápidas.
executivos tomadas de decisões até cinco vezes mais rápidas. Para a Hekima, os investimento com
Para a Hekima, os investimento com big databig data tende a crescer 6 vezes mais do tende a crescer 6 vezes mais do que o setor de TI em 2018 e Carolina Cunha (2015) faz uma previsão que o que o setor de TI em 2018 e Carolina Cunha (2015) faz uma previsão que o Brasil movimentará US$ 965 milhões em 2018
Brasil movimentará US$ 965 milhões em 2018 nesta área.nesta área. A revista
A revista FEBRABAN, FEBRABAN, em 2014, em 2014, ressaltou ressaltou que a que a maior evmaior evolução deolução desses ssses serviçoserviços se dará com a computação cognitiva ou
máquinas tiverem a capacidade de tomar suas próprias decisões após auto máquinas tiverem a capacidade de tomar suas próprias decisões após auto aprendizagem.
aprendizagem.
BIG DATA
BIG DATA – – Aplicabilidade nas Instituições Financeiras Aplicabilidade nas Instituições Financeiras
Segundo a Revista FEBRABAN (2014), quando a frase em que dizia que os Segundo a Revista FEBRABAN (2014), quando a frase em que dizia que os dados sabem bem mais sobre nós do que nós mesmos surgiu em 2008, o dados sabem bem mais sobre nós do que nós mesmos surgiu em 2008, o conceito
conceitobig databig data deixou de ser tratado apenas em discussões acadêmicas paradeixou de ser tratado apenas em discussões acadêmicas para ganhar espaço também nas áreas de TI das grandes instituições f
ganhar espaço também nas áreas de TI das grandes instituições f inanceiras.inanceiras. Abaixo algumas informaç
Abaixo algumas informações que foram divulgões que foram divulgadas na publicação aadas na publicação anula donula do CIAB FEBRABAN 2012:
CIAB FEBRABAN 2012:
Tendências e prioridades na visão dos executivos de TI dos grandes Tendências e prioridades na visão dos executivos de TI dos grandes bancos brasileiros:
bancos brasileiros:
“O
“O tema temabig databig data tem sido usado mais frequentemente para denotar grandes programas tem sido usado mais frequentemente para denotar grandes programas que as instituições têm executado para criação de bases de dados que serão usadas que as instituições têm executado para criação de bases de dados que serão usadas para geração das informações para Basileia II e III, atrelada a uma demanda ainda para geração das informações para Basileia II e III, atrelada a uma demanda ainda crescente por informações gerenciais que devem ser reconciliadas com dados para fins crescente por informações gerenciais que devem ser reconciliadas com dados para fins regulatórios. A visão de comportamento de clientes também está presente aqui, uma vez regulatórios. A visão de comportamento de clientes também está presente aqui, uma vez que as necessidades de informações regulatórias sobre riscos de clientes tem gerado que as necessidades de informações regulatórias sobre riscos de clientes tem gerado uma necessidade de compartilhar essas informações também com dados antes uma necessidade de compartilhar essas informações também com dados antes exclusivos de bases para
Importância do
Importância do big databig data na indústria de serviços financeiros: na indústria de serviços financeiros:
Iniciativas de
Iniciativas de big databig data específicas de setores financeiros: específicas de setores financeiros:
SETOR INICIATIVA EXEMPLOS
SETOR INICIATIVA EXEMPLOS RELEVANTERELEVANTESS
A
A publicação publicação anual anual CIAB CIAB FEBRABAN FEBRABAN 2012 2012 destacou destacou também também os os desafiosdesafios enfrentados pelas empresas financeiras para operacionalizar o conceito enfrentados pelas empresas financeiras para operacionalizar o conceito BigBig Data.
- Falta de
- Falta de uma abordagem ou plano estruturado para a uma abordagem ou plano estruturado para a operacionalizoperacionalização doação do BigBig Data
Data;;
- Pouca definição quanto à
- Pouca definição quanto à organização da gestão de dados nas empresas, seusorganização da gestão de dados nas empresas, seus papéis, responsabilidades e capacitações;
papéis, responsabilidades e capacitações; -
- Falta de um plano para mudançFalta de um plano para mudança de cultura ou consa de cultura ou construção de capacitações;trução de capacitações; - Falta de
- Falta de profissional capacitado;profissional capacitado;
- Pouca de agilidade para identificar e se adaptar a soluções, plataformas e - Pouca de agilidade para identificar e se adaptar a soluções, plataformas e infraestrutura de
infraestrutura de big databig data de última geração, dificultando o processo de de última geração, dificultando o processo de implementação das soluções;
implementação das soluções;
- Poucas empresas possuem as capacitações para
- Poucas empresas possuem as capacitações para lidar com a lidar com a escala, variedadeescala, variedade e complexidade das informações atuais.
e complexidade das informações atuais.
Em 2013 a Revista FEBRABAN fez várias referências importantes sobre a Em 2013 a Revista FEBRABAN fez várias referências importantes sobre a aplicabilidade do conceito big data nas instituições financeiras. Abaixo algumas aplicabilidade do conceito big data nas instituições financeiras. Abaixo algumas delas:
delas:
-- “Hoje, dois terços dos bancos no mundo todo “Hoje, dois terços dos bancos no mundo todo já têm projetos dejá têm projetos de big databig data em funcionamento.” (
em funcionamento.” (Panichi, da IBM, 2013Panichi, da IBM, 2013 – – Revista FEBRABAN). Revista FEBRABAN). - A
- A Booz&Company dBooz&Company destacou que o menor número de vestacou que o menor número de visitas dos clientesisitas dos clientes às agências bancárias incentivou o
às agências bancárias incentivou o incremento expressivo da capacidadeincremento expressivo da capacidade de armazenamento de dados nas instituições financeiras com o objetivo de armazenamento de dados nas instituições financeiras com o objetivo de apurar tendências e particularidades dos clientes, de forma individual de apurar tendências e particularidades dos clientes, de forma individual ou segmentada.
ou segmentada.
- Jason White, gerente de desenvolvimento de negócios da HP-3PAR na - Jason White, gerente de desenvolvimento de negócios da HP-3PAR na América Latina,
América Latina, alertou que alertou que os grandes os grandes bancos brasileiros bancos brasileiros devem sofrerdevem sofrer modificações para se alcançar a rapidez esperada para soluções de modificações para se alcançar a rapidez esperada para soluções de bigbig data
data pois possuem sistemas altamente diversificados e compostos de pois possuem sistemas altamente diversificados e compostos de sistemas antigos convivendo com novos. Ele ainda ressaltou que a sistemas antigos convivendo com novos. Ele ainda ressaltou que a arquitetura deve ser convergente, suportando várias camadas em arquitetura deve ser convergente, suportando várias camadas em funcionamento simultâneo e capaz de agregar o
funcionamento simultâneo e capaz de agregar o poder de processamentopoder de processamento de vários servidores.
