BIG DATA
Carlos Marques
Business Development Manager, Data Connectivity and Integration
Latin America & Caribbean Market (CALA)
O que veremos hoje?
O que é o Big Data?
A revolução dos dados.
Tipos de estrutura dos dados.
Tendências de investimento em bancos de dados para os próximos anos.
De que forma o Big Data pode ajudar sua empresa?
Principais passos para implementar um projeto de Big Data.
Definição de Big Data
“Big Data são dados cuja escala, distribuição, diversidade e/ou velocidade de criação requer o
uso de novas tecnologias de armazenamento e análise para permitir a captura do valor inserido
O que acontece na internet em 1 minuto?
A revolução dos dados
FONTE: Viktor Mayer-Schönberger and Kenneth Cukier: Big Data: A Revolution that will Transform how We Live, Work and Think)
Ano
Dados “físicos”
Dados Digitais
2000
75%
25%
2007
7%
93%
2013
2%
98%
2015
~0,1%
~99,9%
Uma nova era de crescimento massivo no volume de dados
Crescimento de 10x no volume de dados
produzidos por ano
32B IoT Devices (estarão conectados a
internet)
40% dos dados serão acessados por
Cloud
85% de novos tipos de dados (não
estruturados)
Estrutura de Dados: O crescimento dos dados não estruturados
Estruturados
Semi-estruturados
“Quase” estruturados
Não estruturados
A
ume
n
to
da
E
s
tr
utur
a
ç
ã
o
80 a 90% dos dadosDados de um tipo, formato ou estrutura definidos
Ex. Dados transacionais e OLAP
Dados de texto com uma padronização evidente permitindo a separação
Ex. Arquivos XML, EDI, E-mails
Dados de texto com formatos variáveis, os quais podem ser formatados através
de força bruta, ferramental e tempo
Ex. Dados de clickstream, padrões de utilizações das páginas web pelos
usuários.
Dados sem estrutura definida e que são armazenados em diferentes formatos
de arquivo.
Ex. Documentos de texto, PDFs, imagens, áudios, vídeos.
Pesquisa global sobre uso de base de dados e planos para os
próximos 2 anos
—Big Data
Fonte:
https://www.progress.com/docs/default-source/default-document-library/Progress/Documents/Papers/2015-data-connectivity-outlook.pdf
“Análise de Big Data representa um grande desafio para organizações de TI — mesmo assim, um estudo da Intel feito com 200 gerentes de TI mostra que 84 por cento já analisam dados não estruturados e que 44 por cento daqueles que ainda não o fazem esperam poder fazê-lo
Projeção de crescimento por tipo de Banco de Dados
+27%
Crescimento
-5%
+35%
Fonte:
Clientes
Pedidos
Prospects
Funcionários
Os 5 Vs do Big Data
Volume
Crescimento
constante das
informações
geradas.
Terabytes
para
Exabytes
Velocidade
Tempo real,
posts em
Redes
sociais,
streaming de
videos.
Variedade
Fontes
diversas,
dados
estruturados
+ não
estruturados.
Veracidade
Ter certeza
de que os
dados são
autênticos e
fazem
sentido.
Valor
Trazer
benefícios
significativos,
gerar retorno.
De que forma o Big Data pode ajudar sua empresa?
1.
Acesso mais rápido a suas próprias informações.
2.
Correlação de informações externas e internas.
3.
Mapear comportamento dos seus clientes para se antecipar as suas necessidades.
4.
Economia significativa de tempo e dinheiro, através da prevenção de perdas, controle de
contas e aumento da produtividade.
5.
Segurança: prevenção de crimes, detecção de fraudes, infrações de segurança,
ameaças avançadas e ameaças internas.
Dicas básicas para implementar Big Data
•
Não comece pelos dados. As análises e os insights determinarão como o seu projeto
deve começar!
•
Defina os objetivos. O que sua empresa busca responder com o uso de dados?
•
Defina quais dados são fundamentais para resolver seu problema. Não se trata de
quantidade, a questão é a real utilidade.
•
Mais do que a tecnologia, o que é essencial em um projeto de Big Data são as pessoas
que fazem as análises, que criam os modelos e os algoritmos, compondo a verdadeira
ciência de dados.
Passos essenciais para implementar Big Data
Definição dos Passos
Descrição
Tipo de Análise Tempo real, análise posterior ou mistura dos dois. Isto pode determinar decisões sobre produtos, ferramenta, hardware, fontes de dados e a frequência estimada dos dados. Ex. Fraude (tempo real), Tendência (análise posterior)
Metodologia de Processamento Preditiva, analítica, consulta ad hoc e relatórios. A escolha de metodologia de processamento ajuda a identificar as ferramentas e técnicas apropriadas para uso na solução de big data.
Frequência e tamanho dos dados Volume estimado de dados e a frequência com que chegam. Frequência e tamanho de dados dependem das fontes (Sob demanda, Feed Contínuo ou Série Temporal).
Tipos de Dados Tipo dos dados a serem processados — transacionais, históricos, principais e outros. Saber o tipo de dados ajuda a segregar os dados no armazenamento.
Formato de conteúdo Estruturados, não estruturados ou semiestruturados. O formato determina como os dados recebidos precisam ser processados e é essencial para escolher ferramentas e técnicas e definir uma solução de uma perspectiva de negócios. Fonte de dados web e mídia social, gerados por máquina, gerados por humanos, etc
Consumidores de dados Processos de negócios, Usuários corporativos, Aplicativos corporativos, Pessoas individuais em várias funções de negócios, Parte dos fluxos do processo, Outros repositórios de dados ou aplicativos corporativos.
Hardware O tipo de hardware no qual a solução de big data será implementada. Entender as limitações do hardware ajuda na escolha da solução big data.
Como transformar dados em informações relevantes
para o negócio
Dados
Informações
Insight
Decisão
Do recebimento dos dados
até a tomada de decisão:
Exemplos de como solucionar problemas de negócios por vertical
Exemplos de problemas de Negócio
por Vertical Tipo de Big Data Descrição
Serviços públicos:
Prever o consumo de energia Dados gerados por máquina
Uma solução de big data pode analisar dados de geração de energia (fornecimento) e de consumo de energia (demanda) usando medidores inteligentes.
Telecomunicações:
Analítica de perda de clientes
Dados da web e sociais Dados de transação
Provedores de telecomunicações que implementam uma estratégia de analítica preditiva podem gerenciar e prever a perda analisando os padrões de chamada dos assinantes.
Marketing:
Análise de sentimento Dados da web e sociais
O sentimento do cliente deve ser integrado aos dados de perfil do cliente para derivar resultados significativos. O feedback do cliente pode variar de acordo com seus aspectos demográficos.
Atendimento ao cliente:
Monitoramento de chamada Gerado por humanos
Departamentos de TI estão usando soluções de big data para analisar logs de aplicativo e obter insight que possa melhorar o desempenho do sistema.
Varejo:
Sistema de mensagens personalizado com base em reconhecimento facial e mídia social
Dados da web e sociais Biométrica
Varejistas podem usar tecnologia de reconhecimento facial combinada a uma foto da mídia social para fazer ofertas personalizadas a clientes com base no comportamento de compra e na localização.
Varejo e marketing:
Dados de dispositivos móveis e direcionamento com base em localização
Dados gerados por máquina Dados de transação
Varejistas podem atingir seu público-alvo com promoções específicas e cupons com base em dados de localização. As soluções são geralmente projetadas para detectar a localização de um usuário ao entrar em uma loja ou através de um GPS.
Serviços Financeiros / Saúde:
Detecção de fraude
Dados gerados por máquina Dados de transação
Gerados por humano
A capacidade de gerenciamento de fraudes prevê a probabilidade de fraude em uma dada transação ou conta do cliente. Soluções analisam transações em tempo real e geram recomendações para ação imediata, o que é essencial para impedir fraudes de terceiros, fraudes pela própria pessoa e mau uso deliberado de privilégios de conta.
