O MUNDO REAL DOS DADOS
(E COMO LIDAR COM SEUS PROBLEMAS)
@nataliamazotte
ncortezrj@gmail.com
Roteiro: Módulo III
● Como avaliar a qualidade dos dados?
● Limpando dados com o Open Refine
● Raspagem de dados: o que é e pra que serve?
● Como lidar com dados em PDF
● Como usar o Inspetor Web
● Como raspar dados usando seu navegador (sem programar!)
COMO AVALIAR A
QUALIDADE DOS DADOS?
O que queremos?
Nome Endereço Cidade Idade
Mickey Mouse 225 Fantasy av.. Anaheim 73
Batman 123 Cavern st. Gotham 54
Bugs Bunny 567 Carrot dr. Rascal 48
Donald Duck 321 Quack blvd. Mallard 52
Dados limpos e legíveis por máquina!
www.escoladedados.org • www.facebook.com/escoladedados • www.twitter.com/escoladedados
Mas o que recebemos?
Dados feitos para leitura humana
Mas o que recebemos?
Dados sujos e mal estruturados
BASES DE DADOS
ESTRUTURADAS
BASES DE DADOS ESTRUTURADAS
BASES DE DADOS ESTRUTURADAS
www.escoladedados.org • www.facebook.com/escoladedados • www.twitter.com/escoladedados
BASES DE DADOS ESTRUTURADAS
Computadores não vivem sem
● Dados com organização para serem recuperados (previsibilidade)
● São legíveis por máquina
● Permitem processamento em aplicativos específicos
● Permitem diferentes tipos de consultas
Valor: Campinas-SP
Coluna: Cidade ou estado? Número absoluto
ou porcentagem?
E esse parênteses?
Hein?
E o espaço em branco :(
www.escoladedados.org • www.facebook.com/escoladedados • www.twitter.com/escoladedados
INTEGRIDADE E PREVISIBILIDADE
● Cada coluna só pode ter um tipo de dado
● Linhas idênticas devem ser consolidadas
● Cuidado ao digitar: “Porta” é diferente de “Porta “ e de “porta”
● Dados na mesma linha pertencem a um mesmo registro
● Primeira linha deve receber nomes de colunas
● Não inclua informações agregadas (total, média, diferença) na mesma tabela
O que devo buscar?
AVALIANDO A QUALIDADE DOS DADOS
● Guia quartz de Limpeza de Dados
O que devo buscar?
www.escoladedados.org • www.facebook.com/escoladedados • www.twitter.com/escoladedados
AVALIANDO A QUALIDADE DOS DADOS
● Google Sheets
● DataPrep
● Trifacta Wrangler
● Open Refine
Vigilância sanitária dos dados
ALGUMAS FERRAMENTAS
BELEZA. MAS E O
OPEN REFINE??
● Organiza dados inconsistentes
● Filtra informações
● Converte formatos
● Navegador de tabelas
● Download aqui!
O QUE É?
● Homicídios Bahia 2019 (Jan-Jun)
● Homicídios Bahia 2015
● CAGED
www.escoladedados.org • www.facebook.com/escoladedados • www.twitter.com/escoladedados
TABELAS QUE VAMOS UTILIZAR
RASPAGEM
USANDO
PARA CONSEGUIR O DADO QUE VOCÊ PRECISA
www.escoladedados.org • www.facebook.com/escoladedados • www.twitter.com/escoladedados
O que temos pra hoje?
Dados que foram feitos para humanos
O que temos pra hoje?
Dados espalhados em páginas web
www.escoladedados.org • www.facebook.com/escoladedados • www.twitter.com/escoladedados
Raspagem é estrutura
Dados que foram feitos para serem interpretados por humanos…
...tornam-se legíveis por máquinas.
Por que? Para que possamos:
● Analisar
● Processar
● Visualizar
Dados que são legíveis por máquina
The New York times
Título Quem Descrição
Turn the volume down on drug ads
The Editorial Board Consumers should be skeptical of...
Black Tape at Randall Kennedy People seem to
www.escoladedados.org • www.facebook.com/escoladedados • www.twitter.com/escoladedados
Código HTML
● Criado por Tim Berners-Lee em 1989
● É uma linguagem de marcação
○ <marcador>CONTEÚDO</marcador>
● O que o computador recebe não é o que a gente vê
● Receita de bolo
Isso não é programação, ok?
Código HTML
O que o computador recebe
<head>
<title>Escola de Dados: Raspagem</title>
</head>
<body>
<h1>Oi, gente!</h1>
<p>Essa aula é sobre raspagem.</p>
<img src=”http://imagem.com/imagem.jpg” />
</body>
Escola de Dados: Raspagem
Oi, gente!
Essa aula é sobre raspagem.
www.escoladedados.org • www.facebook.com/escoladedados • www.twitter.com/escoladedados
Webinspector
● Ferramenta de diagnóstico
● Web designers e programadores adoram! Sério!
● Já vem nos navegadores modernos
● Clica com o botão direito em qualquer lugar da página e selecione
“inspecionar elemento”, ou algo do tipo
Sua visão de raio-x na web
RASPAGEM
LIBERTANDO DADOS DE PDFs
www.escoladedados.org • www.facebook.com/escoladedados • www.twitter.com/escoladedados
www.escoladedados.org • www.facebook.com/escoladedados • www.twitter.com/escoladedados
Software Interface Proc. em lote gratuito OCR Modelo
Tabula Gráfica Não Não Código-aberto
Tabula-Java Linha de comando Ilimitado Não Código-aberto
Rows Linha de comando Ilimitado Não Código-aberto
Abbey Fine Reader OCR Gráfica Até 10 pag./mês Sim Freemium
Tesseract Linha de comando Sim Sim Código-aberto
Calma… tem várias soluções
Tabula
É open source!
● É necessário instalar no computador:
● Download
● Vamos tentar raspar a lista de principais delitos ocorridos na Bahia em 2018
Liberte os dados de PDFs fechados
=importHTML()
Liberte tabelas (e listas)
=importHTML(“LINK”;“TYPE”;INDEX)
● LINK: A URL onde sua tabela está (entre aspas!)
● TYPE: “list” ou “table”
● INDEX: A posição da tabela no seu código HTML
Atenção: Dependendo do idioma selecionado no Google Sheets o delimitador da função pode ser "," ou ";"
www.escoladedados.org • www.facebook.com/escoladedados • www.twitter.com/escoladedados
=importHTML()
Exemplos
● Indicados ao Oscar de melhor filme
● Deputados Estaduais de SP
Web Scraper
Funciona dentro do WebInspector
● É necessário instalar no Chrome/Chromium:
● Download da Chrome Web Store
● Não esqueça de instalar um Adblocker também:
● AdBlock para Chrome
○ As páginas vão carregar mais rápido ;)
Raspagens poderosas sem programação
www.escoladedados.org • www.facebook.com/escoladedados • www.twitter.com/escoladedados
