Chat Bot Sumé: Web scraping de dados do governo para consulta de gastos públicos pelos vereadores de Belo Horizonte / Wendel Vilaça de Assis. Este trabalho desenvolveu um método de Web Scraping em Python para extrair dados do portal de transparência da Prefeitura de Belo Horizonte.
INTRODUÇÃO
- JUSTIFICATIVA
- PROBLEMA DE PESQUISA
- OBJETIVOS
- Objetivo geral
- A ADERÊNCIA AO PROGRAMA DE PÓS-GRADUAÇÃO EM SISTEMAS DE
- ORGANIZAÇÃO DO TEXTO
Diante da LAI e de suas exigências, este estudo tem como objetivo analisar – sob a ótica dos dados abertos – a disponibilização da CMBH sobre os dados de custos dos vereadores no portal da transparência. O capítulo 7 contém os resultados obtidos após o desenvolvimento de um novo método de web scraping e a avaliação do cenário de dados abertos do portal de transparência do CMBH.
DADOS GOVERNAMENTAIS
Ainda de acordo com (WANG; LO, 2015) “os últimos anos testemunharam um interesse renovado em dados governamentais abertos em todo o mundo”. Normalmente, os dados do governo são publicados em formatos não padronizados ou não estruturados.
TRANSPARÊNCIA GOVERNAMENTAL
- Governo Aberto
- Lei de acesso à informação
- Transparência ativa
- Transparência passiva
8 (BRASIL, 2011), que atribui ao poder público a responsabilidade pela promoção de dados abertos, muitas autoridades não atendem aos requisitos de transparência ativa e dados abertos, embora isso não seja algo opcional. Esse conceito é consistente com a situação acima se considerarmos que os dados abertos do método web scraping utilizam dados não estruturados disponíveis no portal de transparência do CMBH por meio de transparência ativa.
AS 5 ESTRELAS DOS DADOS ABERTOS
- Dados Abertos
- Dados Abertos Governamentais
- Dados Conectados
- Dados Abertos Conectados
Esta dissertação adotará a definição de dados abertos da LAI (BRASIL, 2011), em que sua interpretação permite o entendimento de que dados públicos só podem ser considerados dados abertos se tiverem pelo menos três estrelas na formulação do esquema de estrelas proposto por Berners -Lee (2009). Com a criação do Data.gov em 2009, a visão de dados governamentais abertos ganhou força. Com o Data.gov, um portal de dados aberto contendo dados do governo foi disponibilizado na Internet (DG, 2009).
Para facilitar a compreensão do conceito de dados abertos, um exemplo ilustrativo pode ser apresentado a seguir. As APIs foram utilizadas para publicação de dados abertos e também possibilitaram o uso das máquinas de forma simplificada.
WEB SCRAPING
A raspagem da Web também é identificada como extração, coleta de dados da web, coleta da web ou captura de tela. O que chamamos de processo de web scraping é um tipo de mineração de dados realizada em sites da Internet. Dados e informações são transformados em planilhas, bancos de dados ou arquivos de valores separados por vírgula (CSV) (MATTOSINHO, 2010).
Assim, a técnica de Web Scraping permite que os dados finais sejam dados abertos que podem ser manipulados por máquinas. Web scraping é uma técnica utilizada para extrair informações de páginas da web com base em rotinas de scripting.” (MATTOSINHO, 2010).
INTELIGÊNCIA ARTIFICIAL
Segundo (HERNÁNDEZ, et al., 2015), um programa conhecido como orquestrador é aquele que orquestra, organiza e executa requisições ao navegador. Essa façanha pode ser alcançada por meio de algoritmos de aprendizado que tentam imitar como o cérebro humano aprende (DAS et al., 2015).
CHAT BOT
Um Chat Bot é um sistema de computador cuja interface é fornecida pela interação por meio de um diálogo de linguagem natural que simula uma conversa entre humanos." (PRISCO et al., 2019). O sistema ELIZA de Joseph Weizenbaum foi uma das primeiras iniciativas para construir computadores sistemas cuja interface simulava um diálogo Outro exemplo são os chats na internet, ou redes sociais, que encontraram no cotidiano um lugar para a interação entre as pessoas.
Para (NISHIHARA et al,. 2017), chatbots são programas de computador que funcionam online. Pensando nessa interação entre pessoas e máquinas por meio de Chat Bots, um chat que possibilite a interação entre os cidadãos para a participação popular em relação aos gastos públicos de seus vereadores pode aproximar os cidadãos da atuação de seus representantes e, potencialmente, da ação e controle social.
TRABALHOS RELACIONADOS
CHATTERBOT CRIOULO: PROPOSTA DE UM CONVERSADOR
O objetivo principal da proposta do Crioulo Chatterbot era desenvolver um agente computacional para auxiliar na proliferação de comunidades quilombolas no sul da Bahia. O objetivo secundário foi relacionar o patrimônio histórico e cultural das comunidades quilombolas do litoral sul - BA, segundo (MENEZES, 2016). A linguagem AIML foi utilizada na construção do Chat Bot para se comunicar com os usuários sobre as informações peculiares e atualizadas das comunidades quilombolas.
A pesquisa contribuiu para o desenvolvimento de diversas situações que geraram mobilizações e atividades de intervenção social em comunidades quilombolas, como o mapeamento de novas comunidades quilombolas e comunidades que ainda não são reconhecidas pelo poder público, mas possuem histórico de comunidades com formações quilombolas. Também buscaram ampliar o patrimônio histórico e cultural dessas comunidades tradicionais por meio do trabalho.
ESTUDO DE CASO “OPERAÇÃO SERENATA DE AMOR”: A ANÁLISE DE BIG
ESTUDO DE CASO "OPERAÇÃO SERENATA DO AMOR": ANÁLISE DE BIG DATA NO COMBATE A GASTOS DE FESTA. Referente à metodologia do projeto "Serenata do Amor", é apresentado como o projeto foi elaborado em termos de extração de dados para manipulação e agrupamento de dados para formar os sete datasets. Também somos apresentados ao Jarbas, uma interface gráfica que permite pesquisar e filtrar resultados; essa visualização dos dados foi resultado da equipe de projeto desenvolvendo uma API para comunicação entre diferentes códigos.
Este projeto utilizou modelos de aprendizagem de classificação supervisionada (ABRAHAM et al, 2014) que aprendem a partir de exemplos rotulados de resultados de testes e devem ser produzidos para entrada (HACKELING, 2014). Por fim, o uso de big data no combate à corrupção com o projeto Serenata do Amor se apresenta como eficaz, pois foi possível identificar uma quantidade significativa de irregularidades, embora haja espaço para o desenvolvimento de técnicas de big data, aumentando o volume de dados conjunto, criando novos classificadores ou novos modelos de aprendizado de máquina para aumentar o controle social.
METODOLOGIA
PESQUISA BIBLIOGRÁFICA
ANÁLISE QUALITATIVA
PESQUISA APLICADA
CHAT BOT SUMÉ
DADOS DE CUSTEIO PARLAMENTAR DA CMBH
Paralelamente aos mecanismos tradicionais de controle, a Prefeitura de Belo Horizonte (CMBH) promove a ampliação das medidas de evidenciação de custos realizadas pela própria autarquia. No entanto, conforme explicado na introdução, os dados de despesas não estão disponíveis em formato aberto conforme exigido pela LAI. Referem-se a despesas de escritório de vereadores, despesas parlamentares - na forma de menu do elemento HTML selecionado - e despesas com correios e telefonia.
O foco central deste trabalho de pesquisa é o desenvolvimento de um método de Web Scraping para extração de dados de custos parlamentares. Após a manipulação dos dados, pretende-se gerá-los como dados em formato aberto, ou seja, em formato .CSV disponível para acesso WEB.
PYTHON
- Pycharm
- Selenium Webdriver
- Beautiful Soup
- Time
- Pandas
Optou-se pela utilização do Python 3.6 para este projeto, por ser uma linguagem amplamente utilizada em pesquisas científicas devido ao seu licenciamento de código aberto. Beautiful Soup foi usado juntamente com outras ferramentas para capturar dados sobre despesas parlamentares. A função tem, assim, o papel de fornecer tempo suficiente para que o robô Selenium navegue pelo conteúdo selecionado sem conflito entre as instruções e a coleta de dados.
Isso nada mais é do que uma estrutura de dados tabulares, com rótulos de linha e coluna, intervalos e objetos de matriz rotulados unidimensionais. É um conjunto de dados como fonte de dados unificada para contabilidade de custos parlamentares e, consequentemente, o banco de dados do Chat Bot Sumé.
EXPERIMENTO DO MÉTODO WEB SCRAPING
- Scraping Vereador
- Scraping Custeio Parlamentar
- Manipulação de dados no pandas
- DataFrame partido e vereador
- DataFrame vereador e custeio parlamentar
- DataFrame Chat Bot Sumé
Munidos desses dados, vislumbramos desenvolver o código que irá manipular os dados - interagindo com o robô Selenium WebDriver - e realizar a extração. Dentro da variável "sopa", passamos o conteúdo da variável "html" de volta pelo robô Selenium com os dados já convertidos pelo Beautiful Soup. Foi necessário realizar essas etapas para que os dados pudessem ser agrupados em apenas um arquivo.
Nesta última etapa, foi criado o arquivo "dataset-bot.csv", que contém todos os dados das despesas dos vereadores e partidos relacionados à DZ no mandato de 2017 a 2020. O valor total das despesas da câmara da DZ totalizaram um milhão, duzentos e vinte e dois mil, seiscentos e noventa reais e oito centavos), segundo dados do portal da transparência da CMBH.
DIALOGFLOW
Por meio desse método, foi possível hierarquizar os vereadores que mais gastaram recursos públicos em relação aos custos parlamentares em seu mandato. A plataforma Dialogflow foi escolhida como agente virtual para solicitar os gastos das custas parlamentares dos vereadores da cidade de Belo Horizonte. Nas metas criadas, temos a despesa de custeio parlamentar realizada no mandato entre 2017 e 2020, segmentada de forma a conter o vereador que mais gastou, os cinco vereadores que mais gastaram, os cinco partidos que mais gastaram e o total da despesa .
Este protótipo de Chat Bot Sumé baseado em Web Scraping e dados abertos é pioneiro no Brasil para interações com cidadãos e gastos de vereadores. Espera-se que o projeto Chat Bot Sumé seja uma inspiração para promover soluções semelhantes e Transparência Reversa Ativa.
DADOS EXCLUÍDOS DO PORTAL DE TRANSPARÊNCIA
O recurso Integrações do Dialog Flow foi usado para usar o Web Demo e permitir a comunicação com o Chat Bot Sumé pela Internet. Essas edições foram removidas do portal da transparência sem aviso prévio e estão indisponíveis no momento. Os nomes dos conselheiros estão listados abaixo, bem como as despesas que foram excluídas do portal da transparência.
Este é um dos exemplos que demonstra a eficácia do Chat Bot Sumé com procedimentos e ferramentas automatizadas. Essa reflexão e preocupação é plausível, pois se esse método de Web Scraping do Chat Bot Sumé não tivesse sido criado, jamais saberíamos dessa inconsistência e que um dia faltou esse dado.
ANÁLISE DOS RESULTADOS
8º, § 3º (..) III, que esclarece a obrigatoriedade do fornecimento dos dados em formato aberto, estruturado e legível por máquina (BRASIL, 2011). Após a conversão dos dados de gastos dos vereadores em dados abertos, será possível utilizá-los para manipulação de máquinas, conforme discutido por (EAVES, 2009). Após os dados serem disponibilizados nas plataformas CKAN e Git Hub, eles se tornam acessíveis através do método Resource Description Framework (RDF) e assim atingem o nível de 4 estrelas.
Após consultas e solicitações junto ao CMBH, não foi obtido nenhum resultado quanto à disponibilidade de dados abertos, nem uma estimativa de quando algum projeto relacionado será implantado. São dados que não estão mais disponíveis, ou seja, a população nem sabe da existência desses gastos, sendo possível obter essa informação apenas com base nos dados extraídos do portal em setembro de 2020, antes da retirada foi realizado.
CONCLUSÃO E TRABALHOS FUTUROS
Após o desenvolvimento do método Web Scraping, foi possível identificar a exclusão dos dados de gastos do cálculo do custo parlamentar dos vereadores no Portal da Transparência. O Chat Bot Sumé está disponível para a população interagir e utilizar essa tecnologia, possibilitando visualizar os gastos do mandato do vereador e, consequentemente, exercer o controle social por meio dessa solução. O modelo conceitual proposto - via Web Scraping - disponibilizou dados não estruturados e dados abertos com base no referencial teórico para fundamentar a pesquisa. A contribuição da pesquisa acadêmica apresentou na literatura a relação dos constructos alvo desta pesquisa: web scraping e dados governamentais.
Disponível em:
