Instituto Metrópole Digital
Programa de Pós-graduação em Tecnologia da Informação
Mestrado Profissional em Tecnologia da Informação
OpenData Manager: Uma ferramenta para gerenciar o
processo de criação e monitoramento do Plano de
Dados Abertos
Fernando da Cruz Lopes
Natal / RN
2021
OpenData Manager: Uma ferramenta para gerenciar o
processo de criação e monitoramento do Plano de
Dados Abertos
Dissertação de Mestrado apresentada ao
Programa de Pós-graduação em
Tecnologia da Informação da
Universidade Federal do Rio Grande do Norte como requisito parcial para a obtenção do grau de Mestre em Tecnologia da Informação.
Universidade Federal do Rio Grande do Norte UFRN Instituto Metrópole Digital IMD
Programa de P s-Gradua o em Tecnologia da Informação
Orientador: Dr. Frederico Ara jo da Silva Lopes
Coorientador: Dr. Andr Gustavo Duarte de Almeida
Natal / RN
2021
Lopes, Fernando da Cruz.
OpenData Manager: uma ferramenta para gerenciar o processo de criação e monitoramento do plano de dados abertos / Fernando da Cruz Lopes. - 2021.
117 f.: il.
Dissertação (mestrado profissional) - Universidade Federal do Rio Grande do Norte, Instituto Metrópole Digital, Programa de Pós-Graduação em Tecnologia da Informação, Natal, RN, 2021. Orientador: Prof. Dr. Frederico Araújo da Silva Lopes. Coorientador: Prof. Dr. André Gustavo Duarte de Almeida.
1. Dados abertos Dissertação. 2. Plano de dados abertos -Dissertação. 3. PDA - -Dissertação. I. Lopes, Frederico Araújo da Silva. II. Almeida, André Gustavo Duarte de. III. Título.
RN/UF/BCZM CDU 004.6 Catalogação de Publicação na Fonte. UFRN - Biblioteca Central Zila Mamede
OpenData Manager: Uma ferramenta para gerenciar o
processo de criação e monitoramento do Plano de
Dados Abertos
Dissertação de Mestrado apresentada ao
Programa de Pós-graduação em
Tecnologia da Informação da
Universidade Federal do Rio Grande do Norte como requisito parcial para a obtenção do grau de Mestre em Tecnologia da Informação.
Dr. Frederico Ara jo da Silva Lopes
Orientador
Dr. Andr Gustavo Duarte de Almeida
Coorientador
Dr. Itamir de Morais Barroca Filho
Membro Interno
Dr. Fellipe de Araújo Aleixo
Membro Externo
Natal / RN
2021
Começo agradecendo à Deus pelo dom da vida. Por me conceder sabedoria e me guiar durante o período do curso. Por me manter saudável e a minha família, em meio aos tempos difíceis que estamos vivendo.
A minha esposa, Cristiane, pela paciência de aguentar minha inconstância de humor durante a produção deste trabalho. Pelo incentivo de sempre que foram fundamentais para que eu não perdesse o foco e seguisse em frente. Obrigado por sempre estar ao meu lado, pelo companheirismo e carinho de todo dia. Te amo.
Ao meus pais, Ivone e Nilton, pelo apoio e incentivo em tudo que faço. Obrigado por serem a minha base para tudo o que busco na vida. Eu sei o sacrifício que vocês sempre fizeram para me dar a melhor educação. Obrigado por moldarem o meu caráter, para que eu pudesse ser o homem que sou hoje. Obrigado por tudo que vocês já fizeram por mim e que, eu tenho certeza, ainda irão fazer.
Ao meu Irmão Christopher, ou Kité, e sua família linda. Eu sei que mesmo longe, sempre posso contar com você quando precisar. Saudades.
A todos os meus colegas de trabalho do IFRN, em especial aos amigos da COSINF. Aprendi e aprendo muito com vocês todos os dias. Espero que esse tempo louco passe logo e que possamos nos reunir novamente na nossa sala para resenhar bastante.
Não tenho como expressar o tamanho da minha gratidão ao meu orientador Fred. Eu estava perdido, sem saber muito bem o que fazer no final do curso e ele, com toda sua paciência soube conduzir todas as situações adversas da melhor forma possível para que eu não me perdesse na minha trajetória acadêmica. Muito obrigado.
Agradeço também ao meu co-orientador André. Saiba que eu o admiro muito em seu trabalho dentro do IFRN, sempre conduzindo a TI da melhor forma possível. Apesar das inúmeras tarefas que seu cargo exige, você ainda aceito a me ajudar em meu trabalho de mestrado. Suas dicas no desenrolar da minha escrita foram sempre certeiras e me ajudaram a entender como desenvolver um texto científico. Muito obrigado.
Enfim, gostaria de agradecer a todos que de uma forma ou de outra contribuíram para que meu trabalho fosse concluído.
"A mente que se abre a uma nova ideia jamais voltará ao seu tamanho original". Albert Einstein
O acesso a informações públicas vem se mostrado de grande importância no estreitamento da relação sociedade e governo, possibilitando à sociedade uma maior interatividade nas ações públicas. O desenvolvimento de sistemas que utilizam esse tipo de informação a favor do bom uso dos recursos públicos é um dos vários exemplos que podemos utilizar para mostrar como é importante o acesso a esses dados. A partir do Decreto nº 8.777 que regulamentou a abertura dos dados públicos do Poder Executivo Federal, vários órgãos e entidades iniciaram suas atividades para disponibilizar seus dados. Todos os passos para a abertura desses dados são especificados no manual de implementação, da Política de Dados Abertos disponibilizado pela Controladoria Geral da União (CGU). Um dos passos para abertura dos dados é a escrita de todas as ações realizadas até a catalogação dos dados nas plataformas de dados abertos. O documento em que são registradas essas ações é chamado de Plano de Dados Abertos, ou PDA. A CGU considera que um órgão público tem seus dados abertos apenas quando o seu PDA é publicado seguindo a vários critérios de organização e qualidade. Atualmente, a CGU mantém um painel de monitoramento de dados abertos, onde é possível verificar quais entidades públicas tem seus dados disponibilizados seguindo esses critérios. Ao realizar uma consulta a esse painel, percebemos que menos da metade dos órgãos públicos tem um PDA publicado, onde, dos 223 órgãos do Poder Executivo Federal, apenas 84 tem um PDA em execução. Dos PDAs em execução, grande parte não disponibilizam um sistema de monitoramento das ações e metas definidas ao longo de sua elaboração, pois foram escritos em formato de texto simples, sem automatização alguma no processo de monitoramento, como a própria CGU sugere. Para resolver o problema de elaborar um Plano de Dados Abertos seguindo as recomendações da CGU de qualidade e monitoramento durante e posteriormente a elaboração do PDA, este trabalho tem por objetivo o desenvolvimento de uma aplicação que irá abarcar todos os passos descritos no manual de desenvolvimento de um PDA, assim como irá monitorar todas as ações que precisam ser realizadas durante e depois da catalogação dos dados abertos. A validação da aplicação será feita reescrevendo alguns PDA e verificando se os requisitos implementados são satisfatórios.
Access to public information has been shown to be of great importance in strengthening the relationship between society and government by enabling a greater interactivity in public actions by the society. The development of systems that use this type of information in favor of good use of public resources is one of several examples that can be used to show how important access to such a data is. After Decree nº 8,777, which regulated the opening of public data of Federal Executive Government, many institutions and entities started their activities to make their data available. All steps for opening the data are specified in the implementation manual of Open Data Policy made available by Office of the Comptroller General (OCG). One of the steps to open the data is the writing of all performed actions, until the cataloging of data on open data platforms. The document in which these actions are recorded is called Open Data Plan (ODP). OCG considers that a public institution has its data open only when its ODP is published accordingly to several organization and quality criteria. OCG currently maintains an open data monitoring panel, in which it is possible to check which public entities have their data made available following these criteria. By consulting this panel, it is observed that less than half of public institutions has a published ODP. Among 223 institutions of Federal Executive Government, only 84 has a published ODP. Among the published ODPs, most of them do not have an efficient system for monitoring actions and goals defined throughout its elaboration because they were written in plain text format, without any automation in the monitoring process, as suggested by OCG. To solve the problem of preparing the Open Data Plan accordingly to OCG quality and monitoring recommendations, both during and after the elaboration of the ODP, this work presents a tool that was developed to encompass all the steps described in the development manual of an ODP. The tool also allows the monitoring of all actions that need to be performed during and after cataloging the open data.
Figura 1 - Ilustração do processo sistêmico de um PDA ... 28
Figura 2 - Ilustração da estrutura sugerida de um PDA ... 31
Figura 3 - Ilustração da tabela de plano de ação de um PDA ... 33
Figura 4 - Dashboard do SUAP ... 35
Figura 5 - Abrangência do SUAP ... 36
Figura 6 - Diagrama de sequência para representar o padrão Message Broker ... 38
Figura 7 Visão macro do ODM no ambiente opendata ... 65
Figura 8 - Destaque dos componentes internos do Opendata Manager ... 66
Figura 9 - Diagrama de classe resumindo do módulo PDA ... 67
Figura 10 - Código exemplificando o agendamento de tarefas ... 68
Figura 11 - Dashboard do OpenData Manager ... 72
Figura 12 - Listagem de grupo de trabalho com destaque para a opção de Finalizar Atividades. ... 73
Figura 13 - Informações cadastradas do SUAP. ... 75
Figura 14 - Listagem de inventário de dados com ênfase na ação "Selecionar Dados" . 75 Figura 15 - Lista de campos que são considerados sigilosos pelo SUAP. ... 76
Figura 16 - Matriz de priorização das bases de dados da CGU. ... 77
Figura 17 - Formulário da matriz de priorização. ... 77
Figura 18 - Exemplo do formulário de escrita do PDA. ... 79
Figura 19 - Integração ODM com ODP ... 79
Figura 20 - Sequência de troca de mensagens entre as duas aplicações... 80
Figura 21 - Arquitetura stand-alone... 81
Figura 22 - Arquitetura SaaS Single-tenant ... 82
Figura 23 - Arquitetura SaaS Multi-tenant ... 82
Figura 24 - Ilustração da utilização de chave estrangeira ... 83
Figura 25 - Ilustração da utilização de separação via schema ... 84
Figura 26 - Ilustração da separação via banco de dados... 84
Figura 27 Parte do arquivo docker-compose.yml para ambiente ... 85
Figura 28 - Parte do arquivo docker-compose-prod.yml ... 86
Figura 29 - Mapeamento das requisições no JMeter ... 89
Figura 30 - Monitoramento via ZABBIX ... 91
Figura 31 - Monitoramento via JMeter... 91
Figura 35 - Monitoramento de tempo de resposta ... 92
Figura 36 - Monitoramento via ZABBIX ... 93
Figura 37 - Monitoramento via JMeter... 93
Figura 38 - Monitoramento de tempo de resposta ... 93
Figura 39 - Monitoramento via ZABBIX ... 94
Figura 40 - Monitoramento via JMeter... 94
Figura 41 - Monitoramento do tempo de resposta ... 95
Figura 42 - Monitoramento via ZABBIX ... 95
Figura 43 - Monitoramento via JMeter... 96
Figura 44 - Monitoramento do tempo de resposta ... 96
Figura 45 - Consumo de processamento por usuários ... 97
Figura 46 - Consumo de memória por usuários ... 97
Figura 47 - Tempo de resposta e percentual de erros por usuários ... 97
Tabela 1 - Análises sobre os serviços de mensageria ... 42
Tabela 2 - Artigos selecionados na primeira pesquisa no Periódico da CAPES ... 45
Tabela 3 - Artigos selecionados na segunda pesquisa do Periódico da CAPES ... 46
Tabela 4 - Artigos selecionado na primeira consulta do ACM ... 48
Tabela 5 - Artigos selecionados na segunda consulta do ACM ... 49
Tabela 6 - Artigos selecionados na terceira consulta do ACM ... 50
Tabela 7 -Primeira consulta no motor de busca IEEE Xplore ... 52
Tabela 8 - Primeira consulta no motor de busca Google Scholar ... 53
Tabela 9 - Segunda consulta no motor de busca Google Scholar ... 54
Tabela 10 - Artigos sobre PDA que contribuíram para o trabalho ... 56
Tabela 11 Artigos que contribuíram no entendimento sobre dados abertos governamentais ... 56
Tabela 12 - Tabela de artigos que contribuíram a entender como os dados estão sendo disponibilizados para a sociedade... 57
Tabela 13 - Tabela dos requisitos funcionais ... 60
Tabela 14 - Tabela de requisitos não funcionais ... 61
Tabela 15 - Tabela de requisitos de domínio ... 63
Tabela 16 - Tabela para levantamento de inventário das bases de dados. ... 74
Tabela 17 - Tabela de PDAs analisados com relação ao grupo de trabalho ... 87
Tabela 18 - Resultado das rodadas de testes com 10 usuários ... 90
Tabela 19 - Resultado das rodadas de testes com 20 usuários ... 91
Tabela 20 - Resultados das rodadas de testes com 50 usuários ... 92
Tabela 21 - Resultados das rodadas de testes com 100 usuários ... 94
Tabela 22 - Resultados das rodadas de testes com 500 usuários ... 95
AMQP - Advanced Message Queuing Protocol
CAPTCHA - Completely Automated Public Turing test to tell Computers and Humans Apart
CEAP - Cota para o Exercício da Atividade Parlamentar
CGINDA - Comitê Gestor da Infraestrutura Nacional de Dados Abertos CGU - Controladoria Geral da União
CIGA - Comitê Interministerial Governo Aberto CKAN - Comprehensive Knowledge Archive Network CORBA - Common Object Request Broker Architecture CSV - Comma-separated values
DAG - Dados Abertos Governamentais
ENAP - Escola Nacional de Administração Pública HTML - HyperText Markup Language
IFRN - Instituto Federal de Ciência e Tecnologia do Rio Grande do Norte INDA - Infraestrutura Nacional de Dados Abertos
ISO - International Organization for Standardization JSON - JavaScript Object Notation
KML - Keyhole Markup Language LAI - Lei de Acesso à Informação
LGPD - Lei Geral de Proteção de Dados Pessoais ODM - OpenData Manager
ODP - OpenData Processor
OGP - Open Government Partnership OKF - Open Knowledge Foundation PDA - Plano de Dados Abertos PDF - Portable Document Format SIG - Sistemas Integrados de Gestão
SUAP - Sistema Unificado de Administração Pública XML - Extensible Markup Language
1 INTRODUÇÃO ... 16 1.1 PROBLEMÁTICAEMOTIVAÇÃO ... 18 1.2 OBJETIVOS ... 20 1.2.1 OBJETIVOS ESPECÍFICOS ... 20 1.3 METODOLOGIA ... 21 2 REFERENCIAL TEÓRICO ... 22 2.1 DADOSABERTOS ... 22
2.2 DADOSABERTOS GOVERNAMENTAIS ... 25
2.3 PLANODEDADOSABERTOS ... 26
2.3.1 PROCESSO SISTÊMICO DE UM PDA ... 28
2.3.2 ESTRUTURA DO PDA ... 30
2.4 SUAP SISTEMA UNIFICADO DE ADMINISTRAÇÃO PÚBLICA ... 34
2.5 INTEROPERABILIDADE ... 36
2.5.1 SERVIÇOSDEMENSAGERIA ... 37
2.5.1.1 Redis ... 39
2.5.1.2 RabbitMQ ... 40
2.5.1.3 Apache Kafka ... 41
2.5.1.4 Análise sobre os serviços de mensageria ... 41
2.5.2 DISCUSSÃO SOBRE AS ANÁLISES... 42
3 TRABALHOS RELACIONADOS ... 44
3.1 INFORMAÇÕES GERAIS ... 44
3.2 PESQUISA NOS MOTORES DE BUSCA ... 45
3.2.1 PORTAL DE PERIÓDICOS DA CAPES (HTTPS://WWW.PERIODICOS.CAPES.GOV.BR/) ... 45
3.2.2 ACMDIGITAL LIBRARY (HTTPS://DL.ACM.ORG) ... 47
3.2.3 IEEEXPLORE (HTTPS://IEEEXPLORE.IEEE.ORG/XPLORE/HOME.JSP) ... 51
3.2.4 GOOGLE SCHOLAR (HTTPS://SCHOLAR.GOOGLE.COM.BR/) ... 52
3.3 OUTRAS PESQUISAS REALIZADAS ... 55
3.4 CONCLUSÃO DA PESQUISA SOBRE TRABALHOS RELACIONADOS ... 56
4 PROPOSTA DE GERENCIAMENTO DO PROCESSO DE CRIAÇÃO E MONITORAMENTO DO PLANO DE DADOS ABERTOS ... 60
4.1 REQUISITOSFUNCIONAIS ... 60
4.2 REQUISITOSNÃOFUNCIONAIS... 61
4.3 REQUISITOSDEDOMÍNIO ... 63
4.4 IMPLEMENTAÇÃODAPROPOSTADEELABORAÇÃO EMONITORAMENTO DOPLANODEDADOSABERTOS ... 65
5.1 FUNCIONALIDADEDOOPENDATAMANAGER ... 71
5.1.1 ÁREA DE ACESSO PÚBLICO... 71
5.1.2 ÁREA DE ACESSO RESTRITO ... 71
5.1.2.1 Grupo de Trabalho ... 73
5.1.2.2 Definição do inventário de dados ... 73
5.1.2.3 Consulta pública ... 76
5.1.2.4 Elaborar a matriz de priorização ... 76
5.1.2.5 Definir relação final das bases ... 78
5.1.2.6 Cronograma de abertura ... 78
5.1.2.7 Registro do Plano de Dados Abertos ... 78
5.2 INTEGRAÇÃO ... 79
5.3 ARQUITETURA DO OPENDATA MANAGER ... 80
5.3.1 ARQUITETURA STAND-ALONE ... 81
5.3.2 ARQUITETURA DE SOFTWARE COMO SERVICE (SAAS) ... 81
5.3.2.1 Utilização de chave estrangeira ... 83
5.3.2.2 Separação via schema ... 83
5.3.2.3 Separação via banco de dados ... 84
5.4 DEPLOY DO OPENDATA MANAGER ... 84
5.5 AVALIAÇÃO DE PERFORMANCE... 86
5.5.1 OBJETIVOS ... 86
5.5.2 CONFIGURAÇÕESEMÉTRICAS ... 87
5.5.2.1 Configurações do JMeter ... 88
5.5.2.2 Configurações do ZABBIX ... 90
5.5.3 EXECUÇÃODOSTESTES ... 90
5.5.3.1 Testes com 10 usuários virtuais simultâneos ... 90
5.5.3.2 Testes com 20 usuários virtuais simultâneos ... 91
5.5.3.3 Testes com 50 usuários virtuais simultâneos ... 92
5.5.3.4 Testes com 100 usuários virtuais simultâneos ... 94
5.5.3.5 Testes com 500 usuários virtuais simultâneos ... 95
5.6 ANÁLISE DA AVALIAÇÃO ... 97
5.7 CONCLUSÃO SOBRE A APLICAÇÃO NO GERAL ... 99
6 CONCLUSÕES ... 101
6.1 LIMITAÇÕES... 101
6.2 TRABALHOSFUTUROS ... 102
8.1 APÊNDICE 1 ROTEIRO DE TESTES DA APLICAÇÃO ... 110
8.2 APÊNDICE 2 EXEMPLOS DE PDASRECRIADOS A PARTIR DO OPENDATA MANAGER
1 INTRODUÇÃO
O acesso à informação, sobretudo governamental, tem sido de grande importância na construção da relação da sociedade e governo, possibilitando a consulta e auditoria de informações que antes não era possível. Com a disponibilidade desses dados é possível elaborar aplicações que estreitam a relação cidadão com o governo, como a Opera o Serenata de Amor (OPERAÇÃO..., 2016). A Operação Serenata de Amor é um projeto onde se utiliza da inteligência artificial para analisar a Cota para o Exercício da Atividade Parlamentar (CEAP). Com base em informações disponibilizadas em formato aberto, a aplicação consegue extrair informações e, quando necessário, realizar denúncias do mau uso dos recursos públicos.
Parte dos dados utilizados por esses tipos de aplicações são gerados por órgãos públicos, que precisam disponibilizá-los de forma acessível a sociedade. O Decreto nº 8.777 (BRASIL, 2016), assinado pela Presidência da República em 11 de maio de 2016, regulamentou a abertura dos dados públicos do Poder Executivo Federal, estabelecendo as regras para essa abertura. O decreto também realiza a definição de alguns termos e, dentre eles, define dados aberto como dados acessíveis ao público, em meio digital, estruturados em formato aberto, processáveis por máquina, referenciados na internet e disponibilizados sob licença aberta que permita sua livre utilização, consumo ou cruzamento, limitando-se a creditar a autoria ou a fonte (BRASIL, 2016). A Open
Knowledge Foundation (OKF), uma organização sem fins lucrativos que tem como
objetivo a promoção e compartilhamento do conhecimento livre, define dados abertos como dados que podem ser livremente utilizados, reutilizados e redistribuídos por qualquer pessoa, no máximo, à exigência de atribuição à fonte original e ao compartilhamento pelas mesmas licenças em que as informações foram apresentadas .
Nesta mesma linha de pensamento, dados abertos governamentais vem como uma metodologia para a publicação de dados do governo, publicação esta que deve ser em um formato reutilizável, tornando maior a transparência das informações e contribuindo para o desenvolvimento de soluções úteis para a sociedade (DADOS..., 2019).
Na administração pública, abrir dados é uma obrigação legal. A Lei de Acesso à Informação LAI (BRASIL, 2011) se aplica aos órgãos públicos da administração direta e entes da administração indireta dos Poderes Executivo, legislativo, incluindo as Cortes
de Contas, e Judiciário e do Ministério Público, em todas as esferas (art. 1ª, parágrafo único). Ao abrir seus dados, os órgãos e entidades públicas e privadas devem observar as legislações vigentes, como a Lei Geral de Proteção de Dados Pessoais (LGPD). A LGPD foi sancionada em 14 de agosto de 2018 (Lei 13.709/2018) fazendo com que o Brasil entrasse no rol de 120 países que possuem leis específicas para proteção de dados pessoais. De um modo geral, ela estabelece regras para como deve ser a coleta, armazenamento, tratamento e compartilhamento de dados pessoais, impondo um padrão mais elevado de proteção (NONES, 2020).
Logo, as instituições são obrigadas a abrir seus dados, e, como descrito no Decreto nº 8.777, um dos passos para a abertura dos dados é a criação do Plano de Dados Abertos (PDA). O PDA é um documento orientador para as ações de implementação e promoção de abertura de dados, obedecendo a padrões mínimos de qualidade, de forma a facilitar o entendimento e a reutilização das informações (BRASIL, 2016). É ele quem organiza o planejamento referente à implantação e racionalização dos processos de publicação de dados abertos nas organizações públicas.
A Controladoria Geral da União (CGU) lançou em junho de 2017 o Painel Monitoramento de Dados Abertos (PAINEL..., 2017), que apresenta o panorama da abertura de dados no Poder Executivo Federal, permitindo conferir as bases de dados já publicadas, os cronogramas de publicação e acompanhar o cumprimento da política de dados abertos por diversos órgãos e entidades. Até o momento desta pesquisa, conseguimos verificar no painel da CGU o acompanhamento de 223 entidades e órgãos do Poder Público Federal. Desses, apenas 84 tem o seu PDA publicado atendendo aos padrões mínimos de qualidade e acessibilidade previstos na Resolução nº 3 de 13 de outubro de 2017, do Comitê Gestor da Infraestrutura Nacional de Dados Abertos CGINDA.
De um modo geral, o PDA é formulado manualmente, em um arquivo de texto comum e esse documento é de difícil gerenciamento das bases contidas nele, tanto no que diz respeito às informações de abertura, quanto a periodicidade que as informações e o próprio PDA devem ser revisados e atualizados. Realizando pesquisas na literatura onde foram selecionados 50 artigos para leitura, não foi possível localizar uma ferramenta que forneça a funcionalidade de gerenciar o processo de criação do PDA, tornando possível o monitoramento de cada item descrito deste documento. Dessa forma, o objetivo deste trabalho é desenvolver uma ferramenta que seja capaz de auxiliar toda a criação de um
PDA, possibilitando também o monitoramento das bases que serão abertas e sugerir bases para uma futura abertura.
Será desenvolvida uma aplicação web que irá gerenciar todo o processo sistêmico de elaboração do PDA, cadastrando usuários que irão compor o grupo de trabalho, configurando acesso a sistemas internos do órgão para obtenção de informações com potencial de serem abertas, dentro outras funcionalidades. Buscando conhecimento sobre o ambiente opendata e procurando por outras ferramentas com a mesma funcionalidade de gerenciamento do PDA, realizamos uma pesquisa na literatura encontrando 50 artigos que nos ajudaram a esclarecer como dados abertos são tratados no Brasil e no mundo e como essas informações são disponibilizadas para os cidadãos. Com esse conhecimento, foi possível elaborar uma aplicação seguindo as legislações vigentes e com uma maior capacidade de se adaptar as necessidades dos diferentes órgãos públicos. Com a opção de a aplicação funcionar como serviço, foi necessário realizar testes de performance para avaliar como a ferramenta irá se comportar com uma quantidade elevada de usuários simultâneos.
Sendo o idealizador deste trabalho funcionário do Instituto Federal de Ciência e Tecnologia do Rio Grande do Norte (IFRN), conhecendo a realidade dos dados abertos neste instituto e sendo integrante da equipe de Tecnologia da Informação, este trabalho irá se valer de boa parte das informações e artefatos disponíveis no IFRN. O Plano de Dados Abertos elaborado pelo instituto e atualmente em vigor será objeto de teste para aplicação que será desenvolvida. Ainda sobre os institutos federais, a pesquisa terá um escopo voltado a eles, mas não irá negligenciar outras instituições que fomentam a abertura de dados.
1.1 PROBLEMÁTICA E MOTIVAÇÃO
A partir do Decreto nº 8.777 assinado pela Presidência da República em 11 de maio de 2016, decreto este que instituiu a Política de Dados Abertos do Poder Executivo Federal, órgãos e entidades da administração pública federal direta, autárquica e fundacional são obrigados a disponibilizarem os dados, que não estejam sob sigilo ou sob restrição de acesso, contidos em seus bancos de dados sob a forma de dados abertos. O Capítulo III, Artigo 5º deste mesmo Decreto, estabelece que a gestão da Política de Dados Abertos do Poder Executivo federal será coordenada pela Controladoria-Geral da União
Dentre os Institutos Federais, a situação não é diferente, dos 38 Institutos que estão sendo monitorados, 26 não tem PDA cadastrado ou seguindo as normas e padrões de abertura, observação esta realizada junto ao Painel de Monitoramento de Dados Abertos da CGU (PAINEL..., 2017). O Instituto Federal de Educação, Ciência e Tecnologia do Rio Grande do Norte (IFRN) é um exemplo de instituto que tem o PDA publicado seguindo os padrões definidos pelo Comitê Gestor da Infraestrutura Nacional de Dados Abertos (CGINDA). Existe todo o processo de extração e publicação dos dados de forma automatizada, porém, o PDA não tem nenhum tipo de monitoramento dessas bases abertas, muito menos um monitoramento sobre o próprio documento do PDA.
Uma vez que o PDA do IFRN é publicado, os datasets que serão abertos tem que ser cadastrados manualmente no módulo de extração das informações, o qual não tem nenhum tipo de gerenciamento temporário de feedback para melhorar as informações disponibilizadas. O módulo de extração trabalha independente do que está descrito no PDA, abrindo margem para que os dados que estão descritos no PDA como dados que estão abertos não estejam de fato.
O IFRN é um exemplo de instituto que tem seu PDA publicado e, tomando como exemplo o processo de desenvolvimento desse PDA, não foi utilizada nenhuma solução automatizada que gerencie o processo de criação e monitoramento. Atualmente, no instituto federal existe uma solução que dá suporte ao processo de extração e publicação de dados chamada Opendata Processor (VILELA, 2018), agendando períodos de extração de algumas bases que já foram levantadas. Apesar deste PDA estar publicado em sua plataforma de dados abertos, este não foi publicado no painel da CGU.
O Portal Brasileiro de Dados Abertos (Dados, 2020) disponibiliza atualmente em seu site 20 aplicativos que fazem uso de dados aberto. Dentro esses aplicativos, podemos destacar: 1) Coronavírus SUS aplicativo criado pelo Ministério da Saúde que tem o objetivo de conscientizar a população com informações sobre o novo Coronavírus, informando também a população sobre as unidades de saúde mais próximas à localização do usuário; 2) Operação Serenata de Amor ferramenta que fiscaliza os reembolsos efetuados por parlamentares, como custeio de alimentação, transporte e hospedagem a fim de encontrar irregularidades; 3) QEdu entrega de forma rápida e fácil informações sobre Prova Brasil, Censo Escolar, Ideb e Enam de todas as escolar do Brasil; 4) Monitora, Brasil! ferramenta que possibilita monitorar as atividades de deputados federais e senadores, possibilitando verificar a assiduidade e projetos propostos; 5)
Ciência Aberta é Vida reúne diversas fontes de informação científica de acesso aberto sobre o novo Coronavírus. Entre o conjunto de aplicativos disponível no portal, não foi possível encontrar nenhuma ferramenta que dê suporte na elaboração do Plano de Dados Abertos.
Pelo motivo de não encontrar nenhuma ferramenta catalogada com tal funcionalidade, resolvemos entrar em contato com o Núcleo de Dados Abertos da Controladoria Geral da União informando que estamos trabalhando em uma ferramenta que auxilia a elaboração do PDA. Questinamos como o PDA do órgão é elaborado, perguntando se este é construindo com o auxílio de alguma ferramenta. Em resposta, a CGU elogiou a iniciativa de elaborar uma ferramenta para este fim e informou que não possuem nenhuma ferramenta auxiliar no processo de construção do Plano de Dado Aberto.
1.2 OBJETIVOS
O objetivo geral deste trabalho é facilitar o desenvolvimento completo de um PDA e tornar possível o monitoramento de cada item elencado neste documento através de uma aplicação que será desenvolvida seguindo os padrões descritos no manual da CGU. Além disso, também iremos complementar o ambiente opendata com a nossa solução, que será capaz de se integrar a outras tornando este ambiente mais completo.
1.2.1 Objetivos Específicos
Os objetivos específicos deste trabalho são:
1. Identificar as formas possíveis de integração entre os sistemas de informação já existentes, as plataformas de dados abertos e a aplicação proposta;
2. Desenvolver uma ferramenta que gerencie todo o processo de criação do PDA e os datasets descritos nele;
3. Realizar a validação da ferramenta desenvolvida;
4. Realizar a avaliação e comparação entre a ferramenta desenvolvida e as ferramentas já existentes no mercado, caso encontremos alguma;
1.3 METODOLOGIA
Tendo em vista que a aplicação que será desenvolvida neste trabalho terá integração com diferentes outras aplicações, tais com as plataformas de dados abertos e sistemas integrados de gestão (SIGs), foi realizada uma pesquisa sobre o assunto, resultando em diferentes técnicas que ajudam na integração com esses sistemas. Dentre as técnicas estudadas, estão a base de dados compartilhada (shared database), transferência de arquivo (file transfer) e mensageria (messaging).
Também foi necessário realizar uma revisão bibliográfica a respeito de dados abertos, tentando especificar as buscas para dados abertos governamentais, o que nos deu uma visão do que outras entidades pelo mundo esperam conseguir abrindo seus dados e como o PDA é importante neste processo. A partir das leituras realizadas foi possível identificar vários pontos monitoráveis que podem ser implementados na ferramenta proposta, além do desenvolvimento de um PDA muito mais eficiente do ponto de vista das instituições.
A partir da visão geral de como entidades do mundo desenvolvem o Plano de Dados Abertos, foi possível pensarmos em uma arquitetura que dê suporte ao desenvolvimento deste documento de forma computacional, não mais de uma forma manual e sem um gerenciamento eficaz das informações descritas neste.
Para validar a ferramenta proposta, vamos reescrever alguns PDAs (Apêndice 2 ExemploS de PDAS Recriados a partir do Opendata Manager), testando cada base de dados, itens das bases e o próprio documento, criando versões deles e gerando o documento final. Também será necessário testar a integração que a ferramenta deve ter com os sistemas de extração e publicação dos dados e integração com SIGs. A solução proposta deverá integrar-se com esses sistemas ou incorporar algumas funcionalidades que a possibilite de se tornar independente de aplicações externas. Para realizar essas tarefas específicas, deverão ser desenvolvidos módulos que as fazem. Logo, a ferramenta proposta deverá ser modular, podendo assim expandir sua capacidade de ações relacionadas a dados abertos. Os módulos a serem desenvolvidos devem seguir o padrão do Django Framework.
2 REFERENCIAL TEÓRICO
No referencial teórico fazemos um resumo dos principais assuntos relacionados ao trabalho.
2.1 DADOS ABERTOS
Segundo a Open Definition (Open Definition, 2014), dados abertos são dados que podem ser livremente utilizados, reutilizados e redistribuídos por qualquer pessoa sujeitos, no máximo, à exigência de atribuição à fonte original e ao compartilhamento pelas mesmas licenças em que as informações foram apresentadas. O Decreto nº 8.777 de 11 de maio de 2016, Artigo 2º, estabelece ainda que: dados s o sequ ncia de s mbolos ou valores, representados em qualquer meio, produzido como resultado de um processamento natural ou artificial. Já dados abertos s o dados que est o acess veis ao público, disponíveis de forma digital, estruturados em formado aberto, processáveis por máquina, referenciados na internet e disponibilizados sob licença aberta que permita sua livre utilização, consumo ou cruzamento, limitando-se a creditar a autoria ou a fonte.
Tanto a Open Definition quanto o Decreto nº 8.777 são claros quanto as condições para que um dado seja considerado aberto, porém, muitos desses dados disponíveis publicamente não estão realmente abertos, sendo estes disponibilizados em tabelas HTML (HyperText Markup Language), em arquivo PDF (Portable Document Format) ou em ambientes que impeçam o acesso direto aos dados com a implementação de CAPTCHA (Completely Automated Public Turing test to tell Computers and Humans
Apart) ou outras técnicas que não permitam múltiplas requisições.
É perceptível que a abertura dos dados está interessada em evitar um mecanismo de controle e restrição sobre dos dados que serão publicados, permitindo que qualquer pessoa possa explorar esses dados de forma livre. Por esta perspectiva, a definição do termo dados abertos carrega três normas fundamentais (Open Knowledge Foundation, 2010):
Disponibilidade e acesso: os dados devem estar disponíveis como um todo e sob custo não maior que um custo razoável de reprodução, e preferencialmente devem ser possíveis de ser baixados pela Internet. Os dados devem também estar disponíveis de uma forma conveniente e modificável.
Reuso e redistribuição: os dados devem ser fornecidos sob termos que permitam a reutilização e a redistribuição, inclusive a combinação com outros conjuntos de dados.
Participação universal: todos devem ser capazes de usar, reutilizar e redistribuir não deve haver discriminação contra áreas de atuação ou contra pessoas ou grupos. Por exemplo, restri es de uso n o comercial que impediriam o uso comercial , ou restri es de uso para certos fins (ex.: somente educativos) excluem determinados dados do conceito de
abertos .
Logo, o ativista de dados abertos David Eaves resumiu essas normas em três leis da seguinte forma (PORTAL BRASILEIRO DE DADOS ABERTOS, 2019):
1. Se o dado não pode ser encontrado ou indexado na Web, ele não existe; 2. Se o dado não está disponível num formato aberto e legível por máquina,
ele não pode ser reutilizado;
3. Se dispositivos legais não permitem que ele seja compartilhado, ele não é útil.
Além das leis, são também amplamente conhecidos, no contexto do ecossistema de dados abertos, os "Oito Princ pios de dados abertos , elaborados em meados de 2007, por um grupo de trabalho de cerca de 30 pessoas, que se reuniram numa cidade da Califórnia nos Estados Unidos (PORTAL BRASILEIRO DE DADOS ABERTOS, 2019). No entendimento deles, a internet permite aos governos compreenderem melhor as necessidades da sociedade e, dessa forma, a sociedade pode participar ativamente do governo. O entendimento desse grupo em relação aos DAG é que eles possibilitam o acompanhamento do uso mais eficiente dos recursos públicos e podem promover a melhoria do bem-estar público. Os princípios de dados abertos definidos por eles são:
Completos: os dados são considerados completos quanto o conjunto todo é disponibilizado, e não apenas uma parte dele. Por exemplo: os conjuntos de dados são disponibilizados em sua série histórica e não apenas algumas vezes, ou seja, se o órgão possui um conjunto de dados de 2000 até 2014, deve-se abrir todos, não somente de 2010 até 2014, por exemplo.
Primários: são dados que, da mesma forma que foram coletados da fonte, deverão ser disponibilizados, não podendo haver nenhuma transformação das informações. Caso o órgão ou entidade ache importante a agregação
de informações, é recomendado a publicação das duas formas, dados brutos e agregados.
Atuais: os dados são disponibilizados o quão rapidamente seja necessário para preservar o seu valor. Assim, os órgãos públicos devem oferecer ferramentas e especificações técnicas para que os dados possam ser publicados com qualidade e de forma rápida e segura para a sociedade. Acessíveis: os dados são disponibilizados para o público mais amplo
possível e para os propósitos mais variados.
Processáveis por máquina: os dados são razoavelmente estruturados para possibilitar o seu processamento automatizado, de forma a permitir a análise de grandes quantidades de registros sem intervenção manual. Então, no processo de disponibilização, devem-se considerar vários formatos abertos, como, por exemplo: csv, xml, json, kml; pois um único formato pode prejudicar a utilização dos dados por um grupo de pessoas (por falta de conhecimento), e em outros casos faltaria estruturação para manipular os arquivos.
Acesso não discriminatório: os dados estão disponíveis a todos, sem que seja necessária identificação, registro ou cadastro.
Formato não proprietário: os dados estão disponíveis em um formato sobre o qual nenhuma entidade tem controle exclusivo. A disponibilização de conjuntos de dados em formatos de arquivos proprietários pode gerar dependência tecnológica para o uso das informações, o que restringiria o acesso aos dados. Com isso, os dados devem estar estruturados e organizados para facilitar sua manipulação por softwares diversos. A título de exemplo, documentos disponibilizados em formato PDF não permitem nenhuma estrutura que possa ser analisada por um software.
Livres de licenças: os dados não estão sujeitos a regulações de direitos autorais, marcas, patentes ou segredo industrial. Restrições razoáveis de privacidade, segurança e controle de acesso podem ser permitidas na forma regulada por estatutos.
Uma instituição ou órgão público que inicia o processo de abertura de dados, seguindo essas três leis fundamentais, torna possível que outras organizações consigam
trabalhar de forma colaborativa devido a capacidade de diferentes sistemas interoperar sobre os dados que foram abertos.
2.2 DADOS ABERTOS GOVERNAMENTAIS
Segundo o Portal de Dados Abertos do Governo Federal (DADOS..., 2019), dados abertos governamentais são uma metodologia para a publicação de dados de governo em formatos reutilizáveis, visando o aumento da transparência e maior participação política por parte do cidadão no desenvolvimento/conhecimento de políticas públicas, além de gerar diversas aplicações desenvolvidas colaborativamente pela sociedade.
Em 2009 surge a iniciativa Open Data (OPEN KNOWLEDGE FOUNDATION, 2009), como é conhecido em inglês, que movimenta comunidades em todo o mundo para cobrar informações públicas dos governos. Dessa forma os cidadãos podem colaborar com os processos de governo e com o controle social das políticas. No caso do Brasil, vários órgãos da Administração Pública já publicam seus dados na web, na forma de relatórios e balanços para que os cidadãos possam acompanhar os resultados das ações de governo.
Embora no Brasil já existam, hoje em dia, várias iniciativas governamentais relacionadas a dados abertos, somente no ano de 2011, em reconhecimento às iniciativas na área de transparência pública, o Brasil foi convidado pelo Governo dos Estados Unidos para presidir junto a ele a Open Government Partnership (OGP) e a Parceria para o Governo Aberto. A Parceria para Governo Aberto é uma iniciativa internacional que pretende difundir e incentivar práticas governamentais relacionadas à transparência dos atos do governo e ao acesso às informações públicas, ao combate à corrupção, à participação social e ao fomento de novas tecnologias, de maneira a tornar os governos mais abertos, efetivos e responsáveis (GOVERNO ABERTO, 2012).
Em meio a essas condições, o Decreto s/nº de 15 de setembro de 2011, o governo brasileiro instituiu o primeiro Plano de Ação sobre Dados Abertos, onde é tratado todos os compromissos e medidas a serem tomadas na área da transparência pública. No referido Decreto é estabelecido o Comitê Interministerial Governo Aberto (CIGA), responsável por promover a difusão e a implementação do Plano de Ação junto a sociedade e órgãos governamentais.
Os efeitos dos dados abertos governamentais sobre as políticas públicas podem ser sentidos em diversos pontos (DADOS..., 2019):
Inclusão: Fornecer dados em formatos padronizados abertos e acessíveis permite que qualquer cidadão utilize qualquer ferramenta de software para adaptá-los às suas necessidades.
Transparência: Informações do setor público abertas e acessíveis melhoram a transparência, pois as partes interessadas podem usá-las da maneira mais adequada ao seu propósito.
Responsabilidade: Os conjuntos apropriados de dados abertos, devidamente associados, podem oferecer vários pontos de vista sobre o desempenho dos governos no cumprimento de suas metas em políticas públicas.
A abertura de dados não traz benefícios apenas aos cidadãos, mas também para a própria administração pública. Os dados podem, por exemplo, aumentar a eficiência do governo, uma vez que, ao tornar as informações públicas, a quantidade de dúvidas da população provavelmente cairá, diminuindo a carga de trabalho de alguns funcionários, que poderão se dedicar a outras atividades (ANTUNES, 2017). Além disso, as análises e estudos feitos por terceiros auxiliam o governo a avaliar suas políticas públicas e serviços, apontando ao poder público o que não está dando certo e o ajudando a descobrir como e onde devem ser feitas melhorias. Isso também contribui para a eficiência do serviço público e para a redução de custos.
Embora todo o dado governamental tenha uma vocação para ser dado aberto, nem todo dado público é um dado aberto (DADOS..., 2019). Entende-se por dado p blico qualquer dado, gerado pelo governo ou sob sua guarda, que não tenha seu acesso restrito por legislação específica.
2.3 PLANO DE DADOS ABERTOS
O Plano de Dados Abertos (PDA) o documento orientador, que define as ações de implementação e promoção de abertura de dados dos órgãos e entidades públicas (PLANO..., 2018). Os dados devem obedecer aos padrões mínimos de qualidade, de forma a facilitar o entendimento e sua reutilização por qualquer pessoa ou sistemas. Este documento organiza o planejamento referente implantação e racionalização dos
processos de publicação de dados abertos nas organizações públicas. Ele um documento de planejamento institucional que os órgãos públicos utilizam para incluir o tema Dados Abertos Governamentais (DAG) em suas atividades (PLANO..., 2018).
De acordo com o Decreto no 8.777/2016, a publicação do PDA é obrigatória para os órgãos da Administração Pública federal direta, autárquica e fundacional, conforme o Artigo 5º dessa legislação. Os dispositivos específicos que tratam do plano são os seguintes:
§ 2o A implementação da Política de Dados Abertos ocorrerá por meio da execução de Plano de Dados Abertos no âmbito de cada órgão ou entidade da administração pública federal, direta, autárquica e fundacional, o qual deverá dispor, no mínimo, sobre os seguintes tópicos: I - criação e manutenção de inventários e catálogos corporativos de dados; II - mecanismos transparentes de priorização na abertura de bases de dados, os quais obedecerão os critérios estabelecidos pela INDA e considerarão o potencial de utilização e reutilização dos dados tanto pelo Governo quanto pela sociedade civil; III - cronograma relacionado aos procedimentos de abertura das bases de dados, sua atualização e sua melhoria; IV - especificação clara sobre os papéis e responsabilidades das unidades do órgão ou entidade da administração pública federal relacionados com a publicação, a atualização, a evolução e a manutenção das bases de dados;V - criação de processos para o engajamento de cidadãos, com o objetivo de facilitar e priorizar a abertura da dados, esclarecer dúvidas de interpretação na utilização e corrigir problemas nos dados já disponibilizados; e VI - demais mecanismos para a promoção, o fomento e o uso eficiente e efetivo das bases de dados pela sociedade e pelo Governo.
§ 3o A INDA poderá estabelecer normas complementares relacionadas com a elaboração do Plano de Dados Abertos, bem como relacionadas à proteção de informações pessoais na publicação de bases de dados abertos nos termos deste Decreto.
A elaboração do plano vem ao encontro do disposto na Lei de Acesso à Informação, na Instrução Normativa SLTI nº 4, de 12 de abril de 2012 (que institui a Infraestrutura Nacional de Dados Abertos - INDA), bem como nos compromissos assumidos pelo Brasil no âmbito da Parceria para Governo Aberto, entre outros normativos que abordam o tema de transparência. Além disso, a construção dos PDAs tem o potencial de gerar um aprendizado coletivo, que pode ser utilizado futuramente para a formulação de uma proposta de política nacional, pois é desejável que os órgãos construam seus planos de forma colaborativa.
Para a elaboração do PDA é necessário um momento anterior onde a instituição implemente as políticas de dados abertos. Trata-se de um processo que inclui todas as ações que o órgão ou entidade deve ter cuidado ao implementar uma política de dados abertos. Também é neste momento em que se destaca a elaboração do Plano de Dados
Abertos como um documento guia, central, onde são divulgados os compromissos e prazos para a sua execução.
2.3.1 Processo Sistêmico de um PDA
Como podemos observar na Figura 1, é no processo sistêmico onde exemplificamos, de forma ampla, todas as ações que o órgão ou entidade deve se atentar na implementação da política de dados abertos.
Figura 1 - Ilustração do processo sistêmico de um PDA
Fonte: Imagem retirada do site do Portal de Dados Abertos do Governo do Brasil 1
Cada uma dessas atividades tem função específica no processo de elaboração de um plano de dados abertos, segundo explicado no portal governamental Kit para dados abertos (Brasil, 2020) e no Manual para Elaboração do PDA (ELABORAÇÃO..., 2017):
Apresentar a política de dados abertos
Sendo o primeiro passo do processo sistêmico, é onde serão apresentadas a política de dados a abertos e a motivação para criação do PDA. Segundo o manual da ENAP (ELABORAÇÃO..., 2017), é nesta etapa onde deve ser apresentado que o Plano de Dados Abertos tem uma estreita ligação com as expectativas
estratégicas do órgão. Todos os outros passos do processo deverão ser produzidos em ressonância com as diretrizes estratégicas do órgão.
Definir ponto focal
É nesta etapa onde é definido os responsáveis pela elaboração do PDA, responsáveis estes que deverão ter uma boa interação com as outras áreas do órgão, assim como interagir com outras organizações, como a INDA, para troca de experiências e alinhamento das políticas de dados abertos. Ainda segundo o manual da ENAP, também é desejável que os responsáveis tenham conhecimento dos sistemas e banco de dados mantidos na instituição, assim como familiaridade com conceitos relacionados a acesso à informação.
Identificação dos representantes das áreas do órgão
É nesta etapa onde será identificado os detentores dos conhecimentos necessários para construção do PDA. Segundo o Portal Kit para Dados Abertos do governo federal (Brasil, 2020), é necessário identificar as áreas ou setores da instituição com concentram informações úteis no desenvolvimento do PDA, como: (i) Serviço de Informação ao Cidadão - onde é concentrada as solicitações da sociedade; (ii) Ouvidoria - onde podem ser encontradas mais solicitações realizadas pelos cidadãos; (iii) Área de Tecnologia de Informação - para acesso as bases de dados de onde as informações serão extraídas. Segundo o manual da ENAP, nesta etapa do processo, cada área de negócio dos órgãos têm um papel fundamental por conhecerem seus dados e informações.
Realização de oficinas
A realização de oficina, segundo o Portal Kit de Dados Abertos (Brasil, 2020), serve para a construção do PDA seguindo o Manual de elaboração do PDA. É dividida em dois momentos: (i) alinhamento dos conceitos sobre o tema; (ii) construção do PDA e início dos planejamentos.
Elaboração do PDA
Segundo o manual da ENAP, é nesta etapa que se que são realizados os principais passos para a elaboração do PDA, desde a organização do inventário de dados e a priorização deles até a definição da estratégia de abertura, do cronograma e dos marcos. Como podemos perceber na Figura 1 Ilustração do processo sistêmico
do PDA, é recomendado que seja realizada uma reunião dos responsáveis pelo desenvolvimento do PDA pelo menos uma vez ao ano, para revisão do documento.
Publicação do documento
A publicação do PDA nada mais é do que disponibilizar o documento, nos formatos HTML e PDF na página da instituição.
Execução do PDA
Segundo o manual da ENAP, nesta fase, as áreas selecionadas para elaborar o PDA devem realizar reuniões periódicas para revisar as metas estabelecidas para o desenvolvimento do PDA. Também é nesta fase a divisão das responsabilidades de cada área, onde ficará definido o papel de cada uma no desenvolvimento do Plano de Dados Aberto.
Agora que sabemos os passos para se produzir o PDA, precisamos entender a sua estrutura e o que é necessário estar descrito em cada uma das áreas específicas deste documento.
2.3.2 Estrutura do PDA
Como o próprio nome diz, a estrutura do PDA nada mais é do que a organização dos tópicos deste documento. Segundo o manual desenvolvido pela ENAP (ELABORAÇÃO..., 2017) e o manual de elaboração de Planos de Dados Abertos mantido pela CGU (CGU, 2020), a estrutura é dividida em nove partes (tópicos), como exemplificado na Figura 2:
Figura 2 - Ilustração da estrutura sugerida de um PDA
Fonte: Módulo de elaboração do PDA - ENAP2
Embora a estrutura de um Plano de Dados Abertos seja bem simples, é necessário conhecer melhor o conteúdo que de cada tópico. Seguindo o exemplo
disposto no manual da ENAP, vamos adotá-lo para exemplificar cada tópico, realizando comparação de cada tópico com o que diz no manual da CGU.
o Apresentação
Esta fase não está presente no manual da GCU, mas é introduzido no manual elaborado pela ENAP (ELABORAÇÃO..., 2017) que descreve esta seção como responsável por expor os propósitos do PDA da organização, e seu alinhamento com as legislações vigentes (leis, decretos e instruções normativas).
o Introdução
Segundo a CGU (CGU, 2020), na introdução, é onde se apresenta, de forma breve, o conteúdo e o propósito do documento mencionando os dispositivos legais que regem a Política de Dados Abertos (Decreto no 8.777/2016, Decreto no 9.903/2019 e Resolução no 3/2017 do CGINDA) . Vale ressaltar que esta definição da CGU descrita na
Introdu o já abarcada na se o Apresenta o no manual da ENAP.
Também é importante frisar que a ENAP expande esta seção, atribuindo a ela subseções como Objetivos Gerais e Objetivos Específicos. Já a CGU orienta, através de seu manual, criar um tópico específico para os objetivos.
o Definição dos dados a serem abertos
A ENAP descreve esta etapa como sendo o momento onde é apresentado os conjuntos de dados que estão cotados a serem abertos, e os dados com possibilidade de serem abertos. Também são apresentados os critérios utilizados na seleção desses conjuntos. O manual da ENAP e CGU concordam nos seguintes critérios para priorização dos dados: (i) Grau de relevância para o cidadão (Resolução Nº 3, Art. 1º, I, § 1º); (ii) Estímulo ao controle social (Resolução Nº 3, Art. 1º, II); (iii) Obrigatoriedade legal ou compromisso assumido de disponibilização daquele dado (Resolução Nº 3, Art. 1º, III); (iv) Dado se referir a projetos estratégicos do governo (Resolução Nº 3, Art. 1º, IV); (v) Dado se referir a projetos estratégicos do governo (Resolução Nº 3, Art. 1º, IV); (vi) Sua capacidade de fomento ao desenvolvimento sustentável (Resolução Nº 3, Art. 1º, VI); (vii) Possibilidade de fomento a negócios na sociedade (Resolução Nº 3, Art. 1º, VII); (viii) Dados mais solicitados em transparência passiva desde o início da vigência da Lei nº 12.527, de 18 de novembro de2011 - Lei de Acesso à Informação (Resolução Nº 3, Art. 1º, VIII).
No manual da CGU não há um tópico exatamente com este nome. O tópico que se assemelha a este o Dados selecionados para abertura , onde orienta a apresenta o dos dados que serão abertos e a importância de compartilhar a matriz de priorização utilizada para selecionar os conjuntos de dados mais relevantes, conforme o Art. 1º da Resolução nº 3/2017 do CGINDA.
o Estratégia para abertura
Para a ENAP, esta é a etapa onde se descreve todos os passos realizados para a execução do Plano de Dados Abertos. A CGU explica da mesma forma esta etapa.
o Catalogação no Portal Brasileiro de Dados Abertos
Tanto a ENAP (ELABORAÇÃO..., 2017) quanto a CGU (CGU, 2019) definem esta etapa como sendo o passo de registro das bases de dados no Portal Brasileiro de Dados Abertos.
o Monitoramento e Controle
No manual da ENAP, a fase de Monitoramento e Controle é destinada a monitorar as ações previstas no PDA. Também frisa a importância de gerar relatórios periódicos sobre a publicação dos dados, contentos, principalmente, dados estatísticos de consulta às bases.
A CGU também enfatiza a importância dos relatórios de acompanhamento periódico, conforme orientação do Art. 5º §4º, IV do Decreto no 8.777/2016. Destaca também a importância de acompanhar as demandas da sociedade encaminhadas ao órgão, proveniente de reclamações sobre algum conjunto de dados abertos. Além desses pontos, a CGU ressalta a responsabilidade sobre o conteúdo dados como sendo da área finalística, cabendo a área de tecnologia de informação apenas o suporte na disponibilização desses dados.
o Sustentação
A CGU não define uma seção específica para este tópico, abarcando a sustentação juntamente com o monitoramento e controle das ações do Plano de Dados Abertos. A ENAP esclarece que nesta etapa é preciso manter uma melhoria constante dos dados que foram publicados e devidamente catalogados.
o Plano de Ação
A ENAP descreve esta etapa com a fase de detalhamento das atividades e os artefatos produzidos na realização dessas atividades. Definição de prazos, metas e gerenciamento de atualizações dos dados também fazem parte desta fase. No manual da ENAP é exposto um exemplo de plano de ação, como pode ser visto na Figura 3.
Figura 3 - Ilustração da tabela de plano de ação de um PDA
Fonte: Módulo de elaboração de um PDA - ENAP3
O manual da CGU detalha um pouco mais esta fase, dividindo o Plano de Ação em três cronogramas distintos:
1. Cronograma de elaboração e sustentação do PDA: onde é informadas as etapas realizadas na construção do PDA;
2. Cronograma de abertura de bases: cronograma responsável por manter a programação do órgão para a publicação das bases selecionadas. É estipulado um período de 2 anos, a contar da publicação do PDA, conforme o Art. 4º da Resolução nº 3/2017 do CGINDA;
3. Cronograma de promoção, fomento, uso e reuso das bases: onde deve ser registrada as ações de promoção, uso e reuso das bases de dados, conforme descrito no Art. 4º da Resolução nº 3/2017 do CGINDA.
o Glossário
Para a ENAP, é dado ênfase ao glossário, sendo um tópico isolado. Destina-se a registrar as palavras-chaves do PDA e suas definições. Para a CGU, o glossário também existe, sendo uma subse o do t pico Anexos .
o Referências
Assim como o tópico anterior, no manual da CGU a seção Refer ncias uma subse o do T pico Anexos . Está seção é onde se registra todas as referências utilizadas na elaboração do Plano de Dados Abertos (ELABORAÇÃO..., 2017).
2.4 SUAP SISTEMA UNIFICADO DE ADMINISTRAÇÃO PÚBLICA O SUAP, Sistema Unificado de Administração Pública (Figura 4), é um sistema que gerencia praticamente todo o Instituto Federal do Rio Grande do Norte (IFRN). Desenvolvido na linguagem de programação Python e utilizando o framework Django, é mantido pela equipe de Técnicos e Analistas do IFRN desde 2007, sendo aperfeiçoado para atender todas as ações realizadas pela Reitoria, Diretorias Sistêmicas e Direções Gerais dos Campi (VILELA - 2018).
Figura 4 - Dashboard do SUAP
Fonte: Elaborada pelo autor.
Sendo um sistema modular, já foram desenvolvidos cerca de 50 módulos para gerenciar as mais diversas áreas do IFRN. Do cargo chefe da instituição, que é o ensino, a gestão de documentos eletrônicos, o SUAP integra basicamente todos os setores do instituto. Ainda conta com interfaces de comunicação e importação de dados para a possibilidade de leitura e extração de informações de sistemas externos governamentais, como o SIAPE4 e SIGEPE5.
Por ser responsável em gerir todo o instituto federal, o SUAP dispõe de uma base de dados bem ampla, com informações de todo o tipo e que, com os cuidados devidos, podem ser potencialmente conjuntos de dados aptos a serem abertos.
Em negociação com Ministério da Educação (MEC) e IFRN, foi acordado de disponibilizar o SUAP para outras instituições de ensino em caráter experimental com o objetivo de, no futuro, transformá-lo em Sistema de Administração padrão para a Rede Federal. Atualmente, cerca de 30 instituições já estão utilizando o SUAP em todo o Brasil, como podemos observar na Figura 5 (VILELA - 2018).
4 Disponível em: http://www.siapenet.gov.br/Portal/Servico/Apresentacao.asp. Acesso em: 12 ago. 2020. 5 Disponível em: https://www.gov.br/servidor/pt-br/acesso-a-informacao/gestao-de-pessoas/sigepe.
Figura 5 - Abrangência do SUAP
Fonte: Elaborada pelo Autor baseado no mapa do SUAP de VILELA - 2018
2.5 INTEROPERABILIDADE
A interoperabilidade a capacidade de diversos sistemas e organizações trabalharem em conjunto (interoperar), de modo a garantir que pessoas, organizações e sistemas computacionais interajam para trocar informações de maneira eficaz e eficiente (INTEROPERABILIDADE..., 2020). Segundo François B. Vernadat (VERNADAT, 1996), é importante não confundir o termo interoperabilidade e integração, que, embora sejam utilizados comumente como sinônimo, têm conceitos distintos. VERNADAT afirma que integração facilita o acesso a informação e, consequentemente, melhora a comunicação, cooperação e coordenação dentro da empresa ou organização.
O governo brasileiro fundamenta seu entendimento de interoperabilidade nos quatro conceitos apresentados abaixo (GOVERNO FEDERAL, 2019):
1. "Intercâmbio coerente de informações e serviços entre sistemas. Deve possibilitar a substituição de qualquer componente ou produto usado nos pontos de interligação por outro de especificação similar, sem comprometimento das funcionalidades do sistema" (Governo do Reino Unido).
2. "Habilidade de transferir e utilizar informações de maneira uniforme e eficiente entre várias organizações e sistemas de informação" (Governo da Austrália).
3. "Habilidade de dois ou mais sistemas (computadores, meios de comunicação, redes, software e outros componentes de tecnologia da informação) de interagir e de intercambiar dados de acordo com um método definido, de forma a obter os resultados esperados" (ISO).
4. "Interoperabilidade define se dois componentes de um sistema, desenvolvidos com ferramentas diferentes, de fornecedores diferentes, podem ou não atuar em conjunto". (Lichun Wang, Instituto Europeu de Informática - CORBA Workshops).
A interoperabilidade pode contribuir para uma maior integração entre gestão, sociedade civil e comunidade, interação que se julga essencial implantação e consolidação da governança pública. Os diversos benefícios que a interoperabilidade dos sistemas de governo pode trazer podem ser divididos em dois eixos principais: Benefícios para a Gestão Pública e Benefícios Técnicos.
Hoje em dia, integração de aplicativos é baseada em uma diversidade de tecnologias, como mediadores de mensagens (message broker), adaptadores (adapters) e ebXML para incorporar sistemas. Essas tecnologias alcançam integração em diferentes níveis, isto é, dados, mensagem, objeto, interface e/ou nível de processo. No entanto, não existe uma única tecnologia de integração que suporte eficientemente todos os níveis de integração (S. Duke, P. Makey, N. Kiras. 1999; T. Puschmann, R. Alt 2001).
2.5.1 SERVIÇOS DE MENSAGERIA
Com uma necessidade cada vez mais crescente das aplicações se comunicarem entre si, soluções tecnológicas vão surgindo para nos apoiar nessas situações. O uso de um middleware de mensageria simplifica esses desafios e uma infraestrutura de comunicação comum que pode facilmente ser escalável para atender as condições mais exigentes. Essas comunicações podem acontecer das mais variadas formas, e os middleware de mensageria dão suporte a essas diversas formas (E. S. Pramukantoro, J. Ratna Wulandari, W. Yahya and H. Nurwarsito - 2018).
Um método de comunicação usado pelos middlewares de mensageria é um que usa um Message Broker. Com um Message Broker, o aplicativo de origem (produtor) envia uma mensagem para um processo do servidor que pode fornecer empacotamento,
roteamento, tradução de mensagens, persistência e entrega de dados para todos os destinos apropriados (consumidores), como podemos observar na Figura 6. A característica definidora de um Message Broker é que o próprio broker é um serviço discreto. Produtores e consumidores se comunicam com o broker usando protocolos padrão ou proprietários.
Figura 6 - Diagrama de sequência para representar o padrão Message Broker
Fonte: Imagem retirada do site wikipedia6.
O Message Broker normalmente fornece todo o gerenciamento e rastreamento de estado dos clientes, para que aplicativos individuais não precisem assumir essa responsabilidade e a complexidade da entrega de mensagens é incorporada por ele (E. S. Pramukantoro, J. Ratna Wulandari, W. Yahya and H. Nurwarsito - 2018). Existem duas formas básicas de comunicação com um Message Broker:
6 Disponível em: <https://en.wikipedia.org/wiki/Message_broker#/media/File:Message_Broker.png>.
Publish and Subscribe (Topics)
Em um sistema do tipo publish/subscribe, os produtores enviam mensagens sobre um tópico. Nesse modelo, o produtor é conhecido como editor e o consumidor é conhecido como assinante. Um ou muitos editores podem publicar no mesmo tópico, e uma mensagem de vários editores pode ser recebida por muitos assinantes. Os assinantes assinam tópicos, e todas as mensagens publicadas no tópico são recebidas por todos os assinantes no tópico. Esse modelo fornece entrega simples orientada a interesses, com base nos tópicos em que os aplicativos se inscrevem (G. Cugola, A. Margara and M. Migliavacca - 2009).
Point-to-Point (Queues)
As comunicações ponto a ponto, na sua forma mais simples, têm um produtor e um consumidor. Esse estilo de mensagem geralmente usa uma fila para armazenar mensagens enviadas pelo produtor até que sejam recebidas pelo consumidor. O produtor da mensagem envia a mensagem para a fila; o consumidor da mensagem recupera mensagens da fila e envia uma confirmação de que a mensagem foi recebida. Mais de um produtor pode enviar mensagens para a mesma fila e mais de um consumidor pode recuperar mensagens da mesma fila. Quando vários consumidores são usados, cada consumidor geralmente recebe uma parte do fluxo de mensagens para permitir o processamento simultâneo (Järvelä, A., & Lindmark, S. - 2019).
Portanto, foi necessária buscar na literatura os serviços de mensagerias mais utilizados na comunidade, realizar uma análise sobre as características de cada um, para que possamos escolher o que melhor se adequa a nossas pretensões.
2.5.1.1 Redis
O Redis é um software de código aberto de armazenamento de estrutura de dados em memória, usado como banco de dados, cache e mediador de mensagens. Ele suporta estruturas de dados como strings, hashes, listas, conjuntos, conjuntos classificados com consultas de intervalo, bitmaps, hiperloglog, índices geoespaciais com consultas e fluxos de raio. O Redis possui replicação embutida, scripts Lua, descarte de mensagens mais antigas (less recently used - LRU), transações e diferentes níveis de persistência em disco
e fornece alta disponibilidade via Redis Sentinel e particionamento automático com Redis Cluster (RedisLabs - 2017).
Ele trabalha com um conjunto de dados na memória. Dependendo do seu caso de uso, você pode persistir um conjunto de dados no disco de vez em quando ou escrevendo cada comando a um log. A persistência pode ser opcionalmente desabilitada, se você precisar apenas de um cache rico em recursos, em rede, na memória.
O Redis também suporta replicação assíncrona trivial de configuração
master-slave, com primeira sincronização muito rápida, reconexão automática com
ressincronização parcial na divisão da rede. 2.5.1.2 RabbitMQ
O RabbitMQ é um software open source de mensageria. Fornece uma forma de comunicação assíncrona de dados entre processos, aplicações ou servidores. É um dos
brokers de mensagens mais utilizados e implementa o protocolo AMQP Advanced
Message Queueing Protocol. O AMQP nasceu da necessidade de interoperabilidade de
diferentes middlewares de mensagens assíncronas. Sendo mais específico, embora existissem vários padrões de middleware para mensagens síncronas (por exemplo, IIOP, RMI, SOAP, etc.), o mesmo não se aplicava ao mundo das mensagens assíncronas, além de vários produtos proprietários usarem seus próprios protocolos fechados, por exemplo, IBM Websphere MQ e Microsoft Message Queuing (S. Vinoski - 2006).
O RabbitMQ vai além das garantias da AMQP em vários aspectos: possui um mecanismo de reconhecimento mais eficiente para os editores, um comportamento transacional mais bem definido, um melhor suporte à transferência assíncrona de lotes, um certo grau de engajamento entre produtores e consumidores (RabbitMQ - 2020).
Este sistema de mensageria é implementado em Erlang, o que implica que ele usa o Actor Model (modelo de atores) como comunicação primária entre processos Erlang. Portanto, ele se beneficia da infraestrutura da Open Telecom Platform (OTP) dessa linguagem, que facilita muito a criação e o gerenciamento de arquiteturas de alta disponibilidade. Erlang e o modelo de ator são as principais razões para os recursos de escalabilidade do RabbitMQ em termos de número de tópicos e filas, e trazem recursos de cluster com uma sobrecarga muito baixa (RabbitMQ - 2020).
