FASE IV – Limpeza e tratamento

Esta fase envolve todas as atividades e esforços do processo de limpeza e descarte de dados inválidos ou inconsistentes para construção de uma base de dados consolidada, bem como verificação dos resultados coletados.

Após a exportação dos conteúdos coletados em formato de arquivo CSV, todo o restante do trato com dados e informação foi desenvolvido internamente pela equipe do Laboratório de Turismo, Tecnologia, Informação e Conhecimento – TURITEC utilizando-se de tecnologias opensource e competências em programação para evitar o uso de outros terceiros. Essa opção permitiu maior transparência e domínio do processo empregado. Para tanto, foi criada uma instância de servidor UNIX com banco de dados MariaDB, o qual foi manipulado via procedimentos de script⁹nas linguagens SQL (Structured Query Language), Python e PHP (Hypertext Preprocessor). Essas tecnologias foram empregadas para operacionalizar as etapas posteriores, sendo os principais scripts apresentados no quadro 33 (BIZ; BETTONI;

THOMAZ; SANTOS; PAVAN, 2014).

NOME FUNÇÃO

mysqlimport.py Reunir os arquivos CSV e importá-los no banco de dados MariaDB expressoes.sql Configurar a ontologia de aplicação dentro do banco de dados MariaDB mapaheuristico.py Criar arquivos de dados compilados como subsídio para elaboração de mapas

heurísticos

pythonsql.py Buscar os termos da ontologia de aplicação nas mensagens armazenadas e associar variáveis às mensagens

statments.sql Controlar todo o processo de tratamento dos dados QUADRO 33: PRINCIPAIS SCRIPTS DESENVOLVIDOS E SUAS FUNÇÕES FONTE: Biz, Bettoni, Thomaz, Santos e Pavan (2014)

Primeiramente, os resultados das quatro estratégias de coletas foram compilados em uma única base para que todos as mensagens ou casos do universo

9 Roteiros ou textos com uma série de instruções escritas para serem seguidas por sistemas computacionais e trazem informações que são processadas e transformadas em ações efetuadas por um programa principal (TECMUNDO, 2012).

da pesquisa fossem trabalhados em conjunto. Em seguida, as mensagens idênticas (mensagem reproduzida mais que uma vez pelo mesmo usuário) resultantes da redundância proposital das fontes de coleta foram eliminadas, formando apenas uma base de dados com casos unívocos.

A segunda etapa envolve o tratamento dos resultados ambíguos, inconsistentes e confusos e as estratégias para resolver problemas nos dados são estabelecidas. Baseada na metodologia CRISP-DM, essa etapa consiste também na avaliação e revisão das fases e etapas executadas anteriormente para se certificar que o processo e os dados estão adequados aos objetivos definidos. Como em toda análise quantitativa e qualitativa, a qualidade dos dados é essencial para a obtenção de resultados confiáveis (FAYYAD; PIATETSKY-SHAPIRO; SMYTH, 1996;

CHAPMAN et al., 2000; HE; ZHA; LI, 2013; ABRAHAMS et al., 2013).

Tomando como premissa a afirmação de Paine (2011), para o qual cerca de 70% do que for coletado nos estudos de monitoramento é irrelevante, iniciou-se um ciclo de limpeza e tratamento dos dados. Como recorte inicial para limpeza e tratamento dos dados, foram excluídos da base de dados os conteúdos recuperados que excedam 500 caracteres e uma lista das 100 mensagens mais frequentes de cada destino também foi estudada. Uma amostra de 4.275 publicações foram lidas, uma a uma, para identificar possíveis inconsistências nos dados, falhas nas estratégias de coleta e também explorar algumas variáveis através da análise de conteúdo das mesmas.

Através de uma série de repetições, foi possível identificar problemas de grande impacto na relevância dos dados e excluir casos não pertinentes. Esse ciclo é formado de: (i) exploração de um padrão, o qual associa-se a existência – frequente – de ocorrências que não atendem ao objetivo; (ii) teste e reteste de uma tratativa visando mapear os outros casos semelhantes; (iii) execução de uma tratativa definitiva com fins de excluir os casos. A situação e é exemplificada no quadro 34 (BIZ; BETTONI; THOMAZ; SANTOS; PAVAN, 2014).

Descrição: O Campus Jardim Botânico da Universidade Federal do Paraná apresenta ambiguidade com o Parque Jardim Botânico, um dos principais atrativos turísticos de Curitiba.

Tratativa: Excluir os casos em que Jardim Botânico não foi tratado como atrativo turístico do destino Curitiba.

Técnica: Excluir as mensagens que contenham exatamente a expressão "Campus Jardim Botânico"

QUADRO 34: EXEMPLO DE CICLO DE TRATAMENTO

FONTE: Elaborado pelo autor (2014) com base em Biz, Bettoni, Thomaz, Santos e Pavan (2014)

Além da tratativa apresentada, outros casos irrelevantes foram encontrados.

No quadro 35 são resumidos os problemas encontrados em cada destino.

UNIDADE AFETADA AMBIGUIDADE

Destino Curitiba Campus Jardim Botânico contando como Parque Jardim Botânico;

Grupo de Rock como termo “Mon”, a sigla do atrativo Museu Oscar Niemeyer; Chegada de Marcelo, participante do Big Brother no aeroporto;

Destino Foz do Iguaçu Shopping Cataratas ao invés do Atrativo Cataratas; Cinema com o mesmo nome de um atrativo (Cine Cataratas); Cataratas Weekend;

Loteria Cataratas; Meia Maratona das Cataratas; Times de Futebol de Foz do Iguaçu; Notícias de acidentes, assassinatos, roubos, protestos, greves, apreensões, atropelamentos e drogas; Propaganda viral de táxi;

Colégios com nomes parciais de atrativos;

QUADRO 35: RESUMO DE CICLOS DE TRATAMENTO POR DESTINO

FONTE: Elaborado pelo autor (2014) com base em Biz, Bettoni, Thomaz, Santos e Pavan (2014)

É importante ressaltar que esses ciclos de tratamentos são um processo contínuo que pode ser retomado a qualquer momento no estudo para se certificar se as estratégias adotadas e os conteúdos coletados estão adequados aos objetivos da pesquisa. Vale destacar que padrões emergentes e que não pertencem à ontologia, mas com valor para a pesquisa, também podem ser encontrados.

Além disso, mesmo durante a etapa de visualização (fase final), suspeita de dados inconsistentes podem exigir que um novo ciclo de tratamento seja elaborado e executado. Essa característica é própria do tipo da pesquisa, aonde o próprio método é constantemente revisto e as respostas ao problema se tornam mais acuradas. A figura 29 sintetiza o modelo teórico da construção e aplicação prática da quarta fase e suas etapas.

FIGURA 29: MODELO TEÓRICO DO PROCESSO E APLICAÇÃO PRÁTICA DA FASE IV FONTE: Elaborado pelo autor (2014)

Após o tratamento, a próxima fase é aplicação de técnicas de mineração de dados para processamento dos dados e, posteriormente, a interpretação e análise dos mesmos.