Verificações de credibilidade e confiabilidade dos resultados

Dada a evolução do MIC como uma ferramenta exploratória e de investigação qualitativa, utilizada para construções psicológicas e experiências, torna-se importante padronizar as verificações de credibilidade e confiabilidade manuseadas pelos pesquisadores (BUTTERFIELD et al., 2005).

Para determinar a consistência dos resultados decorrentes de um estudo operado pelo MIC, Butterfield et al. (2005) recomendam a padronização das verificações de credibilidade e confiabilidade. Ressalta-se que os testes sugeridos pelos autores foram inicialmente utilizados por alunos da University of British Columbia nos estudos de aconselhamento nas áreas da Psicologia e da Educação.

Esse procedimento seria composto pela incorporação de um conjunto de nove “testes” na análise de dados sobre estudos realizados por meio do MIC: (i) extração dos incidentes críticos utilizando codificadores independentes; (ii) verificação cruzada pelos participantes; (iii) categorização dos incidentes por analistas independentes; (iv) acompanhamento ao ponto

de saturação; (v) consulta a opiniões de especialistas; (vi) cálculo das taxas de participação dos incidentes críticos; (vii) verificação de concordâncias/discordâncias teóricas subjacentes ao estudo, avaliando categorias emergentes para a literatura acadêmica; (viii) entrevistas em áudio ou vídeo-gravação para garantir a precisão das narrativas; e (ix) verificação da fidelidade da entrevista com um especialista no método CIT para ouvir uma amostra das entrevista.

Essas verificações conferem maior robustez ao MIC dando maior credibilidade e validade aos resultados da pesquisa. Contudo, devido às limitações de recursos para a realização da pesquisa e a abrangência dos sujeitos pesquisados em termos de residência e destinos visitados, duas das verificações não foram possíveis de serem realizadas.

(i) extração dos incidentes críticos utilizando codificadores independentes

O objetivo deste teste é calcular o nível de concordância entre o que o pesquisador pensa ser um incidente crítico e que o analista independente acha que é um incidente crítico. Dado às limitações de recursos para a pesquisa, o pesquisador-autor extraiu e codificou todos os incidentes críticos. A utilização de codificadores independentes pode ser realizada quando existe uma equipe de pesquisadores que está trabalhando no mesmo projeto e há recurso previsto para isso.

(ii)verificação cruzada pelos participantes

O objetivo deste teste é realizar uma segunda entrevista com o sujeito pesquisado para oferecer aos participantes a oportunidade de confirmar se as categorias fazem sentido; se as suas experiências foram adequadamente representadas pelas categorias; rever os incidentes críticos por eles apresentados na fase inicial de entrevista; adicionar, excluir ou alterar os incidentes quando necessário.

Não foi possível realizar uma segunda entrevista devido à escassez de tempo e recursos financeiros para revisitar os sujeitos entrevistados residentes em diferentes partes da cidade do Rio de Janeiro, São Gonçalo e Cuiabá-MT.

(iii) categorização dos incidentes por analistas independentes

Um analista independente é convidado a alocar 25% dos incidentes críticos, escolhidos aleatoriamente, nas categorias que foram temporariamente formadas pelo pesquisador. Quanto maior o índice de concordância entre o pesquisador e o analista independente na alocação de incidentes conforme as categorias, mais consistentes são consideradas as categorias.

Um analista do programa de competitividade de turismo da FGV foi convidado para avaliar 53 incidentes críticos (correspondente a 25% dos incidentes) quanto a alocação em suas respectivas categorias. Cada categoria continha um título e sua descrição. O analista independente ratificou 91% das alocações realizadas pelo pesquisador, confirmando a consistência do processo de categorização.

(iv) acompanhamento ao ponto de saturação

É o controle do ponto em que a saturação foi atingida. Isso é feito por meio do rastreamento do ponto em que novas categorias pararam de emergir dos dados. É considerado um sinal de que o domínio da atividade a ser estudada foi devidamente coberto. No caso desta pesquisa, atingiu-se o ponto de saturação na 41ª narrativa, correspondendo ao 102º incidente crítico.

Flanagan sugeriu que uma cobertura adequada do domínio de um MIC poderia ser assumida quando apenas dois ou três comportamentos críticos emergissem de 100 incidentes críticos reunidos. Porém, Butterfield et al (2005) consideram que esta é apenas uma orientação geral, no entanto, precisa ser adaptada a cada estudo específico.

Um teste recorrente é a apresentação das categorias preliminares resultantes da análise de dados para dois ou mais especialistas na área. Isto permite que estes especialistas revisem as categorias verificando suas adequações. A lógica é que, se os especialistas concordam com as categorias, aumenta-se a sua credibilidade.

As categorias foram apresentadas para três especialistas da área, que confirmaram a pertinência das categorias apresentadas pelo pesquisador. Esses especialistas acompanham, desde 2007, o estudo de competitividade que a FGV e o Ministério do Turismo vem desenvolvendo nos principais destinos brasileiros, tendo trabalhado na coleta e análise dos dados do indicador de competitividade conhecido como Relatório Brasil.

(vi) cálculo das taxas de participação dos incidentes críticos

A taxa de participação é calculada pela determinação do número de participantes que citaram um incidente específico, em seguida, dividindo esse número pelo número total de participantes. Uma taxa de participação de 25 % em uma categoria pode ser considerado um resultado válido, de acordo com Butterfield et al (2005). Por sugestão de Flanagan, quanto maior o número de observadores independentes que se reportam ao mesmo incidente, mais provável que o incidente esteja convergindo para o objetivo do estudo.

Entretanto, ressalva-se que a taxa de participação seria mais útil se a pesquisa estivesse focada em apenas um destino, mas como abrangeu diferentes localidades com características distintas esta taxa de participação não seria relevante, pois não faz parte dos objetivos desta tese avaliar os destinos turísticos. Neste caso, o objetivo foi testar a aplicabilidade do método de coleta de informações com diferentes tipos de turistas que fosse viável e aplicável para qualquer destino.

As seguintes categorias (dimensões) alcançaram ou superaram a taxa de participação de 25% sendo os mais comumente citados como incidentes críticos: infraestrutura geral (27%), acesso (32%); atrativos turísticos (58%); hospitalidade dos residentes (27%);

insegurança (29%); qualidade da prestação de serviço (42%). Essas categorias, ou fatores de competitividade, serão debatidos no capítulo 6 – resultados e discussão.

(vii) Validade teórica, verificando a concordâncias/discordâncias teóricas

subjacentes ao estudo e identificando categorias emergentes para a literatura

Validade teórica relaciona-se com a presença ou ausência de um acordo no âmbito da comunidade acadêmica sobre os termos descritivos ou interpretativos utilizados. Primeiramente, explicitam-se os pressupostos subjacentes à pesquisa proposta e, em seguida, analisa-os à luz da literatura acadêmica para saber se eles são compatíveis. Em seguida, comparam-se as categorias que se formam segundo a literatura para verificar se há suporte para elas. Isto se tornou conhecido como um acordo teórico.

Nota-se que a falta de apoio na literatura não significa, necessariamente, que uma categoria não é boa. Como o MIC possui uma natureza exploratória, pode significar a descoberta de algo novo que ainda não é conhecido pelos pesquisadores. O importante é submeter as categorias por esta análise e, em seguida, tomar decisões fundamentadas sobre o que significa ser confirmado ou não pela literatura.

Em relação ao modelo Barbosa, que serviu como arcabouço para análise das categorias, foram encontradas nove categorias que não faziam parte desse estudo: hospitalidade dos residentes; assédio de ambulantes; desconforto causado pela pobreza e prostituição; insegurança; (in)satisfação com a prestação de serviços; preços (serviços turísticos e alimentação); disponibilidade/locais para compras em geral; excesso de visitação no atrativo; poluição atmosférica. Dessas “novas categorias”, algumas são encontradas na literatura e outras seriam proposições para novos estudos como será discutido adiante.

É ainda necessário destacar que a incorporação do MIC aos modelos de competitividade, como ferramenta de análise da demanda e do desempenho do destino, é uma inovação para a literatura sobre o tema.

(viii) entrevistas em áudio ou vídeo para garantir a precisão das narrativas

O conceito de validade na pesquisa qualitativa descritiva tem a ver com a precisão do relato. Tornou-se rotina a gravação de entrevistas da pesquisa para trabalhar diretamente com as gravações, ou com suas transcrições como forma de reproduzir com precisão as palavras dos participantes.

Nesta pesquisa, foram realizadas 80 entrevistas com auxílio de gravador, mas aproveitadas 77 delas, porque três foram descartadas por não se estabelecerem como indecentes críticos. As gravações foram feitas em formato MP3 e transcreveram-se os 209 eventos detectados para o formato RTF. Ambos os arquivos (áudio e transcrição) ficaram registrados no software ATLAS.ti. Além disso, abriu-se uma ficha de cadastro (apêndice A) para cada entrevistado, em que foram registrados os dados de caracterização do indivíduo bem como de sua viagem. Nessa mesma ficha cadastral foram anotados, pelo pesquisador, os pontos principais das narrativas.

(ix) verificação da fidelidade da entrevista com um especialista no método MIC

para ouvir uma amostra das entrevista

Este teste consiste em solicitar a um especialista no método MIC para ouvir uma amostra de gravações da entrevista (escolhidas aleatoriamente) para assegurar se o pesquisador está seguindo o método. Normalmente, ouve-se uma entrevista a cada quatro do total. Esta verificação, conhecida como fidelidade da entrevista, garante: a consistência da entrevista, o rigor do projeto de pesquisa e as verificações das principais perguntas do entrevistador.

Embora não tivesse sido encontrado um especialista no MIC, consultou-se uma especialista em técnicas de coleta de dados em pesquisa qualitativa que se utiliza de gravações de narrativas em suas pesquisas. Após ouvir 27 narrativas, a especialista confirmou a fidedignidade das entrevistas.

Essas nove verificações aqui apresentadas, quando combinadas, aumentam a credibilidade dos resultados, pois mostram se a consistência dos protocolos de pesquisa com o método está sendo seguida. Como explicado, foram possíveis realizar sete verificações, garantindo ainda assim a consistência da pesquisa.