Credibilidade, Transferibilidade, Confirmabilidade e Confiabilidade

Com o objetivo de obter a produção de estudos qualitativos confiáveis, Guba (1981) propôs quatro critérios a serem considerados, que são credibilidade, transferibilidade, confirmabilidade e confiabilidade. De acordo com Guba (1981, p. 89, tradução nossa),

Os critérios propostos, como os critérios científicos, têm utilidade em várias etapas do processo de pesquisa:

* Para fazer julgamentos a priori, como no caso de propostas ou desenhos (na medida em que tal termo seja apropriado). A proposta ou desenho devem indicar o que um investigador se propõe a fazer para satisfazer cada um dos critérios sugeridos na Tabela 3.

* Para procedimentos de consulta de monitoramento. Os pesquisadores podem utilizar os critérios da Tabela 3 para orientar suas atividades de campo e impor controles a si mesmos, para ter certeza de que estão atendendo aos requisitos de critério.

* Para fazer juízos de fatos passados, como no caso de relatórios ou estudos de caso. O relatório ou o estudo de caso devem incluir declarações sobre o que um investigador realmente fez para satisfazer a cada um dos critérios sugeridos na Tabela 3. Uma parte importante de tais relatórios ou estudos de caso deve ser o resultado das auditorias de confiabilidade e confirmabilidade.

3.5.1 Credibilidade

Tendo como correlação na pesquisa quantitativa a validade interna, a credibilidade é considerada um conceito central na metodologia da ciência social, tendo em vista que a predição de fatos cede espaço para a interpretação de sentidos e os critérios e as formas de validação sofrem alterações (AZEVEDO et al., 2013).

Azevedo et al. (2013) elencam 12 disposições que podem ser feitas para que os pesquisadores promovam a credibilidade de sua pesquisa. As seguintes premissas foram adotadas no presente estudo:

- o emprego correto do tipo de roteiro na coleta de dados e dos métodos de análise de dados (AZEVEDO et al., 2013). Os métodos de coleta e análise de dados escolhidos são coerentes e adequados ao tipo de pesquisa e ao objeto de estudo em questão;

- desenvolvimento de rápida familiaridade com a cultura das organizações participantes antes da primeira coleta de dados (AZEVEDO et al., 2013). O pesquisador é pertencente aos quadros da organização participante desde 2004, tendo atuado, direita ou indiretamente, nas três unidades de análise estudadas;

- opção por uma amostragem aleatória de indivíduos para servir como informantes (AZEVEDO et al., 2013). Mesmo tendo sido realizada uma amostragem determinada por acessibilidade ou por conveniência dos respondentes, o questionário foi enviado para todas as pessoas que foram identificadas dentro do perfil desenhado, ou seja, tinham participado de algum grupo de trabalho acerca da carta de serviços ou tinham conhecimento profundo sobre a ferramenta de gestão;

- emprego de dados obtidos a partir de documentos para ajudar a explicar as atitudes e o comportamento das pessoas do grupo investigado, bem como o exame de documentos referidos pelos informantes (AZEVEDO et al., 2013). Durante toda a pesquisa, os documentos colhidos, sejam físicos ou virtuais, foram fundamentais para a análise dos serviços observados, dos questionários e das entrevistas realizadas durante a observação participante;

- envolvimento de uma ampla gama de informantes, sendo uma forma de triangulação por meio de diversificada fontes de dados (AZEVEDO et al., 2013). Os dados utilizados na pesquisa tiveram origem nos questionários respondidos, nas informações obtidas na observação, seja a partir dos documentos colhidos em campo, seja por meio das entrevistas aos funcionários, além das informações obtidas no levantamento bibliográfico e documental; - a análise da diversidade de documentos pode ser empregada como material de investigação, como, por exemplo, documentos criados corporativamente em cada organização participante (AZEVEDO et al., 2013). Tendo o presente estudo três unidades de análise, foi possível obter dados com uma maior diversidade. Além disso, houve uma diferenciação de coleta nas redes sociais da PRF, tendo em vista, dependendo da rede social, da existência de uma conta nacional e de até 27 contas referentes às superintendências regionais;

- de preferência, não forçar a participação na pesquisa (AZEVEDO et al., 2013), dando-lhe caráter obrigatório. Das 22 pessoas selecionadas para o envio dos questionários, somente foram levadas em consideração na pesquisa as respostas daquelas que responderam voluntariamente. Corroborando esta disposição, 11 pessoas afirmaram não dispor de conhecimento suficiente para responder ao questionário;

- prática de um interrogatório interativo (AZEVEDO et al., 2013). Não tendo sido possível explorar este tópico no questionário, durante a observação foram realizadas entrevistas com os funcionários da organização, permitindo investigar mais a fundo algumas questões pertinentes à pesquisa, como o cumprimento dos compromissos dispostos na carta de serviços.

- consulta aos orientadores, superiores, ou diretores de projeto ou grupo de direção (AZEVEDO et al., 2013). Houve grande colaboração tanto do orientador acadêmico quantos dos gestores da organização em estudo. O questionário foi construído em trabalho conjunto com o orientador. No tocante à organização, vários chefes de unidades foram contatados, inclusive um dos respondentes do questionário foi o chefe da Divisão de Gestão Documental, unidade responsável pela área de atendimento aos usuários dos serviços da sede nacional da PRF;

- solicitação de exame do projeto de pesquisa aos colegas e acadêmicos (AZEVEDO et al., 2013). Além da tutoria do orientador, o projeto deste estudo foi intensamente debatido e sabatinado entre os colegas e a professora da disciplina Seminário de Dissertação, no mestrado em Administração da UFMG;

- descrição detalhada do fenômeno sob investigação (AZEVEDO et al., 2013). Foi feita toda uma pesquisa histórica e geográfica acerca da carta de serviços, a partir da sua criação no Reino Unido, passando por alguns dos países da Europa em que foi implementada até chegar ao Brasil. Toda a seara da administração pública brasileira onde a carta de serviços se inseriu foi traçada, além do histórico dela própria e de sua introdução na organização estudada.

3.5.2 Transferibilidade

Tratada como validade externa ou generalização em estudos quantitativos, a transferibilidade é de suma importância na pesquisa qualitativa. Para Azevedo et al. (2013), antes de qualquer tentativa de transferência, os pesquisadores devem transmitir aos leitores os limites do estudo.

Cole e Gardner (1979) e Pitts (1994) apud Azevedo et al. (2013, p. 11) entendem que as seguintes informações devem ser administradas desde o início do estudo:

1) o número de organizações que participam no estudo;

2) qualquer restrição no tipo de dados transmitidos pelo informante; 3) o número de participantes envolvidos no trabalho de campo; 4) os métodos de coleta de dados que foram empregados; 5) o número e a duração das sessões de coleta de dados; e 6) o período de tempo durante o qual os dados foram coletados

Em relação ao primeiro e ao segundo item, foi escolhida, desde o início, a Polícia Rodoviária Federal como única organização a ser estudada nesta pesquisa pelos seguintes argumentos: em se tratando de um estudo exploratório e inicial, haveria maior facilidade em se pesquisar uma organização da qual o pesquisador é integrante desde 2004, no que se refere à disponibilidade das informações e ao acesso às pessoas chave, evitando, inclusive, restrição de informações a serem colhidas durante a pesquisa. Quanto aos demais itens, estes foram devidamente informados na subseção 3.3 Procedimentos de coleta de dados.

Segundo Yin (2005, p. 58-59),

A generalização não é automática, no entanto. Deve-se testar uma teoria através da replicação das descobertas em um segundo ou mesmo em um terceiro local, nos quais a teoria supõe que deveriam ocorrer os mesmos resultados. Uma vez que seja feita essa replicação, os resultados poderiam ser aceitos por um número muito mais amplo de bairros semelhantes, mesmo que não se realizem mais replicações.

A partir deste estudo e suas conclusões, podem ser intentados novos estudos de caso em outras organizações públicas brasileiras, a fim de que seja possível a sua transferibilidade.

3.5.3 Confirmabilidade

O conceito de confirmabilidade é comparável à preocupação do investigador quantitativo com a objetividade investigação. Aqui devem ser tomadas medidas para ajudar a garantir, tanto quanto possível, que as conclusões do trabalho sejam o resultado das experiências e ideias dos informantes, ao invés de as características e preferências do pesquisador (AZEVEDO et al., 2013, p. 11).

Segundo Yin (2005, p. 57), uma das formas de aumentar a validade de constructo e, portanto, a objetividade do estudo, é garantir a utilização de várias fontes de evidências. Além disso, Azevedo et al. (2013) afirmam que o papel da triangulação em promover a confirmabilidade deve ser enfatizada, a fim de reduzir o efeito de influência do pesquisador.

No presente estudo foram utilizadas várias fontes de informações, sejam não escritas, escritas, oficiais, não oficiais e estatísticas, com o uso de variados métodos de coletas de dados, sendo eles o questionário, a observação participante e o levantamento bibliográfico e documental. Dessa forma, a partir da análise das evidências encontradas por meio da triangulação metodológica, pretendeu-se seguir as proposições teóricas que originaram este estudo de caso e, de modo complementar, foram testadas explanações concorrentes.

3.5.4 Confiabilidade

Para Yin (2001, p. 60), “a confiabilidade serve para minimizar os erros e as visões tendenciosas de um estudo”. Azevedo et al. (2013) afirmam que, a fim de fornecer maior confiabilidade ao trabalho, os processos e métodos do estudo devem ser descritos de forma detalhada, permitindo ao futuro pesquisador repetir o trabalho, não necessariamente para obter os mesmos resultados. No caso da presente pesquisa, todas as etapas e os passos foram descritos em detalhe, com o fim de possibilitar o uso dos procedimentos adotados aqui a posteriori.