Fiabilidade e validade do estudo

A validade e a fiabilidade não podem ser facilmente separadas num estudo qualitativo. A validade numa investigação qualitativa pode ser alargada ao usar a triangulação, o que implica o uso de diversos métodos. Para determinar a fiabilidade, são precisos diversos instrumentos. Um fenómeno, ao ser encontrado várias vezes, indica a existência de uma fiabilidade elevada, visto que há a garantia que o conceito desenvolvido, sustentado no fenómeno, não foi assente numa observação casual. A observação repetida para esta questão, pode ser atentada como uma forma de verificar a validade (Heyink & Tymstra, 1993).

De acordo com Carmines & Zeller (1979), a fiabilidade consiste no facto de que uma experiência, um teste ou um determinado procedimento de medição produz o mesmo resultado nos testes/experiências repetidas, ou seja, a necessidade de garantir que os resultados alcançados seriam idênticos aos que se obteriam caso o estudo fosse repetido. A avaliação de um determinado fenómeno abarca sempre a possibilidade da existência de erros. Um indicador pode ser fiável, mas isto não significa que o mesmo é válido. As fiabilidades nas ciências sociais são problemáticas porque os comportamentos humanos nunca são estáticos (Merriam, 1998).

A validade da investigação refere-se à correção ou à veracidade de uma inferência que é realizada a partir do resultado do estudo de uma investigação (Christensen et al., 2011).

Para a investigação qualitativa Christensen et al. (2011) propõem a utilização dos conceitos de validade descritiva e validade externa. A validade descritiva é o objetivo da investigação qualitativa proporcionada por uma descrição precisa de um fenómeno, situação ou um grupo em particular. Deste modo, a validade descritiva é importante, estando presente numa situação em que o relato do investigador é considerado como preciso e concreto. Uma estratégia muito importante é a triangulação do investigador (por exemplo, usando diversos investigadores na recolha e interpretação dos dados). Ainda para possibilitar a triangulação, vários documentos e arquivos devem ser analisados; diversos métodos para confirmar os resultados; verificação pelos membros – ao ter os dados, enviar de volta para as pessoas verificarem se os resultados são plausíveis; e observação a longo prazo, ou seja, observar o mesmo fenómeno diversas vezes (Merriam, 1998).

134

A validade externa levanta questões tais como: saber se as informações recolhidas não se contrastam a uma lei teórica explicada cientificamente, se não se opõe ao bom senso, etc. (Christensen et al., 2011).

Existem dois tipos essenciais de validade externa: a validade externa particular – examina se existe uma relação satisfatória entre a informação recolhida e um conjunto de informações extraídas de outra situação e que a ela devem estar associadas; e a validade externa conceptual – analisa se existe uma relação satisfatória entre a informação recolhida e um conceito abstrato que a ela deve estar associado (Katele & Roegiers, 1999). A validade externa alude ainda à possibilidade de generalizar os resultados a outras populações, a outros contextos, além dos considerados no estudo. Este tipo de validade não pode ser aferido excepto se as conjunturas para garantir a validade interna foram consideradas suficientes (Cook & Campbell, 1979; Merrian, 1998).

Segundo Lincoln & Guba (1991), enquanto numa investigação de abordagem quantitativa o rigor é encontrado analisando a validade interna e externa, a fiabilidade e a objetividade, para os estudos de abordagem qualitativa sugerem que os critérios sejam a credibilidade (capacidade dos participantes confirmarem os dados; a credibilidade é alcançada submetendo os resultados à aprovação dos construtores das diversas realidades em estudo), a transferibilidade (os resultados do estudo podem ser aplicados noutros contextos; consiste num conceito equivalente ou semelhante ao de generalização ou validade externa), a consistência (capacidade dos investigadores externos seguirem o método usado pelo investigador), e a aplicabilidade ou confiabilidade (significa a capacidade de outros investigadores afirmarem as construções do investigador; é o paralelo da objetividade da pesquisa quantitativa).

Apesar da consistência e da confiabilidade conduzirem a ideias diferentes na pesquisa quantitativa, são alcançadas pelas mesmas técnicas na pesquisa qualitativa, dando os autores particular ênfase ao denominado processo de auditoria. A auditoria pode ser explicada como o processo pelo qual uma terceira parte analisa sistematicamente o processo da investigação orientado pelo investigador (Schwandt, 1997). O processo de auditoria abarca todos os registos do investigador, tais como: gravações áudio e vídeo, transcrições de entrevistas, guiões de entrevistas e questionários, e listas de categorias e hipóteses que o investigador empregou durante o processo de análise dos dados (Lincoln & Guba, 1991).

Neste estudo, para analisar a validade, documentos relevantes como relatórios, atas de reuniões, legislação, documentos de prestação de contas públicas e arquivos de dados acerca

135

da reforma da contabilidade pública, foram analisados no sentido de possibilitar a triangulação de informação (efetuamos a comparação destes dados, com o que foi respondido nas entrevistas). Para permitir a triangulação dos dados, apresentámos a interpretação de dados qualitativos e conjuntamente utilizámos a estatística descritiva (análise das ocorrências).

As descrições densas foram utilizadas para transmitir os resultados da investigação, com o objetivo de melhorar a experiência partilhada e a apreciação dos leitores e permitir que juízos semelhantes sejam possíveis (transferibilidade). As transcrições e os documentos de cada organização foram organizados e assinalados tendo por base a linguagem natural do entrevistado ou do documento, formando desta forma a base da estrutura de codificação. No âmbito da análise de conteúdo utilizámos códigos para desenvolver subtemas no que respeita às questões de pesquisa que estão a ser analisadas.

Neste estudo também averiguamos a credibilidade, utilizando o processo que se designa por member checks (revisão pelos participantes), ou seja, enviámos às pessoas que entrevistamos (julho de 2017) os resultados da análise efetuada para verificarem, se as nossas interpretações retratavam de facto as suas ideias/experiências.

Alguns entrevistados fizeram comentários dos resultados, mencionando que retrata as razões reais dos factos. E ainda realçaram que concordam que os parceiros internacionais fizeram muita pressão nas reformas, visto que financiavam o país para o seu crescimento.

Efetuamos um trabalho que permite que outro investigador/auditor externo perceba e entenda a forma como os dados foram trabalhados e interpretados. Neste contexto, colocámos em apêndice o guião da entrevista, exemplo de transcrições de entrevistas (Anexo 3), no trabalho apresentamos as categorias definidas e o relacionamento entre as mesmas (ou seja, analisamos a consistência e a confiabilidade).

A validade é importante em todos os tipos de investigação. Para efetuar um estudo de investigação válido, deve-se desenvolver um plano ou estratégia para obter resultados válidos. Pode ser considerada uma forma de interpretação dos dados provenientes de um procedimento específico (Carmines & Zeller, 1979).

136