PROCEDIMENTOS PARA GARANTIA DA QUALIDADE DA PESQUISA

Creswell (2010) ressalta a relevância de incluir em um estudo qualitativo uma seção específica para tratar da qualidade da pesquisa. Segundo Flick (2009), a qualidade da pesquisa qualitativa é avaliada com base nos critérios de confiabilidade e validade, considerados clássicos pelo autor.

De acordo com Creswell (2010), a confiabilidade da pesquisa qualitativa indica que a abordagem do pesquisador está coerente com a utilizada em trabalhos de outros autores. Já Flick (2009) esclarece que a confiabilidade pode ser obtida por diferentes procedimentos. Nas pesquisas que envolvem entrevistas, o autor sugere que seja feita uma verificação do roteiro de entrevista e suas perguntas após a realização da primeira entrevista. Não foram realizadas mudanças após a primeira entrevista desta pesquisa, de forma que os roteiros foram mantidos até a conclusão. No entanto, o protocolo foi validado por pesquisadores e especialistas antes da realização das entrevistas, como descrito adiante.

Já durante a interpretação dos dados qualitativos, Flick (2009) sugere que os trechos sejam comparados com outros a fim de avaliar sua adequação às categorias elaboradas na codificação. O autor complementa que a origem dos dados deve estar clara de forma que seja possível separar as palavras do entrevistado da interpretação do pesquisador, e que os procedimentos adotados sejam documentados a fim de possibilitar a checagem da consistência de ambos (dados e procedimentos). Creswell (2010) cita Gibbs (2007) sugerindo que, nas pesquisas qualitativas que não envolvem mais de um pesquisador, sejam realizados os seguintes procedimentos a fim de aumentar a confiabilidade: a) uma verificação das transcrições para evitar erros cometidos no processo; e b) a realização de comparações constantes entre os dados e as categorias de análise a fim de evitar desvios de categorização. Como toda a pesquisa foi realizada por apenas um pesquisador, foi feita uma comparação entre as transcrições das entrevistas com o conteúdo das gravações: as transcrições foram lidas ao mesmo tempo em que as gravações das entrevistas eram ouvidas a fim de evitar erros de transcrição. Todo o processo de análise das transcrições das entrevistas e dos documentos obtidos durante a pesquisa foi feito através de comparações com outros trechos do mesmo ou de outros documentos, o que facilitou a organização dos dados nas categorias de análise. A interpretação dos trechos analisados foi anotada em um documento separado, não importado para a base de dados do NVivo, a fim de evitar sobreposição dos dados com a interpretação feita pelo pesquisador.

A validade da pesquisa qualitativa, segundo Flick (2009), recebe mais atenção do que a confiabilidade. Para o autor, essa questão se resume à certeza de que a interpretação daquilo que o pesquisador viu corresponde àquilo que ele de fato viu. Os três tipos de erros que podem ocorrer em uma pesquisa qualitativa, ainda segundo o autor, são: a) ver uma relação ou princípio que não existe; b) não ver (ou rejeitar) uma relação ou princípio que existe; e c) fazer as perguntas erradas nas entrevistas. Flick (2009) conclui que a validade da

pesquisa qualitativa diz respeito ao quanto as construções que o pesquisador faz dos dados têm por base as construções dos entrevistados, e ao quanto isso é transparente para as outras pessoas.

Para fins de validação, o protocolo de estudo de caso (Apêndice A), contendo o objetivo, os construtos e indicadores, o framework, as questões de pesquisa e o roteiro de entrevista, foi avaliado por 17 pesquisadores e autores de trabalhos da área temática de Sistemas de Informação em duas etapas. Inicialmente, o protocolo foi avaliado por nove pesquisadores do Grupo de Pesquisa de Adoção de TI da Escola de Administração da Universidade Federal da Bahia (UFBA) em diferentes reuniões. Depois de realizadas as alterações consideradas pertinentes, o documento foi enviado para 19 especialistas e pesquisadores externos com experiência em Segurança da Informação, Sistemas de Informação, metodologia de pesquisa e na abordagem teórica utilizada na pesquisa. Desses, sete enviaram comentários por correio eletrônico e um fez seus comentários através de reunião utilizando o software Skype. Dos que participaram da avaliação, um é especialista em Segurança da Informação com atuação no mercado e professor de pós-graduação, quatro são professores doutores que desenvolvem pesquisas na área de Sistemas de Informação – dentre os quais dois têm trabalhos publicados sobre Segurança da Informação –, e três são estudantes de doutorado de outro programa de pós-graduação. Ao final deste segundo momento do processo de validação, foram realizados diversos ajustes no protocolo, principalmente no roteiro de entrevista, o que ajudou a minimizar a possibilidade da ocorrência dos erros cuja possibilidade foi apontada por Flick (2009).

Para Creswell (2010), a validade é um dos pontos fortes das pesquisas qualitativas e se apresenta através da verificação da precisão dos resultados sob os pontos de vista do pesquisador, do participante e de terceiros. Essa precisão pode ser avaliada por diferentes estratégias apresentadas pelo autor, dentre as quais estão: a) triangulação de diferentes fontes de informações; b) verificação pelos participantes, que consiste em retornar aos participantes da pesquisa as análises realizadas com base nos dados brutos; c) riqueza e densidade da descrição, apresentando múltiplas perspectivas sobre os assuntos tratados; e d) revisão por pares, que consiste em encaminhar a pesquisa para ser revisada por uma ou mais pessoas do grupo de pesquisa, além do próprio pesquisador.

Este estudo envolveu a análise de dados obtidos através de entrevistas e documentos produzidos e disponibilizados pela organização e pelo Tribunal de Contas da União (TCU), garantindo a utilização de diferentes fontes de informações. Depois de

verificados e corrigidos eventuais erros de transcrição, os documentos eletrônicos das entrevistas foram enviados por correio eletrônico para os 19 entrevistados a fim de que os resultados fossem confirmados ou corrigidos, caso necessário, garantindo que as ideias dos entrevistados estivessem presentes nas transcrições. Do total de entrevistados, sete responderam validando as transcrições das entrevistas, um solicitou a retirada de trechos e um fez alterações no documento. As demais transcrições foram consideradas tacitamente validadas. Pelo fato de as entrevistas terem sido realizadas com gestores e responsáveis pela Segurança da Informação e TI de diferentes subunidades e membros do Comitê de Segurança da Informação da organização, fica garantido que foram analisadas múltiplas perspectivas sobre o fenômeno.

Tratando especificamente do método de estudo de caso, Yin (2010) propõe como critérios de julgamento da qualidade a realização de quatro diferentes testes:

a) Validade do construto: trata da identificação das medidas operacionais adequadas aos conceitos estudados. Isso pode ser feito durante a coleta de dados através do uso de múltiplas fontes de evidência e da manutenção de um encadeamento de evidências de forma que a questão da pesquisa leve às conclusões e vice-versa, ou através da identificação de medidas operacionais (indicadores) na literatura e da revisão do estudo de caso por informantes-chave.

b) Validade interna: busca evitar conclusões incorretas. Trata do quanto as deduções feitas pelo pesquisador estão corretas, combinadas com um padrão baseado na teoria. Trata também da construção das explicações e de explicações alternativas, que podem ser consideradas pelo pesquisador durante a análise de dados, e se foi utilizado um modelo lógico para análise dos dados. Yin (2010) esclarece ser esta uma preocupação de estudos de caso explanatórios.

c) Validade externa: teste que busca saber se é possível generalizar para além do caso estudado, o que não deve ser feito com base em preceitos estatísticos, mas a partir da ideia de generalização analítica, quando o pesquisador generaliza os resultados a uma teoria mais ampla através da realização de outros estudos de caso. Em se tratando de estudo de caso único, a validade externa limita-se à possibilidade de aplicar o mesmo procedimento em outros casos, que podem ser estudados posteriormente.

d) Confiabilidade: tem o objetivo de garantir que o mesmo procedimento, se seguido em um mesmo estudo de caso, traga os mesmos resultados. Isso pode ser feito através da documentação dos procedimentos adotados em um protocolo de estudo de caso e do desenvolvimento e manutenção de uma base de dados.

Além de terem sido utilizadas múltiplas fontes de evidência, os construtos e indicadores da pesquisa foram identificados na literatura e apresentados a pesquisadores do Grupo de Pesquisa de Adoção de TI da UFBA e a diferentes pesquisadores e especialistas externos ao grupo, o que garante a validade dos construtos. A validade interna é garantida pelo fato de os resultados terem sido apresentados a pesquisadores da área de Sistemas de Informação, que entenderam que as conclusões e as explicações apresentadas pelo autor estão corretas. Além disso, o fato de ter sido utilizado um framework como modelo para análise dos dados reforça sua validade interna. O estudo pode ser replicado em qualquer organização que conte com uma estrutura de Governança da Segurança da Informação, como a existência de um Comitê de Segurança da Informação e de um Escritório de Segurança da Informação, e com uma Política de Segurança da Informação e regulamentos internos complementares a essa política, e que tenha uma estrutura organizacional descentralizada, com subunidades que gozem de autonomia administrativa. Essa possibilidade de replicação em outros casos garante que seja verificada sua validade externa. Todo o processo de validação do protocolo de estudo de caso está documentado, a base de dados criada com as transcrições das entrevistas e com os documentos organizacionais e os arquivos de áudio gerados nas entrevistas estão preservados, e todos os demais procedimentos utilizados estão documentados. Com isso, fica garantida a confiabilidade da pesquisa.

Gil (2009) apresenta cinco critérios que visam assegurar rigor científico aos estudos de caso:

a) Objetividade: tem a ver com a padronização e estruturação de instrumentos de forma a tornar mais objetiva a mensuração de fenômenos sociais, ajudando o pesquisador a conseguir que seu trabalho possa ser replicado e averiguado. Gil (2009) considera que a busca pela objetividade refere-se aos métodos e técnicas utilizados para coletar os dados e analisar os resultados da pesquisa.

b) Precisão: em estudos de caso, é difícil garantir precisão, pois esses trabalhos, de modo geral, são qualitativos e não tratam de variáveis mensuráveis numericamente, mas de atributos ou conceitos. No entanto, esses atributos e conceitos devem estar claros o suficiente para que permitam a categorização dos dados.

c) Operacionalidade: os conceitos utilizados nos estudos de caso devem ser operacionais, o que Gil (2009) relaciona à validade de construto. O autor entende construto como uma construção mental que representa o significado teórico de um conceito ou proposição. A verificação da validade do construto pode ser feita contrastando os resultados com a teoria e essa validade pode aumentar em um estudo de caso único utilizando múltiplas técnicas de coleta de dados que permitam a comparação dos resultados.

d) Credibilidade: semelhante à validade interna das pesquisas quantitativas, está mais relacionada aos estudos de caso explicativos (ou explanatórios). Não se refere à relação de causa e efeito entre variáveis, mas com o quanto os resultados da pesquisa reproduzem os fenômenos pesquisados ou os pontos de vista dos participantes. Tem a ver, portanto, com a coerência entre as proposições iniciais, o desenvolvimento e os resultados da pesquisa – a correspondência entre os resultados e a realidade reconhecida pelos participantes. Entre os procedimentos para verificar a confiabilidade da pesquisa, Gil (2009) recomenda a triangulação dos dados obtidos e a revisão pelos próprios entrevistados.

e) Transferibilidade: possibilidade de os dados obtidos na pesquisa qualitativa serem aplicados a outro contexto, ou a possibilidade de generalização das descobertas, o que Gil (2009) demonstra ser possível mesmo com estudos de caso únicos, pois a generalização em estudos de caso não é estatística, mas analítica. Isso acontece através da reunião de dados de um fenômeno, comparação desses dados, identificação de regularidades e, finalmente, generalização para a uma teoria mais abrangente.

Como foi utilizado o mesmo roteiro em todas as entrevistas realizadas com informantes que atuam nas subunidades organizacionais – as exceções foram o Gestor de Segurança da Informação da organização e um membro do Comitê de Segurança da

Informação, que responderam a perguntas específicas sobre o comportamento da sede e das subunidades – e como a análise foi feita utilizando a mesma estrutura de construtos, o estudo de caso atende ao critério de objetividade. A precisão do estudo de caso é reforçada pela utilização construtos e indicadores claros, identificados na literatura. Como os construtos utilizados na pesquisa foram validados tanto com membros do grupo de pesquisa quanto com pesquisadores externos, fica demonstrada sua operacionalidade. O que dá credibilidade ao estudo é o fato de as transcrições das entrevistas terem sido validadas pelos participantes. Além disso, foram utilizadas múltiplas fontes de dados na pesquisa, reforçando sua credibilidade. Por fim, o fato de o framework da pesquisa poder ser utilizado para investigar o mesmo fenômeno em outras organizações permite a generalização analítica do estudo, dando a ela transferibilidade.