Em estudos de natureza qualitativa um tópico que demanda esforço adicional do pesquisador se refere à definição dos critérios de validade e confiabilidade do estudo. Antes de tudo, é importante destacar o aspecto ético inerente a este tipo de pesquisa. Patton (2002) ressalta que a credibilidade do pesquisador é obtida não apenas por treinamentos e experiências, mas pelo rigor intelectual, pela integridade profissional e pela competência metodológica. Neste sentido, a adoção de conduta ética é essencial, visto que é a partir desta que se possibilita a construção da credibilidade do pesquisador.
Merriam e Tisdell (2016) destacam que o comportamento ético precisa estar presente nas principais formas de coleta de dados em pesquisas qualitativas. Em entrevistas, os indivíduos podem sentir que sua privacidade está sendo invadida, ou podem ficar embaraçados com certas questões formuladas, ou ainda podem afirmar coisas que não poderiam revelar. Os procedimentos de observação, de igual modo, podem representar armadilhas como o envolvimento excessivo do pesquisador em questões relativas ao campo de pesquisa, de modo a ter sua capacidade de julgamento influenciada pela situação observada. Semelhante risco também está presente nos dados disponibilizados através de documentos, visto que estes podem introduzir informações de caráter sigiloso para a organização envolvida.
Deste modo, percebe-se que há necessidade de preocupação do pesquisador com a atenção aos aspectos éticos envolvidos, cabendo o registro prévio de que as informações contidas serão preservadas no âmbito do estudo e que atendem aos princípios éticos de uma pesquisa científica. Neste sentido, o pesquisador subscreveu termo de compromisso e confidencialidade (apêndice I) no qual se responsabiliza pelo sigilo e privacidade dos dados pesquisados, cuja utilização é destinada exclusivamente para esta pesquisa, e pelo anonimato dos participantes da pesquisa. Também foi registrada no início desta tese a classificação de acesso do tipo 2, com vedação a cópias, no todo ou em parte, e a restrição a consulta em ambientes de biblioteca com saída controlada.
Ultrapassada esta preliminar, cabe o entendimento de que os estudos qualitativos se diferenciam dos estudos quantitativos no tocante aos critérios de validade e confiabilidade. Tal lógica é nítida quando considerado o modo como a realidade é interpretada. Desta maneira, os estudos que assumem caráter construtivista assumem que a realidade é tida como múltipla, oriunda de construções sociais baseadas nas experiências vivenciadas pelos indivíduos. Busca-se interpretar os significados construídos pelos sujeitos para que seja possível a formulação da concepção própria do pesquisador sobre o objeto investigado. Em função de tal peculiaridade, são apresentados critérios que asseguram qualidade a uma pesquisa de cunho qualitativo, em especial destaque àqueles que proporcionam o reconhecimento de validade e de confiabilidade.
Considerando especificamente a abordagem da teoria fundamentada, Strauss e Corbin (2008) recomendam alguns critérios para a verificação da qualidade da pesquisa, apresentados em forma de questionamentos. Para estes autores é preciso que haja rigor no processo de codificação e pesquisa, qualidade na elaboração dos conceitos, relacionamentos sistemáticos
entre os conceitos formulados, densidade conceitual, faixas de variação e especificidade, significância dos achados e sensitividade teórica.
De modo mais amplo, Creswell (2010) aponta que questionamentos sobre a validade da pesquisa permeiam todas as fases do trabalho de pesquisa, visto que representam um pesquisador que adota procedimentos que verificam a precisão dos resultados. Merriam e Tisdell (2016) defendem que a validade de uma pesquisa qualitativa assume características internas e externas. A validade interna (ou credibilidade) está relacionada à congruência dos dados obtidos com a realidade pesquisada. A validade externa (ou transferibilidade) corresponde à condição em que os resultados alcançados no estudo podem ser reproduzidos em outros contextos ou situações, delimitando a amplitude de aplicação dos achados obtidos no estudo.
Merriam e Tisdell (2016) destacam como principais possibilidades de validação interna: a triangulação, a validação pelos respondentes, a participação adequada do pesquisador na coleta de dados, a reflexividade do pesquisador, a revisão por pares, a auditoria, a descrição densa e rica do fenômeno e a variação máxima na aplicação dos achados. Cho e Lee (2014) apontam que, nos estudos sob a abordagem da teoria fundamentada, além das possibilidades apresentadas, cabe ainda a apresentação de informações discrepantes ou negativas.
No estudo realizado, foi realizada a triangulação de fontes de informação e também a triangulação de métodos. Foram realizados confrontos entre as opiniões expressadas pelos entrevistados com documentos oficiais e práticas observadas, especialmente àquelas desenvolvidas nas reuniões e nos SBP/ PPE. Também houve comparações entre os depoimentos obtidos por sujeitos investigados em diferentes níveis da organização. De igual modo, houve triangulação em função da aplicação de diferentes abordagens (estudo de caso, teoria fundamentada) e técnicas (análise documental, entrevistas, observação) de pesquisa, ampliando as possibilidades de compreensão do fenômeno estudado. Cho e Lee (2014) destacam que as formas de triangulação acima propostas proporcionam maior qualidade e confiança na pesquisa realizada sob a abordagem da teoria fundamentada.
Outra ação direcionada para a validade do estudo foi a efetivação de revisão dos códigos e categorias iniciais por pares. A partir da realização da codificação focalizada, ocorreu a elaboração de matrizes de estimação dos códigos (apêndice H), separados por grupo de documentos (entrevistas, atas, balanços de gestão). Posteriormente foram escolhidos trechos de fala que correspondiam à interpretação do pesquisador sobre determinado código e/
ou categoria. Estes fragmentos de fala foram submetidos a cinco outros pesquisadores, doutores e/ ou doutorandos com semelhante formação e interesses aos do pesquisador para verificar se havia congruência na escolha de relação entre códigos e categorias.
A partir das respostas emanadas pelos demais pesquisadores, foi possível rever algumas vinculações de trechos de fala, códigos e categorias anteriormente elaborados. As vinculações que obtiveram maior frequência de confirmação ou que foram mais significativas foram utilizadas na elaboração do capítulo de resultados, enquanto as que não obtiveram confirmação foram lapidadas ou realocadas. Encontram-se como apêndice deste estudo (apêndices J, K, L e M) os instrumentos adotados para a realização da revisão por pares.
Realizou-se ainda a validação dos dados com os respondentes, através da realização de novas entrevistas para apresentação dos achados, visando à obtenção de confirmações ou de negações acerca do ponto de vista do pesquisador sobre os dados. Além deste procedimento, foi encaminhada aos entrevistados, por correio eletrônico, uma solicitação para que verificassem a análise desenvolvida (apêndices N e O). O texto encaminhado apresenta uma breve descrição acerca da interpretação realizada, bem como um diagrama que sintetiza as ideias elaboradas.
Também se verificou a adequação na participação do doutorando no processo de observação. Como informado anteriormente, o pesquisador participa do PPE como servidor público vinculado à SEPLAG, estando em regime de afastamento do serviço em tempo integral, o que contribuiu para o distanciamento necessário à realização da pesquisa. Desta maneira, o envolvimento do pesquisador que poderia impactar em sua capacidade de reflexão foi mitigado, tendo demandado um esforço de compreensão reflexiva de suas perspectivas e assunções acerca do PPE, de forma a se reconhecer influências e distorções promovidas por esta relação.
Sob o ponto de vista da validade externa, sua aplicação está associada à capacidade de que os achados do estudo possam ser observados em situações diversas. O debate sobre esta possibilidade no âmbito das pesquisas qualitativas é intenso, havendo concordância de que, mediante determinadas circunstâncias, pode ocorrer transferência dos achados de um estudo qualitativo para outras realidades, na condição de que ocorra a descrição densa e rica do fenômeno estudado, de modo que o contexto possa ser “enviado” e “recebido” possibilitando um julgamento fundamentado (GUBA; LINCOLN, 1982).
Apesar das especificidades observadas no caso estudado, a descrição rica e detalhada de cada fase da pesquisa realizada possibilita que os construtos elaborados no âmbito do PPE
possam ser observados em outros contextos. Entende-se que, dentro de realidades vivenciadas em outras esferas de atuação do Estado (Segurança Pública, Saúde) que tenham implantado pactos semelhantes ao que foi firmado na área da Educação, aspectos semelhantes e conceitos desenvolvidos neste trabalho possam vir a ser identificados. Destarte, é possível que leitores possam identificar pontos de semelhança com a realidade que vivenciem e, assim, conceber um processo de assimilação dos construtos nesta pesquisa.
No tocante à confiabilidade (ou consistência), Merriam e Tisdell (2016) apontam que esta se refere à condição da obtenção dos mesmos achados (ou semelhantes) a partir da replicação da pesquisa, mediante circunstâncias semelhantes. No entanto, as autoras afirmam que a confiabilidade não se aplica em pesquisas qualitativas, visto que a concepção de múltiplas realidades socialmente construídas não é condizente com a possibilidade de sua replicação. “Os pesquisadores [qualitativos] buscam descrever e explicar o mundo como este é experimentado” (MERRIAM; TISDELL, 2016, p. 230). Deste modo, avalia-se a consistência e segurança do estudo, associando-a as questões de validade interna, esperando que outros pesquisadores possam, a partir dos mesmos dados coletados, ter entendimentos semelhantes.
A partir do que foi exposto acima, reconhece-se que o estudo foi realizado em conformidade com o ponto de vista ontológico, epistemológico e metodológico escolhido de tal maneira que a expectativa preliminar do pesquisador é que esta forma de consistência possa ser alcançada ao final do trabalho. No entanto, sua realização implicou na identificação de algumas limitações, que serão esmiuçadas na próxima seção.