50
Validação de Instrumento de Coleta de Dados: Experiência com o Coeficiente
de Validação de Conteúdo (CVC) e Proposição de uma Nova Abordagem para
Pesquisas Qualitativas
Eloisa Gonçalves da Silva Torlig 1 e Pedro Carlos Resende Junior 2
1 Doutoranda no Programa de Pós-Graduação em Administração da Universidade de Brasília (PPGA/UnB). eloisatorlig@gmail.com
2 Professor no Programa de Pós-Graduação em Administração da Universidade de Brasília (PPGA/UnB). pcrj73@gmail.com
Resumo: O objetivo do artigo é propor uma nova abordagem de validação para pesquisas qualitativas a partir da experiência de validação de instrumento de coleta de dados pelo método “Coeficiente de Validação de Conteúdo – CVC” (Hernández-Nieto, 2002). A proposta de Método de Validação de Instrumento de Coleta de Dados para Pesquisas Qualitativas – VCPQ - abrange duas dimensões (Conteúdo e Semântica) e quatro subdimensões: (Alinhamento com o Objetivo, Aderência ao Construto, Clareza e Expectância Qualitativa). Apresentada em dois modelos, a proposta reforça os critérios de confiabilidade e validade da pesquisa qualitativa, o estímulo à autorreflexão e protagonismo do pesquisador.
Palavras-chave: Pesquisa Qualitativa; Validação; Coleta de Dados.
Validation of Data Collection Instrument: Experience with Content Validation Coefficient (CVC) and Proposition of a New Approach to Qualitative Research
Abstract: The objective of the article is to propose a new validation approach for qualitative research from the validation experience of data collection instrument by the "CVC Content Validation Coefficient" method (Hernández-Nieto, 2002). The proposal of a Data Collection Instrument Validation Method for Qualitative Research - VCPQ - covers two dimensions (Language and Content) and four subdimensions: (Alignment with the Objective, Adherence to the Construct, Clarity e Qualitative Expectancy). Presented in two models, the proposal reinforces the criteria of reliability and validity of the qualitative research, the stimulus to the self-reflection and protagonism of the researcher.
Keywords: Qualitative Research; Validation; Data collect.
1 Introdução
Tornar-se um pesquisador qualitativo realizado é um processo complexo, que envolve uma gama de habilidades e conhecimentos, bem como exige oportunidades para refletir, ter experiências, aprender, e se desenvolver (Johnson, 2006; Feldman e Orlikowski, 2002). Logo, durante a pesquisa, a sensibilidade teórica (Glaser, 1978), a postura crítica (Strauss & Corbin, 1998), a habilidade de dar significado aos dados - entender o que é ou não pertinente para a pesquisa (Glaser, 1978); e diversificação de dados (Flick, 2009) podem ser utilizadas visando à verificação de mérito e valor do estudo.
Destaca-se que o pesquisador qualitativo deve considerar dois pontos principais: i) vivência prática: a necessidade de aproximação como fenômeno, de modo que as habilidades e conhecimento só adquirem significado através da prática vivida; ii) capacidade de reflexão: ter a sensibilidade de trazer o pensamento teórico para dentro das emoções, das percepções (Johnson, 2006, Feldman e Orlikowski, 2002). Logo, uma combinação de métodos e atitudes correspondentes são ligados à discussão sobre qualidade da pesquisa qualitativa (Flick, 2018).
51
Nesse sentido, Strauss e Corbin (2008, p. 24) ressaltam que a pesquisa qualitativa pode ser compreendida como “(...) processo não-matemático de interpretação, feito com o objetivo de descobrir conceitos e relações nos dados brutos e de organizar esses conceitos e relações em um esquema explanatório teórico”.
Para tanto, os métodos de pesquisa devem ser bem estabelecidos, com atenção às medidas operacionais corretas para os conceitos em estudo (Yin, 1994). Ressalta-se, contudo, que ao tratar de qualidade da pesquisa não existem soluções prontas, mas há várias maneiras de aprimorar a validade, nas quais é necessário o exercício de reflexão e julgamento por parte do pesquisador e do leitor (Mays & Pope, 2006), partindo de uma encruzilhada entre arte e o método (Flick, 2018). Nesse sentido, pesquisadores argumentaram que a confiabilidade e a validade são termos pertencentes ao paradigma quantitativo e não à pesquisa qualitativa (Altheide & Johnson, 1994; Leininger, 1994). Agar (1986), por sua vez, sugeriu que uma linguagem diferente é necessária para se adequar à visão qualitativa, que substituiria a confiabilidade e a validade por termos como credibilidade, precisão de representação e autoridade do escritor. Por outro lado, Morse, Barrett, Mayan, Olson e Spiers (2002) defendem o uso da confiabilidade e validade para alcançar rigor na pesquisa qualitativa, pois, ao implementar estratégias de verificação e autocorretivas durante a condução da investigação, o pesquisador minimiza vieses e aprimora a pesquisa qualitativa.
Afastando-se da discussão terminológica, o debate é acerca das estratégias e possibilidades de trazer rigor às pesquisas qualitativas, de modo que diversos mecanismos possam ser entrelaçados para construir um produto sólido (Creswell, 1998; Kvale, 1989). Nesse sentido, Morse et al., (2002) defendem que estratégias para estabelecer o rigor metodológico e confiabilidade nas pesquisas utilizadas no final do estudo (post hoc) é um grande risco para o pesquisador, pois, poderá não haver tempo hábil para uma reavaliação, comprometendo a identificação e correção de erros antes do desenvolvimento e análise. Nessa perspectiva, Manzini (2004) destaca a importância do planejamento para a elaboração dos roteiros, a fim de que o processo de coleta de informações seja capaz de atingir os objetivos pretendidos. Assim, Lakatos e Marconi (2003) evidenciam a necessidade de combinação entre as tarefas administrativas e científicas, atenção aos prazos estipulados, orçamentos previstos e ao preparo do pessoal, de modo que, quanto mais planejamento prévio, menos tempo haverá no trabalho de campo. Logo, a análise do roteiro pode ser considerada uma forma de o pesquisador interagir, simbolicamente, com um produto seu, se preparando para a situação real da coleta de informações (Manzini, 2004).
A fim de identificar como se dá o processo de validação na coleta de dados em pesquisas qualitativas, foi realizada uma pesquisa no Repositório Institucional da Universidade de Brasília (UnB), referente às dissertações e teses do Programa de Pós-Graduação em Administração defendidas entre 2017 e 2018. Preliminarmente, os resultados apontam para a predominância de trabalhos quantitativos (60%), seguido de estudos qualitativos e quantitativos (20%) e qualitativos (18%). Sobre a validação dos instrumentos de coleta nas pesquisas qualitativas, 4 utilizaram a realização de entrevistas-piloto, 3 relataram a validação com juízes e 14 não apresentaram nenhuma validação. Ressalta-se, ainda, que os estudos que apontavam algum tipo de validação não detalharam o processo, tal como os critérios utilizados ou ajustes feitos.
Isto posto, considerando a relevância do processo de coleta de dados (Mays & Pope) bem como a iteratividade da pesquisa qualitativa (Ruby, 1980), objetivo do artigo é relatar uma experiência de validação de instrumento de coleta de dados pelo método “Coeficiente de Validação de Conteúdo – CVC” (Hernández-Nieto, 2002), utilizado em roteiros de entrevista e grupo focal - ressaltando os pontos fortes e limitações durante o processo -, e apontar uma nova abordagem de validação para os pesquisadores qualitativos.
52
2 Metodologia
2.1 Experiência de Validação do Instrumento de Coleta com o Coeficiente de Validação de Conteúdo (CVC)
No processo empírico, com o objetivo de caracterizar um ecossistema de inovação social, a partir do Projeto Rondon realizado pelo Núcleo Extensionista Rondon da Universidade do Estado de Santa Catarina (NER-UDESC), de junho a agosto de 2018, foram realizados entrevistas e grupos focais com atores envolvidos no projeto. Os roteiros de entrevistas e grupos focais, elaborados a partir da revisão de literatura, foram submetidos à validação de 5 juízes através do método CVC (Hernández-Nieto, 2002), o que viabilizou o refinamento dos instrumentos de coleta. Caracterizadas em grupos (coordenação estratégica, coordenação técnica, alunos, professores, governo municipal e comunidade local). No total 38 pessoas foram ouvidas no processo de pesquisa.
Assim, na busca de consistência metodológica e robustez para a pesquisa, foi utilizada a proposição de Hernández-Nieto (2002) intitulado Coeficiente de Validação de Conteúdo (CVC), que permite calcular a validade de conteúdo de cada item individualmente (CVCc) e a validade de todo o
instrumento (CVCt) por meio de coeficientes. Contudo, dos três critérios propostos pelo autor, foram
utilizados apenas clareza de linguagem e pertinência prática, não constou a relevância teórica. Assim, entre maio e junho de 2018, os roteiros de entrevistas foram encaminhados para cinco juízes: um professor na Universidade do Vale do Rio dos Sinos – Unisinos; uma professora da Universidade de Brasília - UnB; um doutorando do Programa de Pós-Graduação em Administração (PPGA/UnB); uma professora na Universidade Federal de Campina Grande – UFCG; um professor da Universidade Católica de Brasília – UCB.
O cálculo do CVC foi realizado a partir das seguintes etapas (Hernández-Nieto, 2002):
i) Com base nas notas dos juízes (1 a 5), calcula-se a média das notas de cada item (Mx), onde i = 1
representa a soma das notas dos juízes, e j o número de juízes.
ii) Através das médias, obtém-se o CVC inicial (CVCi) de cada item, dividindo-se pelo valor máximo
que a questão poderia receber de clareza ou pertinência.
iii) A terceira etapa envolve o cálculo do erro (Pei), para minimizar os vieses da avaliação. Assim, divide-se o (1) pelo número de juízes avaliadores, elevado pelo mesmo número de avaliadores.
iv) Através da subtração do (CVCi) pelo (Pei), é obtido o CVC final (CVCc) de cada item, conforme cálculo abaixo.
53
v) Por fim, calcula-se o coeficiente total (CVCt), para cada uma das características (clareza de linguagem e pertinência prática), subtraindo a média do CVCi (MCVCi ) pela média do Pei (MPei). O CVCt demonstra a validade de todo o instrumento, obtido a partir da média dos coeficientes de validação de cada item (CVCc) para cada critério definido.
Hernández-Nieto (2002) estabelece que, na escala entre 0,0 e 1,00 de avaliação do CVCc e CVCt, valores menores de 0,80 representam validade e concordância inaceitáveis; valores iguais ou maiores de 0,80 e menores de 0,90, são considerados com validade e concordância satisfatórias; e valores iguais ou acima de 0,90 até o limite de 1,00, apresentam validade e concordância excelentes. Os resultados apontam que o CVCc de quatro itens referentes à clareza no roteiro da comunidade foram considerados insatisfatórios, os demais foram considerados satisfatórios (valor entre 0,80 e 0,90) ou excelentes (acima de 0,90) pelos critérios estabelecidos, de modo que três itens considerados insatisfatórios do roteiro da comunidade foram excluídos, um apenas foi alterado para dar maior clareza. No geral, conforme demonstrado na Tabela 1, observa-se que os coeficientes totais (CVCt) dos critérios quanto à clareza de linguagem e pertinência prática apresentaram valores de validação considerados excelentes (acima de 0,90), podendo-se afirmar a adequação geral dos roteiros de entrevistas e grupos focais.
Tabela 1. Coeficiente Total (CVCt) dos roteiros de entrevistas e grupo focais. CVCt Clareza CVCt Pertinência
prática CVCt - Média dos critérios
Coordenação estratégica 0,94 0,95 0,94 Coordenação técnica 0,97 0,98 0,98 Alunos 0,95 0,98 0,97 Professores 0,97 0,99 0,98 Comunidade 0,91 0,96 0,94 Governo municipal 0,98 0,99 0,98
Não obstante os resultados significativos, através dos feedbacks qualitativos dos juízes e do processo autocrítico da pesquisa, diversos itens foram alterados, incluídos ou excluídos. Foi possível dividir os principais apontamentos no campo “observações” em dois grupos: Semântica e Conteúdo, conforme Tabela 2.
Tabela 2. Principais apontamentos dos juízes no campo “observações” do CVC
Semântica Conteúdo
Uso de termos técnicos Obviedade
Indução às respostas positivas Não pertinência ao objetivo
Ambiguidade Perguntas abarcadas em outras anteriores
Perguntas amplas e extensas Sugestões de outras perguntas
Respostas não qualitativas (SIM/NÃO) Falta de definições (inovador, ganhos,
facilitadores...)
54
Observa-se que a maioria das sugestões foi no âmbito semântico, principalmente à adequação de certos termos, extensão das questões e perguntas que não estimulavam respostas qualitativas. Considera-se, entretanto, que a alteração dessas perguntas não afetaria a validade, visto que havia pertinência prática, por isso, diversos itens foram alterados visando apenas à clareza dos itens. Por outro lado, outros itens foram excluídos pelos apontamentos ligados ao conteúdo, mesmo com a nota adequada.
Assim, pela experiência empírica, considera-se que, apesar de válido para o refinamento do instrumento de pesquisa, o método CVC pode não se apresentar o mais adequado para pesquisas qualitativas. Entretanto, somente o fato de colocar à prova o instrumento, pôde auxiliar na qualidade da elaboração dos itens, bem como no refinamento das ideias. O maior ganho, contudo, é o feedback qualitativo dos juízes, alguma questão esquecida, alguma pergunta inapropriada, alguma sugestão de pesquisa são, de fato, insumos que afetam diretamente os resultados e primor do estudo.
3 Resultados
3.1 Proposição de Método de Validação de Instrumento de Coleta de Dados para Pesquisas Qualitativas (VCPQ)
Flick (2018) ressalta que não existe um método certo para usar na pesquisa qualitativa, mas é preciso comprometimento seja qual for, assim, a pesquisa deve ser planejada e baseada em princípios e reflexões, tais como a definição das metas e padrões claros e objetivos, bem como a transparência do julgamento e avaliação do processo. O autor destaca que a qualidade no processo de pesquisa qualitativa pode ser obtida junto a outros pesquisadores, de modo que refletir em conjunto sobre os processos pode ser um instrumento para a gestão da qualidade na pesquisa qualitativa. Assim, baseado na experiência com o CVC, os feedbacks dos juízes e nas evidências empíricas, propõe-se um Método de Validação de Instrumento de Coleta de Dados para Pesquisas Qualitativas. A proposta abrange duas dimensões (Conteúdo e Semântica) e quatro subdimensões: (Alinhamento com Objetivo, Aderência ao Construto, Clareza e Expectância Qualitativa), conforme Tabela 3.
Tabela 3. Dimensões, Subdimensões e Diretrizes para a Validação de Instrumento de Coleta de Dados
Dimensão Subdimensão Diretriz
Conteúdo
Alinhamento com o(s) objetivo(s)
O item é alinhado com o(s) objetivo(s)? Aderência ao(s)
construto(s)
O item é aderente ao(s) construto(s) investigado(s)?
Semântica
Clareza O item é claro?
Expectância qualitativa
O item é capaz de extrair uma resposta
qualitativa?
Propõe-se encaminhar o formulário de validação de instrumento de coleta de dados para pesquisas qualitativas para o mínimo 3 juízes, que são especialistas no assunto. O formulário foi elaborado visando os feedbacks dos juízes, com espaços para justificativas e observações em cada item, além de outras sugestões, conforme Figuras 1 e 2. Foram estipulados graus de aceitação entre 0 a 100%,
55
com os respectivos valores qualitativos (inexistente, baixo, médio, alto e total), a fim de subsidiar a avaliação dos itens.
Subdimensões (Inexistente) 0% 10% - 30% (Baixo) 40%- 60% (Médio) 70% - 90% (Alto) (Total) 100%
D IM EN SÃ O C ONTE ÚD O Alinhamento com o objetivo (Consistência com o problema de pesquisa e os objetivos estabelecidos) O item não apresenta alinhamento com o objetivo da pesquisa. O item apresenta baixo grau de alinhamento com o objetivo da pesquisa. O item apresenta médio grau de alinhamento com o objetivo da pesquisa. O item apresenta alto grau de alinhamento com o objetivo da pesquisa. O item apresenta total alinhamento com o objetivo da pesquisa. Aderência ao construto (Consistência com os paradigmas e os construtos analíticos) O item não apresenta grau de aderência ao construto investigado. O item apresenta baixo grau de aderência ao construto investigado. O item apresenta médio grau de aderência ao construto investigado. O item apresenta alto grau de aderência ao construto investigado. O item apresenta total aderência ao construto investigado. D IM EN SÃ O SE M Â N TIC A Clareza (frases curtas e simples; avaliação de uma única ação
observável, explícita e clara; evitar expressões ambíguas, excessivamente técnicas, ou negativas) O item não apresenta clareza em seu conteúdo. O item apresenta baixo grau de clareza em seu conteúdo. O item apresenta médio grau de clareza em todo seu conteúdo. O item apresenta alto grau de clareza em todo seu conteúdo. O item apresenta total clareza em todo seu conteúdo. Expectância qualitativa (Estímulo à interpretação e discussão dos resultados) O item não tem valor esperado que a resposta apresente características exploratório-qualitativas. O item tem baixo valor esperado que a resposta apresente características exploratório-qualitativas. O item tem médio valor esperado que a resposta apresente características exploratório-qualitativas. O item tem alto valor esperado que a resposta apresente características exploratório-qualitativas. O item tem total valor esperado que a resposta apresente características exploratório-qualitativas.
Fig. 1. Dimensões baseadas em Hernandez-Nieto (2002), Hair, Anderson, Tatham & Black (2009); Günther (2006), Flick (2009,
56
Fig. 2. Formulário de Validação de Instrumento de Coleta de Dados para Pesquisas Qualitativas – Modelo para os juízes
Entende-se que abertura à subjetividade, adaptabilidade e flexibilidade é parte do processo de produção do conhecimento na pesquisa qualitativa (Flick, 2009; Günther, 2006). Contudo, é imprescindível justificar a manutenção, alteração, inclusão ou exclusão de todos os itens, contribuindo para a transparência e confiabilidade para o estudo. Inclusive, poderá ser elaborada uma tabela comparativa, com os itens antes e após a validação. Após a validação dos juízes, propõe-se a compilação dos resultados em um panorama de validação (Figura 3). Através da média das notas dos juízes, sugerem-se os seguintes critérios de aceitação, alteração e exclusão dos itens: Menor que 30%: Exclusão; 40% a 50%: Ajuste obrigatório; 60 a 90%: Ajuste facultado; 100%: Aceite total. Assim, em cada subdimensão deverá ser apresentada a média das notas dos juízes, utilizando os critérios de aceitação, alteração e exclusão dos itens, conforme Fig. 3:
Fig. 3. Panorama de consolidação dos resultados da validação por juízes.
D A D O S D A P ES QU IS A
Nome e contato do pesquisador: Objetivo(s) da pesquisa:
Construto(s) investigado(s):
Público-alvo da aplicação do instrumento de pesquisa:
Informações sobre a pesquisa, conceitos relevantes, dimensões utilizadas: Grau de alinhamento ao objetivo da pesquisa Grau de aderência ao construto investigado Grau de clareza da pergunta Grau de expectativa qualitativa da resposta Just. e obs. % 0 10-30 40-60 70-90 100 0 10-30 40-60 70-90 100 0 10-30 40-60 70-90 100 0 10-30 40-60 70-90 100 Item 1 x x x x Item 2 x x x x Item 3 x x x x
Sugestão de inclusão de novos itens: Comentários, críticas e sugestões:
ITE N S Base teórica e conceitual Alinhamento com o(s) objetivo(s) (média dos juízes) Aderência ao(s) construto(s) (média dos juízes) Clareza (média dos juízes) Expectância qualitativa (média dos juízes) Feedbacks dos juízes Obs. e justif. do pesquisador Manutenção alteração, inclusão ou exclusão 1 2 n
Legenda: Menor que 30% (Exclusão); 40% a 50% (Ajuste obrigatório); 60 a 90% (Ajuste facultado); 100% (Aceite
57
Destacam-se como pontos fortes do método proposto, a facilidade de uso e o estímulo à autorreflexão e protagonismo do pesquisador. Por outro lado, há limitações, como a necessidade de aplicação do método. Destaca-se que, não obstante a validação ser uma etapa pré-coleta, o modelo proposto (Figura 3) pode ser incorporado à pesquisa como parte do percurso metodológico.
4 Conclusões
A construção e validação dos instrumentos de pesquisa é uma parte relevante no processo de investigação, que pode interferir na qualidade dos resultados. Portanto, o pesquisador pode considerar estratégico o planejamento, elaboração e validação dos roteiros de pesquisa. Não obstante o rigor acadêmico faz-se necessária certa flexibilidade para a pesquisa qualitativa. Nesse sentido, espera-se que os estudos qualitativos avancem rumo à visão de Bardin (2011), de modo que a pesquisa seja realizada considerando todos os critérios de confiabilidade e validade, mas não se anule a autonomia e criatividade do pesquisador.
Assim, ao submeter os itens dos roteiros a profissionais experientes na temática, espera-se um processo de autorreflexão do pesquisador através dos feedbacks. Além dos ajustes referente à clareza e expectância qualitativa, os apontamentos quanto ao alinhamento aos objetivos e aderência aos construtos investigados pode auxiliar no refinamento do instrumento de coleta. Além disso, um espaço aberto para a crítica qualitativa dos avaliadores pode contribuir na identificação de questões faltantes.
A proposta de validação de instrumento de coleta de dados para pesquisas qualitativas apresentada busca aprimorar o processo de investigação científica, de modo que, através dos feedbacks dos juízes, o pesquisador possa refletir sobre seu próprio produto de coleta de dados, bem como a sua influência nos resultados da pesquisa. Espera-se que essa etapa de validação fortaleça a capacidade de argumentação do pesquisador, contribuindo, ainda, com a afinidade com o instrumento e servindo como preparação para a pesquisa de campo. Ademais, o processo de validação pode contribuir no desenvolvimento de redes colaborativas de pesquisa, haja vista que pode aproximar pesquisadores de diferentes universidades ou centros.
Ressalta-se a necessidade de avançar no campo de estudo qualitativo, trazendo novas formas de pensar a investigação científica e abordagens inovadoras. Entende-se que a qualidade de uma pesquisa qualitativa depende de vários fatores, nos quais a validação do instrumento de coleta de dados pode se constituir uma etapa de amadurecimento, aperfeiçoamento e reflexão da própria pesquisa. Assim, desde a fundamentação teórica até a exclusão ou alteração de algum item, deve-se levar em consideração a confiança e validade do estudo.
Por fim, espera-se que a proposta de um método de validação de instrumento de coleta de dados para pesquisas qualitativas proporcione caminhos para se discutir o papel do pesquisador e as inúmeras decisões que é preciso tomar durante o processo de pesquisa. Assim, considerando que o pesquisador é principal instrumento de pesquisa (Godoy, 1995; Patton, 1990), a proposta é que o processo de validação estimule o pesquisador a refletir, exercer a sua autonomia e respaldar suas escolhas.
58
Referências
Altheide, D. L., & Johnson, J. M. (1994). Criteria for assessing interpretive validity in qualitative research.
Bardin, L. (2011). Análise de conteúdo. 3. reimp. Lisboa: Ediçoes, 70.
Creswell, J. W. (1998). Qualitative inquiry and research design: Choosing among five traditions. Feldman, M. S., & Orlikowski, W. J. (2011). Theorizing practice and practicing theory. Organization
science, 22(5), 1240-1253.
Flick, U. (2009). Qualidade na pesquisa qualitativa: coleção pesquisa qualitativa. Bookman Editora. Flick, U. (2018). An introduction to qualitative research. Sage Publications Limited.
Glaser, B. (1978). Theoretical sensitivity. Advances in the methodology of grounded theory.
Godoy, A. S. (1995). Introdução à pesquisa qualitativa e suas possibilidades. Revista de administração de empresas, 35(2), 57-63.
Günther, H. (2006). Pesquisa qualitativa versus pesquisa quantitativa: esta é a questão. Psicologia: teoria e pesquisa, 22(2), 201-210.
Hair, Anderson, Tatham, & Black, (2009). Análise multivariada de dados. Porto Alegre: Bookman. Hernández-Nieto, R. (2002). Contribuciones al Análisis Estadístico. Mérida, Venezuela: Universidad de
Los Andes/IESINFO
Johnson, R. B. (2006). New directions in mixed methods research [Special issue]. Research in the Schools, 13(1).
Krefting, L. (1991). Rigor in qualitative research: The assessment of trustworthiness. American journal of occupational therapy, 45(3), 214-222.
Kvale, S. E. (1989). Issues of validity in qualitative research. Studentlitteratur.
Leininger, M. (1994). Evaluation criteria and critique of qualitative research studies. Critical issues in qualitative research methods, 95, 115.
Manzini, E. J. (2004). Entrevista semi-estruturada: análise de objetivos e de roteiros. Seminário internacional sobre pesquisa e estudos qualitativos, 2, 10.
Marconi, M. D. A., Lakatos, E. M. (2003). Fundamentos de metodologia científica, 5. Patton, M. Q. (1990). Qualitative evaluation and research methods. SAGE Publications, inc.
59
Pope, C., Ziebland, S., & Mays, N. (2006). Analysing qualitative data. Qualitative research in health care, 63-81.
Strauss, A., & Corbin, J. (1998). Basics of qualitative research: Procedures and techniques for developing grounded theory.
Strauss, A., & Corbin, J. (2008). Pesquisa qualitativa: técnicas e procedimentos para o desenvolvimento de teoria fundamentada. Tradução Luciane de Oliveira da Rocha. 2ªed. Porto Alegre: Artmed.
