A Triangulação Metodológica na divisão de Administração Pública e Gestão Social do EnANPAD: analisando a área mais representativa entre os estudos que utilizaram a
Triangulação nos anais de 2007 a 2009
Autoria: Juliana Cristina Teixeira, Marco César Ribeiro Nascimento, Luiz Marcelo Antonialli
Resumo:
O presente artigo é um desdobramento de pesquisas realizadas anteriormente, em que se objetivou demonstrar a incidência de trabalhos que utilizaram a triangulação metodológica entre anais do EnANPAD, bem como analisar o perfil metodológico dos mesmos com o intuito de demonstrar não só o nível de aceitação do método, como também indicar possíveis caminhos para a superação de algumas dificuldades inerentes à condução de pesquisas desta natureza. Nas referidas pesquisas, constatou-se que, entre o total de trabalhos apresentados nos anais do EnANPAD de 2007 a 2009 que utilizaram a triangulação metodológica, a maior parte pertence à divisão acadêmica de APS – Administração Pública e Gestão Social. Em um contexto ainda de resistência à combinação de métodos oriundos de diferentes bases epistemológicas, o presente trabalho originou-se então do intuito de analisar de forma mais específica a utilização da triangulação na área de Administração Pública e Gestão Social do evento, por ser esta a respondente pela maioria dos artigos com triangulação metodológica entre a amostra utilizada. O objetivo é, pois, analisar a forma com que a triangulação metodológica tem sido utilizada nos estudos da divisão de APS e para quais objetivos ou temáticas específicas tem sido aplicada. Acredita-se que o atendimento de tal objetivo possa indicar não só os caminhos metodológicos que têm sido seguidos para a condução de pesquisas com triangulação na área de Administração Pública e Gestão Social, como analisar se a combinação de métodos tem sido utilizada para temáticas mais complexas, já que a triangulação tem sido apontada como opção benéfica para estudos de questões complexas e paradoxais. Para a realização do estudo, é apresentada uma discussão sobre a triangulação metodológica, contendo seu conceito, tipos, benefícios apontados pela literatura, e potenciais desafios que envolvem a combinação de métodos de diferentes bases epistemológicas. Além disso, caracteriza-se a divisão de APS do EnANPAD, demonstrando quais são as temáticas específicas abordadas pelos estudos nela publicados. Em termos metodológicos, trata-se de uma pesquisa exploratória e descritiva, utilizando uma abordagem qualitativa e quantitativa de análise dos dados. Para a coleta de dados, foi realizada uma pesquisa bibliográfica, que é inerente a estudos bibliométricos, natureza do presente trabalho. Como principais resultados, identificou-se o perfil metodológico dos estudos caracterizado por pesquisas preponderantemente descritivas, que adotaram a triangulação seqüencial e utilizaram técnicas mais tradicionais de coleta e tratamento dos dados. Quanto aos objetivos e temáticas envolvidas nos estudos com triangulação analisados, observa-se uma maior incidência da combinação de métodos para tratar a relação entre a gestão pública e as funções gerenciais, bem como a gestão de serviços públicos e os novos arranjos institucionais. Assim, pode-se chegar à reflexão de que a triangulação tem sido utilizada, como se indica sua aplicabilidade, para o tratamento de questões complexas no âmbito da Administração Pública.
1. Introdução
O presente artigo é um desdobramento de pesquisas realizadas anteriormente, em que se objetivou demonstrar a incidência de trabalhos que utilizaram a triangulação metodológica entre anais do EnANPAD (TEIXEIRA e NASCIMENTO, 2010; TEIXEIRA e ANTONIALLI, 2010), bem como analisar o perfil metodológico dos mesmos (TEIXEIRA e ANTONIALLI, 2010) com o intuito de demonstrar não só o nível de aceitação do método, como também indicar possíveis caminhos para a superação de algumas dificuldades inerentes à condução de pesquisas desta natureza.
Nas referidas pesquisas, constatou-se que, entre o total de trabalhos apresentados nos anais do EnANPAD de 2007 a 2009 que utilizaram a triangulação metodológica, a maior parte pertence à divisão acadêmica de APS – Administração Pública e Gestão Social. Em um contexto ainda de resistência à combinação de métodos oriundos de diferentes bases epistemológicas, o presente trabalho originou-se então do intuito de analisar de forma mais específica a utilização da triangulação na área de Administração Pública e Gestão Social do evento, por ser esta a respondente pela maioria dos artigos com triangulação metodológica entre a amostra utilizada.
Como objetivo geral, pois, está a análise da forma com que a triangulação metodológica tem sido utilizada nos estudos da divisão de APS. Para tanto, como objetivos específicos, são definidos: (1) identificar os níveis de pesquisa adotados (exploratória, descritiva e/ou explicativa); (2) identificar os tipos de triangulação utilizados (seqüencial ou simultânea); (3) identificar os métodos de coleta e análise de dados utilizados; e (4) o objetivo e temática dos estudos. Acredita-se que o atendimento de tais objetivos possa indicar não só os caminhos metodológicos que têm sido seguidos para a condução de pesquisas com triangulação na área de Administração Pública e Gestão Social, como analisar se a combinação de métodos tem sido utilizada para temáticas mais complexas, já que a triangulação tem sido apontada como opção benéfica para estudos de questões complexas e paradoxais.
Para a realização do estudo, é apresentada uma discussão sobre a triangulação metodológica, contendo seu conceito, tipos, benefícios apontados pela literatura, e potenciais desafios que envolvem a combinação de métodos de diferentes bases epistemológicas. Além disso, caracteriza-se a divisão de APS do EnANPAD, demonstrando quais são as temáticas específicas abordadas pelos estudos nela publicados. Em termos metodológicos, trata-se de uma pesquisa exploratória e descritiva, utilizando uma abordagem qualitativa e quantitativa de análise dos dados. Para a coleta de dados, foi realizada uma pesquisa bibliográfica, que é inerente a estudos bibliométricos, natureza do presente trabalho.
O artigo está estruturado da seguinte forma: no item 2, é apresentado o referencial teórico. No item 3, são descritos os procedimentos metodológicos utilizados. No item 4, são apresentados e analisados os resultados. No item 5, são tecidas as considerações finais. E, por fim, no item 6, são apresentadas as referências bibliográficas.
2. Referencial Teórico
Para subsidiar as análises aqui empreendidas, segue-se uma discussão sobre a triangulação metodológica, e também a apresentação e caracterização da divisão de APS no EnANPAD.
2.1. Discutindo a triangulação metodológica
Triangular significa utilizar múltiplos métodos para a análise de um mesmo fato ou fenômeno (JICK, 1979; MATHISON, 1988; MORSE, 1991; BLAIKIE, 1991; DUFFY, 2007)
oriundos de diferentes bases epistemológicas, envolvendo ainda diferentes dados e/ou investigações (DUFFY, 2007). Na literatura, é também chamada de validação convergente ou
multimétodo (JICK, 1979). A utilização do termo triangulação advém de uma metáfora, já que
o termo se originou na navegação e na estratégia militar, que utilizam múltiplos pontos de referência para localizar a posição exata de um objeto (JICK, 1979).
Na literatura, encontram se a indicação de vários benefícios que podem ser proporcionados a uma pesquisa devido à utilização da triangulação. Dentre os mesmos, destacam-se a possibilidade de compreender de forma mais abrangente os fenômenos que estão sendo estudados (SOUZA e ZIONI, 2003). Além disso, a possível garantia de uma maior validade dos dados e resultados ou maior confiança do pesquisador nos mesmos (JICK, 1979; MATHISON, 1988; SOUZA e ZIONI, 2003; DUFFY, 2007) e uma inserção mais profunda no contexto pesquisado (SOUZA e ZIONI, 2003). Além disso, a triangulação propicia aos investigadores oportunidades importantes, incentivando a imaginação e a criação de novos métodos de pesquisa e novas formas de compreender problemas. A triangulação pode, desse modo, enriquecer as explicações dos problemas de pesquisa (JICK, 1979).
Ainda, sugere-se que a combinação de métodos torne a pesquisa mais forte, reduzindo problemas de adoção exclusiva (NEVES, 1996) e também limitações inerentes a determinados métodos de pesquisa. Operacionalmente, a triangulação tem sido conduzida com a combinação de pelos menos dois métodos, um de natureza quantitativa, e outro de natureza qualitativa (MORSE, 1991). A literatura indica como combinações comumente utilizadas surveys com estudos de caso (JICK, 1979; BLAIKIE, 1991) ou entrevistas combinadas com observação participante (BLAIKIE, 1991).
De acordo com Morse (1991), há ainda dois tipos possíveis de triangulação, em termos operacionais: a simultânea e a seqüencial. A simultânea compreende a utilização dos métodos qualitativos e quantitativos ao mesmo tempo. E a seqüencial compreende a utilização de um método posteriormente ao outro. Em relação à primeira, a autora ressalta que há uma limitada interação entre os métodos durante a coleta de dados. Mas, ainda assim, ambos podem se complementar quanto aos resultados. Quanto à segunda, a autora revela uma vantagem em relação à primeira, já que há a possibilidade de planejar o método seqüencial conforme a adequação dos dados obtidos com o método anteriormente utilizado. Assim, há, por parte de Morse (1991), uma recomendação de se utilizar a triangulação seqüencial.
Importante ressaltar que o presente artigo discute e utiliza no nível empírico a triangulação metodológica entre métodos, já que existem quatro tipos básicos de triangulação, como se pode observar:
Fonte: elaborado pelos autores com base em Denzin (1989)
Como se pode observar, na triangulação de dados, há a possibilidade de se combinar diferentes dados para uma mesma análise relativamente ao tempo, espaço e pessoa. Em relação à pessoa, há três níveis de análise: agregado, interativo e de coletividade. A triangulação pode ser também do investigador, quando se utiliza múltiplos observadores na pesquisa. Pode também se de teoria, quando se conjuga diferentes perspectivas para a análise de um mesmo fenômeno. E, finalmente, metodológica, que é a discutida no presente artigo. Esta pode ser ainda de dois tipos: entre métodos ou intramétodos. A primeira envolve uma validação externa dos dados, por meio da utilização de dois ou mais métodos distintos. A segunda, por sua vez, utiliza múltiplas técnicas dentro de um mesmo método tanto para a coleta quanto para a análise dos resultados (DENZIN, 1989). Assim, utiliza-se no artigo a triangulação metodológica que ocorre entre métodos.
Assim, por envolver métodos de natureza diversa, a condução de uma pesquisa com triangulação representa também um desafio para os pesquisadores, já que, combinando métodos quantitativos e qualitativos, conjuga perspectivas de pesquisa que se chocam em alguns aspectos. A Tabela 1 ilustra, por exemplo, algumas diferenças entre as metodologias qualitativa e quantitativa de pesquisa:
Tabela 1. Diferenças entre as metodologias qualitativa e quantitativas de pesquisa
Metodologia Quantitativa Qualitativa
Forma de condução da investigação
Por meio de um plano estabelecido a
priori , com a definição de hipóteses
de pesquisa e de variáveis operacionalmente definidas.
Não há definição de um plano específico a priori . Parte de planos mais amplos, que vão sendo definidos durante a pesquisa, por meio de um contato direto do pesquisador com o fenômeno
Forma de tratamento dos dados
Expressão quantitativa e numérica dos dados. Medições objetivas e quantificação dos resultados. Emprego de instrumental estatístico para analisar os dados.
Rejeita a expressão quantitativa e numérica dos dados, buscando dados descritivos sobre os
fenômenos estudados,
principalmente sobre pessoas, lugares e processos interativos. Não conduz medições e nem quantificação dos resultados. Rejeita a redução das pessoas e do ambiente estudado a variáveis, propondo uma análise mais holística dos mesmos.
Fatores considerados importantes Garantir a precisão, evitar distorções,
Todos os dados de uma realidade são considerados importantes e precisam ser analisados para a compreensão do contexto do fenômeno estudado.
Postura do pesquisador
Controle do exercício da intuição e da imaginação, adotando procedimentos bem delimitados para restringir a ingerência e a subjetividade do pesquisador.
Exigência de capacidade integrativa e analítica para analisar a variedade de dados que são obtidos de forma qualitativa. Capacidade de criação e de intuição.
Fonte: elaborado pelos autores com base em Godoy (1995) e Martins (2004).
A conjugação de ambos os métodos se justifica pela possibilidade de controlar vieses de pesquisa por meio dos métodos quantitativos e compreender melhor a perspectiva dos sujeitos dos fenômenos estudados por meio dos métodos qualitativos (DUFFY, 2007). Ou
seja, “a eficácia da triangulação fundamenta-se na premissa de que a fraqueza de um método será compensada pela força do outro” (FLEURY et al, 1997, p. 36).
Contudo, como se pode observar, há algumas diferenças significativas em ambos os métodos no que se refere à condução de uma pesquisa. Pelas definições que por si só já divergem quanto a prioridades estabelecidas, já se pode indicar o desafio representado pelo estudo de um mesmo fenômeno ou fato social por meio da triangulação metodológica.
Assim, há uma resistência comum à triangulação metodológica por sua combinação de métodos de diferentes bases epistemológicas, em alguns casos. Além disso, por si só, já há relativa resistência, em determinadas áreas da Administração, à metodologia qualitativa de pesquisa, pois houve nas pesquisas em Ciências Sociais significativa predominância de pesquisas quantitativas em comparação com pesquisas qualitativas (DOWNEY e IRELAND, 1979; GODOY, 1995; MARTINS, 2004). A dicotomia entre subjetivo e objetivo levantada pela distinção entre pesquisa qualitativa (subjetiva) e quantitativa (objetiva) fez com que a pesquisa se aproximasse mais dos tipos quantitativos de dados. Um dos motivos apontados para tal é o medo, por parte dos pesquisadores, de conduzir uma pesquisa que parecesse não
científica (DOWNEY e IRELAND, 1979), dado o predomínio da pesquisa quantitativa e sua
maior aceitação no meio acadêmico.
Contudo, este panorama já tem sido alterado de forma significativa. A pesquisa qualitativa, apesar de ter sido regularmente utilizada na Antropologia e Sociologia, ganhou espaço mais recentemente em áreas como a Psicologia, Educação e Administração (GODOY, 1995). Contudo, embora haja a predominância histórica da abordagem positivista no âmbito da Administração, o estudo de Dalmoro et al (2007), que também utilizou análise bibliométrica de artigos do EnANPAD, demonstra que há uma plurificação incipiente dos paradigmas dominantes nas pesquisas em Administração no Brasil, observando que em cinco das dez divisões acadêmicas dos anais analisado havia um predomínio de métodos interpretativistas em relação aos positivistas.
A resistência à triangulação também se justifica pelo fato de que as práticas científicas são comumente orientadas por paradigmas, que acabam funcionando como modelos e exemplos que devem ser seguidos por todos (SZCZEPANIK, 2008).
Assim, para que os cientistas possam ter sucesso em suas investigações comunitárias, eles necessitam compartilhar generalizações simbólicas, modelos, valores e princípios metafísicos. Todos esses critérios compartilhados ajudam na formação de uma mentalidade científica que tem por função determinar e demarcar a direção da pesquisa. [...] Nesse sentido, se o paradigma tem o poder de estipular o que deve ser considerado como problema ou como solução modelar, ele acaba fornecendo a moldura e a tela na qual são pintados os conteúdos da pesquisa
científica. (SZCZEPANIK, 2008, p. 02).
Dessa forma, conjugando métodos de diferentes bases paradigmáticas, a triangulação sofre resistência, apesar de haver um amadurecimento na literatura no sentido de considerar ambos os métodos (qualitativo e quantitativo) como não sendo mutuamente exclusivos ou opostos (JICK, 1979; DOWNEY e IRELAND, 1979; POPE e MAYS, 1995), apesar de poderem ser contrastados enquanto associações de diferentes visões da realidade (NEVES, 1996).
Considera-se que a análise dos resultados de pesquisas com triangulação assuma um caráter subjetivo também, já que a decisão sobre até que ponto os resultados de diferente natureza convergem ou não depende da sensibilidade do pesquisador (JICK, 1979; MATHISON, 1988). Dessa forma, o esforço para concluir os resultados e integrá-los de modo que sejam convergentes é intensificado. Porém, como já foi observado, tal esforço pode ser recompensador, e a triangulação, quando utilizada apropriadamente, pode produzir resultados muito valiosos (DUFFY, 2007). Mesmo se houver divergência quanto aos resultados da
pesquisa, a mesma pode “se transformar em uma oportunidade para enriquecer a explicação” (JICK, 1979, p.607) do fenômeno estudado.
O que se destaca em relação à utilização da triangulação é sua maior capacidade de enfrentar a complexidade dos fenômenos estudados, possibilitando um maior aprofundamento das análises, como destaca Souza e Zioni (2003):
Diante da complexidade e fragmentação crescentes da realidade, tem-se buscado elaborar estratégias metodológicas que possibilitem uma compreensão mais abrangente dos fenômenos estudados. Para a análise destes dados a estratégia metodológica de triangulação dos dados coletados através das fontes já referidas permite, concomitantemente, uma maior validade dos dados e uma inserção mais aprofundada dos pesquisadores no contexto de onde emergem os fatos, as falas e as ações dos sujeitos (SOUZA e ZIONI, 2003).
Além disso, Grimes e Lewis (2005) afirmam que “as abordagens multiparadigmáticas auxiliam a exploração de fenômenos particularmente complexos e paradoxais ao ajudarem os teóricos a utilizar perspectivas teóricas distintas”. Neste contexto, então, questionar se os estudos em Administração Pública e Gestão Social que utilizaram a triangulação são aplicados para temas complexos ou não é um dos elementos motivadores da presente pesquisa.
2.2. A divisão de Administração Pública e Gestão Social nos anais do EnANPAD A Administração Pública compreende o aparelhamento do Estado que se envolve com a realização de serviços orientados para a satisfação de necessidades coletivas (MEIRELLES, 1984). Nesse sentido, conceitua-se como gestão pública aquela praticada nas instituições públicas do Estado, em diversas instâncias (FRANÇA FILHO, 2008). Ainda, Habermas (2003) considera como público aquilo que seja acessível a qualquer pessoa e, como esfera pública, os espaços simbólicos de opinião pública.
A gestão social, por sua vez, seria, de uma forma auto-explicativa, uma gestão direcionada ao social (FRANÇA FILHO, 2008). França Filho (2008) a considera em dois níveis: como uma problemática da sociedade e como uma modalidade específica de gestão. No primeiro nível, trata-se de uma gestão das demandas e necessidades do social. Nesse sentido, aproxima-se da própria noção de gestão pública. No segundo nível, enquanto modalidade específica de gestão, destaca-se sua diferenciação de uma gestão estratégica, ao priorizar lógicas sociais, políticas, culturais e ideológicas, em detrimento de lógicas mais instrumentais. Nessa perspectiva, a gestão social seria um tipo-ideal de gestão.
Uma interface passível de ser apontada entre a gestão pública e a gestão social é que a última sugere que o atendimento das necessidades sociais possa extrapolar o âmbito do Estado, podendo também ser empreendido pela própria sociedade, já que a gestão pública seria aquela que ocorre estritamente no contexto das instituições públicas estatais (FRANÇA FILHO, 2008). Ainda, a gestão social pode ser considerada aquela ocorrida por meio de um processo gerencial dialógico, no qual a autoridade decisória é compartilhada entre os participantes (TENÓRIO, 2008).
Assim, os estudos no âmbito da Administração Pública e da Gestão Social podem compreender diversas temáticas, já que os contextos de esferas pública e social, se inserindo no atendimento de demandas e necessidades sociais, são influenciados por diversos aspectos, oriundos também de diversas temáticas. Nesse sentido, podem dizer respeito à estrutura estatal; a relações empreendidas pelo Estado e a sociedade; trajetórias históricas do Estado; políticas públicas e sociais; gestão de serviços públicos; e aspectos epistemológicos e metodológicos inerentes ao contexto público, entre outras temáticas.
O EnANPAD – Encontro da Associação Nacional de Pós-Graduação e Pesquisa em Administração – é considerado um dos maiores eventos da área de Administração no Brasil. Possui uma periodicidade anual, tendo aproximadamente 800 trabalhos apresentados em cada edição. Pode-se assumir como pressuposto que os anais do evento reflitam, de certa forma, alguns aspectos da produção acadêmica, tais como tendências no campo da Administração (CÉSAR et al, 2008; REVILLION, 2003).
Uma das divisões temáticas do evento é a centralmente analisada no presente artigo, que é a intitulada Administração Pública e Gestão Social. Como já foi citado, sendo diversas as temáticas envolvidas com ambos os conceitos, a divisão no evento é subdividida ainda em oito temas específicos, sendo eles: (1) Estado e Sociedade: estrutura, relações e poder; (2) políticas públicas e sociais; (3) gestão de serviços públicos e novos arranjos institucionais; (4) governo e relações intergovernamentais; (5) transparência, controle, accountability, responsabilidade fiscal; (6) organizações públicas e as funções gerenciais; (7) estudos comparados e história da Administração Pública; (8) bases teóricas, metodológicas e abordagens interpretativas da Administração Pública e (9) temas livres.
Dessa forma, são múltiplas as perspectivas de estudo dentro da divisão, o que reflete a pluralidade possível de enfoques temáticos nos estudos em Administração Pública e Gestão Social. No período utilizado na análise empírica do presente artigo, 2007 a 2009, foram publicados no total 426 artigos na divisão. Dentre os mesmos, 33 utilizaram a triangulação metodológica, ou seja, 8%.
3. Metodologia
A pesquisa possui um caráter exploratório e descritivo, utilizando uma abordagem quantitativa, no que se refere ao tratamento descritivo dos dados coletados (inerente também à própria condução de estudos bibliométricos), e também qualitativa, no que se refere a uma análise interpretativa das temáticas envolvidas nos artigos que utilizaram a triangulação metodológica.
Como técnica de coleta de dados, foi realizada uma pesquisa bibliográfica envolvendo os artigos publicados nos anais do EnANPAD de 2007, 2008 e 2009 que utilizaram a triangulação metodológica, como fonte de dados de pesquisas realizadas anteriormente (TEIXEIRA e NASCIMENTO, 2010; TEIXEIRA e ANTONIALLI, 2010). Para o presente estudo, os 33 artigos que foram selecionados da área de APS foram analisados de forma a buscar seus procedimentos metodológicos e os objetivos envolvidos nos estudos.
Como técnica de análise dos dados, foi empregada, pois, a análise bibliométrica, a qual considera que a literatura científica seja um componente do conhecimento que é produzido no âmbito da pesquisa, possuindo informações que indicam a dinâmica e os caminhos de um campo de conhecimento (MACHIAS-CHAPULA, 1998). Segue-se, assim, à descrição e análise dos resultados.
4. A triangulação metodológica nos estudos publicados na divisão de Administração Pública e Gestão Social nos anais do EnANPAD de 2007 a 2009
Teixeira e Antonialli (2010) verificaram, por meio de uma análise exaustiva dos artigos publicados (já que localizar artigos que tratam sobre triangulação de métodos é difícil devido às diversas denominações atribuídas pelos autores à mesma (CRESWELL et al, 2007), que, entre os 2.853 artigos publicados nos anais do EnANPAD de 2007 a 2009, 174 artigos (apenas 6,09%) fizeram uso da triangulação metodológica, combinando métodos quantitativos e qualitativos para a análise dos dados.
Dentre os 174 artigos, constatou-se que a maior parte pertencia à divisão de APS – Administração Pública e Gestão Social do EnANPAD, que respondeu por cerca de 19% dos artigos que apresentaram trabalhos com triangulação (33 artigos). A Figura 2 demonstra esta distribuição:
Figura 2. Distribuição percentual dos Artigos com Triangulação por Divisões de interesse na Administração Fonte: Teixeira e Antonialli (2010).
Considerando os potenciais benefícios da triangulação metodológica, bem como as dificuldades e desafios que a mesma representa (TEIXEIRA e NASCIMENTO, 2010), julgou-se importante, dessa forma, analisar de modo mais específico como se dá a condução da triangulação na divisão que mais a utilizou, bem como se o método tem sido aplicado para questões complexas.
4.1. Perfil metodológico dos estudos
Em primeiro lugar, identificaram-se os níveis de pesquisa adotados pelos estudos com triangulação, os quais se relacionam diretamente com os objetivos que nortearam as pesquisas. Uma parcela significativa dos estudos já indicava qual era o nível de pesquisa utilizado. Já os que não identificavam foram classificados entre os seguintes níveis: pesquisa exploratória, descritiva e explicativa. Os resultados demonstraram a seguinte distribuição:
Tabela 2. Níveis de pesquisa adotados Nível de pesquisa Frequência
descritiva 48%
exploratória e descritiva 27% exploratória 18%
explicativa 6%
Total 100%
Fonte: dados da pesquisa
Assim, observa-se que a maior parte dos estudos da divisão de APS que utilizaram a triangulação no período considerado a utilizaram com o intuito de descrever os fenômenos pesquisados, respondendo por um total de 75% (48% de pesquisa descritiva mais 27% de
significativa (total de 45%), sendo menos expressiva a utilização do nível explicativo de pesquisa. A única combinação de níveis adotada foi a de pesquisa simultaneamente exploratória e descritiva. Nesses casos, observou-se uma significativa adoção de um método para o nível exploratório, e outro método para o nível descritivo, alternando entre qualitativo e quantitativo.
Quanto à adoção do estudo de caso (estudo exaustivo ou profundo de um ou poucos objetos, de acordo com Gil (2008)), houve um percentual de 27%, ou seja, 9 artigos utilizaram o estudo de caso como método de pesquisa, o que demonstra uma adoção não muito significativa do mesmo especificamente entre os artigos selecionados da área de APS.
Em relação ao tipo de triangulação metodológica adotado pelos estudos, quanto à possibilidade de ser seqüencial ou simultânea, os resultados demonstram o seguinte panorama:
Tabela 3. Tipo de triangulação utilizado
Tipo de triangulação utilizado Frequência
triangulação simultânea 45%
triangulação sequencial - primeira etapa qualitativa 33% triangulação sequencial - primeira etapa quantitativa 15%
não especificada 6%
Total 100%
Fonte: dados da pesquisa
Assim, a análise dos resultados permite verificar que a maior parte dos estudos adotou uma triangulação seqüencial (33% + 15% = 48%), mas o percentual de triangulação simultânea foi também expressivo, respondendo por 45% dos artigos analisados. Dessa forma, a maior parte dos artigos utilizou o seqüenciamento dos métodos, o que foi exatamente sugerido por Morse (1991), por permitir a utilização dos resultados de um método para o planejamento de outro, aumentando assim a possibilidade de complementação dos resultados.
Quanto às técnicas de coleta de dados utilizadas na etapa qualitativa das pesquisas, a análise dos artigos permitiu o seguinte resultado:
Tabela 4. Técnicas de coleta qualitativa dos dados
Técnicas de coleta qualitativa dos dados Frequência
pesquisa documental 27%
entrevista semi-estruturada 15%
pesquisa documental e entrevista semi-estruturada 12%
entrevista em profundidade 12%
pesquisa documental, entrevista semi-estruturada e observação não participante 6%
entrevista semi-estruturada e observação não participante 6%
questionário não estruturado 6%
entrevista semi-estruturada e observação participante 3%
entrevista semi-estruturada e questionário não estruturado 3%
pesquisa bibliográfica 3%
entrevista em profundidade e observação não participante 3%
pesquisa documental, entrevista semi-estruturada, grupo focal e observação participante 3%
Total 100%
Fonte: dados da pesquisa
Como se pode observar, há uma expressiva utilização da pesquisa documental, seguida pela entrevista semi-estruturada, e pela combinação de ambas as técnicas para a coleta dos dados. A Tabela 4 demonstra ainda que há uma significativa adoção da triangulação
metodológica intramétodos (36%), ou seja, a utilização de mais de uma técnica para a coleta de dados qualitativos, além da adoção da triangulação metodológica entre métodos.
Já quanto às técnicas de coleta de dados para a etapa quantitativa das pesquisas, revela-se a seguinte distribuição:
Tabela 5. Técnicas de coleta quantitativa dos dados
Técnicas de coleta quantitativa dos dados Frequência
questionário estruturado 55%
pesquisa documental 30%
questionário estruturado e pesquisa documental 6%
entrevista estruturada 3%
entrevista semi-estruturada 3%
pesquisa documental e entrevista não estruturada 3%
Total 100%
Fonte: dados da pesquisa
Dessa forma, o questionário estruturado é a técnica mais utilizada para a obtenção de dados de natureza quantitativa. Novamente, a pesquisa documental ocupa uma parcela significativa entre as técnicas de coleta de dados, assim como ocorreu quanto às técnicas para coleta de dados qualitativos.
Partindo para a identificação das técnicas qualitativas de análise dos dados, observa-se o observa-seguinte resultado:
Tabela 6. Técnicas de análise qualitativa dos dados
Técnicas de análise qualitativa dos dados Frequência
nenhum método específico 61%
análise de conteúdo 30%
análise de conteúdo e análise documental 3%
análise de discurso e análise documental 3%
análise documental 3%
Total 100%
Fonte: dados da pesquisa
A maior parte dos artigos não utilizou uma técnica especifica de análise dos dados, sendo caracterizada apenas como qualitativa, o que representou um percentual de 61%. Tal dado demonstra uma não utilização expressiva de técnicas mais sofisticadas ou específicas para a análise qualitativa. Entre técnicas específicas, a mais utilizada foi a análise de conteúdo, que visa inferir conhecimentos relacionados às condições de produção ou reprodução de mensagens (BARDIN, 1995).
Em relação às técnicas de análise quantitativa dos dados, por sua vez, foram encontradas as seguintes:
Tabela 7. Técnicas de análise quantitativa dos dados Técnicas de análise quantitativa dos dados Frequência
estatística descritiva 79%
estatística descritiva e multivariada 12%
análise sociométrica 3%
estatística multivariada 3%
análise de conteúdo quantitativa 3%
Assim, a estatística descritiva se revelou a mais utilizada pelos estudos para o tratamento quantitativo dos dados (91% no total), abrangendo técnicas que descrevem e sumariam um conjunto de dados, calculando índices como média, mediana, moda, variância e desvio-padrão (HAIR et al, 2005). Já a utilização de estatística multivariada, que pode ser considerada mais sofisticada do que a descritiva, por permitir a análise simultânea de mais de duas variáveis, visando estudar as relações entre as mesmas (HAIR et al, 2005; MATTAR, 1997), responde por apenas 15% dos artigos analisados.
Dessa forma, o perfil metodológico dos estudos com triangulação metodológica revela um caráter mais discreto no que se refere aos níveis de pesquisa adotados e às técnicas de análise e coleta de dados. Ou seja, ainda que enfrentem o desafio representado pela triangulação metodológica, o fazem por meio de técnicas mais tradicionais de pesquisa. De uma forma geral, não há um tratamento muito sofisticado dos dados. Contudo, esta é apenas uma observação que não reduz os desafios e nem mesmo a relevância de se conduzir pesquisas com triangulação metodológica no campo da Administração Pública e da Gestão Social, área na qual se conjugam múltiplas perspectivas de análise inerentes à esfera pública. Além disso, como já foi explicitado, já são significativas, por si só, as dificuldades de se conduzir uma pesquisa que combine métodos qualitativos e quantitativos.
Assim, inicia-se a análise dos objetivos e das temáticas para as quais a triangulação metodológica tem sido utilizada na referida área de interesse.
4.2. Objetivos e temáticas dos estudos
Para a análise dos objetivos e das temáticas cujo tratamento foi realizado por meio da triangulação metodológica, optou-se por classificar os 33 artigos entre os oito temas de interesse que formam a divisão de Administração Pública e Gestão Social do EnANPAD. Assim, segue-se a descrição de cada um dos temas, exatamente como são escritos no endereço eletrônico da ANPAD - Associação Nacional de Pós-Graduação e Pesquisa em Administração (ANPAD, 2010); bem como os objetivos de estudo encontrados em cada um dos mesmos. Tema 1: Estado e Sociedade: estrutura, relações e poder (1 artigo):
Estuda as diversas configurações assumidas pelo Estado e as transformações das suas estruturas a partir de crises e reformas. Contempla estudos acerca das relações entre Estado e sociedade, dos atores e processos envolvidos nessas relações.
Objetivo encontrado:
- avaliação de um projeto social voluntário realizado junto a uma comunidade. Tema 2: Políticas públicas e sociais (4 artigos)
Definição da agenda, formulação, análise, implementação e avaliação de políticas públicas e de programas governamentais.
Objetivos encontrados:
- estudo dos fatores condicionantes do Índice de Desenvolvimento Humano de municípios enquanto instrumentos de definição de políticas públicas;
- investigação do fenômeno da violência em escolas e discussão da eficiência de projetos sociais implementados para o combate às suas manifestações;
- discussão de um projeto social direcionado ao enfrentamento da violência em escolas públicas;
- análise da implantação de programa social ligado à informática em escolas públicas. Tema 3: Gestão de serviços públicos e novos arranjos institucionais (10 artigos):
Ação do governo na gestão de serviços públicos econômicos e da infraestrutura, e em setores específicos tais como energia, transportes, recursos hídricos, saneamento, telecomunicações, saúde, educação, segurança pública. Processos de desestatização, privatização, desregulamentação, internacionalização e regulação. Agências reguladoras. Organizações sociais, contratos de gestão, consórcios, terceirização, concessões, permissões, autorizações, relação público/privado, Parcerias Público-Privadas.
Objetivos encontrados: Gestão de Serviços Públicos:
- análise da gestão de agências reguladores de telecomunicações a partir de características gerenciais e dimensões da análise organizacional;
- investigação acerca da existência da gestão socioambiental como um valor para empresa privada;
- avaliação do investimento social privado de uma empresa (relação público-privado);
- análise da disseminação das práticas de Responsabilidade Social Corporativa entre as organizações brasileiras;
- análise das escolhas para a determinação de estruturas de governança para a construção e operacionalização de serviços de utilidade pública;
- identificação de fatores relevantes para a tomada de decisão na aplicação de recursos arrecadados em multas de trânsito;
- delineamento do panorama da situação do mercado de complexos turísticos residenciais e de seus impactos socioambientais.
Novos arranjos institucionais:
- análise da forma de governança praticada em uma rede de catadores de materiais recicláveis - investigação dos processos de gestão de uma cooperativa, para análise de sua real orientação por princípios cooperativistas;
- análise da influência de novos arranjos sociais no contexto da economia solidária para o processo de territorialização de uma comunidade.
Tema 4: Governo e relações intergovernamentais (4 artigos):
Relações entre governo, sociedade e instituições. Governabilidade, governança, federalismo, descentralização, participação e capital social.
Objetivos encontrados:
- identificação da relação entre o capital social existente em municípios e a capacidade de microempreendedores de formar grupos solidários para a garantia de empréstimos ;
- compreensão do processo de aprendizagem social em ambientes de participação e negociação coletiva;
- avaliação de experiências de gestão social por meio da análise dos impactos de um banco para o desenvolvimento de um território;
- análise das experiências de Orçamento Participativo em municípios brasileiros. Tema 5: Transparência, controle, accountability, responsabilidade fiscal (1 artigo):
Inclui estudos sobre formas, mecanismos e políticas relacionadas com transparência, controle (interno e externo) e registro da ação pública e governamental.
Objetivo encontrado:
- análise de influências do controle social sobre a prática de prestação de contas em organizações do terceiro setor.
Estudos que tratam das dimensões intraorganizacionais de organizações públicas. Instrumentos de gestão pública. Políticas e gestão de pessoas. Avaliação de desempenho de organizações e de servidores. Liderança. Clima organizacional, cultura, estratégia e poder. Modernização de estruturas e procedimentos. Inovação em gestão pública. Avaliação de resultados. Governo eletrônico. Orçamento e finanças públicas.
Objetivos encontrados:
- identificação e análise de mecanismos políticos utilizados pelos atores políticos em empresas públicas de telecomunicações;
- discussão das bases de racionalidade subjacentes a influencias do ambiente institucional sobre a avaliação de atividades de organizações do terceiro setor;
- análise da percepção de gestores públicos acerca de seu papel como condutor de novos padrões de ação direcionados à eficiência na prestação de serviços públicos;
- análise do impacto da atividade de consultoria interna em órgãos públicos em relação ao desenvolvimento do servidor e aos benefícios para o setor público;
- análise do impacto da implantação de um Sistema de Informação Gerencial na gestão de contratos públicos de um hospital universitário;
- demonstração da organização e atuação de órgãos centrais de controle interno de municípios;
- estudo da eficácia dos processos administrativos abertos contra policiais civis em um determinado Estado brasileiro;
- conhecimento da situação de algumas universidades estaduais em relação ao processo de cooperação internacional, visando à contribuição à melhoria do funcionamento dessas instituições;
- análise da percepção de servidores sobre a implantação de avaliação de desempenho individual em determinado Estado brasileiro;
- identificação das formas pelas quais as demonstrações contábeis auxiliam o gestor público em sua tomada de decisões;
- avaliação das variáveis que restringem a qualidade de programa nacional de alimentação, utilizando a arquitetura teórica da gestão estratégica de recursos;
- identificação das características de gestão e de controle interno em uma universidade pública federal.
Tema 7: Estudos comparados e história da Administração Pública (nenhum artigo):
Estudos comparados da administração pública e que resgatem teórica, histórica e empiricamente a sua formação no Estado brasileiro. Estudos que promovam a avaliação da produção científica na área de Administração Pública e a construção de agendas de pesquisa para o campo.
Não foram encontrados artigos com esta temática específica.
Tema 8: Bases teóricas, metodológicas e abordagens interpretativas da Administração Pública (1 artigo):
Trabalhos que visem o conhecimento, delineamento e desenvolvimento da administração pública, tratando de seus fundamentos teóricos e perspectivas metodológicas. Estudos sobre a burocracia no setor público. Principais abordagens interpretativas tais como gerencialismo, (neo)institucionalismo, regulacionismo, teoria da escolha pública. Paradigmas e modelos de gestão pública.
Objetivo encontrado:
- identificação de esquemas teóricos utilizados por estudantes para o estudo da gestão de reformas públicas.
Tema 9: Temas livres (nenhum artigo):
Assuntos pertinentes à divisão não incluídos nos temas especificados.
Não houve necessidade de classificação de nenhum dos artigos analisados como sendo tema livre.
Dessa forma, há a seguinte distribuição dos artigos de APS com triangulação entre os temas específicos:
Tabela 8. Distribuição dos artigos entre os temas
Tema Título do tema Quantidade Percentual
Tema 6 Organizações Públicas e as Funções Gerenciais
12 36%
Tema 3 Gestão de Serviços Públicos e Novos Arranjos Institucionais
10 30%
Tema 2 Políticas públicas e sociais 4 12%
Tema 4 Governo e Relações Intergovernamentais
4 12%
Tema 1 Estado e Sociedade: estrutura, relações e poder
1 3%
Tema 5 Transparência, Controle, Accountability, Responsabilidade
Fiscal
1 3%
Tema 8 Bases Teóricas, Metodológicas e Abordagens Interpretativas da
Administração Pública
1 3%
Tema 7 Estudos Comparados e História da Administração Pública
0 0%
Tema 9 Temas Livres 0 0%
33 100%
TOTAL
Distribuição dos artigos entre os temas
Fonte: dados da pesquisa
Assim, os resultados demonstram uma maior utilização da triangulação para relacionar as organizações públicas, ou seja, situadas no contexto da Administração Pública, com as funções gerenciais, que compreendem, por sua vez, aspectos advindos da teoria administrativa que foram criados preponderantemente para o contexto da gestão privada. Ou seja, há uma maior utilização da combinação de métodos para estudos que relacionam também questões que envolvem naturezas originalmente diversas. Dessa forma, acredita-se que eventuais dificuldades de se lidar com a complexidade de se conjugar teorias administrativas para a esfera pública de gestão podem ser minimizadas por meio da utilização da triangulação metodológica, dados os potenciais benefícios que esta representa, como se pode observar no referencial teórico desta pesquisa.
Em segundo lugar, há uma representatividade significativa da utilização da triangulação para tratar a gestão de serviços públicos e os novos arranjos institucionais. A gestão de serviços públicos, por exemplo, por lidar diretamente com aspectos que envolvem a satisfação de necessidades básicas dos indivíduos, envolve interesses de múltiplos agentes e pode ser avaliada também por meio de múltiplas perspectivas. O estudo de novos arranjos institucionais, por sua vez, como redes, organizações sociais, contratos de gestão, consórcios e cooperativas, como o próprio termo já indica, por envolver temáticas ainda incipientes e demandantes de múltiplos focos de análise (tal como a economia solidária), também pode
Não houve, em contrapartida, uma significativa utilização da triangulação para tratar de questões como a estrutura, relações e poder entre Estado e Sociedade; transparência, controle, accountability e responsabilidade fiscal; e bases teóricas, metodológicas e interpretativas da Administração Pública. Quanto a estudos comparados e historia da Administração Pública, não houve nenhuma utilização da triangulação metodológica, o que se justifica pelo caráter mais teórico do que empírico da temática.
Ressalta-se que a classificação foi realizada de acordo com as temáticas que se julgou mais próximas dos objetivos dos artigos analisados, e não pela identificação exata do tema no qual os mesmos foram submetidos e/ou apresentados.
5. Considerações finais
O presente estudo identificou o perfil metodológico dos estudos da divisão de Administração Pública e Gestão Social do EnANPAD de 2007 a 2009, caracterizado por pesquisas preponderantemente descritivas e que adotaram a triangulação seqüencial. Como técnicas de coleta de dados, destacaram-se a pesquisa documental e o questionário estruturado. Como técnicas de análise, a maior parte não utilizou nenhum método específico para a etapa qualitativa dos estudos, sendo a análise de conteúdo o método específico a receber destaque. Já como técnica de análise quantitativa, destacou-se a estatística descritiva. Assim, observou-se que os estudos com triangulação da divisão de APS conduzem os estudos com triangulação utilizando técnicas mais tradicionais de coleta e tratamento dos dados.
Quanto aos objetivos e temáticas envolvidas nos estudos com triangulação analisados, observa-se uma maior incidência da combinação de métodos para tratar a relação entre a gestão pública e as funções gerenciais, bem como a gestão de serviços públicos e os novos arranjos institucionais. Assim, pode-se chegar à reflexão de que a triangulação tem sido utilizada, como se indica sua aplicabilidade, para o tratamento de questões complexas no âmbito da Administração Pública, o que se pode observar pela descrição dos objetivos dos 33 artigos analisados.
Como limitações da pesquisa, a consideração de apenas um evento para a análise dos dados, bem como de um espaço temporal de três anos. Além disso, a consideração da complexidade ou não das temáticas envolvidas nos estudos com triangulação metodológica foi realizada de forma interpretativa e subjetiva, o que pode levar a interpretações diversas, dependendo do escopo de análise, da perspectiva que se adota, e da postura do investigador.
Dessa forma, ressalta-se que os resultados não podem ser generalizados. Contudo, destaca-se a relevância do estudo ao permitir uma exploração e descrição da utilização da triangulação metodológica, um método potencialmente benéfico que ainda sofre resistências, para a área que se demonstrou mais expressiva entre os artigos que utilizaram a triangulação metodológica nos referidos anais do EnANPAD, contribuindo para pesquisadores que visem realizar investigações em Administração Pública e Gestão Social por meio da triangulação.
Assim, deixa-se como sugestão para futuros estudos a ampliação da análise para um período mais longo e utilizando-se outras fontes científicas.
6. Referências bibliográficas
ANAIS DO ENANPAD. Associação Nacional dos Programas de Pós-graduação em Administração, 2007 a 2009, CD-ROOM.
ANPAD. Endereço eletrônico: <www. Anpad.org.br>. Acesso em 10 jul. 2010. BARDIN, L. Análise de Conteúdo. Lisboa: Persona, 1995.
BLAIKIE, N.W.H. A critique of the use of triangulation in social research. Quality and Quantity, v. 25, n. 2, p. 115-136, May, 1991.
BONI, V.; QUARESMA, S.J. Aprendendo a entrevistar: como fazer entrevistas em Ciências Sociais. Revista Eletrônica dos Pós-Graduandos em Sociologia Política da UFSC, v. 2, n. 1, jan./jul. 2005, p. 68-80.
CESAR, A.M.R.; ANTUNES, M.T.P.; VIDAL, P.G. A utilização do método do estudo de caso em pesquisas das áreas de Operações, Recursos Humanos e Contabilidade In: XXXII EnANPAD - Encontro Nacional da ANPAD, 2008, Rio de Janeiro. Anais... Rio de Janeiro: ANPAD, 2008.
CRESWELL, J.W.; TASHAKKORI, A. Developing Publishable Mixed Methods Manuscripts. Journal of Mixed Methods Research, April 2007, v.1, n.2, p.107-111. DALMORO, M.; CORSO, K.B.; FALLER, L.P.; WITTMANN, M.L. Dominância
epistemológica em estudos do campo: são ainda os administradores positivistas? In: XXXI EnANPAD - Encontro Nacional da ANPAD, 2007, Rio de Janeiro. Anais... Rio de Janeiro: ANPAD, 2007.
DENZIN, N.K. The research act a theoretical introduction to sociological methods. New Jersey, Prentice-Hall, 1989.
DOWNEY, H.K.; IRELAND, R.D. Quantitative versus qualitative: the case of environmental assessment in organizational studies. Administrative Science Quarterly, v. 24, n.4, p.630-637 Dec., 1979.
DUFFY, M.E. Methodological triangulation: a vehicle for merging quantitative and qualitative research methods. Journal of Nursing Scholarship (On line), v. 19, n.3, Oct., 2007. Disponível em:
<http://www3.interscience.wiley.com/journal/120024498/abstract?CRETRY=1&SRETRY=0 >. Acesso em: 18 jun. 2009.
FLEURY, M.T.L. et al. Entre a antropologia e a psicanálise: dilemas metodológicos dos estudos sobre cultura organizacional. Revista de Administração, v. 32, n. 1, p. 23-37, jan./mar. 1997.
FRANÇA FILHO, G. Definindo gestão social. In: Silva J. et al. (Orgs.). Gestão social: práticas em debate, teorias em construção. Fortaleza: Imprensa Universitária, 2008. GIL, A.C. Métodos e técnicas de pesquisa social. São Paulo: Atlas, 2008.
GODOY, A.S. Introdução à pesquisa qualitativa e suas possibilidades. Revista de Administração de Empresas, v. 35,n.3, p. 20-29, maio/jun.,1995.
HABERMAS, Mudança estrutural da esfera pública: investigações quanto a uma categoria da sociedade burguesa. Rio de Janeiro: Tempo Brasileiro, 2003.
HAIR JR., J.F.; ANDERSON, R.E.; TATHAN, R.L.; BLACK, W.C. Análise multivariada de dados. Porto Alegre: Bookman, 2005.
JICK, T.D. Mixing qualitative and quantitative methods: triangulation in action.
Administrative Science Quarterly, v. 24, n. 4, p. 602-611, Dec., 1979. Disponível em: <http://web.ebscohost.com/ehost/pdf?vid=8&hid=103&sid=e04573e9-21fa-414b-83cf-d7f3afe44da0%40sessionmgr11>. Acesso em: 15 jun. 2009.
LEWIS, M.W; GRIMES, A.J. Metatriangulação: a construção de teorias a partir de múltiplos paradigmas. Revista de Administração de Empresas, São Paulo, v. 45, n. 1, p.72-91, jan./mar., 2005.
MACIAS-CHAPULA, C.A. O papel da Informetria e da Cienciometria e sua Perspectiva Nacional e Internacional. Ciência da Informação, v. 27, n. 2, p. 64-68, 1998.
MARTINS, H.H.T. S. Metodologia qualitativa de pesquisa. Educação e Pesquisa (Online), São Paulo, v. 30, n.2, p. 289-300, maio/ago., 2004. Disponível em:
<http://www.scielo.br/pdf/ep/v30n2/v30n2a07.pdf>. Acesso em: 15 jun.2009.
MATHISON, S. Why triangulate? Educational Researcher, v. 17, n. 2, p. 13-17, 1988. Disponível em: <http://edr.sagepub.com/cgi/reprint/17/2/13>. Acesso em: 18 jun. 2009. MATTAR, F.N. Pesquisa de Marketing: metodologia, planejamento. São Paulo: Atlas, 1997, 336p.
MEIRELLES, H. L. Direito Administrativo Brasileiro. São Paulo: Revista dos Tribunais, 1984.
MORSE, J.M. Approaches to qualitative-quantitative methodological triangulation. Nursing Research, v. 40, n.1, p.120-132, 1991.
NEVES, J.L. Pesquisa qualitativa: características, usos e possibilidades. Caderno de Pesquisas em Administração, São Paulo, v. 1, n. 3, 2º. sem, 1996. Disponível em: <http://www.ead.fea.usp.br/cad-pesq/arquivos/c03-art06.pdf>. Acesso em: 18 jun. 2009. POPE, C.; MAYS, N. Reaching the parts other methods cannot reach: an introduction to qualitative methods in health and health service research. British Medical Journal, n. 311, p. 42-45, 1995.
REVILLION, A.S.P. A utilização de pesquisas exploratórias na área de Marketing. Revista Interdisciplinar de Marketing, v.2, n. 2, p. 21-37, Jul./Dez. 2003.
SOUZA, D. V.; ZIONI, F. Novas perspectivas de análise em investigações sobre meio
ambiente: a teoria das Representações Sociais e a técnica qualitativa da triangulação de dados. Saúde e Sociedade (Online), v. 12, n. 2, p. 76-85, 2003. Disponível em:<
http://www.scielo.br/pdf/sausoc/v12n2/08.pdf>. Acesso em: 18 jun. 2009.
SZCZEPANIK, G.E. A linguagem paradigmática da ciência. In: IIII SEMINÁRIO INTERNACIONAL SOBRE FILOSOFIA E EDUCAÇÃO: Racionalidade, diversidade e formação pedagógica. Anais... Passo Fundo, Editora Universitária UPF, 2008.
TEIXEIRA, J.C.; ANTONIALLI, L.M. Perfil de Estudos em Administração que utilizaram Triangulação Metodológica: uma análise dos anais do Enanpad de 2007 a 2009. In: XIII Semead – Seminário em Administração, 2010, São Paulo. Anais... São Paulo: USP, 2010. TEIXEIRA, J.C.; NASCIMENTO, M.C.R. Uma defesa à Triangulação Metodológica e ao Multiparadigmatismo nas Pesquisas em contraposição a resistências enfrentadas: uma análise dos anais do Enanpad de 2009. In: XXXIV EnANPAD - Encontro Nacional da ANPAD, 2010, Rio de Janeiro. Anais... Rio de Janeiro: ANPAD, 2010.
TENÓRIO, F. G. (Re)Visitando o conceito de gestão social. In: Silva J. et al. (Orgs.). Gestão social: práticas em debate, teorias em construção. Fortaleza: Imprensa Universitária, 2008.
