Avaliação de impactos como modalidade de pesquisa qualitativa e
problema de investigação: reflexões e resultados
Ana Cristina Brito Arcoverde1, Cristina Maria Pinto Albuquerque2
1 Universidade Federal de Pernambuco, Departamento de Serviço Social; Bolseira Capes-‐Brasil, processo 002835/2015-‐3;
ana.arcoverde@gmail.com
2 Universidade de Coimbra, Faculdade de Psicologia e de Ciências da Educação; crisalbuquerque@fpce.uc.pt
Resumo. No presente artigo pretende-‐se refletir sobre a relevância da avaliação de impactos como modalidade de pesquisa qualitativa que qualifica fenômenos contextualizados, produz conhecimentos da realidade, entendida como síntese de múltiplas determinações e apreende as mudanças quantitativas e qualitativas nas dimensões objetiva, substantiva e subjectiva. Para ilustrar o modo como tais mudanças se evidenciam nos discursos dos sujeitos apresentamos alguns dados resultantes de uma pesquisa conduzida no Estado de Pernambuco, entre 2010 e 2015, junto de trabalhadores de organizações da economia solidária. Os dados revelaram que, por meio de trabalho desenvolvido, se produziram, na perspetiva dos trabalhadores mudanças objetivas e substantivas em micro escala, mas poucas alterações em termos de consciencialização política e social ou mudança subjetiva.
Palavras-‐chave: avaliação; impactos; pesquisa qualitativa.
Impact assessment as qualitative research and research problem: reflections and results
Abstract. In this article, we intend to reflect on the relevance of impact assessment as qualitative research that qualifies contextualized phenomena, produces knowledge of reality, understood as a synthesis of multiple determinations and grasps the quantitative and qualitative changes in the objective, substantive and subjective dimensions. To illustrate how such changes are evident in the speeches of the subjects presented some data resulting from a survey conducted in the state of Pernambuco, between 2010 and 2015, from workers of the social economy organizations. The data revealed that, through work, is produced, from the perspective of workers objective and substantive changes in micro scale, but little change in terms of political and social awareness or subjective change.
Keywords: evaluation; impacts; qualitative research.
1 Introdução
Em geral, a avaliação remete para a quantificação de fenómenos, factos e contextos sociais porquanto entendida restritamente como mensuração de resultados. Neste artigo defendemos que a avaliação também qualifica fenómenos, factos e contextos como substantivação de mudanças produtoras dos conhecimentos necessários para a aproximação da realidade, entendida como síntese das múltiplas determinações dos referidos fenómenos, factos e contextos sociais.
A avaliação de impactos como modalidade de avaliação e pesquisa nas ciências sociais, na contemporaneidade, trabalha com a perspetiva de que o quantitativo e o qualitativo na pesquisa são interdependentes e que se complementam na investigação das mudanças implementadas, quer pelas políticas públicas junto da população, quer pelas práticas sociais.
Na verdade, os números só sintetizam processos, dinâmicas e estruturas, tanto quanto esses podem ser decifrados e expressos substantivamente. Portanto, é um equívoco conceber o quantitativo e o qualitativo, nas ciências sociais e na pesquisa, como divergentes ou contraditórios. (Martinelli, 2003). Saliente-‐se porém que diferentes olhares produzem distintos resultados sobre a mesma realidade, dependendo do questionamento construído e a ela endereçado. Na pesquisa, e em particular na
pesquisa nas ciências sociais, a investigação é dirigida pela questão colocada face à realidade investigada. Esta questão é determinada pela teoria e determina a metodologia a ser utilizada para dar conta da apreensão do real. Reforçamos pois a ideia de que não existe pesquisa neutra, mas dirigida pela questão construída a partir da articulação teoria/realidade. Em se tratando de questão cuja resolução implica avaliação de impactos, como no caso da investigação de mudanças, a pesquisa reflete os mesmos pressupostos. (Arcoverde, 2013, p. 181).
2 Pesquisa avaliativa de impactos: elementos constitutivos e questões críticas
As pesquisas avaliativas de impactos são raras e complexas no domínio social, embora de extrema necessidade no campo da elaboração, acompanhamento e reformatação de políticas públicas ou de práticas sociais. A escassez de estudos decorre sobretudo da dificuldade de realização deste tipo de investigações, bem como dos recursos necessários e da previsibilidade no campo do planejamento da política pública ou da prática social. Em acréscimo, muitas vezes é indefinido ou ambíguo o elemento a ser analisado. É de destacar, a este respeito, a confusão que por vezes existe entre efeito e impacto. É importante efetivamente distinguir estes conceitos no sentido de evitar problemas na construção do objeto, dos instrumentos e técnicas e na operacionalização da investigação. Assim, o impacto “expressa mudanças efetivas e /ou significativas na vida das pessoas em decorrência de determinada intervenção”, experiência ou prática social (Roche, 2003, p37). Por outras palavras, é a consequência dos efeitos de uma política ou prática social, expressando o âmbito do quantum e do modo como foram concretizadas as mudanças em relação à população usuária da política ou participante da prática social. O impacto, concebido como mudança, pode assim ser problematizado e investigado em unidades individuais, grupais e aglomerados societários (Cohen; Franco, 1999). Deste modo, quando a problemática de pesquisa construída e a ser desvendada tem por objetivo conhecer, analisar, avaliar a determinação das mudanças efetivas decorrentes de uma intervenção ou política (e que não existiriam sem ela), a avaliação de impactos é um dos procedimentos com potencial a ser seguido.
De entre as perspetivas teóricas pode-‐se verificar a prevalência da direção positivista ou da direção subjetivista de avaliação ao problematizar-‐se a substância do fenómeno ou do real, ou o real do fenómeno na subjetividade e consciência do sujeito, ou seja, problematiza-‐se a realidade a avaliar com foco nas mutações visíveis e atribuídas a processos sociais vividos e apreendidos, pelos próprios sujeitos, de forma objetiva e individualizada. Assim, a avaliação, ora focaliza a análise de momentos isolados da política pública com prioridade para a mensuração de resultados, utilizando o quantitativo no processo de produção de conhecimento, ora privilegia aspetos relacionados com os sentidos e significados atribuídos pelos sujeitos envolvidos às políticas em avaliação. Quaisquer que sejam os focos naquela direção, desconsideram-‐se os elementos contextuais presentes na política, ou que são determinantes do objeto da avaliação, ainda mais quando esse objeto são as mudanças. Para uma avaliação que construa o seu objeto em termos de quantificação/qualificação da mudança operada na política, ou por uma política pública junto à população torna-‐se necessária uma teoria que contribua para problematizar o real, ou que leve em conta a historicidade como categoria imprescindível à contextualização das políticas ou práticas sociais desenvolvidas. Uma concepção totalizante da avaliação, e em particular na avaliação dos impactos, considera conjuntamente todos os momentos que constituem a política a ser avaliada. (Carvalho, 1998, p.88). Avaliar mudanças é desafio complexo, mas estimulante para uma investigação de natureza mista -‐ quantitativa e qualitativa – como a que iremos apresentar de seguida.
3 Avaliar impactos: dados ilustrativos de um estudo pernambucano
De 2010 até 2015, foi realizado, no âmbito do Núcleo de Estudos e Pesquisas ARCUS da Universidade Federal de Pernambuco, um estudo em 139 municípios pernambucanos. Este estudo construiu como objeto de investigação as mudanças operadas pelo trabalho em unidades económicas coletivas. Por outras palavras, pretendia-‐se avaliar os impactos, objetivos, substantivos e subjetivos, decorrentes do início da atividade laboral de trabalhores, no quadro de organizações da economia solidária. Para tal, foi aplicado aos trabalhadores e colaboradores da organização um inquérito que permitiu revelar e avaliar a dimensão objetiva das mudanças ocorridas, pós integração laboral (em diversas dimensões: habitação, saúde, proteção social, bem-‐estar, dentre outras), e um conjunto de entrevistas semiestruturadas (662), junto à amostra representativa de unidades económicas, seus dirigentes e trabalhadores, que permitiram evidenciar a dimensão substantiva, subjetiva e simbólica dessas mesmas mudanças. O universo de 1.917 empreendimento foi construído por pesquisa junto aos órgãos de registro dessas mesmas unidades de trabalho coletivo, e a amostra retirada por procedimento estatístico. Uma estrutura de indicadores de impactos económicos, sociais, ideológicos e políticos, e suas dimensões foi elaborada coletivamente e dela produzidos os instrumentos de coleta dos dados, a saber: entrevista semiestruturada testada e aperfeiçoada.
O desvelamento da realidade foi orientado pela questão central: o trabalho coletivo potencializa mudanças nas dimensões objetiva, substantiva e subjetiva, na consciência e na prática política dos trabalhadores? Assim, em torno da categoria central da “mudança” e das suas dimensões foram construídos os instrumentos de coleta de dados, orientados por unidades de contexto e foram construídas subcategorias, que dirigiram a investigação, a saber, a conceção sobre o trabalho, como atividade transformadora da natureza em bens e do próprio homem, a ideologia, como visão de mundo que se expressa em toda atividade humana, e a consciencialização política. Os dados foram tratados com o suporte de dois softwares, o SPSS (dados objetivos) e o SPHINX (dados qualitativos). Uma grelha mais refinada para apreender e analisar os dados relativos às unidades de registro -‐ participação, empoderamento e politização – foi necessária e construída após a coleta de dados. Aos dados classificados, por natureza e categorias, foi aplicada a análise de conteúdo (Bardin, 2004). Como já foi referido o estudo pretendia sobretudo problematizar que mudanças são moldadas pelo trabalho na consciência do trabalhador, sob determinações contextuais. A vivência do coletivo tem potencial transformador, mas, no caso, restrito às condições objetivas (desenvolvimento das forças produtivas no território, relações de produção) e subjetivas (consciência) do trabalho realizado pelos trabalhadores em seus contextos. Um dos aspetos mais complexos no âmbito de estudos de avaliação de impactos é precisamente a apreensão da dimensão subjetiva dos mesmos e, de forma subjacente, a determinação daquilo que decorre do fator em avaliação e que não teria ocorrido sem a intervenção do mesmo. O cruzamento com os dados objetivos das mudanças, antes e depois do trabalho, constitui-‐se por isso como um eixo essencial de análise. Neste âmbito, a definição de indicadores é uma etapa decisiva. Os indicadores considerados no estudo foram econômicos, sociais e ético-‐políticos, e foram desdobrados em sub indicadores (como renda, custos, saúde, alimentação, participação, empoderamento, etc.) mais próximos do real. Afinando mais ainda, os impactos económicos foram considerados de natureza quantitativa, os sociais de natureza qualitativa e os ideo-‐políticos de natureza subjetiva. Do mesmo modo foram definidas as dimensões dos impactos ou mudanças, a saber, dimensão objetiva, substantiva e subjetiva, correspondendo a cada conjunto de indicadores.
Os resultados da investigação permitiram caracterizar perfis distintos das unidades económicas – cooperativas de produção, de serviços, e de financiamento, associações de trabalhadores, de produtores e empregadores, organizações variadas de trabalho em grupos, dentre outros, e qualificar as mudanças. Assim, em termos muito genéricos, na dimensão económica ou objetiva foi
identificada uma melhoria ou acesso a uma pequena renda pessoal, na dimensão social ou substantiva, o acesso a bens e serviços com melhoria do bem-‐estar, e na dimensão ideo-‐política ou subjetiva a pesquisa revelou impactos/mudanças na consciência de si, com ampliação da participação em outros espaços de convivência e diálogo, apropriação de conhecimentos sobre si e participação em organizações de luta por direitos pessoais e sociais. Um aspeto extremamente frágil ou inexistente foi o da «consciência de classe para si», nos termos de Kosik (1970).
Verificou-‐se pois que se mudanças existiram no âmbito económico, e até mais ampliadas no quadro social, as mudanças subjetivas proporcionadas pelo trabalho coletivo foram restritas e/ou frágeis. Isto pode ser explicado pelas condições objetivas e subjetivas de realização do trabalho e pelos elementos contextuais da cultura política local. O «patrimonialismo», o «coronelismo» e o clientelismo na política, herdados de outrora, ainda se fazem presentes no cotidiano das populações e dos trabalhadores nos territórios estudados. O que reafirmou o pressuposto teórico de base, ou seja: o trabalho é potencializador de ideias, no caso, ideias plurais moldando as consciências de si, e ao mesmo tempo limitando a classe para si face à cultura política local. Alguns entrevistados reconhecem no trabalho coletivo seu potencial transformador, mas outros o negam. A vivência do coletivo nem sempre é orgânica em torno das demandas e necessidades de sobrevivência. A trajetória de trabalho dos entrevistados mostrou-‐se também particulamente heterogênea: trabalho assalariado–desemprego-‐trabalho em cooperativas, reforma-‐trabalho em cooperativas ou associações, sem trabalho-‐trabalho em cooperativas ou associações, dentre outras.
4 Conclusões
O estudo efetuado permitiu revelar que os processos de participação, apropriação de conhecimentos, e politização, em síntese a política, embora articulados, são vividos e percebidos distintamente nos diferentes territórios, mas sob determinadas condições. Esta conclusão revela um dos elementos mais importantes e estruturantes dos estudos de avaliação de impactos: a dimensão contextual dos mesmos e a possibilidade que proporcionam de reavaliar políticas públicas e intervenções, em confronto com dados concretos das mudanças produzidas, ou não produzidas, ou mesmo, de mudanças desejáveis ou indesejáveis. Estabelecendo um elo essencial entre percepções e dados objectivos a metodologia mista permite enquadrar dimensões diferenciadas de análise de uma realidade e como tal ultrapassar abordagens meramente lineares, deterministas e quantificáveis do fenómeno em apreciação. Um ponto crítico a ultrapassar ainda nas avaliações de impacto no domínio social continua a ser a definição precisa de indicadores e a possibilidade dos mesmos traduzirem, da forma menos enviesada e parcelar possível, a realidade social complexa e dinâmica que se pretende apreender. Para este efeito, o aprofundamento de processos de triangulação, de participação on-‐going de diferentes agentes e uma avaliação contínua de mudanças ao longo do processo parecem-‐nos ser elementos relevantes na construção de um modelo de impactos sociais consistente e aplicável a diferentes contextos. Há que se considerar ainda que a avaliação de impactos como problemática de investigação enfrenta outras dificuldades a serem superadas, a saber: recursos e custo financeiro, expertise da equipa de investigadores para realizarem a avaliação de impactos, instrumentalidade e manejo de técnicas, habilidades para a apreensão da subjetividade dos sujeitos em relação às mudanças operadas na percepção da realidade em suas múltiplas dimensões do e entre o momento antes e o depois, enfim do respeito ao tempo do sujeito, bem como do tempo necessário para a interpretação dos conteúdos expressos, sejam eles manifestos e, ou latentes. Cabe realçar, finalmente, o problema da validade e confiabilidade dos dados em relação às conclusões abstraídas de investigação qualitativa com avaliação de impactos tendo em vista sua novidade e a questão objetividade, subjetividade.
Referências
Arcoverde, A. C. B. (2013). Como avaliar impactos in Metodologias qualitativas de pesquisa em
serviço social. Recife: Ed. Universitária da UFPE, Pp. 181-‐2005.
Bardin, L. (2004). Analise de conteúdo. Lisboa: Edições 70.
Cardoso, A. L. (1998). Indicadores sociais e políticas públicas: algumas notas críticas. Rio de Janeiro: Proposta. N. 77, p.42-‐53, jun./ago.
Carvalho, M. C. B. de. (1998). Avaliação participativa: uma escolha metodológica in Rico, E. M.
Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez.
Cohen, E. Franco, R. (1999). Avaliação de projetos sociais. São Paulo: Vozes. Kosik, K. (1970). Dialética do concreto. Rio de Janeiro: Paz e Terra.
Martinelli, M. L. (2003). Pesquisa qualitativa: um instigante desafio. São Paulo: Veras.
Roche, C. (2002). Avaliação de impacto dos trabalhos de Ongs: aprendendo a valorizar as mudanças. São Paulo: Cortez.
