Os profissionais que são designados para avaliações de pro- gramas e projetos, individualmente ou em equipes, deparam- se freqüentemente com a dúvida: usaremos métodos quanti- tativos ou qualitativos?
Esta indagação resulta de infindáveis polêmicas acadêmicas que, estendidas aos meios profissionais não acadêmicos, assu- mem cores de grande dilema científico.
A questão básica deste debate não deveria ser adjetiva, ou seja, se há mais “validade” ou “confiabilidade” nos dados co- lhidos através de determinado método, mas sim substantiva. Em outras palavras, o importante é saber se o método escolhi- do vai atender satisfatoriamente à teoria e às perguntas-cha- ves propostas para a avaliação. O desejável é que o método leve a obter os dados e resultados significativos para atender aos propósitos dos avaliadores, das organizações que execu- tam os programas e projetos e dos seus beneficiários. O conceito de “significância” leva-nos, porém, a outras con- siderações, entre elas à noção de “compreensão”. Pode-se perguntar sobre o que é mais importante na avaliação, obter dados numéricos que fazem estimar a magnitude de um fato ou a compreensão da estrutura de relações responsáveis pelo surgimento do fato? No contraponto da questão: é possível desvelar a estrutura de relações entre variáveis desencadeado- ras de um fato se não se souber com “precisão” sua extensão material concreta, expressa através dos números?
Outra noção correlacionada com as anteriores é a de “gene- ralização” do conhecimento obtido na avaliação. A questão que se põe é: o que se consegue compreender sobre os fatos é aceitável como explicação para todo o universo de pessoas beneficiadas pelas ações avaliadas, ou só para parte daqueles conjuntos? Os dados quantitativos tendem a gerar mais con- fiança nos resultados obtidos e na sua possibilidade de gene- ralização. Mas, sem a contribuição das análises qualitativas as diferenças, particularidades e especificidades, tão importantes para o conhecimento do universo dos programas e projetos, seriam simplificadas ou eliminadas.
Quando se busca o “beneficiário-padrão”, o “rendimento- médio”, a “faixa de idade adequada” etc., é isso que ocorre. A estandardização que os dados quantitativos proporcionam ou sugerem aos avaliadores gera uma certeza sobre o conhe- cimento dos fatos. Pode-se questionar, no entanto, se esse não é um pseudoconhecimento, tomado de forma isolada, pois as “médias” escondem variações e nuanças das características de desiguais elementos de um conjunto, que agem/reagem e ree- laboram suas estratégias de vida ante as intervenções sociais. E poder-se-ia também questionar se é possível enxergar as dife- renciações sem contabilizar o total das unidades de um universo. Certamente não, pois só se enxergaria parte das diferenciações. As noções de quantitativo e qualitativo, quando excludentes, limitam a compreensão dos fatos nos processos de avaliação, ampliando enormemente o efeito de redução da realidade que se tenta conhecer1 quando se avalia um programa ou projeto.
* Texto extraído de Saúde e Comunicação: visibilidades e silêncios. São Paulo: Hucitec-Abrasco, 1995. p.172-189.
1 Qualquer representação da realidade social é redutora, menor do que o que está disponível no ambiente real, seja ela uma tabela estatística ou um relato
Toda dicotomia é estéril e nociva à compreensão dos fenôme- nos sociais, e esta não foge à regra.
Indo mais além: o debate assinalado em termos de opção en- tre dados qualitativos e quantitativos costuma mascarar aque- la que talvez seja a principal limitação da prática avaliativa, que é uma “fixação” pelo questionário como método de cole- ta de informações. Não raro encontramos pessoas ou equipes que desejam fazer uma avaliação qualitativa e que não con- seguem imaginar outra forma de obter os dados que não o questionário, um instrumento limitado, que não possibilita ir além das pressuposições do pesquisador e, mais que qualquer outro, sujeito aos vieses e manipulações de entrevistador e entrevistado. Um instrumento certamente adequado a alguns tipos de informações manejáveis estatisticamente, como por exemplo índices de audiência, mas não para todos os fins. Avançando um pouco mais: a teoria (em sentido estrito) e as perguntas-chaves levantadas pelos avaliadores e/ou dirigentes e técnicos dos programas e projetos, fundamentam-se cons- ciente ou inconscientemente num modelo de intervenção so- cial eleito para concretizar os fins político-institucionais, sejam governamentais ou não-governamentais. Por sua vez, o mode- lo de intervenção social é um produto concreto da concepção de sociedade que se pretende construir ou que se acredita seja a “mais justa”, “igualitária” etc.
A escolha dos métodos e instrumentos tem que ser conside- rada por esse prisma, também, não sendo de modo algum neutros ou “inocentes”. Como qualquer outro aparato tecno- lógico, um simples questionário ou uma escala de medição de atitudes ou uma “história de vida” originam-se sob determi- nados paradigmas, em dados contextos históricos e políticos e, ao serem utilizados numa avaliação, estão reforçando a con- cepção de mundo e de relações sociais que lhes deu origem. Nesse momento crucial para o campo da saúde, em que são rediscutidos os papéis sociais e institucionais, num contexto de emergência de novos atores, é fundamental refletir sobre as implicações das escolhas metodológicas para os estudos avaliativos, que devem ser orientadas por critérios técnicos, sem dúvida e sobre isso já nos posicionamos, mas também políticos e epistemológicos.
Estudos de recepção
No jargão das teorias de comunicação “estudos de recepção” designam processos de pesquisa que buscam conhecer como as pessoas recebem e o que fazem com as mensagens que lhes são destinadas através de meios de comunicação. Tais es- tudos surgem no cenário da pesquisa em ciências sociais por
volta dos anos 40, principalmente nos Estados Unidos, com o aumento de investimentos tecnológicos na área das comunica- ções e com os primeiros sinais de que aquela nova linguagem – a midiática – passaria a fazer parte, de modo irreversível, do universo do homem comum, influindo na sua percepção de mundo e nas suas decisões (de consumo, de voto, na mudança de atitudes etc.). A Psicologia, a Ciência Política, a Mercado- logia, todos queriam saber como as pessoas reagiam diante da exposição aos meios. Inúmeros modelos e teorias foram gerados de lá para cá2 e, em graus e modos diferentes, buscou-
se avaliar os efeitos – em geral a curto prazo – provocados pelo emissor no receptor. Efeitos estavam não raro associados às variáveis de “exposição” – tempo, modo etc. Alguns pes- quisadores desse período superaram a idéia de uma relação mecanicista e causal entre exposição ao meio efeito, deixando de considerar o receptor uma tábula rasa, mas a herança das primeiras teorias é bastante forte entre nós. A noção de ruído é típica desse enfoque, considerando perturbação tudo o que interfira na comunicação entre emissor e receptor e atrapalhe a compreensão da mensagem.
Nos anos 80 surge uma nova corrente de estudos de recep- ção, a latino-americana3, que procura deslocar o enfoque das
pesquisas dos meios para as mediações, que são as instâncias que condicionam as representações que as pessoas fazem da realidade. A teoria das mediações pensa a recepção como um processo que extrapola a relação emissor-meio-mensa- gem-receptor, constituindo-se num processo que engloba a vida cotidiana, as instituições, o contexto social, enfim, numa perspectiva histórica e cultural. Sendo múltiplas, possibilitam formas múltiplas de apropriação das mensagens e produzem múltiplos sentidos e é isto que se busca descobrir: que senti- dos são produzidos e quais seus mecanismos de produção, recorrendo-se à antropologia, semiologia, etnografia e outros domínios conexos.
Esta corrente opõe-se à visão de sociedade fragmentada, típi- ca dos estudos de recepção mencionados acima e incorpora a visão antropológica da sociedade relacional. Ao nosso ver é uma das possibilidades que se apresentam aos novos ce- nários do campo da saúde, por permitir articular as práticas de comunicação aos movimentos sociais e à pluralidade de matrizes culturais.
Mas, estas são as novas tendências do mundo acadêmico. Fora dos muros universitários os estudos de recepção continuam buscando avaliar efeitos: visam constatar e medir o impacto de um programa (ou conjunto de ações ou ações isoladas) sobre um segmento da população.4
Tal objetivo é compreensível. Investem-se em recursos huma- nos, materiais e financeiros, criam-se expectativas, é necessário
2 Alguns dos principais expoentes são Lazarsfeld, Katz, Blummer, Klapper, Lerner, Gurevitch. 3 Entre os notáveis dessa corrente estão Barbero, Serrano, Mattelart, Canclini, Orozco e González.
4 Este texto tem o objetivo de discutir os estudos de recepção no âmbito das instituições que visam uma intervenção social, oficiais ou não. A análise desses
comprovar resultados. Há os financiadores, que querem satis- fações, há os políticos, que querem dados para seus discursos, há os administradores, que querem elementos para decidir sobre aplicações de verbas e há os técnicos, que precisam jus- tificar seus projetos. Todos querem respostas sobre o impacto das ações.
Mas, impacto não é um conceito inocente (como de resto, todos os conceitos). Ele pressupõe uma concepção de emissor e de receptor, e das relações entre os dois pólos. Impacto traz subjacente a idéia de um emissor-atirador que emite-dis- para uma mensagem-projétil em direção a um público-alvo que está lá, homogêneo, estático, como um muro e que vai continuar lá, imóvel, permitindo que se verifique se o alvo foi atingido e a profundidade do rombo. Tal comparação pode parecer caricata e é provável que ninguém raciocine nestes termos ao planejar uma avaliação. Mas a maioria dos estudos que avaliam impacto ignora a dinâmica e a pluralidade sociais, despreza a cultura e a história dos receptores, não leva em conta a existência de outros atores, outras fontes de infor- mação, outros discursos em cena, enfim, a não ser quando o fracasso é indisfarçável: esses fatores são então convocados como explicação, deslocando-se para o receptor e a sociedade envolvente as deficiências constatadas.5
Um outro tipo de estudo de recepção que vem sendo men- cionado nos planos de avaliação é a validação de mate-
riais, mais conhecida como pré-teste.6 Destinada a verificar
previamente a adequação de um material ao destinatário, a validação costuma ficar no vasto domínio das boas intenções, nunca sobrando tempo ou recursos para viabilizá-la. Quando acontece, opera-se com a lógica da publicidade, de exposição ao produto, que traz subjacente a idéia de que as pessoas
decifram os sentidos das mensagens (decodificam). A va-
lidação, para ser um instrumento útil, exige que o enfoque seja outro, o da atribuição de sentidos pelos receptores. Receptores são interlocutores, não instrumentos de prova. Por outro lado, a validação terá pouca confiabilidade se o grupo participante não corresponder rigorosamente à composição social dos destinatários, o que torna indispensável um bom conhecimento prévio da realidade sobre a qual se intervém. Adicionalmente, no caso de programas de larga abrangência – como costumam ser os da área da saúde –, é necessário utilizar procedimentos de amostragem probabilística, para se obter maior rigor. Eis aí uma situação exemplar da combinação de métodos de natureza diferente, uma vez que os procedi- mentos propriamente de validação são necessariamente de ordem qualitativa.
Mas, em que pesem estas considerações, sabemos que não é fácil fazer um estudo de recepção que vá além da avaliação
do impacto imediato e da mera aplicação de questionários. Além das dificuldades mencionadas e de outras, de ordem ad- ministrativa e política, não há quase literatura a respeito. Na verdade, não há quase trabalhos concretos nessa área, que sirvam de contraponto ou referência, e é visando contribuir para minorar tal lacuna que apresentaremos a seguir outras reflexões, baseadas na sistematização metodológica de uma pesquisa de recepção de mensagens educativas veiculadas em impressos, rádio, vídeos e audiovisuais.
Um estudo dinâmico de recepção
Sistematizar uma pesquisa que utilizou basicamente mé- todos dinâmicos, que procurou descobrir e entender o não previsível e o não conhecido, que considerou relevantes e vá- lidos dados obtidos de forma não ortodoxa e não controlada é uma tarefa difícil. Como registrar um “clima” que se esta- belece num grupo após uma dada afirmação? Como explicar a importância, para a análise de dados correlatos, do entu- siasmo com que uma comunidade engaja-se num projeto de pesquisa? Como justificar a conversa durante uma partida de dominó como método válido? Por outro lado, os mitos em torno da investigação científica criam uma tendência a consi- derar os métodos e resultados de um estudo dessa natureza intransferíveis, aplicáveis somente à realidade pesquisada. Acreditamos, no entanto, que o relato de como resolvemos os desafios metodológicos comuns aos pesquisadores pode ser útil aos que querem ir além de uma simples aplicação de questionários, mesmo que seus contextos e objetos não sejam iguais.
A pesquisa sobre a “Lógica camponesa de comunicação” não teve natureza acadêmica. O cenário em que surge a necessida- de de realizá-la compreende um vasto conjunto de organiza- ções não-governamentais (ONGs) que intervêm na sociedade camponesa objetivando algum tipo de mudança social e para tal desenvolvem estratégias e utilizam meios de comunicação. As ONGs – entre elas as que se dedicam ao tema da saú- de – valem-se, além de seus quadros técnicos, de assesso- res ou consultores para temas específicos. A comunicação é um desses temas e foi numa perspectiva de consultoria que realizamos nosso estudo, buscando responder de forma mais profunda às inquietações generalizadas quanto à eficácia dos meios e materiais de comunicação utilizados. Emerge, então, de preocupações da prática social, desenvolve-se dentro da prática social e objetiva aperfeiçoar a prática social.
Devemos considerar aqui a posição que ocupávamos nesse cenário: apesar de conhecedores do objeto pelo ângulo inter- no, devido a vivências anteriores, desfrutávamos da condição
5 O principal objeto de avaliação na área de saúde tem sido as campanhas, e as metodologias utilizadas em geral reforçam a idéia do receptor isolado, passivo
e indefeso diante dos estímulos dos meios de comunicação. Mas, certamente há, neste e noutros campos, avaliações de impacto que conseguem enriquecer e relativizar o conceito, incorporando nas variáveis de pesquisa o entorno social e trabalhando com a idéia de receptor como interlocutor.
de consultores7, imunes às coerções técnicas e administrativas
das organizações e trazendo um olhar mais crítico, mais plural e menos comprometido com as políticas institucionais. Os vín- culos que o avaliador mantém com a instituição financiadora e com aquela cuja prática está sendo avaliada são decisivos para sua autonomia, isenção e profundidade possível dos re- sultados. Nesse caso, a decisão de pesquisar foi inteiramente nossa e os recursos foram concedidos por fonte externa, inte- ressada em ir às últimas conseqüências.8
O estudo abrangeu 6 estados da região Nordeste9, envolveu 18
organizações e 1.150 camponeses. Teve início em novembro de 1988 e o último relatório foi concluído em julho de 1992, tendo sofrido vários meses de paralisação entre as etapas. Trabalhamos, como se vê, com um horizonte temporal atípico para as condições habituais de pesquisa aplicada no Brasil, porém fundamental para a metodologia que utilizamos, que basicamente consistiu no acompanhamento dos eventos das organizações. O que seguramente nos permitiu credibilidade e espaço para pesquisar tanto tempo foi a natureza participativa do estudo, que transformava cada atividade em momento de aprendizagem das pessoas envolvidas, assim como a discus- são permanente dos achados e a circulação do 1º relatório ao fim de um ano e meio de trabalho.
A hipótese central da pesquisa foi a de que havia uma lógica de comunicação específica da sociedade camponesa, suposta a partir da experiência pessoal de trabalho com o meio rural e reforçada pela analogia com as evidências apontadas por es- tudos sociológicos e antropológicos sobre a lógica de organi- zação familiar, produtiva, econômica e social dos camponeses. Subjacente à hipótese da existência de uma lógica própria estava a recusa em trabalhar com o conceito de carente, pre- ferindo o de diferente. O receptor atua com o que dispõe, não com o que lhe falta. A idéia de lógica permite compre- ender quais são esses recursos, além de levantar pistas sobre capacidades e recursos potenciais.
Pareceu-nos que o modo de verificar a procedência dessa hipóte- se seria compreender como se recebia e como se produzia a co- municação no meio rural. Eram situações distintas, que exigiam procedimentos distintos e optamos por iniciar pela recepção, por razões absolutamente pragmáticas: a necessidade de respostas sobre a eficácia dos materiais de comunicação utilizados pelas ONGs. O que apresentamos neste artigo refere-se à pesquisa de recepção, que foi dividida em três etapas, avaliando meios distintos: os impressos, o rádio e os vídeos e audiovisuais.10
A decisão de fazer uma pesquisa com a participação ativa dos interessados não se deveu a uma opção pela “pesqui-
sa-participante” como uma metodologia, com todas suas im- plicações. Foi decorrência natural da nossa prática e linha de consultoria sobre a intervenção social, numa perspectiva de respeito à inteligência e à capacidade de reflexão e ação de todas as pessoas, mesmo das mais isoladas dos grandes cen- tros e em maior desvantagem social. Sabemos que em muitos aspectos fizemos uma pesquisa-ação participante, mas não é possível assim classificá-la, pois incluiu diversos momentos em que análises e decisões foram exclusivamente nossas. Por outro lado, não houve uma discussão se os métodos seriam qualitativos ou quantitativos, posta nestes termos: para cada informação que se determinou como desejável pensou-se um método mais adequado de obtenção. O resultado foi uma plu- ralidade de abordagens, onde se mesclou intuição, experiência prática, rigor formal, estruturas convencionais e inovadoras de pesquisa, métodos dinâmicos e estáveis, diacrônicos e sincrô- nicos, observações de campo e números.
É possível, num olhar retrospectivo, perceber diversas influências, paradigmas que se superpõem, modelos que deixam seu rastro e logo cedem espaço a outros... Mas isso não nos preocupa: o que pode parecer para uns falta de rigor científico, para nós corres- ponde a uma atitude coerente com a dinâmica e a pluralidade do objeto estudado, do qual também fazíamos parte.
Não vamos aqui nos ater ao passo a passo metodológico da pesquisa. Apenas comentaremos aqueles cuja solução de en- caminhamento nos pareça útil à reflexão do leitor.
*****
A definição do objeto é um passo da maior importância para qualquer avaliação, inclusive a de recepção. O que avaliar? É ali que emergem os paradigmas, os modelos de comunicação, a concepção que se tem dos atores e das relações sociais. Nos- so objeto, tendo como horizonte o objetivo de descobrir uma lógica, foi definido inicialmente como o processo de reconheci- mento das mensagens, entendendo-se reconhecimento como decodificação + interpretação. Cedo percebemos, ainda na fase de planejamento, que aquela era uma definição restritiva, inco- erente com os pressupostos e análises que até então vínhamos fazendo. Incluímos então os modos de recepção, os fatores condicionantes (as mediações) e os efeitos (nosso conceito de
efeito estava associado ao uso da informação recebida).
Ainda dentro do objeto, definimos as instâncias que seriam contempladas: o receptor, a mensagem e o emissor. Mais adiante acrescentamos o meio, quase sempre desprezado nos estudos de recepção. A natureza do meio escolhido é defi- nidora de sentidos produzidos, meio não é só um canal, um
7 A pesquisa foi realizada por nosso escritório de consultoria, Espaço Aberto – Estudos, consultoria e serviços, com sede em Recife-PE. A coordenação foi de
Inesita Araújo e Ana Mª Azevedo atuou como pesquisadora assistente.
8 A Fundação Ford, através do seu programa “Meio Ambiente e Desenvolvimento”. 9 Bahia, Pernambuco, Paraíba, Ceará, Piauí e Maranhão.
10 A escolha deve-se não só ao fato de serem os meios preferidos pelas ONGs, como por, diferentemente dos outros meios, serem produzidos por um pequeno
núcleo de pessoas e circularem amplamente. A TV só foi avaliada como parte do cenário, por não ser utilizada com objetivos educativos, além de ainda ser