Teoria e avaliação de programas educacionais

De acordo com a atenção dada à teoria, é possível estabelecer vários grupos de avaliação. Segundo Cano (2006), em um extremo estão aquelas que

ignoram qualquer teoria; neste caso, buscam saber se a intervenção funciona ou não, sem a preocupação com as justificativas de tal resultado. Os processos caixa preta são analisados por seus efeitos. Chen (1990) e Chen e Rossi (1992), citados por Cano (2006, p. 98), defendem a “avaliação dirigida pela teoria”, na qual a avaliação “[...] começa pela descrição dos mecanismos pelos quais o programa deve funcionar e dos pressupostos necessários para esse funcionamento”. Uma vez identificado o modelo teórico que fundamenta o Programa é que se decide como e que dados coletar.

Ainda sobre o uso da teoria na avaliação de programas, Cano (2006) cita a posição de Lipsey, que considera relevante o uso da teoria com uma função metodológica para determinar como são alcançados os efeitos de um Programa, examinando seu funcionamento a partir das teorias das ciências sociais.

A proposição de Scriven, citado por Cano (2006), é de utilizar o mínimo de teoria que a prática precise. Em certos casos, entende que o enfoque da caixa preta é suficiente; em outros, é necessário analisar a lógica do Programa, vinculando insumos (inputs) aos resultados (outputs). Em outras circunstâncias, é necessário conhecer detalhadamente a teoria subjacente aos resultados e efeitos obtidos com a intervenção.

Partindo de diferentes critérios, existem inúmeras classificações das avaliações. Cano (2006) estabelece uma classificação segundo os objetivos da avaliação, partindo do que denomina de modelo mínimo, no qual se procura averiguar se e em que grau o programa atingiu os efeitos desejados. São componentes desse modelo mínimo a avaliação de processos e a avaliação de impactos. Algumas avaliações podem ter como objetivo específico a avaliação custo-benefício, ou a avaliação custo-efetividade. Na área educacional, o modelo mínimo é representado pelo trabalho de Ralf Tyler sobre avaliação baseada em objetivos.

Cada um dos demais modelos apresentados, posteriormente são considerados pelo autor como extensões do modelo mínimo:

a) formulação de juízos – o avaliador apresenta uma síntese sobre a eficácia do Programa e recomendações relativas à tomada de decisões. No caso de avaliação de especialistas, as recomendações são mais prescritivas. Há, também, a avaliação de metas, visando a verificar a coerência e viabilidade das metas propostas.

b) razões do sucesso ou do fracasso – não basta concluir se os resultados foram atingidos acima ou abaixo do previsto: busca investigar as razões de tal situação. Para averiguar essas razões, pode aplicar a teoria do Programa ou teorias sociais mais amplas.

c) usos da avaliação - preocupa-se com pensar como e por quem a avaliação poderá ser utilizada, facilitando seu uso pelos destinatários. Patton (1986, apud CANO, 2006) denomina avaliação focalizada na utilização, priorizando não os métodos ou objetivos da avaliação, mas nos diferentes usos da mesma.

d) consideração de outras variáveis dependentes – considerar outras variáveis e não exclusivamente a que a intervenção pretende alterar. A avaliação livre de metas propõe desconsiderar as metas iniciais do Programa, e identificar os efeitos obtidos a partir das necessidades sociais.

e) consideração dos destinatários ou beneficiários da avaliação – setores interessados (stakeholders), ou seja, “pessoas e grupos envolvidos ou afetados pela avaliação” (CANO, 2006, p. 104). Propõe identificar os setores interessados e levar em conta suas necessidades no processo de avaliação.

f) posição valorativa do avaliador – inicialmente, preconizava-se uma atitude neutra do avaliador, como um fornecedor de informações para quem encomendava a avaliação. A crítica a essa postura decorre da impossibilidade de que uma ciência social seja neutra, tampouco o é a avaliação. Assim, seria necessário que o avaliador explicitasse os juízos de valor e suas posições. Em uma perspectiva mais radical, a avaliação é considerada uma atividade política e, como tal, deve adotar uma visão de mundo em defesa de certos valores; avaliação de fortalecimento (empowerment), e se preocupa em aumentar a capacidade de autodeterminação de certos grupos.

As abordagens da avaliação são classificadas por Worthen, Sanders e Fitzpatrick (2004) em seis categorias, as quais guardam algumas semelhanças com as apresentadas por Cano (2006):

Abordagens centradas em objetivos, que se concentram na especificação de metas e objetivos e na determinação da medida em que foram atingidos. Abordagens centradas na administração, em que o interesse central são a identificação e o atendimento das necessidades de informação dos administradores que tomam as decisões.

Abordagens centradas no consumidor, em que a questão central é fornecer informações avaliatórias sobre ‘produtos‘, definidos genericamente, para o uso de consumidores na escolha entre diferentes produtos, serviços e congêneres.

Abordagens centradas em especialistas, que dependem basicamente da aplicação direta de conhecimentos especializados de profissionais para julgar a qualidade de qualquer atividade que esteja sendo avaliada.

Abordagens centradas no adversário, em que a oposição planejada em termos de pontos de vista dos diferentes avaliadores (prós e contras) é o foco central da avaliação.

Abordagens centradas no participante, em que o envolvimento dos participantes (interessados no objeto da avaliação) é crucial para determinar valores, critérios, necessidades e dados da avaliação (WORTHEN; SANDERS; FITZPATRICK, 2004, p. 124-125, grifos dos autores).

Os mesmos autores consideram que os contextos a serem avaliados são muito distintos, o que impossibilita a concepção de um ou dois modelos que possam ser relevantes para todos esses contextos. Assim, é possível somente fazer escolhas entre um grande número de abordagens apropriadas ao contexto a ser avaliado. Ao estabelecer as contribuições das diferentes abordagens, Worthen, Sanders e Fitzpatrick (2004) esclarecem que não existem bases empíricas para afirmar que uma abordagem é melhor do que a outra.

Ao discutir a avaliação de programas educativos, Pérez Juste (2000, p. 272) considera que ela deve ser instrumento a serviço da melhoria dos programas, sendo

[...] um processo sistemático, concebido intencional e tecnicamente, de rigorosa coleta de informações – válidas, valiosas e confiáveis – com o objetivo de avaliar a qualidade e os resultados de um programa, como base para a posterior tomada de decisões de melhora tanto do programam como do pessoal envolvido e indiretamente, do corpo social em que se encontra imerso (Tradução nossa)52

Pérez Juste (2000) propõe a realização da avaliação de programas em quatro etapas: a) avaliação do Programa enquanto tal; b) avaliação do processo de implantação do Programa; c) avaliação dos resultados da aplicação de um Programa; e d) institucionalização da avaliação do Programa (desejável).

52 _{“[...] un proceso sistemático, diseñado intencional y técnicamente, de recogida de información} rigurosa —valiosa, válida y fiable— orientado a valorar la calidad y los logros de un programa, como base para la posterior toma de decisiones de mejora, tanto del programa como del personal implicado y, de modo indirecto, del cuerpo social en que se encuentra inmerso” (PÉREZ JUSTE, 2000, p. 272).

Quadro 8 – Etapas da avaliação de programas

1º Momento - Avaliação do Programa enquanto tal

Finalidade Estabelecer a qualidade técnica do Programa, sua viabilidade prática e legibilidade. Início do Programa em condições ideais.

Função Formativa: tomar decisões com antecedência de melhoria que pode elevar o potencial do Programa. Às vezes pode ser somativa, seja sobre o Programa, seja sobre sua avaliação.

Metodologia A análise do conteúdo dos documentos, estudos prospectivos, julgamento de especialistas multidisciplinares: metodológicas, científicas, técnicas, educacionais. Registros, vários testes de avaliação inicial (pré-requisitos).

Informações a recolher

Sobre o Programa: sua fundação, sua formulação e sua relação com as necessidades, desejos, demandas e expectativas dos destinatários.

Critérios Qualidade, pertinência e realismo das metas e objetivos, e adaptação ao alvo e contexto. Suficiência de suportes, meios e recursos para atingir os objetivos, em particular na formação, envolvimento e comprometimento dos agentes e outras pessoas envolvidas. Qualidade técnica das abordagens de avaliação.

Qualidade técnica do Programa: coerência com as bases teóricas e as necessidades que tenta responder; consistência interna entre seus componentes. Viabilidade do Programa.

Avaliabilidade: relevância, adequação, clareza e acessibilidade da informação disponível sobre o Programa e as medidas necessárias em vários momentos ou fases de execução e avaliação. Análise das dificuldades detectadas e previsíveis para avaliação do Programa.

Decisões Geralmente formativas (de melhoria prévia). Em casos graves, somativa, (retirada do Programa, não realização da avaliação assumida ou encomendada).

2º Momento - Avaliação do processo de implantação do Programa

Finalidade Facilitar o tempo de tomada de decisões para melhoria. Reunir informações para melhorias em futuras edições do Programa.

Função Formativa; em casos extremos, somativa.

Metodologia Recolha de informação: observação, diálogos, entrevistas, análise de tarefas, testes de formação intermediários... Análise da Informação: sessões de grupo, debates...

Informações a recolher

Sobre o desenvolvimento do Programa, sobre os resultados intermediários, efeitos indesejados.

Critérios Cumprimento: lacunas, desajustes, flexibilidade; coerência institucional; eficácia parcial; satisfação dos envolvidos: agentes, funcionários, beneficiários.

Decisões Ajustes parciais. Em casos extremos, suspensão da aplicação do Programa.

3º Momento - Avaliação dos resultados da aplicação do Programa

Finalidade Comprovar a eficácia do Programa.

Função Fundamentalmente somativa. Quando seja possível, somativo-formativa.

Continuação da página anterior

3º Momento - Avaliação dos resultados da aplicação do Programa

Informações a recolher

Resultados em relação aos objetivos. Efeitos — positivos ou negativos — não planejados.

Critérios Eficácia: grau de realização dos objetivos propostos. Eficiência: resultados em relação aos meios disponíveis e às circunstâncias em que o Programa se aplica. Efetividade: efeitos benéficos imprevistos. Satisfação dos beneficiários, agentes e outras pessoas interessadas/afetadas. Impacto do Programa no contexto no qual ele é aplicado.

Referências Ponto de partida: o Programa frente a si mesmo (o progresso). Níveis pré- especificados (avaliação criterial) (realizações do domínio). Níveis de outros Programas (superioridade).

Decisões Somativas: manter ou suprimir o Programa. Formativa: melhorar o Programa para uma nova edição.

4º Momento - Institucionalização da avaliação do Programa

Sucessivos ciclos de avaliação / melhoria / avaliação / melhoria.

Neste momento, a plena integração do Programa e sua avaliação são alcançadas, o que vem a resultar na melhoria do Programa e da metodologia de avaliação, bem como o desenvolvimento profissional dos professores.

Fonte: Adaptado de PEREZ JUSTE (2000, p. 276-278, tradução nossa).

O papel da teoria nos estudos sobre avaliação educacional é esclarecido por Fernandes (2010). Na perspectiva do autor, não é possível minimizar o papel da teoria, considerando que a avaliação contribui para a compreensão de realidades complexas. Assim, ao conceber os estudos avaliativos, consideram-se: as teorias da avaliação, as teorias do Programa e as teorias das ciências sociais.

As teorias da avaliação contribuem para definir como se deve fazer a avaliação, proporcionando orientações consistentes para sua prática. São as concepções de avaliação que norteiam as ações do avaliador.

As teorias das ciências sociais contribuem por conta dos fenômenos e condições sociais que estudam, e para a análise e interpretação dos dados. No caso do presente estudo, significa identificar as diferentes concepções de formação de professores que poderão estar presentes na proposição do Programa no âmbito institucional.

As teorias dos Programas são necessárias para a compreensão do que se quer avaliar e dos fundamentos de certo tipo de Programa. É por meio da teoria do Programa que se identifica como um projeto ou Programa se propõe a resolver certo problema.

A teoria do Programa refere-se a um problema que é identificado e para o qual se pretende uma mudança; para tanto, ações são propostas visando a ativar essa mudança. Portanto, a teoria do Programa inclui uma intenção de mudança (teoria da mudança) e o desenvolvimento de uma ação (teoria da ação).

A elaboração da teoria do Programa pode partir de várias fontes de informação, e ser estruturada em um modelo lógico53_{. O modelo lógico é a} estruturação em um diagrama dos aspectos relevantes do Programa, de forma a indicar seus propósitos, ações contribuindo para o entendimento da estrutura e funcionamento do Programa. A construção do modelo lógico é uma metodologia que contribui para a compreensão do Programa e para o estabelecimento do plano de avaliação.

O ponto de partida é o problema que o Programa se propõe a mitigar; a partir da definição do problema, identificam-se suas causas e consequências. Considerando esses elementos, identificam-se o Programa, seus objetivos, público alvo e beneficiários. Assim, obtém-se a seguinte figura esquemática:

Figura 11 – Esquema do modelo lógico

Fonte: Ferreira, Cassiolato e Gonzalez (2007, p. 10).

Para elaboração do modelo lógico são, também, identificados os fatores do contexto favoráveis e desfavoráveis à implementação do Programa ou projeto, recursos, ações, produtos e resultados esperados. A elaboração do modelo lógico permite analisar o desenho do Programa, e verificar se ele apresenta um plano

53 _{Ver FERREIRA, H.; CASSIOLATO, M. GONZALEZ, R. Como elaborar modelo lógico de}

plausível para atingir os resultados esperados. Além disso, o modelo lógico contribui para a elaboração do plano de avaliação do Programa.

Portanto, o papel do modelo lógico é de explicitar a teoria do Programa, ou seja, os pressupostos de como determinados recursos e ações levarão aos resultados esperados.

2.2.3 Avaliação centrada nos participantes: avaliação de programas educacionais