Aspectos Gerais da Avaliação de Programas

2.1.6.1. Definição

Segundo Worthen et al. (2004), a literatura sobre avaliação é vasta, mas não existe um consenso entre os avaliadores sobre o termo avaliação. Para alguns autores, avaliação é equiparada à pesquisa ou mensuração. Outros a definem como o grau de alcance dos objetivos específicos. Há alguns que vêm a avaliação como sinônimo de juízo profissional e se reduz a ele. Outro grupo equipara a avaliação com auditoria ou diversas variantes do controle de qualidade. Há ainda quem defina avaliação como o ato de coletar e apresentar informações que possibilitem as pessoas a tomarem decisões e atuarem de forma mais eficiente.

Uma definição de Scriven (1986 apud Worthen et al.2004, p.) afirma que avaliação é o julgamento do valor ou mérito de alguma coisa. Avaliação é identificação, esclarecimentos e aplicação de critérios defensáveis para determinar o valor (ou mérito), a qualidade, a utilidade, a eficácia ou a importância do objeto avaliado em relação a esses critérios Worthen et al. (2004).

Em Silva & Brandão (2003) a avaliação está definida como a elaboração, negociação e aplicação de critérios explícitos de análise, em um exercício metodológico cuidadoso e preciso, com vistas a conhecer, medir, determinar ou julgar o contexto, mérito, valor ou estado de um determinado objeto, a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento de pessoas e organizações.

No contexto do estudo proposto, a idéia central é que a avaliação sirva como elemento facilitador do processo de aprendizagem dos indivíduos envolvidos. Dessa forma, o papel da avaliação deve transcender a fiscalização ou controle e provocar uma intensa reflexão dos

resultados a fim de que haja aprendizagem e mudança. Conforme afirma Chianca et al (2001, p.16.):

A aprendizagem do adulto no contexto organizacional ou em outros sistemas sociais só é possível por meio de um processo contínuo de ação e reflexão. A reflexão ocupa um papel fundamental – provocar mudanças nas ações dos indivíduos. Este é especificamente o papel da avaliação: construir momentos reflexivos que permitam aos indivíduos a análise da realidade e dos fatos, para daí direcionarem suas ações, aprendendo pela experiência (CHIANCA et al, 2001, p.16).

2.1.6.2. Tipologia da avaliação

Embora existam muitas tentativas de diversos autores para categorizar as abordagens de avaliação, a ênfase neste estudo será dada à categorização de Worthen et al (2004), que classifica as abordagens de avaliação em seis categorias:

a) avaliação centrada em objetivos – as informações obtidas podem ser usadas para reformular as metas de uma atividade, a própria atividade ou os procedimentos e mecanismos de avaliação empregados para determinar a avaliação da meta. Essa abordagem é também denominada Tyleriana em função de ter sido aplicada inicialmente por Ralph W. Tyler em 1930. Esse pesquisador via a avaliação como o processo de determinação do nível de alcance dos objetivos de um programa ou atividade. Scriven (1967 apud Worthen et al 2004) reiterou a necessidade de avaliar as metas de qualquer atividade como parte da avaliação dessa atividade e suas conseqüências.

b) avaliação centrada na administração – os criadores desse método basearam-se nos sistemas de educação em que são tomadas decisões sobre insumos, processos e resultados. Stufflebeam (1968 apud Worthen 2004) tornou as decisões dos administradores de programas o eixo organizador da avaliação que ele conceitua como o processo de delinear, obter e fornecer informações úteis para julgar decisões alternativas. Na sua visão, o avaliador, trabalhando próximo dos administradores, identifica as decisões que esses precisam tomar e depois coleta informações suficientes sobre as vantagens e desvantagens relativas a cada decisão alternativa, para permitir um julgamento justo, baseado em critérios especificados.

c) avaliação centrada no consumidor – segundo Scriven (1967 apud Worthen et al, 2004), é uma avaliação predominantemente somativa, cujo foco é a educação do consumidor. Consiste em listas de verificação para determinar o valor dos produtos e de relatórios de avaliação dos produtos.

d) avaliação centrada em especialista – consiste na utilização dos conhecimentos de um profissional para julgar uma instituição, um programa, um produto ou uma atividade. Os principais tipos dessa avaliação são os sistemas de pareceres formal e informal e parecer ad hoc grupal e ad hoc individual.

e) avaliação centrada em adversários – caracteriza-se pelo esforço planejado de gerar pontos de vistas opostos dentro da avaliação global. É uma oposição dos diferentes pontos de vistas da equipe de avaliadores a fim de levantar e deixar claro os pontos positivos e os negativos de um programa, uma atividade ou uma organização.

f) avaliação centrada nos participantes – caracteriza-se pelo envolvimento significativo dos participantes da atividade que está sendo avaliada no processo de avaliação, pela aceitação da filosofia intuicionista-pluralista da avaliação; pelo fato de o avaliador descrever os diversos valores e necessidades dos indivíduos e grupos atendidos pela atividade, pesando e ponderando essa pluralidade de julgamentos e critérios de uma forma intuitiva.

Embora sejam apresentadas em seis categorias, várias abordagens são multifacetadas e têm características que lhes são comuns. A adoção de uma abordagem específica depende das características do programa, das questões a serem respondidas, do propósito da avaliação, do perfil do avaliador, das expectativas dos interessados, do suporte institucional e dos recursos disponíveis para a realização.

As tipologias de avaliação são classificadas, pela Evaluation Research Society (ERS),

Satandards Committee (1983, apud Calmon, 1970, p.19), em seis diferentes tipos: avaliação de

contexto, avaliação de avaliabilidade, avaliação formativa, monitoramento, avaliação de impacto e metavaliação.

a) a avaliação de impacto precede a implantação do programa ou da atividade e tem por objetivo levantar informações que subsidiem os tomadores de decisão sobre a implantação do programa.

b) avaliação de avaliabilidade determina a necessidade de realização de outros tipos de avaliação tendo como parâmetro, os custos da avaliação em relação aos seus benefícios.

c) avaliação formativa ou avaliação de processo é feita para dar informações que gerem modificações e aprimoramento no programa ou na atividade.

d) monitoramento ou acompanhamento é realizado no decorrer da execução do programa ou atividade para verificar a consistência com os objetivos e metas e indicar medidas corretivas. Esse processo pode incluir propósitos e resultados encontrados em outras avaliações.

e) avaliação de impacto consiste na medição do alcance dos objetivos junto às comunidades beneficiárias do programa ou atividade. O grande desafio dos pesquisadores consiste em estabelecer até que ponto um resultado ou um determinado tipo de impacto pode ser atribuído ao programa ou a outras influências.

f) metavaliação ou avaliação da avaliação possui diversas formas. A mais utilizada é a de críticas profissionais a relatórios de avaliação, indicando procedimentos para reanalisar os dados originais.

Para efeito deste estudo, serão utilizados dois conceitos: (i) avaliação formativa, que segundo Scriven (1967 apud Worthen et al 2004), consiste no levantamento de informações úteis para a melhoria de um programa ou de uma atividade ao longo de sua realização. Determina que metas do programa estão sendo atingidas no nível desejado, indicando os pontos que podem gerar inconsistências e que precisam ser melhorados; (ii) avaliação somativa, realizada para dar aos responsáveis pelo tomada de decisão e aos usuários do programa ou atividade informações que possibilitem julgamentos de valor ou mérito em relação a critérios pré-estabelecidos.

Scriven (1967 apud Worthen et al, 2004) reconhece que as duas formas de avaliação estão profundamente entrelaçadas na prática, principalmente quando o programa tem muitos componentes.

A avaliação somativa e formativa pode funcionar como um excelente meio de aprendizagem organizacional na medida em que a organização busque utilizar sistematicamente esse mecanismo de feedback, seja de maneira instrumental ou conceitual, para aperfeiçoar ou mudar a sua forma de agir.

Segundo Santos Guerra (2006) a avaliação que produz uma aprendizagem relevante para a organização escolar, deve, entre outras características, priorizar os processos e não somente os resultados; levar em conta a esfera dos valores ao se preocupar com a dimensão ética da prática e não somente com a aprendizagem cognitiva; se expressar na linguagem natural dos protagonistas; ser democrática, possibilitar a participação de todos os segmentos envolvidos no processo

avaliativo; deve ser, também, educativa e qualitativa, pois a vida de uma escola encerra uma extraordinária complexidade. Para que a avaliação se converta em um caminho de aprendizagem organizacional há de partir de uma atitude aberta de quem a promove. A informação final da avaliação deve ser propriedade de todos e sobre essas informações se deve produzir o diálogo, o compartilhamento para surgirem decisões pertinentes de melhoria da organização.

As organizações que se utilizam sistematicamente e de forma adequada de práticas avaliativas podem desenvolver a capacidade de aprender a aprender que Argyris e Schön (1996) denominam de deuteroaprendizagem. Há do ponto de vista conceitual, uma estreita relação entre as estruturas de conhecimento da organização, os processos de avaliação adotados e a dinâmica das estruturas de aprendizagem organizacional.