Segundo Tenório e Ferreira (2010), a avaliação comporta três momentos: o diagnóstico, o momento de julgamento, de tomada de decisão, e o uso dessa decisão no sentido de melhoria do processo.
Nesse contexto, podem-se destacar a avaliação de impacto e a avalia- ção de processo. A primeira consiste nos efeitos das políticas, programas e projetos sobre o público-alvo, e a segunda representa o acompanhamento e o monitoramento dos processos responsáveis pelos resultados espera- dos, conforme detalham Figueiredo e Figueiredo (1986).
Na avaliação de impacto, a dificuldade principal está em estabelecer o grau de efetividade, comparando os efeitos antes e depois da implanta- ção das políticas, programas e projetos, bem como em demonstrar se os resultados encontrados estão diretamente relacionados aos produtos ou serviços oferecidos.
Vianna e Silva (1989), ao pesquisarem a literatura, observaram os se- guintes métodos de avaliação de políticas:
Métodos que preconizam avaliações sem objetivos predeterminados, cujo referencial não são as metas definidas nos programas, mas as mu- danças que decorrem na prática por sua influência, inclusive, resulta- dos não previstos;
Avaliação por peritos, cujos critérios são os valores compartilhados por determinados grupos de profissionais;
Análise de gestão ou análise política, que privilegia uma análise da for- ma como os programas são formulados e implementados. Considera os conflitos existentes nos órgãos responsáveis pelo planejamento e execução de um programa, visando identificar as forças sociais que facilitam e dificultam a implantação;
Método de avaliação de situações complexas, nas quais é difícil a ava- liação dos efeitos de um programa, cujo foco é a análise do problema que originou o programa e a forma definida para enfrentá-lo. Nesse caso, a avaliação não se constitui num julgamento do programa, mas serve para oferecer elementos para formulação de novos programas. (VIANNA; SILVA, 1989, p. 189)
Na avaliação de políticas, programas e projetos socioeducativos, parte-se da análise de adequação dos objetivos propostos aos resultados alcançados, o que vai exigir o conhecimento do planejamento inicial das ações, que por sua vez contribuirá para a construção de indicado- res de resultados, que vão valorar a política, programa e projeto. Assim, segundo Ferreira e Tenório (2010), sua definição envolve a seleção de critérios relevantes e úteis para julgar, comparar e acompanhar a evo- lução dos benefícios, efeitos adversos e custos dos serviços e produtos educacionais.
Critérios, portanto, são indicadores. Estes segundo Valarellia (1999 apud POGODA, 2003, p. 4), “são parâmetros qualificados e/ou quantifica- dos que servem para detalhar em que medida os objetivos de um projeto
foram alcançados, dentro de um prazo delimitado de tempo e numa loca- lidade específica”.
Sendo assim, na visão de Chianca (2001, p. 16-18 apud POGODA, 2003, p. 4, grifo do autor), a avaliação de políticas, programas e projetos
estará subdividida em:
Avaliação do marco zero que ocorre antes da instalação de um deter-
minado programa e serve para orientar a equipe responsável por ele no planejamento das ações, garantindo o máximo de proximidade às reais necessidades e expectativas dos futuros usuários.
Avaliação de processo ou formativa, que tem como objetivo prover
informações essenciais sobre um determinado programa para que os gestores possam introduzir mudanças a fim de melhorá-lo ainda du- rante seu processo de implementação.
Avaliação somativa é conduzida após o término de um programa ou
projeto, servindo basicamente para julgar o mérito e a relevância de um programa ou projeto em relação a determinados critérios.
O Kellog Foundation Evaluation Handbook (2004) prevê, para a avalia- ção de projetos e programas, as seguintes etapas:
1) Etapas do Planejamento;
a) identificar os stakeholders envolvidos e a equipe de avaliação; b) desenvolver as questões de avaliação;
c) orçar a avaliação; d) selecionar o avaliador. 2) Etapas de Implementação;
a) determinar a metodologia de coleta de dados; b) coletar dados;
c) analisar e interpretar dados.
3) Etapas de Aproveitamento da Avaliação: a comunicação dos resultados e a utilização da experiência do processo de avaliação e seus resultados.
Concernente ao planejamento, execução, análise e divulgação dos resultados da avaliação, Chianca (2001 apud POGODA, 2003, p. 6) faz o seguinte detalhamento:
a) Planejamento:
• Estudo da viabilidade: determinação dos interessados, quem deve conduzir, como selecionar os avaliadores, o porquê e quando avaliar; • Esclarecimento de objetivos da avaliação e análise do contexto: de-
terminação do que avaliar e mapeamento do contexto político envol- vido (relações de poder, interesses);
• Identificação e seleção de perguntas avaliativas;
• Identificação de indicadores: índices relacionados às perguntas ava- liativas;
• Seleção de fontes e métodos de informação: determinação de amos- tras, métodos de análises de dados e determinação de forma de co- municação dos resultados obtidos na avaliação;
• Determinação dos custos de avaliação: o valor total do custo de ava- liação normalmente gira em torno de 5 a 10% do custo total do pro- jeto. (POGODA, 2003);
b) Execução da Avaliação:
• Atentar para aspectos políticos e éticos durante a avaliação: não se deve permitir que valores individuais e interesses influenciem a ava- liação;
• Coleta de dados: sempre testar os instrumentos de coleta, capacitar profissionais que coletam os dados, fazer cópia dos dados coletados, checar dados anotados. Focar a simplicidade, buscar sempre incluir mais de uma fonte de informação e método de coleta de dados no estudo, procurar combinar métodos qualitativos e quantitativos; • Quanto aos métodos, procurar combinar análise de documentos,
observação, questionários, entrevistas individuais, entrevistas por telefone e entrevistas em grupo;
c) Análise de Resultados:
• A fase de análise envolve o manuseio e interpretação de dados quan- titativos (freqüências, médias, desvios-padrão, quantidades), dados qualitativos (agrupamento de respostas em categorias, análises de campo);
d) Divulgação e análise de resultados através de relatórios para cada públi- co de interesse envolvido no processo.
Deve-se proceder a uma avaliação da avaliação: análise crítica do processo de avaliação, analisando pontos fortes, dificuldades e pontos a melhorar, no processo como um todo.