Orientações práticas da avaliação

Vários autores propõem aspectos práticos e orientações para a construção de uma avaliação. A seguir são mostrados estes aspectos em quatro trabalhos de auto- res diferentes. Estes autores utilizaram termos e nomes diferenciados para defende- rem como deveria ocorrer uma avaliação, contudo, em muitos casos as atividades e tarefas se completam ou se sombreiam.

De acordo com Worthen, Sanders e Fitzpatrick (2007), as orientações práticas de uma avaliação devem conter: (i) clareza ao demandar, (ii) definição de limites e análise de contexto, (iii) definição e análise de perguntas e critérios, (iv) como plane- jar a forma de conduzir; coleta, análise de informações e (v) apresentação de relató- rio e uso dos resultados.

Por sua vez, Rossi, Lipsey e Freeman (2004) estruturaram avaliações de pro- gramas sociais nos passos: (i) identificar os problemas e formular questões, (ii) ava- liar a necessidade do programa, (iii) expressar e analisar a teoria do programa, (iv) medir e monitorar as saídas dos programas, (v) avaliar o impacto do programa, (vi) detectar, interpretar e analisar os efeitos dos programas e (vii) medir a eficiência.

Para Weiss (1972) os aspectos práticos de uma avaliação envolvem: (i) en- tendimento do programa, (ii) planejamento da avaliação, (iii) regras para o avaliador, (iv) desenvolvimento de medidas, (v) coleta de dados, (vi) desenho da avaliação, (vii) análise e interpretação dos resultados e (viii) relatórios e disseminação dos re- sultados.

Em uma outra visão, proposta por Stuflebeam e Shinkfield (2007), o processo de uma avaliação deve contemplar as seguintes tarefas e procedimentos: (i) identifi- cação e avaliação de oportunidades, (ii) projetar avaliações, (iii) controlar orçamento, (iv) contratação de recursos humanos, (v) coleta de informações, (vi) análise e sis- tematização da informação e (vii) relato dos resultados.

necessários para uma avaliação. Dentre as alternativas colocadas, Worthen, San- ders e Fitzpatrick (2007) oferecem um aparato metodológico mais completo em rela- ção aos demais, que guia a realização da análise de uma avaliação. Entre outros instrumentos, os autores oferecem check-lists de ações importantes, lista de pergun- tas e tabelas com itens pré-estabelecidos para serem pontuados. Adicionalmente, os passos e atividades propostos estão, em grande parte, mapeados em padrões do Joint Committee que, como mostrado no Capítulo 3, é o método formal adotado nes- ta pesquisa. Por esta razão, decidiu-se pelo aprofundamento das idéias de Worthen, Sanders e Fitzpatrick (2007) nesta seção.

Clareza ao demandar uma avaliação e definir suas responsabilidades

Neste tópico, os autores analisam o papel dos principais envolvidos na avalia- ção: o financiador, o cliente, os interessados e o público alvo. O financiador é res- ponsável pelos recursos financeiros necessários para a realização da avaliação e pode se envolver ou não com a estruturação do estudo.

O cliente é o indivíduo que pede a avaliação. Em alguns casos, o financiador e cliente são sinônimos. Os interessados são aqueles que têm algo a ganhar ou a perder com os resultados da avaliação. O público-alvo abrange indivíduos com inte- resses na avaliação e nos seus resultados.

Uma clara definição dos participantes auxilia a delimitação da demanda de uma avalição. Entretanto, é necessário que o avaliador procure respostas a pergun- tas como (WORTHEN, SANDERS e FITZPATRICK, 2007, p. 272):

1. Por que essa avaliação está sendo solicitada? Qual é o seu propósito? Que perguntas vai responder?

2. Qual será o uso dado às conclusões da avaliação? Por quem? Que ou- tros devem ser informados sobre o resultado da avaliação?

3. O que deve ser avaliado? O que este objeto avaliado abrange? O que exclui? Durante que período de tempo? Em que ambientes? Quem vai participar? Quais são as metas e objetivos do programa? Quem é res- ponsável por ele? Ele já foi avaliado alguma vez?

4. Quais são as atividades essenciais do programa? Como elas se vincu- lam a metas e objetivos? Qual é a teoria do programa?

5. Quanto tempo e dinheiro existem para a avaliação? Quem tem condi- ções de ajudar na avaliação?

6. Qual o clima político para realização e o contexto da avaliação? Algum fator ou força política pode impedir a realização de uma avaliação signifi- cativa e justa?

ou mérito ao objeto avaliado. Em uma avaliação os resultados devem: (i) determinar a necessidade de dar início a um programa e descrever o público alvo, (ii) ajudar no planejamento, identificando modelos e atividades potenciais do programa, podendo estes serem realizados para atingir certas metas, (iii) descrever a implementação do programa e descobrir se houveram mudanças em relação ao modelo, (vi) descobrir se certas metas e objetivos do programa estão sendo alcançados nos níveis deseja- dos, (v) julgar o valor integral do programa, seu valor e custo relativo, comparados a programas do mesmo tipo.

Entretanto, uma avaliação não é contratada somente para atender a estas in- quietações. Existem casos em que os resultados das avaliações são utilizados de forma não ética, subsidiando ações, tais como o adiamento de uma decisão, a fuga da responsabilidade, prática de relações públicas manipuladas e justificar subsídios (WEISS, 1972, p. 22).

Para o adiamento de uma decisão o gestor do programa ou objeto avaliado necessita ganhar tempo para a tomada de uma decisão e utiliza o tempo da realiza- ção da avaliação para obtê-lo. Na fuga de responsabilidade o gestor do programa sabe de antemão qual a decisão será tomada, e qual será o resultado da avaliação.

Nas relações públicas o gestor quer dar visibilidade ao seu programa, de for- ma que muitas vezes o principal motivo para realização de uma avaliação é escuso ou interesseiro. No caso da justificação de subsídios, as avaliações tendem a ser negligentes.

Definição de limites e análise de contexto da avaliação

Worthen, Sanders e Fitzpatrick (2007) descrevem o modo de delimitar uma avaliação e realizar uma análise de contexto. Para isto, eles reforçaram a questão dos envolvidos na avaliação e seus interesses nela. O Anexo 1 apresenta um qua- dro com o cruzamento entre os envolvidos na avaliação e os seus possíveis interes- ses.

Os autores ainda afirmam que:

O conjunto dos pontos de vista dos vários públicos da avaliação ajuda a fo- car e direcionar o estudo. Se os avaliadores não dirigirem claramente a ava- liação para seus públicos desde o início, é improvável que os resultados te- nham muito impacto.

O segundo passo para a limitação da avaliação é o amplo entendimento do objeto avaliado. De acordo com os autores, o avaliador deve ter o pleno entendimen- to do propósito das perguntas como: Em que consiste o programa? Quais os princi- pais componentes e atividades de sua estrutura básica e sua concepção administra- tiva-gerencial? Quem participa dos programas? Qual a história do programa? O pro- grama já foi avaliado antes? Quando são tomadas as decisões críticas sobre sua continuidade?

Após entendimento do objeto avaliado, o avaliador deve realizar um estudo sobre os recursos disponíveis para a avaliação. Segundo Worthen, Sanders e Fitz- patrick (2007, p. 317-319), os principais itens a serem considerados são: a quantida- de de informação que a avaliação irá gerar, o tempo para execução da avaliação e a qualificação da equipe técnica.

Worthen, Sanders e Fitzpatrick (2007, p. 320) apontam como outro aspecto limitador de uma avaliação o contexto político ao qual ela será executada.

A avaliação é inerentemente um processo político. Qualquer atividade que aplique os diversos valores de muitos públicos para julgar o valor o mérito de um objeto tem implicações políticas. Sempre que os recursos são redis- tribuídos ou as prioridades redefinidas, os processos políticos estão em ati- vidade.

Os autores sugerem algumas perguntas para o entendimento político do con- texto em que se dará a avaliação: Quem perderia/ganharia mais com a avaliação em diferentes situações? Que indivíduos e grupos têm poder nesse ambiente? A avalia- ção foi aprovada por estes grupos? Que interessados têm envolvimento direto com os resultados da avaliação? ...

Definição e análise de perguntas e critérios de uma avaliação

Segundo Worthen, Sanders e Fitzpatrick (2007, p. 342), a viabilidade de uma avaliação depende de alguns componentes básicos: perguntas avaliatórias, critérios de avaliação e padrões de avaliação. Perguntas avaliatórias dão foco à avaliação. Sem elas, o avaliador teria dificuldade em explicar o que vai ser examinado. Os cri- térios de avaliação definem o que caracteriza o sucesso de um programa ou do ob- jeto avaliado. Por último, os padrões de avaliação designam o nível de desempenho que o objeto avaliado deve atingir para obter sucesso em sua implementação.

É sempre desconcertante ler o relatório de uma avaliação e não conseguir encontrar em parte alguma uma declaração dos critérios ou padrões usados

para determinar se um programa foi um sucesso ou fracasso. (WORTHEN, SANDERS e FITZPATRICK, 2007, p. 342)

Os autores ainda sugerem duas fases distintas na elaboração de perguntas de uma avaliação: divergentes e convergentes. Na fase divergente, identificam-se questões de interesse por meio, por exemplo, de um brainstorm. Na fase convergen- te são escolhidas as questões a serem tratadas nas avaliações. Contudo, durante o resto do processo de avaliação, podem surgir novas idéias, perguntas e critérios não abordados nestas fases. Worthen, Sanders e Fitzpatrick (2007, p. 343) defendem que o avaliador deve estar flexível a estes novos questionamentos.

Cronbach (1982, apud WORTHEN, SANDERS e FITZPATRICK, 2007, p. 357) delimita os seguintes motivos para a existência destas fases: (i) sempre há limite orçamentário para a realização de uma avaliação; (ii) quanto mais complicada a ava- liação, mais difícil é a sua gestão; (iii) o tempo de dedicação para a avaliação é limi- tado.

Se as perguntas não explicitarem os critérios que estão sendo usados para julgar o programa, os critérios necessários a esses julgamentos também devem ser introduzidos nesse momento. (WORTHEN, SANDERS e FITZ- PATRICK, 2007, p. 362)

Ou seja, o teor das perguntas está diretamente ligado à aos critérios defini- dos. Desta forma, a principal dificuldade está na especificação dos padrões da avali- ação. Para a construção destes padrões, avaliador e a equipe do cliente devem ter claro o nível de desempenho tido como aceitável para cada critério da avaliação.

Como planejar a forma de conduzir uma avaliação

Uma importante etapa da avaliação se completa quando estão definidas e se- lecionadas perguntas, critérios e padrões. Essas etapas são parte do planejamento de uma avaliação, mas não as únicas. Definição de aspectos práticos quanto à reali- zação da coleta, análise e disseminação da informação são necessários para o pla- nejamento de uma avaliação.

Existem várias fontes de informações que podem ser utilizadas em uma avali- ação. Worthen, Sanders e Fitzpatrick (2007, p. 380-381) enumeram alguns: docu- mentos existentes, atividades de programas que podem ser observadas e, princi- palmente, as pessoas envolvidas, como administradores do programa, grupos afeta- dos e contadores.

A etapa seguinte é a escolha da metodologia de coleta de dados. Existem vá- rias ferramentas para esse fim: questionários, entrevistas, grupos focais, registros pessoais, testes, gravações de vídeo e áudio, fotografias e exames de documentos. O planejamento da coleta de dados deve considerar o momento em que as informa- ções coletadas serão úteis para os tomadores de decisão e quem irá realizar a cole- ta.

Para cada questão da avaliação, deve-se criar um plano de análise, quando serão identificadas as técnicas estatísticas, de sistematização da informação e os possíveis mecanismos computacionais para a análise de dados.(WORTHEN, SAN- DERS e FITZPATRICK, 2007, p. 390). Porém, apesar de métodos estatísticos e fer- ramentas computacionais ajudarem na interpretação de dados, pessoas visualizan- do as informações geradas podem chegar a conclusões diferentes sobre os resulta- dos de uma avaliação. Por isso, um plano de avaliação deve prever o registro de múltiplas conclusões e até conclusões conflitantes.

As descobertas de uma avaliação devem ser notificadas aos interessados. Para isto, cada questão da avaliação deve prever um público, o conteúdo, o formato do relatório e a forma que ela será apresentada.

Coleta, análise e interpretações de informações

Entre os métodos de coleta de dados estão os testes, questionários, entrevis- tas estruturadas e entrevistas não-estruturadas.

Às vezes existem métodos alternativos para a coleta de dado e o avaliador precisa fazer uma opção considerando custo, precisão (confiabilidade), es- tabilidade, relevância, validade das medidas, viabilidade, conveniência polí- tica e aceitabilidade por parte de vários públicos. (WORTHEN, SANDERS e FITZPATRICK, 2007, p. 468)

Os autores também enfatizam a necessidade de cooperação dos envolvidos, sem o que a coleta de dados pode simplesmente não ocorrer. Assim, é importante a articulação política para a avaliação, a compreensão de sua finalidade e a utilização dos resultados por todos os que participaram de algum modo da coleta de dados.

Durante a coleta, é necessário organizar, controlar, verificar, armazenar e re- cuperar dados. A organização requer um sistema de arquivos para que os dados importantes não se extraviem. Controle garante que nada vai ser perdido, ignorado ou divulgado prematuramente. Verificação objetiva averiguar se todo o processo de coleta de informação está sendo feito corretamente. Armazenamento e recuperação

da informação são feitos via computadores, arquivos ou mesmo através dos dados brutos.

Após a coleta de dados, é possível sua análise, sintetizando-se informações, dando-lhes sentido, realizando inferências e produzindo resultados. Ferramentas computacionais têm papel cada vez mais central para o tratamento desses dados.

Apresentação do relatório e uso da avaliação

A etapa final de uma avaliação é a apresentação dos resultados e as desco- bertas derivadas da mesma para o público interessado. Públicos diferentes têm a necessidade de informações diferentes (WORTHEN, SANDERS e FITZPATRICK, 2007, p. 556). Entre os mecanismos para apresentar os resultados de uma avaliação estão: relatórios escritos, ensaios de fotos, simulações, gráficos e diagramas e apre- sentações de slides. Os autores sugerem que relatórios de uma avaliação devem ser precisos, equilibrados e justos. Deve-se fazer com que eles sejam o menos ten- denciosos possíveis.