Joint Committee on Standards for Educational Evaluation

O Joint Committee on Standards for Educational Evaluation é um grupo orga- nizado de especialistas da área de avaliação. Este grupo trabalhou em conjunto nos anos 70, 80 e 90 discutindo conjuntos de padrões destinados a guiar e avaliar a construção de avaliações. Em 1994, o grupo lançou o “The Program Evaluation

Standards 2nd _{Edition How to Assess Evaluations of Educational Programs”, com 30}

padrões divididos em 4 grupos, capazes de ajudar na construção e execução de me- ta-avaliação. Este conjunto de padrões é conhecido na área de avaliação como Joint Committee.

Os padrões do Joint Committee foram criados para subsidiar a avaliação de programas e projetos educacionais, visando estimular e melhorar o diálogo entre os profissionais envolvidos em avaliações. Stufflebeam e ShinkField (2007, p. 92) afir- mam que os padrões são aplicáveis em meta-avaliação e o Joint Committee (1994, p. 4) encoraja o uso dos padrões em outros métodos de avaliativos além do campo educacional.

Um estudo dos padrões em outros tipos de avaliações foi realizado por Mari- no (2003) no terceiro setor brasileiro. Ele buscou verificar a viabilidade do uso destes padrões em empresas do terceiro setor brasileiro.

A discussão dos Standards, considerando o atual cenário de investimento social privado no Brasil, foi bastante apropriada na visão dos entrevistados. Houve tanto da parte dos gerentes quanto dos avaliadores muito boa recep- tividade sobre a idéia de se discutir e delinear princípios, critérios e diretri- zes para orientação e design de avaliação de programas e também para avaliar práticas avaliativas. A idéia de utilização de Standards para avalia- ção de projetos e programas na realidade brasileira foi aceita, adotando-se a compreensão dada a eles como princípios orientadores. (MARINO, 2007, p. 147)

Heldler (2007, p. 8) também utilizou os padrões do Joint Committee para me- ta-avaliar auditorias realizadas pelo Tribunal de Contas da União.

Analisaram-se auditorias das áreas de atuação do governo: agricultura; as- sistência social; cidadania; comércio e serviços; educação; energia; habita- ção; meio ambiente; saúde e trabalho. Como método utilizou-se a aborda- gem qualitativa através dos procedimentos: análise de conteúdo; checagem de critérios do Joint Committee, agrupamento dedutivo dos critérios do Joint Committee; comparação dos resultados e análises e Síntese dos Estudos Qualitativos. Os principais resultados demonstram que o processo de audi- toria está associado a variáveis como contexto político, características de programas sociais, enfoque, métodos e técnicas de auditoria.

O trabalho de Hartmann e Loizides (2001) é outro exemplo de aplicação dos padrões do Joint Committee. Eles utilizaram os padrões como métodos para meta- avaliar um questionário web.

Como o Joint Committee (1994, p. 1) sugere, os padrões devem e podem ser aplicados por quem conduz, por quem contrata ou por quem utiliza resultados. Ape- sar da definição sugerir o uso dos padrões em programas e projetos de educacio- nais é possível constatar a utilização destes padrões em outras áreas como visto nas citações acima.

Para um melhor entendimento dos padrões o Joint Committee (1994, p. 3) fez as seguintes definições: (i) um programa é constituído de atividades educacionais prestadas de forma contínua, (ii) um projeto são atividades educacionais prestadas por um tempo definido, (iii) uma avaliação é uma investigação sistemática do mérito e do valor de um objeto, (iv) um avaliador é a pessoa que conduz a avaliação e (v) um envolvido (stakeholder) são pessoas ou grupos que estão envolvidos ou afetam o processo da avaliação.

Um padrão de avaliação é um princípio acordado mutuamente entre especia- listas da área. O padrão busca proporcionar recomendações para melhoria da quali- dade e da equidade de uma avaliação. As definições dos 30 princípios do Joint Committee estão no Anexo 2, organizados nas seguintes categorias:

Os padrões de Utilidade visam garantir que a avaliação irá atender as necessi- dades de informação dos envolvidos.

Os padrões de Viabilidade destinam-se a assegurar que uma avaliação será realista, prudente e diplomática.

Os padrões de Propriedade destinam-se a assegurar que uma avaliação será conduzida de forma legal, ética e com respeito pelo bem-estar das pessoas en- volvidas na avaliação, bem como, por aquelas afetadas por seus resultados. Os padrões de Precisão visam assegurar que uma avaliação revele e transmita

informações técnicas adequadas sobre as características que determinam o valor e o mérito do programa avaliado.

O Joint Committee (1994, p. xviii) enfatiza que os padrões representam um esforço para prover um guia de avaliações efetivas. Contudo, os padrões sozinhos não podem assegurar a qualidade de qualquer avaliação. Desta forma, os autores orientam que os padrões sejam utilizados como um guia, devendo ser interpretados de acordo com realidade em que a avaliação está sendo planejada e/ou executada.

Para lidar com a diversidade de assuntos, temas e concepções na área de avaliação, os autores do Joint Committee (1994, p. 8) escolheram 10 etapas consi- deradas chaves dentro do campo avaliação. Essas etapas contemplam atividades de planejamento, condução e construção de relatórios. As etapas definidas são: (i) decidir se a avaliação será realizada, (ii) definir o problema da avaliação, (iii) de- senhar a avaliação, (iv) coletar informação, (v) analisar a informação, (vi) produzir

relatórios de avaliação, (vii) controlar o orçamento da avaliação, (viii) contratar a ava- liação, (ix) gerenciar a avaliação e (x) alocar de recursos humanos para avaliação.

Stufflebeam e Shinkfield (2007, p. 94) associaram cada etapa de uma avalia- ção com os padrões do Joint Committee, conforme apresentado no Anexo 3.

Um padrão pode atender mais de uma etapa. Por exemplo, o padrão de pro- cedimentos práticos do grupo de viabilidade contribui no desenho da avaliação, na coleta de informação e no gerenciamento da avaliação.