O QUE SÃO MODELOS DE AVALIAÇÃO?

1

O

QUE SÃO

M

ODELOS DE AVALIAÇÃO

?

M

ARLY

C

RUZ E

E

LIZABETH

M

OREIRA

Podemos adiantar que esta não é uma questão muito simples de ser respondida. Ela por si já é controversa e polêmica. Torna-se ainda mais cheia de diferentes significados e ambiguidades quando aplicadas ao campo da avaliação. De alguma forma, você já se aproximou dela na Unidade II quando tratamos de modelo operacional e modelo teórico da avaliação.

Prepare-se! Aí vem turbulência! Abra os cintos de segurança e mergulhe nesta discussão que tem implicações bem interessantes para a prática avaliativa. Vamos começar pela menos polêmica:

Por que precisamos de modelos em avaliação?

•

Para compreender a teoria do programa e suas interações com o contexto (organizacional e sociodemográfico).

•

Para explicitar o foco, a abordagem, o desenho e os processos de valoração utilizados na avaliação.

Mas qual de fato é a diferença entre modelos e abordagens na avaliação?

Na realidade não existe consenso sobre esta distinção. Vamos identificar autores que fazem esta distinção e outros que não fazem nenhuma distinção entre um e outro. Por isso, buscamos trazer para discutir este ponto algumas dessas visões para caminharmos neste campo tão pantanoso. Mas antes disso precisamos trabalhar um pouco cada noção isoladamente.

Observe o modelo apresentado. Ele é uma adaptação do modelo original de Peter Rossi (2004) para descrever programa. Como já discutindo, por meio de uma imagem o autor nos mostra o seu “modo de pensar sistemático” sobre a teoria do programa. O modelo, uma imagem, mostra a representação mental (racional) da teoria do programa. Ele deixa evidente que para Rossi (2004) e Chen (1990) a teoria do programa pode ser divida em dois componentes: uma teoria sobre como ele deve funcionar (componente normativo ou

2

operacional) e uma teoria causal, isto é, a que elabora a relação entre o programa e a mudança no problema de saúde que ele pretende resolver (a teoria causal ou de atribuição).

Figura 1 – Componentes da teoria do programa

1

Componentes da teoria do programa

Interação da produção de serviços e população alvo

Interações recursos/processos e contexto organizacional

Infraestrutura física,

equipamentos,pessoal, procedimentos

Plano de utilização (acesso) dos

serviços produzidos

Plano de funcionamento

Resultados Impacto Produção de serviços Estrutura e processos

Adaptado de Peter H. Rossi. Evaluation: A systematic Approach, 7th_ed.

Interface

Teoria de

Atribuição

Fonte: Adaptado de Rossi (2004).

A noção de modelo está agora mais clara? Sim? Que bom! Ela é bem operacional, mas não se engane, pois ela pode, em alguns ambientes, arrepiar neurônios acadêmico-filosóficos.

Muito bem. E se a dificuldade de compreensão da noção de modelo ainda persiste? Que tal pensar um pouco sobre a seguinte definição? Ela é operacional, mas bem arrumadinha.

Modelos são apresentações visuais de representações mentais sobre a teoria do

programa. Expressam como os sistemas organizados de ações (programas) funcionam e como eles atingem os objetivos a que se propõem. Podem ou não incluir a sua interação com outros sistemas ou com o contexto em que se inserem.

3

Operacionalmente, modelos são representações visuais de modos de pensar sobre objetos. Eles usualmente expressam uma ou mais teorização sobre esses mesmos objetos. Os modelos em avaliação são de grande utilidade, mas eles não conseguem esclarecer alguns aspectos críticos da avaliação. Por exemplo, o modelo lógico do programa nos diz como o programa funciona, nos ajuda a identificar os atores envolvidos e podem nos dar uma representação visual de como foi planejado o programa. O modelo da avaliação - lembre-se, avaliações são intervenções - pode nos dar uma ideia de como estamos planejando o nosso processo avaliativo desde a sua concepção teórica até a sua implementação.

Observe que é muito difícil sintetizar em um único modelo tudo o que precisamos para realizar uma avaliação. Alguns aspectos são dificilmente acomodados em um único modelo especialmente porque fomos acostumados a pensar com imagens em no máximo três planos. Assim alguns autores preferem se referir a abordagens partindo do pressuposto que a noção de abordagem é menos imagética e permite introduzir processos como participação, empoderamento, e mudança social.

Vamos respirar...

Então, abordagens (do inglês approach) são formações discursivas

(densidades/conjuntos de significados) indispensáveis para se compreender uma avaliação. As abordagens em avaliação, diferentemente dos modelos, correspondem às concepções que orientam o campo da avaliação, os esforços que ordenam os conteúdos de um campo novo e parcial em algum tipo de estrutura lógica; são os quadros de referência da avaliação como elementos de orientação. Abordagens se referem a um sistema classificatório relacionado à afinidade teórica, usos e propósito da avaliação; e

modelo se refere à representação visual do desenho metodológico das avaliações que

está ligado ao foco da avaliação.

Conforme observam Silva e Formigli (2005), “o espectro da avaliação tem sido reconhecido tanto em relação ao objeto, quanto ao método e a abordagem”. A multiplicidade de formas de definir as abordagens, dimensões e atributos em avaliação, para Silva e Formigli (2005), refletem as escolhas teóricas dos autores.

Na realidade, alguns autores preferem o termo abordagem a modelo porque modelo pode criar uma concepção rígida (lembre-se da limitação de nosso treinamento visual). Essa questão tem sido muito discutida atualmente com a introdução da noção de redes

4

para descrever ambos, programas e avaliações. Ressaltamos que, para alguns autores, a diferenciação entre abordagens e modelos não faz muito sentido.

Modelos, abordagens e tipologias em avaliação

Reconhecer estas diferenças ou semelhanças seria apenas um interessante exercício mental e poderíamos colocá-lo entre as famosas discussões inúteis se elas não fossem a base de critérios para a construção de várias tipologias em avaliação. É ainda importante dizer que grande número de avaliadores elabora e implementa suas avaliações sem nenhuma preocupação com esta discussão. Vários autores criam constructos mentais interessantes e que podem nos ajudar. A única base de suas construções teóricas é a praticidade dessas construções para resolver problemas. Você já deve ter identificado de quem estamos falando não? Isso mesmo, dos pragmáticos; isto é, avaliadores que se reportam ao pragmatismo filosófico para abonar os seus modelos, tais como Pawson (2004) e Patton (2004).

Na prática, o conhecimento dessas questões tem uma consequência de muita importância. Ele nos ajuda a não nos desesperarmos em face às inúmeras tipologias que encontramos na literatura; nos tranquiliza em relação a não existência de um certo ou errado absoluto e mais que tudo, nos desafia a mobilizar o conhecimento disponível possível para a construção de nosso quebra-cabeça avaliativo.

Para nosso conhecimento e em razão de que ambos, Whorthen e Stufflebeam são autores bastante reconhecidos no campo da avaliação, vamos discutir como eles aplicam as noções sobre as quais trabalhamos, construindo diferentes critérios para classificação de avaliações.

Blaine R. Worthen é Ph.D. em Psicologia da Educação e Pesquisa, da Universidade

Estadual de Ohio, MS, SC, Universidade de Utah. Worthen é professor do curso de Psicologia da Utah State University e anteriormente ocupou posições da Utah State University e do Western Institute for Research and Evaluation. Um avaliador de carreira, que dirigiu numerosos estudos avaliativos em âmbito municipal e federal.

Daniel L. Stufflebeam possui ampla experiência em avaliação, pesquisa e testes. Ele é

Ph.D. da Purdue University foi professor na The Ohio State University e Western Michigan University.

5

Na concepção de Worthen et al. (2004) a proliferação de propostas relativas à maneira de representar os “modos de fazer uma avaliação”, não reflete apenas pressões e tensões para a consolidação dos diferentes “modos de compreender” o que seja uma avaliação ou seus principais objetivos. Ou seja, os autores nos adiantam que os critérios de classificação de avaliações em diferentes tipos, espelham também divergências de forças internas ao campo e aos movimentos de sua institucionalização. Estes critérios podem incluir tensões originárias de interesses político corporativista, hegemonia na produção e controle de conhecimento e é claro de financiamentos. Pense um pouco na Avaliação em Saúde no Brasil. O que você acha?

De acordo com Worthen et al. (2004), existem seis tipos de abordagens em avaliação: orientada por objetivos; centrada na administração; centrada no consumidor; centrada nos especialistas; centrada nos adversários; e centrada nos participantes. Cada abordagem é caracterizada por oito aspectos: proponentes, finalidade da avaliação, características distintivas, usos no passado, contribuições conceituais, critérios de julgamentos, vantagens, limitações.

Diferentemente, Stufflebeam (2001) descreve quatro tipos de abordagens (pseudoavaliações, questões e métodos, melhoria do programa/prestação de contas; agenda social/militância (do inglês advocacy). O autor descreve estas abordagens num livro intitulado “Modelos de Avaliação”. Para o autor cada abordagem é caracterizada por dez descritores que permitem defini-la:

1. Principais características do planejamento 2. Propósitos

3. Questões da avaliação 4. Origem das questões

5. Os autores pioneiros em diferentes tipos de estudos

6. Outros colaboradores incluindo quem atualmente desenvolve cada tipo 7. Considerações-chaves para determinar quando usar cada tipo de abordagem 8. Métodos que são mais frequentemente utilizados em cada uma

9. Pontos fortes 10. Pontos fracos.

Para Stufflebeam (2001) as abordagens avaliativas incluem práticas profissionais com maior ou menor credibilidade e maior ou menor alinhamento aos padrões científicos vigentes. Assim, ele diferencia as pseudoavaliações dos modelos em avaliação, sendo os modelos avaliativos aqueles que estão relacionados apenas às práticas profissionais aceitas e com credibilidade. É interessante ressaltar que o próprio autor em uma

6

atualização recente e ampliada dessa publicação de 2001, incorpora uma quinta abordagem, isto é, “Abordagens ecléticas em avaliação” que inclui a abordagem de avaliação focada na utilização do Michel Patton. Com base em suas abordagens e aplicando os descritores às avaliações publicadas na literatura pertinente ele identifica 26 modelos de avaliação.