• Considerações sobre a prática da avaliação
• Refl exão sobre as indagações suscitadas antes e durante o processo da avaliação
Competências e habilidades
• Apresentar ao acadêmico(a) os diferentes aspectos metodológicos que envolvem o processo de avaliação
• Refl etir sobre a importância de realização da avaliação levando em consideração o compro- misso e a transparência em todos os momentos de realização do processo
• Trabalhar os aspectos conceituais que servirão de base para uma avaliação efi ciente
Material para autoestudo
Verifi car no Portal os textos e as atividades disponíveis na galeria da unidade
Duração
2 h-a – via satélite com professor interativo 2 h-a – presenciais com professor local 6 h-a – mínimo sugerido para autoestudo
PARA RELEMBRAR!
A avaliação defi ne-se como a fase de verifi cação do desempenho e dos resultados da ação a partir de critérios predeterminados.
Tem como objetivo a formulação de juízo de va- lor e o reconhecimento da natureza dos erros, des- vios e bloqueios da ação planejada.
A avaliação subsidia as decisões ligadas à conti- nuidade, expansão e/ou reformulação da situação trabalhada.
A avaliação tem como referencial a programa- ção proposta, e se baseia nos dados colhidos como
referencial pelo controle dos registros, relatórios, diários de campo etc., e todos os demais instru- mentos que possibilitem informações para análise da ação.
É importante observar que a avaliação se faz com base nos instrumentos de controle, entretanto os instrumentos de controle e acompanhamento são relativamente simples, complexa é a análise de tais instrumentos. Por outro lado, o que irá ajudar a de- fi nir os instrumentos necessários para o controle e o que se priorizar na avaliação é o objetivo, a inten- cionalidade do projeto.
Dessa forma, para que alcancemos os objetivos propostos em nossa área é necessário que as formas de controle e avaliação sejam discutidos com a po- pulação, por meio dos canais de participação popu- lar, autônomos e democráticos.
Segundo Carvalho (2007, p. 89) a avaliação não deve ser mitifi cada como “única via” ou a “mais im- portante condição na alteração do comportamento/ desempenho atual das políticas e programas so- ciais”, mas deve preocupar-se em “[...] captar a mul- tidimensionalidade sinalizada pelas especifi cidades do social”.
Dessa forma, a busca por novos modelos de ava- liação é um caminho essencial para que a estagna- ção não tome conta desse processo que deve ser contínuo e estar em permanente atualização. Faz-se então necessário conhecer mais algumas preocu- pações importantes que o avaliador deve ter ao se comprometer com o processo de avaliação. Além do conhecimento de novos tipos de avaliação, amplian- do os horizontes e permitindo assim uma refl exão ampla do assunto aqui tratado. Vamos em frente na busca do conhecimento?
SOBRE A PRÁTICA DA AVALIAÇÃO
Carvalho (2007) analisa que a avaliação tradi- cional tem sofrido grandes críticas tornando então necessárias inovações que possibilitem a realização de uma avaliação que contemple as demandas apre- sentadas nesse processo. A autora apresenta como elementos que favorecem a crítica, o caráter externo da avaliação, suas debilidades metodológicas e sua preocupação demasiada com a efi ciência, além de outros fatores que vem de certa forma fragilizando o processo de avaliação conhecido tradicionalmente.
Assim, os autores e profi ssionais que discutem e utilizam a avaliação como um instrumento de tra- balho e estudo buscam novas possibilidades de atu- ação para que algumas indagações que surgem ao avaliarmos “algo” sejam respondidas.
Nemes (2001) considera que os anos 1960 e 1970 foram um marco na ampliação, sofi sticação e deli- mitação de subcampos no que se refere à avaliação.
Segundo esta autora, a literatura internacional reco- nhece hoje três grandes grupos:
• a avaliação tecnológica – que tem seu foco na segurança, efetividade e custo de tecnologias de produtos ou processos;
• a avaliação de programas – focada em conjuntos articulados de atividades voltadas para a popu- lação-alvo (e também é o alvo deste estudo). • avaliação de qualidade – que tem como foco
os conjuntos e serviços assistenciais de saúde, especialmente médicos.
!
ATENÇÃOEstas delimitações podem sofrer alterações de acordo com o autor que a discute. No entanto, as classifi cações aqui apresentadas são aquelas que aparecem mais freqüentemente tanto em “[...] termos científi cos quanto dos macro- contextos históricos específi cos de origem e desenvolvimento de cada uma das vertentes”. (NEMES, 2000, p. 7)
Porém torna-se importante ressaltar que, inde- pendente das contradições teóricas que são apre- sentadas ao se estudar este tema, o que realmente importa é que ao se propor a realização da avaliação de um programa, o caminho escolhido possa ser ca- paz de responder às “grandes perguntas da avalia- ção” quais sejam:
• Quando Avaliar? • O quê avaliar? • Por que avaliar? • Como avaliar? • Para quem avaliar?
Na busca por respostas cada vez mais precisas a essas indagações, diferentes modalidades de avalia- ção são estudadas e colocadas em ação. Com a preo- cupação de se encontrar caminhos mais acessíveis e efi cientes, os avaliadores e autores dividem-se, tanto na nomenclatura como nas modalidades. Entretanto, em vez dessa contradição acarretar atrasos ao proces-
so, esses diferentes caminhos favorecem, de acordo com Nemes (2000), de forma marcante o reconheci- mento dos benefícios da boa prática de avaliação en- tre gerentes de programa e responsáveis por políticas, não só para demonstrar a efetividade e os resultados, mas também para proporcionar outros tipos de in- formação que possam ajudar os programas sociais a melhorar a qualidade de seus serviços.
Outro aspecto que deve ser observado quando tratamos da avaliação sistemática, planejada e diri- gida e a sua distinção entre conceitos similares que possam ser atribuídos a avaliar algo. Avaliar aqui é uma forma de pesquisa social aplicada que utiliza instrumentais científi cos para aferição dos objetivos esperados. Observe no Quadro 1 algumas diferen- ças entre o conceito de avaliação e outros conceitos similares que podem ser encontrados:
Quadro 1
Conceito Similar Pesquisa avaliativa
MEDIÇÃO: é o ato ou processo de determinar a extensão ou quantidade de alguma coisa. Medir não implica em valorar o objeto da medição, mas pode auxiliar a avaliação.
Avaliação é o ato que implica, necessariamente, em atribuir valor a algo.
ESTIMAÇÃO: ato de atribuir apreço e valor a algo em termos aproximados, podendo utilizar-se de critérios difusos e apresentar subjetividade.
A avaliação se caracteriza por atribuir valor a algo, utilizando-se da maior objetividade e precisão possível, devendo expressar realidade.
SEGUIMENTO: processo que integra a função gerencial, constituindo-se num exame contínuo e periódico de um programa ou ação para cumprimento de calendário de trabalho, repasse de insumos, registros, medição, processamento e avaliação de informações, objetivando a execução efi ciente dos objetivos do programa, podendo subsidiar a avaliação ao oferecer um sistema de informações sobre o seu objeto.
A avaliação implica no julgamento dos resultados ou impactos do programa a partir de critérios preestabelecidos.
CONTROLE: restringe-se à mera verifi cação ou constatação de resultados de um programa.
A avaliação implica no julgamento dos resultados ou impactos do programa, explicitando os porquês destes.
PROGRAMAÇÃO: processo de organização e racionalidade das ações de um programa, visando alcançar seus objetivos e metas.
A avaliação é o ato de verifi car e, sobretudo, de julgar essa racionalidade pela identifi cação de resultados e impactos.
Fonte: SILVA E SILVA (2001, p. 50).
Ao se levar em consideração as especifi cidades apontadas no Quadro 1, a avaliação sistemática tem sua identidade sustentada por se propor a respon- der às questões básicas já elencadas neste texto e que agora serão tratadas com mais detalhamento. Quando avaliar?
Como já foi tratada em aula anterior, a avaliação pode ocorrer antes, durante e depois da implemen- tação de um programa, política ou projeto. O pro- cesso de avaliação permite a identifi cação de vários tipos de avaliação e segundo Silva e Silva (2001) faz “[...] variar a questões e objetivos conforme o mo- mento da sua realização”.
Entretanto, deve-se levar em consideração quan- do se toma a decisão de avaliar que, independente do momento, os objetivos que moveram o desen- cadear do processo avaliativo devem ser persegui- dos em sua totalidade, pois todo o processo envolve uma série de fatores sociais e fi nanceiros, que não devem ser tratados com desconsideração. Esse en- tendimento pode levar à próxima pergunta!
O quê avaliar?
Nemes (2001, p. 13) considera que para essa per- gunta existe uma resposta natural:
“queremos avaliar se a intervenção funciona ou não funciona, ou seja, se produz os resultados e os
impactos esperados. Esse pode ser considerado o objetivo mais ‘nobre’ e mais ambicioso de uma ava- liação – julgar que efeitos foram produzidos e em que medida eles foram produzidos”.
Para que se possa ter certeza “do que avaliar” al- guns cuidados são necessários. Em primeiro lugar, torna-se imprescindível que se defi na quais os efeitos que poderão surgir da avaliação realizada, ou, melhor dizendo, é preciso estabelecer o que se espera como consequência da intervenção tomada sob avaliação. Em segundo lugar, a imputabilidade dos resultados obtidos, ou seja, a quem atribuir os resultados alcan- çados já que cada resultado tem uma série de fatores que o infl uencia positiva ou negativamente
Em seguida, deve-se ter estabelecido que os re- sultados esperados, em se tratando de programas da área social podem sofrer mudanças já que os mesmos são implementados visando o atendimento das demandas sociais, que são sensíveis e mutáveis constantemente.
Por que avaliar?
As motivações para se realizar uma avaliação são de diferentes ordens, mas a resposta a essa pergunta está relacionada com o mérito da avaliação. Segundo Silva e Silva (2001, p. 51) avalia-se por questões de:
• Ordem Moral – que se refere à exigência da probidade dos gestores na gestão do programa e dos usuários na apropriação dos benefícios; • Ordem Política – que se refere à verifi cação dos
propósitos da política ou programa em relação aos princípios de justiça minimamente aceitos bem como a possibilidade de as avaliações con- tribuírem para o controle social e servirem de instrumento de pressão social sobre o estado. A avaliação como já foi dito, é um instrumento democrático de controle social.
• Ordem Instrumental – que se relaciona com a geração de informações para monitorar o pro- grama;
• Ordem técnica – referindo-se à possibilidade de a avaliação contribuir para a clarifi cação do problema social que motivou o programa,
tendo em vista a construção de um referen- cial comum; para sistematização da prática em desenvolvimento; para correção, melhoria e avanço técnico do programa para melhor ser- vir à população-alvo e para identifi cação de re- sultados e impactos.
Como avaliar?
Como as outras indagações já suscitadas, pode- se perceber que a resposta a essa pergunta também não será de ordem direta, pois não há nenhum deli- neamento pronto, ou nenhuma metodologia pronta para um ou outro foco de avaliação.
Volta-se a questão do método do objetivo e do objeto da avaliação. Aliás, volta-se a ressaltar que o método dependerá do objetivo e do objeto da ava- liação. Estão, portanto, intrinsecamente ligados.
Nemes (2001, p. 21) analisa que “o objeto depen- de muito do nível da intervenção que se quer ava- liar”. Quanto ao nível, que aqui é tratado com um programa projeto ou política – é que defi nirá o foco de avaliação determinando também, na maioria das vezes, o método.
Os objetivos das avaliações podem ser mais com- plexos ou menos complexos, requerendo dessa for- ma, adequada integração entre metodologias quan- titativas e qualitativas.
Para Silva e Silva (2001) a escolha tanto do tipo de avaliação como do método está condicionada a mais alguns princípios básicos além dos que já fo- ram elencados acima, como:
• Cada organização tem um tipo de interesse e as- sim, o tipo de avaliação escolhido terá por base a importância atribuída pela organização para a imagem que ela pretende apresentar à sociedade; • Qualquer tipo de avaliação, independente do
que se diga, tem uma dimensão política, ou seja, nunca é uma atividade neutra na organização; • A seleção do tipo de avaliação e do método está
condicionada, portanto, ao objeto e aos objeti- vos da avaliação devendo ainda serem conside- rados: a disponibilidade de tempo, os recursos e até a preferência dos avaliadores. (SILVA E SILVA, 2001, p. 52)
Para quem avaliar?
Muitos e variados são os interessados e demanda- tários da avaliação. Pode-se citar aqui os executores dos programas ou seus fi nanciadores. Outros inte- ressados em avaliar programas projetos e políticas são os usuários dos serviços, grupos sociopolíticos das comunidades onde o programa é desenvolvido, legisladores que aprovaram os repasses de recursos, partidos políticos que apoiam os programas imple- mentados e, portanto, identifi cam-se com o que é desenvolvido por meio das mesmas instituições, dos mesmos administradores, executivos locais, trabalhadores e outros cidadãos que compõem a sociedade atendida pelos programas e políticas. As- sim, entende-se que as avaliações podem centrar-se em um determinado foco ou também apresenta- rem propósitos múltiplos, ou seja, seu foco varia de acordo com o usuário.
PARA FINALIZAR ESSE ASSUNTO
Caro(a) acadêmico(a) você pode observar que sobre todos os tópicos apresentados nesta aula, paira um certo desconforto, pois os conceitos aqui apresentados pedem uma profunda refl exão sobre múltiplos aspectos que envolvem o processo de ava- liação.
O assunto é extenso, mas não impossível de se chegar a um consenso ou a um fi nal. O que não se pode desconsiderá-lo como se não fosse um passo importante na caminhada como cidadãos
Digo isto porque aqui se trata da avaliação volta- da para programas e políticas sociais, e indispensá- vel é dizer que, refl etirmos sobre a implementação desses programas e políticas é o primeiro passo para mostrar a responsabilidade de cada um de nós com os serviços que nos são oferecidos, e veja bem, ser- viços em sua maioria, custeados por meios de nos- sas contribuições.
Avaliar é correr riscos. Para isso alerta Nemes (2001, p. 23) “[...] além de conhecer, é necessário um compromisso moral de base”.
Compromisso pode ser nesse momento a pala- vra que mais valida o processo de avaliação. O com- promisso permite a realização da avaliação, além de abrir as portas para a publicização dos resultados alcançados por meio deste processo. A publicização renova o compromisso, possibilitando o avanço, o conhecimento e a renovação.
!
PARA REFLETIR“A avaliação é como o Cuidado da alegoria é a curadora do trabalho sem ser o trabalho em si mesmo. O sopro vital que anima nossa criação não nos pertence são vidas, valores experiên- cias, vontades dos outros [...] Enquanto perdu- ra o tempo, o trabalho une e dá sentido a esse misto de contingências e liberdades”. (AYRES, 1996, p. 40)