Capítulo 3. Avaliação de programas
3.1 Conceitos e processos de avaliação
Existem várias modalidades de avaliação, tais como as citadas por Novaes (2000): pesquisa de avaliação, avaliação para decisão e avaliação para gestão21. Há aquelas mencionadas por Worthen, Sanders e Fitzpatrick (2004): avaliação voltada para objetivos, avaliação voltada para consumidores, avaliação baseada em opiniões de especialistas, avaliação baseada em opiniões contrárias, avaliação baseada na participação22.
21
Segundo Novaes (2000), utiliza-se a pesquisa de avaliação quando se pretende conhecer o impacto do programa, por meio de metodologias próprias das ciências sociais; a avaliação para decisão, quando se almeja respostas às questões específicas do programa, no sentido de resolver os problemas identificados; e a avaliação para gestão, quando se deseja monitorar resultados das pesquisas de avaliação ou da avaliação para decisão “ao se prever algum tipo de continuidade para a avaliação realizada” (p. 554).
22
Conforme Worthen, Sanders e Fitzpatrick (2004), a avaliação voltada para objetivos serve para reformular objetivos, ações, instrumentos e métodos para mensurar devidamente os objetivos atingidos; a avaliação voltada para consumidores permite a estes escolherem o produto que melhor atende a suas necessidades; a avaliação baseada em opiniões de especialistas admite julgar a qualidade de um programa, projeto, serviço, produto ou atividade; a avaliação baseada em opiniões contrárias assegura dirimir controvérsias e tomar decisões que afetam a continuidade ou não do programa; a avaliação baseada na participação garante identificar os valores e as preocupações das várias pessoas envolvidas no programa, como também desenvolver a comunicação com os diferentes públicos interessados pelos resultados da avaliação.
Pode-se fazer referência a outras comumente reconhecidas na área organizacional e do trabalho: avaliação institucional, avaliação de treinamento, avaliação de desempenho, avaliação de competências, avaliação de necessidades ou diagnóstica, avaliação da teoria do programa, avaliação dos processos, avaliação de resultados e avaliação da eficiência de um programa (Carbone et al., 2005; Leite et al., 2005; Souza et al., 2005; Borges-Andrade, 2006; Rocha, Albuquerque & Marcelino, 2008). Estas
últimas são definidas ao longo deste capítulo por serem de relevância para a presente pesquisa.
Assim como são diversas as classificações, há uma infinidade de conceitos sobre avaliação, que variam em virtude de seu emprego, método, abordagem entre outros aspectos que direcionam a prática do avaliador. Por isso não há uma única definição, mas sim a mais adequada à pretensão de quem avalia e sobre a natureza do objeto de avaliação.
Apesar da diversidade conceitual e tipológica, a determinação do valor ou mérito de algo (por exemplo: ação, programa, política, projeto) pode ser vista como a finalidade de qualquer avaliação (Worthen, Sanders & Fitzpatrick, 2004; Minayo, 2005), seja esta informal ou formal23. A avaliação de programa se enquadra como uma avaliação formal, uma vez que necessita de um profissional avaliador, impacta na vida de grupos de pessoas, utiliza-se de métodos científicos e tem sua aplicabilidade na tomada de decisão.
23 Na avaliação informal, qualquer pessoa avalia, sendo esta a principal e/ou a única interessada; objetiva
orientar o comportamento diante da necessidade de escolhas ou busca de soluções e se torna subjetiva porque ocorre por meio de idéias e ações não-sistemáticas diante do tempo reduzido e da pouca informação. Já a avaliação formal é realizada por um profissional da área, tendo vários interessados (organizações, comunidades e/ou sociedade afetada pela ação ou atividade avaliada), sendo operacionalizada por métodos científicos, com o intuito de ajudar na tomada de decisão sobre a continuidade ou não de uma ação ou atividade (Chianca, Marino & Schiesari, 2001; Belloni, Magalhães & Sousa, 2007; Cohen & Franco, 2007).
Chianca, Marino e Schiesari (2001); Belloni, Magalhães e Sousa (2007) observaram que a avaliação informal torna-se insuficiente para ajudar na tomada de decisão quando se trata de ações mais complexas, que afetam um grande número de pessoas, grupos, instituições ou a própria sociedade, em virtude dentre outros aspectos: (1) da falta de contextualização do objeto avaliado, pois o foco é somente no resultado; e (2) da indefinição dos critérios para a avaliação, que possam permitir o seu julgamento ou defesa pública.
Alguns autores (Chianca, Marino & Schiesari, 2001; Marino, 2003; Belloni, Magalhães & Sousa, 2007) comentaram sobre as limitações da avaliação formal, dentre as quais destacaram: nem toda decisão precisa de uma avaliação; nem sempre seus resultados são utilizados; é um dentre outros instrumentos de gestão; não pode corrigir falhas por si mesma; o modelo mental antiquado sobre a avaliação24.
Para Worthen, Sanders e Fitzpatrick (2004), a avaliação formal ganha sentido quando pode ser útil ou aplicável, seja para a tomada de decisão gerencial, melhoria de um programa, modificação de uma política, determinação do impacto de uma ação ou obtenção de credibilidade para um projeto.
Belloni, Magalhães e Sousa (2007, p. 15) definiram esse tipo de avaliação como um “processo sistemático de análise de uma atividade, fatos ou coisas que permite compreender, de forma contextualizada, todas as suas dimensões e implicações, com vistas a estimular seu aperfeiçoamento”.
24 No modelo ultrapassado, a avaliação é vista como tarefa, e não como ferramenta de gestão; como
mecanismo de controle, e não como forma de desenvolvimento das pessoas e dos processos de trabalho; como perda de tempo e dinheiro, e não como solução de problemas para a eficiência e a eficácia organizacional.
Por conseguinte, a avaliação sistemática não se refere apenas à comparação entre o objetivo proposto e o resultado alcançado. Pensando deste modo, perde-se a visão global do processo, sem a qual não é possível obter o aprimoramento da avaliação (Chianca, Marino & Schiesari, 2001; Belloni, Magalhães & Sousa, 2007).
Compartilhando dessa visão, Cano (2006) explicou que as falhas de um programa podem se tornar evidentes somente ao final da sua implantação; como também, os problemas na implantação podem levar um programa ao fracasso. Por isso, a avaliação de resultados exige ser complementada por uma avaliação de processo25. Em alguns casos, torna-se necessário o diagnóstico da situação antes da implantação do programa para analisar sua viabilidade e/ou seu custo, benefício e sua efetividade, tal avaliação preliminar denomina-se de marco zero ou avaliação ex-ante (Cohen & Franco, 1993; Marino, 2003).
Segundo Cohen e Franco (1993), Chianca, Marino e Schiesari (2001); Worthen, Sanders e Fitzpatrick (2004), a avaliação de processo (ou formativa) provê informações durante a implantação do programa para melhorá-lo, no sentido de assegurar o alcance de seus objetivos. A avaliação de resultados (ou somativa) visa julgar o valor do programa ao seu término, no sentido da escolha quanto à sua continuidade.
O emprego conjunto da avaliação de processo e de resultados favorece a realização da avaliação (1) da eficiência, (2) da eficácia e (3) da efetividade do programa. A primeira confronta os recursos despendidos na implantação do programa e os resultados atingidos. A segunda compara os objetivos previstos e os resultados alcançados e/ou os instrumentos planejados e aqueles efetivamente empregados. E a última, permite correlacionar os resultados encontrados – por exemplo, a mudança de
25 Ambas avaliações citadas são do tipo ex-post, porque ocorrem após a implantação do programa (Cohen
desempenho do tutorando – e os produtos ou serviços oferecidos pelo programa – como o suporte do tutor (Arretche, 2001).
Para avaliar o programa de tutorização da EMATER-RN, realizou-se tanta a avaliação de processo como a de resultados. A avaliação de processo exigiu a contextualização do programa de tutorização, cuja descrição se encontra em capítulos: A EMATER ontem e hoje e a Tutorização como tática de socialização organizacional. A avaliação de resultados demandou desde o início a definição de objetivos e o estabelecimento de critérios para a análise das informações. Nesse caso, os capítulos Apresentação: objetivos e justificativas e Estratégias metodológicas tratam especificamente desses pontos.
Adotou-se também quatro atributos de qualidade26 para a avaliação de programas destacados por Chianca, Marino e Schiesari (2001) e Minayo (2005), quais sejam: utilidade, viabilidade, propriedade (ou ética) e precisão; que estão detalhados na Tabela 7. De acordo com Firme e Letichevsky (2010), esses atributos são critérios norteadores para o mérito de uma avaliação, ou seja, para a meta-avaliação.
Os princípios relacionados aos atributos de qualidade nortearam a elaboração de toda tese, com destaque para os atributos de utilidade (uma vez que o objetivo geral da pesquisa era justamente avaliar as contribuições e os limites do programa e, consequentemente, a relevância de sua continuidade) e de precisão (pois as estratégias metodológicas de pesquisa oportunizaram a avaliação de mérito do programa, a partir da produção de informações técnicas confiáveis, tanto quantitativas como qualitativas).
26 Esses quatro atributos estão descritos na obra intitulada The Program Evaluation Standars (1994), da
Tabela 7
Atributos de qualidade para a avaliação de um programa
Atributos Descrição
Utilidade Este atributo garante que as informações sejam utilizadas ao atingir os seguintes objetivos: oferecer respostas às necessidades dos interessados e orientá-los sobre os resultados de avaliação, identificando as contribuições e as limitações do programa para o seu aperfeiçoamento. Entre os seus princípios orientadores estão: a identificação dos interessados, a credibilidade do avaliador, a seleção de informações, a identificação de valores, a clareza dos relatórios, a disseminação e a rapidez na produção de relatórios e o impacto da avaliação.
Viabilidade Tal aspecto assegura que a avaliação tenha características realistas, de prudência, diplomacia e moderação, tendo como princípios ligados a essas: procedimentos práticos, viabilidade política e custo-efetividade.
Propriedade Esta característica garante que a avaliação seja conduzida dentro de normas legais e éticas que protejam as pessoas interessadas ou afetadas pelo programa. Entre os seus princípios se encontram: orientação para o serviço, acordos formais, direitos dos indivíduos, relações humanas, avaliação completa e justa, disseminação de resultados, conflito de interesses e responsabilidade fiscal.
Precisão Tal itemassegura que o programa seja avaliado em seu mérito e sua relevância a partir da produção de informações técnicas confiáveis. Os seus princípios são: documentação do programa, análise do contexto, descrição de propósitos e procedimentos, fontes de informações confiáveis e válidas, informação sistemática, análise de informações quantitativas e qualitativas, conclusões justificáveis, imparcialidade de relatórios, meta avaliação.
Fontes: Chianca, Marino e Schiesari (2001) e Minayo (2005).
Quanto à escolha entre a avaliação interna – aquela realizada por pessoa(s) da organização – e a avaliação externa27 – aquela conduzida por pessoa(s) fora do quadro funcional, deliberou-se no que se referia à exclusividade28 da condução interna da avaliação por causa da seguinte vantagem descrita por Worthen, Sanders e Fitzpatrick (2004) e Cano (2006): a avaliadora conhecia bem o programa. De fato, havia o risco do envolvimento demasiado e tomada de conclusões ou escolhas de critérios ou variáveis
27 A avaliação externa também tem seus ganhos porque o avaliador mantém certa imparcialidade, detecta
melhor os aspectos relevantes, está menos sujeito às pressões vinculadas aos interesses dos gestores. No entanto, não conhece tão bem o programa e o contexto de inserção (Worthen, Sanders & Fitzpatrick, 2004; Cano, 2006).
28 Worthen, Sanders e Fitzpatrick (2004) e Cano (2006), apontaram que há maior frequência de avaliações
de processo por avaliadores internos; assim como, avaliações de resultados, por avaliadores externos. Concordaram que a combinação de avaliadores internos e externos era possível, dependendo da situação e/ou do momento do processo da avaliação.
favoráveis ao êxito do programa. Em contrapartida, a avaliadora tinha um acesso amplo e contextualizado de informações justo por sua inserção organizacional.
Chegando neste ponto, é possível descrever algumas das características da avaliação do programa de tutorização: avaliação formal, interna, processual e de resultados, com foco na eficácia e na efetividade, buscando atingir critérios de qualidade (utilidade, viabilidade, propriedade e precisão). E com base em Belloni, Magalhães e Sousa (2007), conceber o conceito de avaliação de programa, para este estudo, como sendo: um processo sistemático de análise das ações, características e resultados de um programa que permite compreender, de forma contextualizada, todas as suas dimensões e implicações, e determinar o seu mérito por meio de critérios defensáveis publicamente, justificando a sua continuidade ou não e quando sim, gerando mais recomendações para o seu aperfeiçoamento.
Como todo processo de avaliação, a avaliação do programa de tutorização constituiu-se de etapas, que foram descritas na parte do Método. No entanto, mesmo considerando as especificidades das etapas de avaliação do referido programa, percebeu-se que existe certa prescrição ao processo29. Brandão et al. (2007) definiram cinco etapas ao processo de avaliação por meio de analogia com o Rio São Francisco: significação, encontro, renovação, realização e cuidado (Tabela 8).
29
O fundamento teórico da avaliação que permite descrever e prescrever o que os avaliadores fazem ou deveriam fazer ao conduzir suas avaliações estão nas denominadas teorias da avaliação. Tais teorias vêm sendo construídas com base na própria ação dos avaliadores ao planejar, operacionalizar e analisar o processo de avaliação, servindo como guia ou orientação da prática (Coryn et al., 2011). Para conhecer o mecanismo de construção de teorias de avaliação leia Astbury e Leeuw (2010).
Tabela 8
As cinco etapas do processo avaliativo
Etapas da
avaliação Descrição
Significação Assim como a nascente de um rio expressa um movimento intenso da natureza, o processo inicial de avaliação provoca o diálogo entre os envolvidos sobre o seu sentido e objetivo e dependerá do ajuste de perspectivas destes o direcionamento e o foco a ser dado àquele.
Encontro Da mesma forma que as chuvas alimentam o rio, para se chegar ao foco do processo de avaliação, torna-se necessário elaborar questões para apreender os dados da realidade e entender as contradições existentes entre as diferentes perspectivas.
Renovação As quedas e as curvas de um rio representam esta dialética e dialógica existente nos movimentos de renovação, possibilitando avanços em direção ao foco, quando se torna possível conhecer as alterações que necessitam serem feitas no processo de avaliação. Realização O rio completa o seu curso quando chega à sua foz e deságua ao mar; de maneira
semelhante, a percepção da mudança advinda com as alterações realizadas durante o processo de avaliação leva à sensação de finalização de uma fase para os envolvidos. Cuidado O rio faz parte, está conectado e é extensão da natureza; o mesmo ocorre com os
processos de mudança e realização que se incorporam à realidade e passam a ser parte do cotidiano de uma organização. Logo, o momento de cuidar revela a necessidade de transformação do antigo e manutenção do novo em uma eterna busca de (re-) aprendizagem organizacional, ou seja, renovação por meio de uma consciência crítica.
Fonte:Brandão et al. (2007).
No momento de significar, o cuidado refere-se à ênfase na construção coletiva (e não, individual) do significado da avaliação; no momento de encontrar, relaciona-se à abertura da mente para enxergar a realidade e não o idealizado; no momento de renovar, diz respeito ao abandono do idealizado, ao invés, da sua manutenção; no momento de realizar, implica sustentar as mudanças e a sua dinâmica, sem esquecer que o processo não tem fim, evitando que antigas práticas sejam retomadas pela falta de persistência ou de conscientização no que se refere às decisões tomadas (Brandão, et al., 2007).
Utilizando-se de outra metáfora para o processo avaliativo, Silva e Brandão (2006) empregaram quatro elementos da natureza para caracterizá-lo, como visualizado na Tabela 9: o ar representa a sua característica de abstração em torno de um sentido, ou seja, o porquê avaliar; a terra diz respeito ao método, em outras palavras, o como
avaliar30; a água refere-se aos princípios éticos envolvidos, isto é, em que contexto se avalia; e o fogo, faz menção à necessidade de geração da cultura de avaliação no Brasil que permita o desenvolvimento social, enfim, o para que se avaliar.
Tabela 9
Etapas do processo de avaliação
Etapas da
Avaliação Descrição
Por que avaliar?
Diz respeito ao significado da avaliação para as pessoas envolvidas. Para tanto, é necessário reconhecer o contexto de sua aplicação (por exemplo: a cultura, o poder e a política organizacional), o papel atribuído ao processo (inclusão ou exclusão social)31 e as
possibilidades de escolhas ante os resultados (reconstruções conceituais e evolução prática). Como
avaliar?
Refere-se aos passos metodológicos da avaliação: (1) elaboração de perguntas que indiquem o objetivo da avaliação, (2) a construção de indicadores como critério de julgamento ou análise do objeto da avaliação32, (3) a definição das fontes de dados para
possibilitar a verificação de cada indicador, (4) a escolha das formas de coleta de informações, (5) o trabalho de campo para a coleta (negociação de cronograma, treinamento, manuais de orientação e organização do material colhido), (6) a análise dos dados coletados e a submissão aos interessados para um maior aprofundamento, elaboração de novas hipóteses e teste de indicadores e (7) a comunicação dos resultados em forma de relatório com registro detalhado das etapas desenvolvidas na avaliação.
Em que contexto se avalia?
Implica reconhecer os princípios éticos que norteiam a avaliação: (1) respeito aos participantes por meio do consentimento, anonimato e adaptação da linguagem; (2) explicitação das intenções em cada etapa e no processo como todo; (3) avaliações justas, no que se refere ao registro de informações, tanto positivas quanto negativas sobre o programa; (4) acessibilidade dos participantes aos dados, permitindo o debate e a aprendizagem a partir da verificação de potencialidades e limitações do programa; (5) responsabilidade fiscal na elaboração de orçamentos, alocação de recursos, cumprimento legais e prestação de contas.
Para que
se avaliar? Faz referência ao desenvolvimento da cultura de avaliação em organizações, levando-se em conta a atribuição de sentido, a análise do contexto, o preparo técnico do avaliador, o investimento financeiro, os recursos materiais e o apoio da gestão para o processo avaliativo, gerando valor social a essa prática.
Fonte: Silva e Brandão (2006).
30 Marino (2003) adicionou ainda dois passos metodológicos da avaliação: a formação da equipe de
avaliadores e a utilização e a disseminação dos resultados pela organização para debates e decisões.
31 No que se refere ao papel da avaliação, Chianca, Marino e Schiesari (2001) destacaram a importância
de analisar a viabilidade da avaliação no seu planejamento, especialmente, no que diz respeito aos aspectos políticos, éticos e de relações humanas (por exemplo: interesses não declarados, percepções de ganhos e perdas, disponibilidade para a cooperação, relações de poder entre os envolvidos), como também, salvaguardar aos principais interessados o acesso e o uso apropriado dos resultados.
32 Fazendo menção às definições de indicadores, Marino (2003) sugeriu a sua construção com base nas
perguntas orientadoras da avaliação: as questões de pesquisa, cujas respostas servem para indicar a medida de sucesso ou fracasso em relação aos resultados esperados.
Comparando as duas analogias, o porquê se avalia indica o significado da avaliação; o como se avalia implica encontro, renovação e realização; o contexto em que se avalia e o para que se avalia englobam o cuidado com as etapas anteriores e a geração da aprendizagem ao final do processo.
Em suma, entende-se que a avaliação tem de ser significativa, existir um planejamento para operacionalizá-la, respeitando o contexto e as pessoas inseridas nele, para enfim produzir mudança organizacional. Essa compreensão da avaliação como processo participativo vem sendo construído ao longo da história.
Na próxima seção, resgata-se a perspectiva histórica da avaliação de programa, com o seu emprego usual na área social e de educação, sendo rara a experiência conhecida de sua aplicação em programas institucionalizados de gestão de pessoas, como é o caso aqui tratado. No âmbito organizacional, as avaliações denominadas de institucional e de treinamento se aproximam mais do contexto da pesquisa, embora não sejam necessariamente consideradas como avaliação de programas.
Em função dessa realidade, foi utilizado o levantamento bibliográfico de livros e artigos científicos nacionais. Entre quatro periódicos brasileiros sobre avaliação (Avaliação Psicológica, Revista de Avaliação do Ensino Superior, Avaliação e Políticas Públicas em Educação e Revista Meta-avaliação), que foram localizados pelo portal CAPES, somente o último teve aproximação ao objeto de estudo desta tese, em virtude da abrangência de sua temática.
No que se referem aos periódicos internacionais pesquisados, quais sejam: American Journal of Evaluation, Evaluation and Program Planning, Evaluation News, foi possível verificar que a maioria dos artigos trata de teorias da avaliação ou de procedimentos metodológicos. Todavia, a presente tese não tinha o objetivo de construir
um modelo explicativo para a avaliação do programa de tutorização nem discutir o método comparando-o com os utilizados em outras pesquisas.
A maioria das experiências relatadas em artigos de periódicos nacionais e internacionais não serviu de comparação com a pesquisa desenvolvida no que tange ao contexto: o programa de tutorização ocorreu dentro de um órgão estatal de assistência e extensão rural; já os demais artigos se remeteram ao contexto educacional, social ou de saúde. Quando se detinham em um programa de cunho institucional (por exemplo: uma