AVALIAÇÃO: CONCEITUAÇÃO E TIPOLOGIAS

O elenco teórico sobre o tema da avaliação é expresso pelos pesquisadores do assunto numa variedade de conceitos, classificações, tipos e metodologias, a partir de múltiplos critérios, o que é denominado por Costa e Castanhar (2003) como emaranhado conceitual.

Deduzimos a partir de consulta bibliográfica a alguns autores (Sulbrant, 1994; Ala- Harja e Helgason 2000; Barreira, 2002; Cano, 2002; Silva, 2005; Arcoverde, 2012) que o termo avaliar não é conceitualmente consensual, e agrega uma polissemia de significados teóricos e práticos, que envolvem em seu sentido geral a concepção de atribuição de valor, de mérito, de apreciação, de pesquisa, de investigação, de identificação, de análise, de interpretação, e de monitoramento; enfim, trata-se de um conceito que abrange várias definições, mas que tem por síntese formar um juízo ou opinião a respeito de algo ou de alguém para guiar uma mudança.

No caso específico das políticas e programas públicos o enfoque contemporâneo de avaliação, segundo Arcoverde (2012) , está associado ao conceito de atribuição de mérito ou julgamento sobre o grau de eficiência, eficácia e efetividade dessas políticas e programas.

Nesta direção posiciona-se Arretche (2009) ao relacionar as tendências de avaliação de políticas públicas, em especial das políticas sociais, ao classifica-las em avaliação da eficiência, da eficácia e da efetividade.

A avaliação da eficiência está associada ao esforço empregado na implementação de uma dada política e os resultados alcançados, numa perspectiva de racionalização de gastos e sob o impulso de vários fatores, dentre eles a escassez de recursos públicos e a demanda crescente do público a ser atendido pelas políticas.

Na avaliação da eficácia, em que se relacionam os objetivos e instrumentos de um programa a seus resultados a autora a caracteriza como a tipologia mais utilizada nas avaliações de políticas e programas públicos, em que são exigidas pesquisas de campo para reconstituir e aferir o seu processo de implantação e/ou implementação.

Por avaliação da efetividade a pesquisadora atribui ao exame da relação entre a implementação de um determinado programa e seus impactos, correlacionando-os ao seu efetivo sucesso ou fracasso, na medida em que busca mensurar as mudanças concretas nas condições sociais do público alvo do programa. Esta tipologia, de aplicabilidade mais difícil e rara, por envolver relações complexas e rigorosas de causalidade, é pouco utilizada e, por

conseguinte pouco estudada pelas equipes governamentais responsáveis pela execução de políticas e programas públicos.

A avaliação, para Cohen & Franco (1999), é parte inerente ao processo de planejamento da política não devendo ser concebida como uma atividade isolada e auto- suficiente; e apontam para duas modalidades aplicáveis em função do momento e dos objetivos de sua realização para fundamentar decisões: avaliação ex-ante (análise prévia de ambiente, alternativas e custos) e avaliação ex post (análise quantitativa e qualitativa durante ou após a execução da ação).

Quanto aos agentes realizadores da avaliação os autores apresentam uma tipologia formada por quatro tipos de avaliação: avaliação externa, aquela realizada por especialistas contratados, não vinculados à instituição; avaliação interna, a que se realiza por gestores da própria instituição; a avaliação mista, que envolve agentes externos e internos; e a avaliação participativa, a que envolve a participação dos beneficiários no processo.

Aguilar e Ander Egg (1994) em sua análise, adotam as tipologias elencadas por Cohen & Franco, e denominam de autoavaliação àquela realizada por gestores diretamente envolvidos na execução do programa.

Esses autores fazem a distinção entre avaliação e acompanhamento, atribuindo ao acompanhamento o exame contínuo ou periódico do processo de execução de uma atividade, efetuado pela administração, em todos os seus níveis hierárquicos.

Nesta perspectiva, entendemos que o acompanhamento ou monitoramento é uma atividade gerencial interna, de cunho técnico, realizada no decorrer da execução do programa ou projeto para assegurar o cumprimento dos objetivos, metas, prazos e outras ações necessárias ao desenvolvimento do plano traçado de implementação.

Sulbrandt (1994) em contraposição à concepção tradicional que considera a avaliação como última etapa do ciclo da política social incorpora uma concepção renovada de avaliação, como “instância de aprendizagem”; pois além de conceber melhorias e ajustes no desempenho do programa em desenvolvimento, permite por meio da pesquisa avaliatória, proceder a um exame sistemático e rigoroso das atividades, com base em critérios e metas pré-determinadas, e dos resultados e efeitos previstos na população alvo.

Nesta mesma direção seguem as concepções de Cohen e Franco ao afirmarem que complementarmente, a avaliação tem sido caracterizada como “um meio sistemático de aprender empiricamente e de analisar as lições aprendidas para o melhoramento das atividades em curso [...] (COHEN e FRANCO, 1999, p.77).

As formas clássicas de avaliação de programas podem ser agrupadas, segundo Sulbrant (1994) em três metodologias básicas: a avaliação de processos, a avaliação de metas e a avaliação de impacto; essas duas últimas constituindo a avaliação de resultados.

A avaliação de processo é, na concepção do autor, a modalidade de avaliação que investiga de forma sistemática o desenvolvimento do programa, com o propósito de verificar a compatibilidade entre o previsto e o realizado, e para medir a cobertura do alcance da população beneficiária da ação.

Tem como objetivo principal detectar possíveis defeitos e falhas nos procedimentos operacionais, identificar obstáculos à sua implementação e gerar informações importantes para o alinhamento e adequação de conteúdo, de metas, objetivos e estratégias com vistas ao alcance dos resultados (eficácia).

Para Barreira, “essa modalidade de avaliação que se realiza simultaneamente com o desenvolvimento do programa, é também chamada de avaliação formativa, conceito introduzido por Michael Scriven em 1967” (BARREIRA, 2002 p.44).

Cano (2002) referencia Michael Scriven como o autor que estabeleceu a primeira distinção clássica entre avaliação formativa e avaliação somativa. Enquanto a primeira se debruça sobre um programa em andamento com o objetivo de aperfeiçoá-lo; a segunda dedica-se à gerar conclusões sobre os efeitos do programa, o alcance (ou não) de seus objetivos e propósitos.

O mesmo autor relaciona, a moldes de Cohen e Franco (1999) a classificação entre a avaliação interna e externa, realizadas por equipes vinculadas ao programa e por consultores externos contratados, respectivamente; e atribui o desenvolvimento das avaliações somativas, em sua maioria aos agentes externos, e as formativas, em geral aos agentes internos.

Aguilar e Ander Egg (1994) consideram essas duas modalidades de avaliação (somativas e formativas) complementares, e determinam como condicionante da escolha de aplicação, o contexto ou a situação.

A avaliação de metas, assim como a avaliação de impacto ou avaliação somativa integram a modalidade de avaliação denominada por alguns autores como avaliação Ex- Post ou Post-Facto, em razão de sua realização após o encerramento total ou parcial do programa ou projeto.

A avaliação de impacto, na visão de Sulbrandt (1994), também chamada de avaliação de resultados, de efetividade, ou somativa, tem por objetivo mensurar o alcance dos resultados procurando identificar os efeitos produzidos pelas ações do programa sobre a população-alvo. Busca-se não só verificar a execução das atividades previstas, como também o atingimento

dos resultados finais esperados. O foco dessa modalidade de avaliação é identificar os efeitos, positivos ou negativos e as mudanças geradas pelo programa no público beneficiado.

Vasconcelos (2007, p. 34) ao diferenciar resultados de impacto, afirma:

diferenciar resultados e impactos é uma das primeiras tarefas do avaliador. Os resultados são constatados logo após a conclusão das atividades, ou seja, constituem o seu produto, enquanto os impactos reúnem um conjunto de fatores que mostram a consolidação das ideias propostas na intervenção, ligada a propósitos macrossociais, fazendo parte de uma agenda social. O desafio está em construir sinalizadores que permitam avaliar mudanças geradas por projetos, no sentido de incorporação dessas mudanças no modo de vida da comunidade.

A autora prossegue na afirmativa que:

para ser considerada instrumento de gestão faz-se necessário que a avaliação supere a visão burocrática, seja agregadora de conhecimento e passe a ser incorporada na cultura institucional, como apoio às fases de planejamento , do processo de execução e nos resultados previstos” (VASCONCELOS, 2007. p. 40).

Gomes amplia a visão técnica e instrumental até então referenciada ao defender a tese de que, além de uma dimensão técnica, a avaliação tem uma dimensão política, que deve ser resgatada no sentido de contribuir para garantir a efetivação e universalização dos direitos de cidadania, com adoção de princípios como a participação da população e a publicização (visibilidade pública) de seus resultados a toda a sociedade (GOMES, 2001 p.18).

Posição similar é defendida por Silva (2001), a partir da concepção etimológica do termo avaliação, que por envolver um julgamento valorativo, não é um ato neutro nem alheio às relações de poder, o que a torna uma ação política.

A autora atribui à pesquisa avaliativa três funções: uma função técnica, visto que fornece subsídios para corrigir desvios e promover ajustes na execução de políticas e programas, e indicação de meios para análise de resultados e impactos; uma função política, pois instrumentaliza os sujeitos sociais com informações necessárias à apropriação e efetivação dos direitos de cidadania (publicização e controle social); e por último, uma função acadêmica, que possibilita a construção de conhecimento, a partir de um conjunto de procedimentos científicos que possibilita o desvelamento das contradições presentes no processo de implementação das políticas públicas (SILVA, 2008, p.115).

Nesta perspectiva também se direciona a visão de Arretche (2009) ao considerar a impossibilidade da análise ou avaliação de políticas públicas acontecerem apenas de forma instrumental, técnica ou neutra, visto que envolve concepções valorativas, de natureza pessoal, político e ideológico.

Thoenig, na trilha conceitual similar à Sulbrandt (1993), introduz uma abordagem na definição de avaliação, numa perspectiva de ferramenta da aprendizagem:

a avaliação é definida como um meio de aperfeiçoar a capacidade de aprender como conduzir mudanças bem sucedidas e definir resultados alcançáveis nos campos da eficiência e eficácia públicas (...) dedicada à produção e análise de informações relevantes e pertinentes a respeito da relação entre os atos públicos, seus resultados e impactos (THOENIG, 2000, p.54).

Carvalho (2009) adota uma posição semelhante ao defender uma concepção totalizante da avaliação, na qual além dos resultados mensurados quantitativamente, atribuindo os benefícios ou malefícios, sucesso ou fracasso de uma política ou programa, faz-se necessário apreender igualmente a ação em seus processos, que possibilita a qualificação das decisões, dos resultados e impactos. Isto não se faz de forma isolada.

Na visão da pesquisadora, a avaliação de políticas e programas sociais porta um grau de complexidade e especificidades próprias, envolvendo intervenientes múltiplos (interesses, atores, objetivos, estratégias, recursos), que pressupõem um conjunto articulado de iniciativas intersetoriais e intergovernamentais no desenvolvimento da ação.

É neste cenário que a autora advoga a tese da avaliação participativa, modalidade que vem assumindo destaque na avaliação institucional e de programas sociais.

A avaliação participativa, surgida na esteira do método de pesquisa-ação12 traz em seu escopo conceitual e metodológico, por meio da investigação avaliativa, o envolvimento ativo e participante dos formuladores, gestores, técnicos e beneficiários no processo avaliatório de um programa. Assim, a objetividade almejada no processo avaliativo torna-se produto de uma construção coletiva, resultado de um “debate e triangulação entre os gestores, a comunidade mais próxima do programa e os especialistas” (CARVALHO, 2009 p.91).

Gurgel (2008) em artigo publicado sobre triangulação de métodos afirma que esta modalidade vem se tornando uma das propostas mais citadas no contexto da pesquisa avaliativa brasileira e atribui à Minayo et al. (2005) a definição do termo. O autor sintetiza o conceito de avaliação por triangulação de métodos:

em seu sentido genérico como um processo de fazer perguntas sobre o mérito e a relevância de determinado assunto, proposta ou programa, e, em seu sentido específico, o de fazer uma análise combinatória dos constituintes da pesquisa qualitativa e quantitativa. Uma investigação avaliativa híbrida, portanto (GURGEL, 2008 p.63).

12 _{A pesquisa-ação é um tipo particular de pesquisa participante e pesquisa aplicada que supõe intervenção}

Ao referenciar o conceito de avaliação de programas e projetos defendido por Minayo, enquanto processo que tem por propósito mais elevado o fortalecimento do movimento de transformação da sociedade em prol da cidadania e dos direitos humanos, Gurgel (2008) amplia suas reflexões , agregando ao conceito uma dimensão integrada ao processo sócio político.

Nesta perspectiva, nossa compreensão associa-se ao elenco de autores (Silva, 2001; Gomes, 2001; Minayo, 2005; Arretche, 2009; Carvalho, 2009), que advogam que a avaliação de programas públicos reúne em seu conteúdo substantivo elementos de ordem estrutural (objetivos, metas, recursos) e conjuntural (ambiente político, interesses, atores) que tornam seu caráter, além de técnico-instrumental também político.

Deduzimos, portanto, a partir dos conceitos apresentados, que a avaliação na gestão de programas públicos é um instrumento político-pedagógico-gerencial, de caráter processual, realizado em regime de coparticipação com os partícipes da ação, para auxiliar a tomada de decisão e aferir o desempenho de programas e projetos (resultados) na direção das mudanças necessárias em benefício dos usuários das políticas, programas e serviços públicos.

Nossa compreensão, portanto, do conceito de avaliação se expressa no seguinte enunciado: Trata- de um instrumento de apreensão de conhecimentos (aprendizagem), pois mais do que o controle, envolve uma aprendizagem a partir das falhas e dificuldades identificadas na execução de um programa. É aplicada estrategicamente para aperfeiçoar e alinhar diretrizes conceituais e metas de atendimento, na instância político-institucional; e procedimentos de gestão, técnicas e métodos de trabalho, a nível gerencial.

Grosso modo, seu objetivo mais abrangente é promover mudanças nas políticas, nos programas e nos procedimentos de gestão, na perspectiva da eficácia dos resultados aos seus beneficiários. No caso em questão, o sucesso do Programa BIA tem como parâmetro de avaliação a consolidação do acesso, da permanência e da conclusão do curso em tempo regular da população alvo do programa.

Esse entendimento, a nosso ver, contribui para modificar uma visão míope e equivocada existente na cultura organizacional, baseada no controle e no cumprimento de normas, o que para Sulbrant (1994), representa uma limitação ao uso mais frequente dessa ferramenta gerencial no setor público.

Apoiamo-nos ainda, na visão de Carvalho (2005) ao considerar a avaliação sistemática e contínua como valioso mecanismo de democratização da gestão pública, ao oferecer informações substantivas que possibilitem o exercício do controle social, o que torna transparente e aberto à organização, aos usuários e à comunidade os resultados dos

programas, serviços e ações desenvolvidos. “É, assim, um serviço efetivamente público”. (Carvalho, 2005 p.55)