Sobre modelos de avaliação

São inúmeras as formas de avaliar programas e serviços e é corrente nos autores sobre o tema da avaliação de que existem tantas formas de avaliar quanto o número de avaliadores. Silva e Formigli (72), na década de 90, já identificavam que havia poucos “acordos de grupo” no campo da avaliação, em função da diversidade terminológica e de modelos. Furtado (62), ainda mantém esta análise da diversidade e da dificuldade de categorizações e classificações de consenso neste campo.

Há também uma enormidade de tentativas de classificação ou tipologização das formas de avaliação, de acordo com seus objetivos, posição do avaliador, enfoque priorizado, metodologia dominante, principais atributos, entre outros critérios (62, 65, 66, 67,72).

Uma primeira distinção importante parece ser a demarcação dos grandes campos avaliativos. Adotaremos duas abordagens, para efeito da discussão que se pretende nesta pesquisa.

Novaes (66) a partir de uma revisão da literatura internacional especializada produzida nos anos 90 identifica os critérios nucleares que organizam os processos de avaliação. Segundo esta autora, é possível identificar três grandes tipos de avaliação, a partir da combinação de critérios: pesquisa de avaliação ou investigação avaliativa, avaliação para decisão e avaliação para a gestão.

61

Na pesquisa de avaliação o objetivo principal é a produção de conhecimento reconhecido academicamente e que poderá servir como orientador de decisão, quando este é o objetivo buscado. Geralmente estas pesquisas buscam a identificação do impacto das ações avaliadas e, quando possível, buscam estabelecer relações de causalidade. Tradicionalmente estas pesquisas eram predominantemente quantitativas, mas é crescente a inclusão de abordagens qualitativas neste campo, para avaliar o impacto do programa nas condições de vida da população (66).

Para a autora estas pesquisas, muitas vezes, são solicitadas por instâncias públicas com poder decisório na implementação e reorientação das macro-políticas, sendo preciso garantir um certo distanciamento dos pesquisadores para garantir o desenvolvimento adequado da investigação.

Se por um lado, é importante garantir certo “distanciamento” do pesquisador acadêmico, quando realiza pesquisas a partir de demandas de instituições (quer sejam públicas ou privadas) também é interessante o esforço de aproximação academia-gestão, para produção de conhecimento que seja de interesse e de utilidade da gestão pública.

Novaes (66) coloca esta questão como o “dilema da articulação entre produção de conhecimento e sua utilização, ou entre a prática científica e a técnica e a prática política” e relata que esta questão faz parte da história da Avaliação de Programas como prática institucional.

O Sistema Único de Saúde, sobretudo a partir do Ministério da Saúde, tem trabalhado na perspectiva de aproximação gestão-academia, a partir da percepção de que a pesquisa em saúde é fundamental para a formulação e aperfeiçoamento das políticas públicas e a melhoria das condições de vida da população (76).

Nesta vertente, pode-se citar o Programa Pesquisa para o SUS – PPSUS: gestão compartilhada em saúde (76), criado em 2004 que prevê o financiamento de pesquisas em temas prioritários para a saúde da população, na busca de um estreitamento entre as práticas do SUS e o desenvolvimento científico e tecnológico. Este programa também prioriza a “superação das desigualdades regionais em ciência e tecnologia em saúde” o que se mostra bastante pertinente em um país ainda com grandes concentrações de renda e de produção científica, sobretudo na região Sul-Sudeste.

62

Contudo, ainda é bastante atual o desafio de aproximação do campo da saúde pública ao universo da ciência, tecnologia e inovação e segundo o Guia do PPSUS (76), para que possibilite “pesquisas que gerem conhecimentos e tecnologias que venham a contribuir para a prevenção de agravos, a promoção, proteção, recuperação e reabilitação da saúde e a diminuição das desigualdades sociais, melhorando as condições de vida das pessoas”.

Há ainda a avaliação para decisão que tem como principal objetivo produzir subsídios e elementos sobre o objeto estudado, com profundidade necessária para sua adequada compreensão, identificação dos problemas e equacionamentos possíveis. Este tipo de avaliação trabalha com maior objetividade na produção de respostas às perguntas produzidas pelo estudo. O avaliador interno tem papel decisivo neste tipo de avaliação (ao contrário da pesquisa avaliativa) e os desenhos costumam ser mistos (quanti e quali) a considerar a complexidade dos objetos destas avaliações, tomados em seu contexto natural, além de serem relativamente abertos (66, 69).

Já a avaliação para a gestão, segundo Novaes (66) objetiva a produção de informação que contribua para o aprimoramento do objeto avaliado, em uma política ou condição que está dada. Não se trata então de buscar sua fundamentação ou justificativa e nem mesmo seu aprimoramento, mas a melhoria desta condição ou situação estudada. Geralmente utilizam-se metodologias quantitativas, podendo estar associadas a abordagens qualitativas. Estas avaliações são de cunho observacional e desenvolvidas em contexto natural ou mesmo na rotina administrativa, segundo Novaes (66). A informação produzida é priorizada para o desenvolvimento de indicadores e para a proposição de critérios ou normas a serem incorporadas no cotidiano do contexto avaliado. (p. 5)

Furtado (62) em revisão bibliográfica realizada sobre o tema da avaliação de programas e serviços de saúde indica a importância de se distinguir avaliação normativa, pesquisa avaliativa e pesquisa acadêmica. Sem buscar tipologias ou classificações próprias, o autor define que a avaliação normativa é feita corriqueiramente por aqueles que coordenam um programa ou serviço, e costumam ter forte componente gerencial. Além disto, é sustentada pelo pragmatismo do cotidiano e se baseia em normas e padrões pré- estabelecidos.

63

A pesquisa avaliativa e a científica têm ambas o intuito de imprimir rigor a seus procedimentos superando a simples opinião ou convicção. Mas a pesquisa científica busca conclusões a partir de uma questão elaborada no âmbito acadêmico, por um investigador que objetiva a produção do conhecimento. Entende-se que nesta pesquisa há maior grau de autonomia e evitam-se aspectos valorativos ou teleológicos (62).

A pesquisa avaliativa busca subsídios para a solução de problemas práticos, a partir de um investigador preocupado, desafiado por alguma situação problemática e para tomada de decisões – opera em um campo mais delimitado do cliente e necessariamente lança mão de amplo leque de disciplinas dada a complexidade dos programas que avalia. Além disto, ela não deve perder seu compromisso com a utilidade prática de seus produtos (62).

Outra distinção importante destacada pelo autor, no campo da avaliação, são as distinções entre abordagem somativa e formativa. Podem ser definidas da seguinte maneira:

- avaliação somativa: destinada à tomada de decisões sobre determinado programa com base em uma visão global dele (se será encerrado, continuado ou expandido). Habitualmente é endereçada a gestores e tem um foco importante no levantamento dos custos e dos resultados. Alguns críticos alegam que esta avaliação segue o modelo da caixa preta, pois avalia somente as entradas e saídas (produtos) de um serviço ou programa – mas tem sua importância para avaliar a pertinência de um programa.

- avaliação formativa: tem como objetivo aperfeiçoar um programa, com diagnóstico de suas fragilidades e vulnerabilidades – aqui os gestores e trabalhadores diretos, além de outros grupos de interesse devem estar envolvidos para superação dos problemas identificados.

Por fim, abordaremos a tríade “estrutura-processo-resultado”, de A. Donabedian (77), que se tornou clássica no campo da avaliação em saúde. Para este autor, a estrutura se relaciona aos recursos utilizados (físicos, humanos, materiais), que favorecem ou não os cuidados em saúde. A avaliação de processo inclui todas as ações realizadas pela equipe e pelo próprio paciente para a melhora da saúde. Inclui a identificação e a resolução de problemas, e para isto vários métodos podem ser utilizados (78). Por fim, a avaliação de resultados foca nas consequências da atenção oferecida pelos profissionais e pelos serviços na saúde de indivíduos e da população.

64

Esta tríade tem sido largamente utilizada pelo campo da avaliação e muitas vezes revisitada com alguns acréscimos. Mas segundo Silva e Formigli (72) há limitações na aplicação deste tipo de referencial, quando na avaliação dos serviços de saúde. Primeiramente as autoras questionam a homogeneização de fenômenos de natureza muito distinta englobados em um mesmo “rótulo” como, por exemplo, recursos materiais e humanos.

Além disto, as autoras questionam a pressuposição de uma “harmonia” ou “ordem” entre os componentes da tríade, que não se verifica na prática concreta dos serviços, ou seja, a estrutura não influi necessariamente no processo e este nem sempre tem relação com o resultado. Alegam também as dificuldades de se pensar este modelo em situações em que se desloca o foco do cuidado médico para níveis mais complexos de organização das práticas de saúde.

Apesar das críticas, ainda é uma classificação que tem forte influência nos processos avaliativos em geral, e por isto deve ser levada em consideração como um referencial mais global.

Conforme pode se constatar, são inúmeras as formas de classificar os tipos de avaliação, e muitas vezes estas tipologias servem mais para um conhecimento geral do campo do que para uma aplicação mais prática. A tomar as duas tipologias apresentadas pode-se identificar coincidências e divergências, porém, tem-se uma noção de que para avaliar é preciso definir, sobretudo: a) o que se quer avaliar (objetos); b) quais os objetivos da avaliação; c) como se quer avaliar (métodos) e d) a aplicabilidade dos resultados.