Dimensões da utilização

Para Shulha e Cousins (1997), a utilização é um fenômeno multidimensional, melhor descrito pela interação de três dimensões, segundo os propósitos da avaliação: instrumental, conceitual (enlightenment) e simbólico (ou político), que são os tipos clássicos de utilização.

A dimensão instrumental, definida por Rich e segundo Leviton e Hughes (1981), diz respeito aos casos onde os resultados da avaliação são utilizados diretamente para tomada de decisão ou para solução de problemas relacionados aos achados reportados nas avaliações.

Esse tipo de utilização atende a uma das premissas básicas da avaliação, influenciar, direta e imediatamente, as decisões com base nos achados identificados. No entanto, segundo Weiss, “Muitos estudos não são utilizados dessa forma, haja vista que os tomadores de decisão são influenciados por uma série de outros fatores, como, por exemplo, as expectativas dos participantes do programa e seus gestores, o apoio dos financiadores, as demandas do poder, os custos da mudança, a capacidade de realização, dentre outras, que acabam por frustrar a sua utilização imediata” (WEISS et al., 2005, p. 13, tradução nossa).

No entanto, ainda segundo Weiss, o uso instrumental é comum sob três condições: i) se as implicações dos achados não forem controversas, nem provocarem rupturas na organização, tampouco produzirem conflito de interesses; ii) se as mudanças que serão implementadas estiverem dentro do repertório existente do programa e forem relativamente em pequena escala; e, iii) se o ambiente do programa for relativamente estável, sem grandes mudanças na liderança, orçamento, tipo de clientes ou público atendido.

Já a dimensão conceitual ou “enlightenment” ocorre quando os resultados das avaliações são utilizados para influenciar a opinião de pessoas sobre determinado

programa ou política e/ou para introduzir novo conhecimento, idéia ou conceito, que são posteriormente utilizados para fundamentar opiniões e propostas, sem que exista qualquer ação ou decisão direta e imediatamente vinculada aos resultados das avaliações (WEISS, 1998a).

Alguns autores têm tratado a dimensão conceitual como educacional, aprendizado organizacional (FELDMAN, 1989 apud WEISS et al., 2005) ou processo cognitivo (COUSINS; LEITHWOOD, 1986 apud WEISS et al., 2005). Outros teóricos têm evidenciado, em pesquisas e avaliações, que a dimensão conceitual tem sido a mais efetiva forma de influenciar a política (ANDERSON; BIDDLE, 1991; BAKLIEN, 1983; BALLART, 1998; BIENAYME, 1984; BULMER, 1987; HUSEN; KOGAN, 1984; RADAELLI, 1995 apud WEISS et al., 2005). Segundo Weiss, quando os achados das avaliações são introduzidos na arena decisória, direta ou indiretamente, algumas vezes e a longo prazo, passam a se constituir em um novo conhecimento comum (WEISS et al., 2005, p.14).

A dimensão simbólica (ou política), por outro lado, é utilizada para legitimar decisões ou posicionamentos preexistentes. A avaliação pode ser utilizada para justificar decisões que seriam tomadas de qualquer forma. Nesta dimensão, a avaliação serve como instrumento de persuasão (WEISS et al., 2005; WEISS, 1998a).

Uma quarta dimensão tem sido apresentada na literatura, denominada uso no processo (process use), atribuída a Patton, em decorrência da aplicação da teoria focada na utilização (utilization-focused evaluation), que enfatiza o efeito da participação (e envolvimento) durante o processo de avaliação, sendo distinto do uso dos achados. Esse modelo tem como premissa realizar avaliações úteis com base nas intenções de uso para os interessados na utilização (intended use by intended users). O uso no processo se refere as mudanças cognitivas, de atitude e de comportamento resultantes da participação na avaliação, incluindo o aprendizado individual, assim como os efeitos no funcionamento do programa e na cultura organizacional.

No entanto, Weiss a considera muito mais uma fonte de uso do que propriamente uma nova dimensão. Aliás, para Weiss, as dimensões clássicas parecem capturar muito da experiência empírica e prática. Pois, o que se observa é que o uso no processo explicita a idéia que tem estado implícita por muito tempo, mas não é paralela às outras três dimensões. O uso conceitual serve para a compreensão, o uso político subsidia e justifica a adoção ou não de determinada ação e o uso no processo nos fala

como a avaliação influencia as ações no decorrer da sua realização (WEISS et al., 2005).

Para acomodar a complexidade desse construto, Kirkhart (2000) propôs três dimensões para caracterizar a influência: fonte (processo e resultados), intenções (intencionais e não intencionais) e tempo (durante, ao término da avaliação ou no futuro); cujo modelo, segundo Weiss é uma forma de integrar o uso no processo (fonte) com outros aspectos da utilização (intenção e tempo).

Recentemente, outros pesquisadores têm defendido que o objetivo final da avaliação deveria ser a melhoria das condições sociais (social betterment), especialmente para os beneficiários dos programas sociais, mediante a determinação do bem comum, da seleção e adaptação do curso de ação (CHRISTIE, 2007; HENRY; MARK, 2003; MARK; HENRY, 2004; MARK; HENRY; JULNES, 1999 apud LAWRENZ et al., 2007). Para tanto, Mark e Henry (2004) propuseram um modelo teórico de avaliação influente estruturado a partir do modelo lógico proposto por Cousins (2003, apud MARK; HENRY, 2004), considerando as entradas (inputs), que se referem tanto ao contexto da avaliação, como ao da decisão/política; as atividades inerentes à avaliação; os produtos (outputs) gerados pela avaliação e os mecanismos mediante os quais se proporciona a integração desses produtos aos resultados intermediários e de longo prazo, com vistas ao alcance do objetivo maior da avaliação, que é a promoção da melhoria social.

Tem-se, portanto, que para que os propósitos sejam alcançados, é necessário que a avaliação seja concebida com foco na utilização dela esperada, quer seja para a tomada de decisão, para o aprendizado ou para a promoção da accountability. Nesse sentido, as práticas avaliativas devem ser planejadas, orientadas e conduzidas para atender, tempestivamente e de forma adequada, as necessidades previamente identificadas dos atores que farão uso das informações e conhecimentos produzidos, sendo esse o quarto critério proposto por Leeuw e Furubo (2008) para caracterizar os sistemas de avaliação.

Assim, em vista da literatura apresentada neste Capítulo, pode-se inferir que quatro dimensões de análise devem ser consideradas para examinar os sistemas de avaliação: demandas avaliativas, oferta (produção de conhecimento avaliativo), capacidade de aprendizado organizacional e utilização. Desta forma, propomos, a seguir, o referencial conceitual a ser utilizado no modelo para análise das mencionadas

3 MODELO ANALÍTICO

Conforme evidenciado no capítulo anterior e segundo Suarez-Balcazar e Taylor- Ritzler (2013, p.95), a literatura sobre capacidade avaliativa tem sido orientada para as seguintes questões: o que é capacidade avaliativa? Como implementá-la? Como avaliar a sua implementação? E, qual o seu impacto? A primeira questão busca definir e conceituar; a segunda, trata do processo; a terceira de mensurar, e a última, dos resultados. No entanto, ainda segundo as mencionadas autoras, para avançarmos neste campo do conhecimento é preciso fazer uma forte conecção entre ciência e prática.

Nesse sentido, para investigar o nível de implementação da capacidade avaliativa dos órgãos governamentais no Brasil, de forma a caracterizar os sistemas de avaliação de programas governamentais e examinar para que propósitos as informações por eles produzidas são utilizadas, cabe incialmente apresentar a definição de sistema de avaliação, construída com base na revisão da literatura apresentada no capítulo anterior.

Definição de sistemas de avaliação:

sistemas de avaliação são caracterizados por meio dos mecanismos que definem um fluxo regular e contínuo de demandas, que orientam um conjunto de práticas avaliativas formalizadas, estruturadas e coordenadas, com vistas a produzir tempestivamente informações para influenciar os processos decisórios e de aprendizagem, com o objetivo de contribuir para o aperfeiçoamento da governança e da accountability dos programas e políticas públicas.

FIGURA 7– MODELO DE ANALISE DOS SISTEMAS DE AVALIAÇÃO FONTE: a autora

Assim, tomando por base os fundamentos teóricos apresentados, o modelo para exame dos sistemas de avaliação contempla as seguintes dimensões de análise:

i. Demanda: trata dos contextos externo e interno no qual as demandas por avaliação são formuladas. Nesta dimensão as variáveis a serem identificadas dizem respeito ao contexto organizacional (político- administrativo), externo e interno, onde as demandas por avaliação surgem, se estruturam e delimitam os propósitos dos sistemas de avaliação, por meio da definição do que avaliar (objeto), para que avaliar (objetivos) e para quem (interessados nas avaliações);

ii. Oferta (produção de conhecimento): trata dos arranjos, ou seja, da estruturação dos processos e organização dos meios para executar as atividades avaliativas, que pode ser depreendida como capacidade avaliativa. Nesta dimensão as variáveis a serem investigadas se referem à definição e disseminação, no âmbito da organização, das práticas avaliativas instituídas; ao suporte organizacional, em termos da formação e capacitação dos profissionais responsáveis pela execução das atividades avaliativas; da formalização das práticas avaliativas, mediante

a definição de responsabilidades, rotinas e instrumentos, assim como da alocação dos meios necessários à execução das atividades;

iii. Capacidade de aprendizado organizacional: conjunto de condições internas da organização e de práticas gerenciais que se relacionam ao aprendizado organizacional aplicado para alcançar os objetivos da organização.

iv. Utilização: trata-se da investigação dos mecanismos que favorecem a utilização das informações produzidas pelas atividades avaliativas, para que efetivamente o conhecimento necessário seja gerado e decisões sejam tomadas, com vistas ao aperfeiçoamento da gestão e dos programas e políticas públicas.

Desta forma, para caracterizar os sistemas de avaliação a partir da investigação das práticas avaliativas existentes na administração pública no Brasil, as dimensões mencionadas serão desdobradas em construtos, com vistas a descrever, classificar e explicar como esses sistemas são estruturados e contribuem para que o conhecimento produzido possa ser apreendido e utilizado para o aperfeiçoamento de programas e políticas, conforme a seguir especificado.