Ao se discutir sobre os possíveis usos da avaliação, há uma conformidade na literatura sobre o denominado uso “instrumental”. A restrição a esse uso ocorre pela assunção da avaliação enquanto instrumento de planejamento, quando “partia-se da premissa que os resultados da avaliação seriam automática e necessariamente encampados pelos tomadores
de decisões para a melhoria da política ou do programa em questão”. Com a ampliação das pesquisas para investigar os determinantes do uso da avaliação surgem concepções mais abrangentes e multidimensionais que abarcam novas dimensões de uso, a exemplo da instrumental, conceitual e simbólica, propostas por Shulha e Cousins (1997).
Ao tomar como referência os usos da avaliação encontrados na literatura (FREITAS, 2012; DANTAS, 2009; WEISS, 1998; PATTON, 1997; SHULHA; COUSINS, 1997; TIANA FERRER, 1997; LEVITON; HUGHES, 1981), verifica-se que estes não se limitam ao caráter instrumental. Ao contrário, como fenômeno multidimensional, é melhor descrito pela interação de várias dimensões, instrumental (função de apoio a decisão e solução de problemas), conceitual (função educativa) e simbólico (função política), como afirmam Shulha e Cousins (1997). Não se trata de um conceito unitário, existem diferentes tipos de categorias de utilização que podem ser distinguidas com base nos seus propósitos. De modo similar, Weiss (1998, p.23-24) aponta quatro tipos de uso da avaliação: uso instrumental para tomada de decisão; uso conceitual; uso como instrumento de persuasão; uso para esclarecimento, conforme se apresenta a seguir:
- Uso instrumental para tomada de decisão requer uma pesquisa bem delineada associada à divulgação dos resultados. Trata-se de um uso bastante comum, em pelo menos quatro condições:
(i) em que as implicações das descobertas não são muito controvertidas; não envolvem grandes mudanças ou conflitos de interesses;
(ii) se as alterações que estão implícitas são dentro de repertório existente no programa e são relativamente pequenas;
(iii) se o ambiente do programa é relativamente estável, sem grandes mudanças na liderança, orçamento, tipos de clientes atendidos ou apoio público;
(iv) quando o programa está em crise e não se sabe o que fazer.
- Uso conceitual diz respeito ao acesso dos resultados pelos técnicos envolvidos com o programa, que não têm poder de decisão para implementar as conclusões. Promove o conhecimento dos pontos fortes e fracos e do próprio processo avaliativo produzindo um aprendizado, o que pode favorecer a insights, ideias. Leviton e Hughes (1981) apresentam pesquisas que indicam que o uso conceitual pode levar à utilização instrumental em um momento posterior, entretanto constatam que as pesquisas realizadas não comprovam se isto de fato ocorreu. Há evidências de que se utilizou a informação para contextualizar ou servir
de base para tomar decisões. Os autores citam os achados da pesquisa de Rédea e White (1975) sobre a dificuldade em determinar onde termina o uso conceitual e começa o instrumental, uma vez que os problemas no governo são definidos gradualmente ao longo do tempo, e eventualmente, decisões são tomadas com base em um conjunto integrado de informações de várias fontes.
-Uso como instrumento de persuasão para mobilizar apoio para os decisores que já sabem as mudanças necessárias, trata-se de uma situação com a intenção de legitimar a posição adotada e ganhar adeptos. Leviton e Hughes (1981) consideram esta opção como o uso das evidências da avaliação na tentativa de convencer os outros para apoiar uma posição. A diferença entre uso persuasivo e as outras duas categorias acima é que uso persuasivo envolve influência interpessoal, obtendo apoio de outros para dar continuidade com as implicações da avaliação. Os autores apontam a pesquisa de Knorr (1977) que denomina esta categoria de uso de “decisão legitimada” como única que fornece evidência quantificada, na qual os entrevistados indicaram o uso para legitimar políticas que tinham a intenção de implementar. Citam ainda Pelz (1978) e Young e Comptois, (1979) que denominam de categoria “simbólica”.
- Uso para esclarecimento de avaliações além do objeto de estudo do que acarreta impacto sobre determinados grupos. Considera-se o uso por ideias ou insights decorrentes das avaliações, mesmo se não se aplicam resultados específicos. Cousins e Leithwood (1986) propõem uma concepção mais básica de utilização da avaliação, na qual o mero tratamento psicológico dos resultados da avaliação constitui o uso, sem necessariamente informar decisões, implicar em ações ou mudar o pensamento. Nesse caso, a simples leitura dos relatórios e conhecimento dos resultados pode ser admitida como uso.
Faria (2005) argumenta sobre a capacidade inovadora e importância das categorias apresentadas por Weiss, reconhecendo-o como um avanço na proposta apresentada por Floden e Weiner (1978), cuja idealização revela o uso da avaliação como mecanismo para “resoluções de conflito”, “redução de complacência”, e como “ritual”. Este último, com a função de diminuir as preocupações do público interessado passando uma imagem de racionalidade, eficiência e prestação de contas.
Tem despontado uma corrente de autores28 que discorre sobre o rito da avaliação, do mesmo modo a prática do planejamento é admitida como uma atividade de mera formalidade. Constatam a existência de organizações que realizam tais procedimentos para cumprimento do marco regulatório, mesmo com investimento de tempo e recursos acabam apenas por gerar bonitos documentos que serão arquivados. Mais do que no setor privado, sem isentá-lo dessa prática, no setor público, há uma miríade de fatores que podem colaborar para esta ocorrência - a complexidade das instituições, as normas e orientações recebidas, a cultura organizacional, a disseminação dos resultados, a morosidade entre a avaliação, decisão e ação são alguns exemplos que podem incorrer em uma prática ritualizada tanto da avaliação quanto do planejamento, em lugar de configurarem como instrumento de autoconhecimento e sistematização das estratégias para o desenvolvimento institucional.
Discorrendo sobre avaliação educacional, Vianna (2005) enfatiza que:
A avaliação não é um valor em si e não deve ficar restrita a um simples rito da burocracia educacional; necessita integrar-se ao processo de transformação do ensino/aprendizagem e contribuir, desse modo, ativamente, para o processo de transformação dos educandos (VIANNA, 2005, p.16).
A afirmação do autor guarda similaridade com algumas práticas de avaliação e planejamento em instituições de ensino. Todavia, a experiência da pesquisadora no setor público e participação em fóruns da Rede Federal e por ocasião da pesquisa do Mestrado foram evidenciadas que algumas das IES pesquisadas esperam mais da autoavaliação institucional. A pesquisa também revelou que as instituições têm envidado esforços para obter a participação ativa dos membros da comunidade. Nesse contexto, acredita-se que demonstrar a efetividade de cada um dos processos poderá colaborar para instaurar a tão sonhada “cultura de avaliação” e também, a de planejamento.
Para Tiana Ferrer (1997, p.10), os usos são classificados, ainda, em individual, institucional e sistêmico. Ao discutir o tratamento e o uso da informação na avaliação, reflete sobre sua importância e complexidade na obtenção dos resultados da avaliação e destaca
28Para discussão teórica sobre o rito, vide dentre outros autores: Carlos A Pimenta Faria e Cristina Almeida Cunha Filgueiras
(2003) que discutem a utilização dos resultados do Saeb; Robert Floden e Stephen Weiner (1978) com o artigo sobre a “Rationality to ritual: the multiple roles of evaluation in governmental processes”; Licínio C. Lima (2009) que discute a ritualização da avaliação e participação nas escolas públicas de Portugal.
quatro aspectos, aos quais atribui especial relevância: a) a questão da utilidade da avaliação, apresentando uma abordagem de caráter conceitual e reflexivo, centrando-se nas funções que ela pode desempenhar; b) a utilização da informação procedente da avaliação, tendo o fluxo da informação como um processo contínuo, compreendido de maneira global nas várias fases da avaliação; c) o uso comparativo da avaliação, destacando, dentre outros problemas, o da comparação justa e do valor agregado da educação; e d) a difusão dos resultados da avaliação, estratégias e meios de comunicação, muito além da entrega ou eventual publicação do relatório final da avaliação, passa a ser considerada uma atividade ampliada e que exige diversos recursos comunicacionais (ARGOLLO, DÉCIA, 2011).
Retomando os usos apontados por Weiss (1998), cada um remete a situações aplicáveis na gestão das IES e nas práticas avaliativas, para além da importância enquanto conhecimento dos resultados, que impacta também pela própria ocorrência do processo, como relata Dantas (2009, p.76):
Weiss é sábia ao reconhecer que nem sempre as condições de contexto político são estáveis o suficiente para garantir esse uso, mas que há outros importantes efeitos da avaliação, observáveis no longo prazo e nem sempre atrelados ao uso instrumental.
Em que pese a imputabilidade (ou não) dos avaliadores pelo uso direto da avaliação, seus estudiosos ampliaram o leque de interesses: em lugar de restringir o uso à fase dos resultados (ou achados), passam a observar, por exemplo, outras etapas de utilização, como o planejamento, a implementação e finalização de uma experiência avaliativa. Segundo Weiss (1998), são vários os elementos da avaliação usados: os achados (resultados), as recomendações (se e quando existentes), as idéias e generalizações, o processo, a discussão.
Há também que relatar fatores enfrentados nas organizações que podem obstaculizar a utilização dos resultados, conforme alguns citados por Weiss (1998): conflito de interesses entre unidades do programa; mudanças na equipe, quando ingressam novas pessoas e tem prioridades diferentes daqueles em vigor quando a avaliação foi iniciada; rigidez de regras organizacionais e procedimentos operacionais que podem impedir a adoção das recomendações sugeridas pela avaliação; mudanças no ambiente externo, tais como cortes no orçamento ou mudanças no quadro político, tornando a organização incapaz de responder à necessidade de mudança revelada pela avaliação.
Uma breve discussão sobre uso da avaliação revela que tanto o contexto quanto o processo, incluídos os responsáveis pela avaliação, decisores e usuários, importam, assim
como os resultados, visto que todo o conjunto organizacional e seu ambiente externo influenciam no tipo de uso e na assunção dos resultados e adoção das recomendações.
Assim, com base na classificação apresentada e na discussão podem-se delinear os possíveis usos da avaliação. A literatura sobre usos da avaliação se apoia em autores estrangeiros, na sua maioria, os quais vão admitir ainda o não uso e uso indevido. Sem desconsiderar a possibilidade de ocorrência de qualquer um deles no cotidiano das IES, mas considerando o escopo e interesse da pesquisa, será analisado com prioridade o uso instrumental para tomada de decisão.
Nessa perspectiva, faz-se a inserção de uma seção sobre tomada de decisão para configurar no âmbito da gestão das instituições que o processo decisório busca minimizar a incerteza ao limitar e analisar as alternativas das decisões futuras. Todavia, não há pretensão de dar conta da literatura e complexidade que reveste a temática, muito menos demarcar exatamente um ponto em que a decisão acontece. Na medida do possível, busca-se apoiar a investigação para identificar esta possibilidade de uso que permita esclarecer sobre os decisores e sua ocorrência na articulação dos processos.