CAPÍTULO 1. O SETOR CULTURAL NO BRASIL
1.4. Avaliação de Resultados no Setor Cultural
É crescente a demanda do setor cultural no sentido de que os tomadores de decisões arbitrem as alocações de recursos de maneira racional e quantificada para justificar democraticamente suas escolhas perante os cidadãos. Num período de expansão econômica geral, as coisas funcionam normalmente, mas o mesmo não acontece em um período de crise ou instabilidade econômica. Isso porque é nesses momentos difíceis que se percebe a falta de instrumentos de diálogo e de convicção (TOLILA, 2007, p. 18).
Este processo afeta diretamente as instituições culturais que precisam encontrar uma forma de legitimar sua existência e provar seu valor em um mundo onde quantificar resultados é fundamental. Sem informações detalhadas de suas atividades e desempenho, a captação de recursos, que já é bastante complicada, torna-se ainda mais difícil.
Assim, as instituições culturais, bem como outras organizações sem fins lucrativos, estão percebendo que para gerir uma organização é necessário haver uma estratégia bem definida e um sistema de indicadores que possibilite o acompanhamento do sucesso ou fracasso da estratégia adotada.
Normalmente a avaliação de desempenho foca na eficiência gerencial e em indicadores financeiros enquanto omitem indicadores e critérios que avaliam o valor cultural. Considerando o seguinte exemplo hipotético: o projeto A atinge 90% de taxa de presença e alta satisfação do cliente, enquanto o projeto B consegue apenas 50% de presença e não atinge a mesma taxa de satisfação. Claramente, por uma perspectiva operacional, o projeto A obteve melhores resultados. Entretanto, uma explicação mais detalhada mostra que o projeto A consiste em um espetáculo musical de um famoso artista, enquanto o projeto B é voltado para ampliar o acesso à cultura dos menos favorecidos. A avaliação não deveria refletir também esses fatores? (YOSHIMOTO, 2005).
Isso não significa que as instituições culturais devam ignorar as formas de avaliação tradicionais. O projeto B teve uma taxa de presença muito baixa e poderia obter um resultado superior se conseguisse ampliá-la.
Um bom sistema de indicadores de desempenho que contribua para a gestão de instituições culturais deve contemplar tanto valores culturais quanto a eficiência e eficácia gerencial, o que torna a tarefa mais complicada.
Yoshimoto (2005) apresenta uma pesquisa realizada pelo JAFRA (Japan Foundation for Regional Art-Activities) com governos locais que mostrou que, apesar deles reconhecerem a necessidade de avaliar instituições culturais, quase 80% deles têm problemas ao definir indicadores de desempenho adequados e métodos (Gráfico 6).
Gráfico 6 – Problemas ao Avaliar Instituições e Administrações Culturais
0 10 20 30 40 50 60 70 80 %
Autoridades não alocam tempo e pessoas para avaliações adequadas
Não é possível a colaboração de avaliações na área de saúde e educação
Não é possível aplicar avaliações administrativas de outras áreas
Resultados das avaliações não correspondem às
medidas do orçamento
Autoridades desconhecem a necessidade de
indicadores e métodos
Experiência é escassa para avaliações objetivas Dificuldade de definir indicadores apropriados e
métodos
Nota: Considera as sete primeiras respostas dos governos locais.
Fonte: JAFRA, Study to Improve the Policy Evaluation of Public Cultural Institutions (March 2005) in YOSHIMOTO, Mitsuhiro. The Evaluation of Cultural Institutions and Polices – Toward a Framework for Creative Evaluation. NLI Research, 2005. Traduzido pelo autor.
Matarasso (1996, p. 25) sugere um processo de cinco estágios para que um projeto cultural seja desenvolvido e tenha seu impacto avaliado:
1 – Planejamento: o primeiro estágio é estabelecer uma parceria entre os stakeholders e identificar os problemas, necessidades ou aspirações que serão trabalhados.
2 – Indicadores: definidos os objetivos e as estratégias para alcançá-los, deve-se decidir como saber quando os objetivos foram atingidos. Nesta fase, deve-se planejar como coletar as informações necessárias.
3 – Execução: neste estágio, todos os envolvidos no projeto saberão o que está sendo feito, o porquê, e como os resultados serão avaliados, e terão dado seus consentimentos a isto.
4 – Avaliação: ao término do projeto, evidências suficientes a partir do processo de monitoramento deverão estar disponíveis para serem comparadas aos indicadores escolhidos.
5 – Relatórios (prestação de contas): os diversos stakeholders podem discutir suas diferentes avaliações, identificando os pontos em comum e as discrepâncias entre elas. O relatório é essencial para fechar o projeto. O estágio final pode então se transformar no primeiro estágio do próximo ciclo do processo.
O segundo estágio, ou seja, a definição de indicadores, deve ser analisado com especial atenção. Se os indicadores forem mal definidos, os processos de avaliação e prestação de contas ficam comprometidos.
Para Pfenniger (2004), um indicador é uma estatística que foi processada com a finalidade de entregar uma informação específica. A autora afirma que um indicador que avalie questões culturais deveria ter, ao menos, as seguintes características:
• Ser confiável.
• Periodicamente atualizado.
• Claro.
• Comparável no tempo e no espaço.
• Acessível e relevante para a política cultural.
Sabendo quais devem ser as características dos indicadores, a próxima pergunta que surge é: o que medir? Para Pignataro (2003), as atividades artísticas possuem dois aspectos
distintos que são passíveis de serem mensurados. Ele os chama de “output” e “outcome”, que podem ser traduzidos, respectivamente, como indicadores de “produção” e “resultado”.
O output, ou produção, é o produto direto das atividades de uma instituição cultural, que é obtido por meio da combinação dos recursos disponíveis a essa instituição. O outcome, ou resultado, é representado pelo objetivo primordial da produção artística, normalmente em termos dos impactos e benefícios gerados. Os outputs das artes são relativamente fáceis de identificar, uma vez que são os produtos específicos de cada produção. Já os outcomes, por serem de natureza mais subjetiva, requerem maiores esforços na tentativa de identificá-los. (PIGNATARO, 2003).
Enquanto indicadores de produção são obtidos a partir de dados normalmente coletados por qualquer organização de uma maneira mais ou menos igual (custos, presença, número de apresentações, etc), a fonte dos dados para os indicadores de resultado são mais subjetivas, já que tendem a refletir a percepção dos indivíduos.
Pignataro (2003) adverte que os indicadores de desempenho devem ser utilizados com grande cautela. Eles fornecem apenas uma parte da informação necessária para a tomada de decisão, que deve ser utilizada em conjunto com outras informações relevantes e úteis para interpretar os resultados dos projetos.
Embora diferentes conceitos tenham sido desenvolvidos para avaliar o sucesso em situações onde o lucro não é o principal objetivo, como no caso de muitas instituições culturais, a questão do que é efetivamente percebido como sucesso e quais fatores influenciam a percepção do sucesso, ainda não foi plenamente respondida e pode ter respostas distintas em função de cada contexto cultural (ABFALTER; MIRSKI, 2005).