instituição (RISCAROLLI, 2007). Nesse sentido é necessário o envolvimento da administração superior:
Se o papel da captação for periférico, sua força será insignificante e pode cair no descrédito, transformando-se mais em estorvo do que em uma real ajuda para a instituição. Se esse mesmo papel for central na questão da sustentabilidade, então torna-se o principal agente de transformações desejadas na instituição. Assim, a captação passa a envolver e comprometer a todos, especialmente a alta administração,nas questões que sustentam suas atividades. (RISCAROLLI, 2007, p. 175)
Finalizando a apresentação do modelo de distribuição de recursos entre as IFES utilizando-se de reajuste incremental e por fórmulas, com uso de indicadores de desempenho entre as mesmas, nota-se que internamente ocorre essa metodologia. Como opção, é apresentada uma possibilidade de financiamento por meio de recebimento de doações. Para isso, é necessário o envolvimento e participação da administração superior das universidades, minimizando, assim, a escassez de recursos, tão necessários para continuidade de pesquisas, cuja atribuição cabe às Universidades Públicas, pois as mesmas já possuem as pesquisas instituídas e, inclusive, com capacidade física já estabelecida.
imprensa e da sociedade, e ao governo cabe o compromisso de resolver o problema (CAPELLA, 2006).
Segundo o Fundo das Nações Unidas para a Infância (UNICEF), avaliar é saber se determinada ação ou programa alcançou o objetivo proposto e se deve ser mantido (UNICEF, 1999).Para o Comitê de Assistência ao Desenvolvimento da Organização para Cooperação e Desenvolvimento Econômico (OCDE), avaliar tem a finalidade de determinar a abrangência dos objetivos, a eficiência, a efetividade, o impacto e a sustentabilidade do desenvolvimento. Pois a finalidade é subsidiar informações que propiciem a tomada de decisões e deve ser visto como uma possibilidade de melhorar a tomada de decisões acerca da política pública (ALA- HARJA e HELGASON, 2000).
Não há consenso sobre o conceito de avaliação de uma política pública, o que permite um emaranhado de terminologias, definições e conceitos. Para alguns autores, avaliar tem a finalidade de compreender o impacto da aplicabilidade de um determinado programa aliado aos objetivos propostos (ALA-HARJA e HELGASON, 2000; COSTA e CASTANHAR, 2003).
No Brasil, a tradição de avaliações é ainda incipiente, mas é notório que houve um boom em modelos avaliativos. O resultado pode interferir na continuidade ou não de um determinado programa. Avaliações são indicativos de uma política eficiente ou não, podem mascarar uma situação, apresentar resultados não esperados pelo gestor, e algumas podem inclusive causar constrangimentos ao órgão e/ou gestor responsável, apontando possíveis correções e ou suspensão do programa (COSTA e CASTANHAR, 2003).
Para fins de elucidação do processo de avaliação, a proposta de Ala-Harja e Helgason é apropriada, pois retrata as diferentes abordagens de avaliação e feedbacks, demonstrado a seguir:
Tabela 7 Diferença entre avaliação e outros mecanismos de feedback
Estudos científicos As avaliações se centram no uso prático da informação.
Auditoria tradicional As avaliações analisam os gastos públicos a partir de pontos de vista mais amplos, questionando, até mesmo, a propriedade dos objetivos do programa, bem como a eficácia e eficiência de sua satisfação (a distinção entre auditoria e avaliação geralmente não é clara).
Monitoramento As avaliações geralmente são conduzidas como parte de um esforço único e buscam reunir
informações aprofundadas sobre o programa em questão, embora a existência de sistemas regulares e eficientes de monitoramento seja necessária como base para o desenvolvimento de avaliações bem-sucedidas.
Mensuração de desempenho As avaliações procuram ir além: buscam encontrar explicações para os resultados observáveis e entender a lógica da intervenção pública (contudo, sistemas de mensuração de desempenho, se eficientes, podem caracterizar, sobretudo nos Estados Unidos, uma forma de avaliação).
Análise das políticas As avaliações estão centradas na análise ex post. Essa análise das políticas às vezes é definida como uma avaliação prévia, para o estudo de políticas possíveis no futuro.
Fonte: Ala-Harja e Helgason, 2002.
Costa e Castanhar (2003) apontam diferentes formas de avaliação de políticas públicas, sendo que em alguns casos isso se dá ex post facto, isto é, quando já foi concluído o processo e isso não agregará nenhum valor. No caso da avaliação de impacto é preciso identificar o impacto da aplicação em determinado grupo de pessoas, também é realizado após a execução da política; e, finalmente, avaliação de processos, que prevê medir a amplitude do programa, o grau de alcance do benefício e, principalmente, acompanhar a complexidade do programa.
Nessa metodologia é possível fazer ajustes ainda quando o programa está sendo implantado, pois é pressuposta a disponibilidade de dados gerenciais que fundamentaram esse trabalho.
No que se refere à posição do avaliador em relação ao que está sendo avaliado, Arretche (1998) defende a necessidade da neutralidade, e que órgãos e entidades alheios ao governo façam uma avaliação. Uma vez realizada por membros internos, pode não abranger a totalidade da política pública.
Concluindo, Costa e Castanhar (2003) apontam que, em função de diversos modelos avaliativos, é freqüente o uso de indicadores para auxiliar o processo.
Entretanto, é preciso cuidado, pois não basta gerar números, é necessário aprimorar resultados.
2.4.2 A avaliação nas IFES e na UFPR
A discussão sobre avaliação nas universidades federais é da década de 1960.
Até então, não havia preocupação com avaliações, pois de um lado havia o grupo de
catedráticos sem muito envolvimento com a universidade, de outro, acadêmicos que preferiam a universidade sem maiores cobranças, que visavam apenas o diploma no fim do curso. Em meio a esse cenário surgem dois grupos distintos: docentes dedicados e almejando uma universidade transformada em verdadeiro centro de reflexão e comprometida com a sociedade, e o próprio movimento estudantil, propenso a criticar a expansão acentuada da universidade privada, transformando o ensino em livre comércio (SCHWARTZMAN, 1986).
Na UFPR a avaliação iniciou em 1987, por meio de um grupo responsável por elaborar projeto de melhoria na qualidade do ensino de graduação, em parceria com o Programa de Apoio e Desenvolvimento do Ensino Superior (PADES), do MEC. Inicialmente, foi feita a sistematização de ações avaliativas que se desenvolveram na própria instituição, visando um projeto político pedagógico que estabelecesse a relação entre Universidade e Sociedade (SIQUEIRA, 2012).
Como resultado, em 1980 foi publicado o primeiro número da série “Cadernos de Avaliação”. A partir dessa iniciativa, houve o despertar de ações, demonstrando o resultado qualitativo do ensino superior. Com esse primeiro passo, coube à administração da Universidade, na gestão de 1990-1994, institucionalizar o processo de avaliação. Além disso, a UFPR começou a participar da Comissão Nacional de Avaliação, instituída pelo MEC, cuja finalidade era envolver três eixos principais: o projeto pedagógico, a estrutura curricular e o desempenho acadêmico dos docentes.
Gradativamente, a disseminação da importância da avaliação foi envolvendo mais áreas. Nesse contexto positivo, coube à UFPR participar de um intercâmbio com outras instituições universitárias do país, culminando com a elaboração de um documento oficial, apresentado em 1993, no Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB) (SIQUEIRA, 2012).
Entre os anos de 1994 e 1996, o processo se solidificou na instituição, englobando as áreas dos cursos de licenciatura e de projetos na área de laboratórios, em consonância com as pró-reitorias e programas do MEC. Esse processo tornou institucional o quesito avaliação, tendo como pressuposto a interação entre planejamento institucional e avaliação, como indicadores de tomadas de decisão. E, assim, por mais de uma década as ações avaliativas fizeram parte do cenário da instituição, pois os resultados sugeriam possibilidades de ações de melhoria em diversas áreas. No entanto, na gestão de 1998 a 2002, as ações avaliativas foram interrompidas em função de mudança de gestão, que pensava em
gestão e ações de forma isoladas, perdendo-se com isso o elo estabelecido com o processo do autoconhecimento (SIQUEIRA, 2012).
O processo avaliativo foi retomado em 2002 e está presente até os dias atuais. É uma metodologia institucionalizada, que já parte do Plano de Desenvolvimento Institucional, uma vez que o planejamento passou a fazer parte e foi assumido como processo permanente, contando com efetiva participação da comunidade (SIQUEIRA, 2012).
Com relação à avaliação da gestão orçamentária da UFPR, ressalta-se que consta do Relatório de Gestão de 2012 o seguinte: “quanto ao aspecto orçamentário e financeiro da UFPR, ainda carece de indicadores formalmente constituídos”(grifo nosso)(UFPR, 2012, p. 144).
Em seu Plano de Desenvolvimento Institucional (PDI) 2012-2016, a UFPR estabelece como diretriz um pacto com a sociedade, e nele aponta o desenvolvimento sustentável. Esse tema prevê a garantia da sobrevivência atual e futura da instituição. Isso implica no envolvimento de todos os atores da instituição, demanda amadurecimento e comprometimento das pessoas. Avaliar as políticas públicas passa por essa área. No que refere ao processo de compras, é importante despertar esse comprometimento a fim de constranger compras desnecessárias.
Devem ser sustentáveis o comportamento das pessoas e das organizações, o ensino, a atividade econômica, a cultura, a política, a democracia, o uso do meio ambiente e do espaço e as diversas outras variáveis, além de todas as suas relações e interações. (SIMÃO et al, 2010, p. 39)
Entendido o processo de políticas públicas, no que se refere aos estágios pelos quais ocorre, desde a definição até a avaliação, apresentada a avaliação nas IFES e na UFPR como processo contínuo, cabe discorrer sobre o Orçamento Público, uma vez que é nesse instrumento que estão contidas a aplicabilidade e as definições de políticas públicas. Cada destinação de recursos está diretamente relacionada a uma política pública. Para melhor compreensão, preliminarmente será apresentado o conceito de orçamento.