No Brasil, os estudos de avaliação institucional, desde a implementação do SINAES, têm bastante similaridade com os desenvolvidos pelo Movimento das escolas eficazes, uma vez que a autoavaliação se efetivada na busca de conhecer os contextos universitários e propiciar mudanças internas importantes para a realização de melhorias educacionais.
A demanda de compreender como a avaliação interna pode potencializar a melhoria da instituição de ensino, foi desenvolvido um estudo na Universidade Estadual da Bahia (UNEB), que comprovou a importância das avaliações internas, do envolvimento de todos os segmentos e da força que a gestão da IES tem no êxito da implementação de um sistema avaliativo eficiente para melhorar a qualidade educacional, pois esse estudo mostrou que a falta desse envolvimento leva a dificuldades de comunicação, insuficiência de formação do corpo técnico de avaliadores e falta de apoio da gestão para executar a avaliação (FREITAS; VIEIRA, 2010).
Outro estudo que articulou a avaliação interna e externa para compreender como os resultados da instituição poderiam ser influenciados foi desenvolvido no Paraná, numa instituição de Ensino Superior privada, havendo esse comprovado a importância da articulação dessas avaliações para investigar a trajetória e os fatores determinantes para o bom desempenho institucional (JÚNIOR; POLIZEL; SILVA, 2012).
O estudo do clima interno universitário como suporte para a avaliação institucional foi objeto de investigação e ratificou a importância dessa característica como
83 um agente capaz de influenciar nos processos avaliativos das IES, consoante é destacado em Santos e Vasquez (2012),
O crescente número de investigações que possuem por objeto o clima organizacional no contexto universitário, além de demonstrar a importância desta temática, salienta também uma preocupação evidente com relação à melhoria das condições de trabalho, e a influência dos fatores ambientais para o desempenho e a qualidade do ensino superior (P.58).
O ensaio desenvolvido na Universidade de Viçosa objetivou analisar os resultados da autoavaliação institucional aplicada em uma instituição federal de Ensino Superior, a fim de identificar o modo como os segmentos da comunidade universitária avaliaram cada dimensão proposta pelo SINAES. Participaram do estudo professores, alunos e funcionários e as dimensões investigadas foram: Política para ensino, pesquisa e extensão, Responsabilidade Social, Comunicação com a sociedade, Organização e Gestão, Infraestrutura física e didática, Atendimento ao discente e Sustentabilidade Financeira. Os resultados apontaram que, de forma geral, os alunos de graduação, os discentes de pós- graduação e os docentes, em sua maioria, avaliaram bem a Instituição, no tocante às dimensões ensino, pesquisa, extensão, infraestrutura, responsabilidade social, sustentabilidade financeira etc.; verificando-se as dimensões em que a Instituição é mais bem avaliada. Já os técnicos administrativos, em sua maioria, avaliaram pior a Instituição (REIS; SILVEIRA; PERREIRA, 2010).
Como destacam Brito e Limana (2005), o SINAES busca integrar harmonicamente as várias dimensões da avaliação, integrando as de ordem somativa e formativa, global e particular, internas e externas, bem como os diversos objetivos e as diversas avaliações.
As autoavaliações realizadas pelas universidades devem considerar todas as nuanças necessárias para compreender todo o sistema, buscando explicar todo componente analisado de maneira específica. Essa modalidade implica verificar a atuação institucional em dimensões, ou indicadores, relacionados aos seguintes tópicos: Missão e plano de desenvolvimento institucional; Perspectiva científica e pedagógica formadora: Políticas, normas e estímulos para o ensino, a pesquisa e a extensão; Responsabilidade social da IES; Comunicação com a sociedade; Políticas de pessoal, carreira, aperfeiçoamento, condições de trabalho; Organização e gestão da instituição; Infraestrutura física e recursos de apoio;
84 planejamento e avaliação; Políticas de atendimento aos estudantes e sustentabilidade financeira.
Como aponta o SINAES, existe a necessidade de integração de suas três dimensões, a fim de serem capacitados a comunidade acadêmica e a sociedade em geral para entenderem os conceitos gerais produzidos pelas avaliações e as notas atribuídas às instituições, considerando toda a avaliação. Somente assim, é possível compreender a relação de interdependência dos fatores internos e os resultados produzidos.
No SINAES, a integração dos instrumentos (autoavaliação, avaliação externa, avaliação das condições de ensino, ENADE, censo e cadastro) permite a atribuição de conceitos, ordenados numa escala com cinco níveis, a cada uma das dimensões e ao conjunto das dimensões avaliadas. Assim, atualmente é possível verificar o desempenho de uma IES, não só relacionada a um aspecto mensurado, mas também em relação a um conjunto de aspectos que analisados e integrados refletem o trabalho desenvolvido por meio desse conceito, utilizado para todas as IES e que permitem comparações entre seus pares.
Para calcular a qualidade da instituição e definir um conceito geral que serve de parâmetro para comparação entre pares, utilizam-se diversos instrumentos avaliativos, como a autoavaliação, avaliação externa, censo escolar, cadastro. Assim, em apoio nesses instrumentos, foram eleitos e definidos os indicadores de qualidade das IES. O Índice Geral de Cursos Avaliados da Instituição (IGC) é um apontador de qualidade de instituições de Educação Superior, que considera, em sua composição, a qualidade dos cursos de graduação e de pós-graduação (mestrado e doutorado). No que se refere à graduação, é utilizado o CPC (conceito preliminar de curso) e, no que tocante à pós-graduação, é utilizada a Nota CAPES. O resultado final está em valores contínuos (que vão de 0 a 500) e em faixas (de 1 a 5).
O CPC é uma média de medidas distintas da qualidade de um curso. São estas: o conceito ENADE ( mede o desempenho dos concluintes), o desempenho dos admitidos ao ENADE, o conceito IDD e as variáveis de insumo. Os dados variáveis de insumo – que considera corpo docente, infra-estrutura e programa pedagógico – é constituido com informações do Censo da Educação Superior e de respostas ao questionário socioeconômico do ENADE.
A forma do cálculo do CPC tem implicações sobre a representatividade do IGC. Para um curso ter CPC, é necessário que ele tenha participado do ENADE com alunos admitidos e estudantes concluintes. Portanto, o IGC é representativo dos cursos que participaram das avaliações do ENADE, com reém-admitidos e concludentes.
85 Como cada área do conhecimento é avaliada de três em três anos no ENADE, o IGC levará em conta sempre um triênio. Assim, o IGC 2007 considerou os CPC's dos cursos de graduação que fizeram o ENADE em 2007, 2006 e 2005; o IGC 2008 considerou os CPC's dos cursos que participaram do ENADE em 2008, 2007 e 2006; e assim, sucessivamente. A medida de qualidade da graduação que compõe o IGC é igual à média dos CPC's para o triênio de interesse.
A Avaliação dos Programas de Pós-Graduação, realizada pela CAPES, compreende efetivar o acompanhamento anual e da avaliação trienal do desempenho de todos os programas e cursos integrantes do Sistema Nacional de Pós-Graduação, SNPG. Os resultados desse processo, expressos pela atribuição de uma nota na escala de 1 a 7 fundamentam a deliberação CNE/MEC sobre quais cursos poderão renovar o reconhecimento, a vigorar no triênio. A medida de qualidade da pós-graduação que compõe o IGC é uma conversão das notas fixadas pela CAPES (INEP, 2011).
Como destaca Daniel Stufflebeam (1967), os avaliadores devem apresentar as suas audiências com avaliações que ajudam a desenvolver alta qualidade, produtos e serviços necessários; ajudar a identificareavaliar as opções de melhoriaopcionais;ajudar a garantir alta qualidade e melhoria dos serviços; atestar a eficácia dos serviços e produtos; expor deficiências e/ou serviços e produtos perigosos e ajudar a esclarecer os fatores que influenciamo sucesso ou fracassode uma instituição.
Em seu modelo avaliativo denominado de CIPP, destacou a importância de utilizar informações de todas as dimensões das instituições avaliadas, objetivando proporcionar elementos para a tomada de decisões. É considerado bastante analítico, pois avalia os contextos, insumos, processos e os produtos; daí sua denominação de CIPP. A avaliação de contexto busca examinar a população envolvida, estabelece necessidades e quais os objetivos que as suprirão. Para isso, define e descreve o ambiente, identifica necessidades e potencialidades e fixa os objetivos para sanar essas dificuldades.
Na avaliação de insumos é possível determinar que elementos serão utilizados para a realização dos objetivos, desde o material empregado, pessoas, tempo necessário, custos, procedimentos, entre outros.
A avaliação do processo permite informar como está se desenvolvendo o programa, seus avanços, suas deficiências e obstáculos, a verificação dos objetivos e, principalmente, permite o aprimoramento do programa.
86 A avaliação de produtos acontece a cada fase do programa, e ao término, permitindo identificar os objetivos alcançados e o distanciamento entre o real e o idealizado.
As dimensões abordadas nesse estudo estão em consonância com as utilizadas pelo modelo avaliativo CIPP, pois são classificadas em termos de insumos, contexto, processos, produtos.
Dentre as dimensões avaliadas pelos SINAES, é possível fazer uma aproximação entre as características estudadas pelo Movimento das Escolas Eficazes e as da autoavaliação, uma vez que as do Movimento de Escolas Eficazes são: liderança profissional; ii) visão e finalidades partilhadas; iii) ambiente de aprendizagem; iv) concentração no ensino e na aprendizagem; v) ensino resoluto; vi) expectativas elevadas; vii) reforço positivo; viii) monitoração do progresso; ix) direitos e responsabilidades dos alunos; x) parceria escola-família; xi) uma organização orientada aprendente.