AVALlACÃO
INSTITUCIONAL
EM UNIVERSIDADES:
éONSIDERAÇÕES
METODOLÕGICAS
rqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
Jacques Therrien Jorge Hage Sobrinho
As reflexões apresentadas a seguir têm
JIHGFEDCBA
r o r finalidade a form ulação de elem entos de referência para um a am pla dis-cussão de m etodologia e de m odelos de avaliação institucional em universidades. Pretendem tam bém levantar questões para o debate e a análise da prática da avaliação.Em bora o referencial conceitual sobre avaliação institucio-nal se aplique a um universo de situações diversas, este estudo está voltado para a instituição Universidade. O tem a "m odelos de avaliação de universidades", por sua vez, não revela um a pretensão de desenvolver e privilegiar a abordagem específica ou m odelos particulares. O s elem entos oferecidos a seguir são apenas e não m ais do que subsídios, um a vez que se estabe-lece o pressuposto de que cada situação de avaliação institu-cional requer a adequação dos instrum entos e estratégias de pesquisa a determ inados fins, em instituições que têm sua identidade própria. O estudo de m odelos de avaliação visa ape-nas contribuir para a form ação de posturas m etodológicas, per-m itindo ao executivo, enquanto cientistas e pesquisador, um livre trânsito no trato dos problem as de investigação institu-cional.
As idéias apresentadas neste docum ento deverão ser com -pletadas e enriquecidas pelo debate que pretendem suscitar.
1 - Q UESTÕ ES CO NCEITUAIS
1 . 1 - Avaliação, pesquisa e planejamento
A idéia com um que se associa ao conceito de avaliação re-vela, m uitas vezes, os "fantasm as" da reprovação, do fracasso
e do erro, presentes nos processos de avaliação do desem -penho ou da aprendizagem escolar. O "m edo" da avaliação tem origem em percepções errôneas de um a im portante atividade voltada para a coleta de inform ações sobre ações e program as em processo, tendo em vista a tom ada de decisões baseadas em valores explícitos, num a abordagem projetiva.
Q uando se trata de avaliar dim ensões e processos institu-cionais, as perspectivas diferem da "pesquisa" institucional. Enquanto a pesquisa institucional produz conhecim entos cien-tíficos relativos à instituição, a avaliação se situa num grau m ais avançado, porque refere esses conhecim entos aos valores e objetivos explícitos e im plícitos da instituição.
São características, portanto, da avaliação institucional sua relação estreita com os processos de decisão, sua dim ensão m ais projetiva do que m era constatação de fatos consum ados, seu m ovim ento perm anente de reflexão sobre a ação em pro-cessos e, principalm ente, seu envolvim ento com aspectos va-lorativos, necessitando o cotejo de dados quantitativos e qua-litativos para a form ulação de juízos conclusivos.
As prim eiras perguntas a serem colocadas no em preendi-m ento da avaliação referem -se aos objetivos, às m etas, aos fins das ações e dos program as das instituições em análise. A avaliação procede m ediante indicadores e critérios para a for-m ulação e juízos de valores. O s objetivos institucionais e seto-rlals, definidos a nível da política institucional, constituem os parâm etros básicos do planejam ento e da avaliação institu-cional.
Fica evidenciado, dessa form a, que a avaliação institucional se articula estreitam ente com as esferas da política institu-cional e, portanto, é parte integrante e substantiva dos pro-cessos de planejam ento. Assim com o pesquisa e planejam ento são interfaces dinâm icas de um processo de reflexão e ação, a avaliação não pode ser concebida com o atividade isolada.
Se a instituição universitária não pode prescindir de um planejam ento global que, de um lado, define sua identidade ou seu cam inho e, de outro lado, constitui a base do planejam en-to seen-torial integrado, as atividades de avaliação deverão tam -bém articular-se ao nível global e setorial. Infelizm ente, essa bipolaridade não encontra respaldo na prática que se tem lim i-tada, na m aioria dos casos, a aspectos setoriais e fragm entários da instituição universitária.
Em síntese, essas observações conduzem à pergunta: afi-nal, para que a avaliação da Universidade? Um a resposta ade-quada deve ressaltar o papel da avaliação na conduta de um
18
JIHGFEDCBA
E d u c a ç ã o e m D e b a t e , P o r t o 6 / 7 ( 2 / 1 ) : j u l / d e z . 1 9 8 3 j a n / j u n 1 9 8 4planejam ento real e eficiente, enfatizando a necessidade de egurar a credibilidade da instituição universitária tanto aos olhos de sua com unidade interna, com o perante a sociedade onde ela se insere. Nessa perspectiva, as abordagens setoriais d planejam ento e avaliação se revelam incom pletas, porque o sa credibilidade requer avaliações capazes de m ostrar não apenas o som atório de realizações da instituição, m as, sobre-tudo, o efeito ou im pacto de sua presença e atuação no con-toxto social que lhe dá razão de ser.
As lim itações dos enfoques setoriais levam , m uitas vezes, a se considerar a avaliação com o m era prestação de contas do uso de recursos públicos. Esses enfoques não ultrapassam , em geral, as dim ensões gerenciais das instituições. Nesse sentido não indagam para o grau de consciência que a Universidade de: veria ter da dem anda específica da sociedade sobre ela. Con-seqüentem ente, não contém a resposta por ela forneci da, atra-vés de um projeto institucional articulado e globalizado.
A com preensão da prática da avaliação institucional, com o processo perm anente integrado ao planejam ento, contém , no seu bojo, o poder de fazer eclodir as definições necessárias à descoberta de eixos com uns entre os diversos segm entos da unive.r~idade, revelan?o e consolidando os elem entos que dão Identidade e autonom ia a um projeto de universidade. Ao m es-m o tees-m po em que contribui para a unificação efetiva das par-tes num todo coerente e atuante, a avaliação consolida os em -penhos de participação, porque reconhece os princípios da de-m ocracia e da responsabilidade conjunta.
1 . 2 - Os níveis de avaliação institucional de universidade
D_elim itado o, c~nceito de avaliação institucional, surge a q~estao dos posslvel~ enfoques ou níveis da prática da avalia-çao. Q uand.o 0 _ Pe:s~u.lsador, o e~ecutivo universitário ou a equi-pe de avaliação irucrarn sua pratica, sob que prism a focalizam o fenôm eno universitário? Q ue nível de preocupação ou inte-resse revelam suas indagações? São identificados, a seguir 5 enfoques possíveis, definindo-se, para cada um , os tipos de es~udos que ~e. consideram incluídos na categoria, suas princi-pais c~r~~terlstlcas ~ a_natureza (econôm ica, pedagógica, etc.) dos crtteríos de avaliação que predom inam :
a) Análise da eficiência da instituição no uso dos recursos: hum anos, m ateriais, físicos ou financeiros.
Essas avaliações incluem , entre outros tipos:
• estudos de produtividade; • estudos de custos;
• estudos de racional idade adm inistrativa; • avaliações da eficiência gerencial;
• avaliações do rendim ento (produtividade) do pessoal docente e adm inistrativo;
• estudo do uso racional do espaço físico;
• diagnósticos diversos através de indicadores, índices, coeficientes técnicos ou m edidas de rendim ento.
Suas características principais são a ênfase em questões relativas à produtividade m áxim a da instituição na relação in-sum o-produto, às causas de disfunções e form as de correção. Tendem a ser estudos em inentem ente quantitativos.
O s critérios dom inantes nesse tipo de avaliação são eco-nôm icos e adm inistrativos-gerenciais-organizacionais.
b) Avaliação da conform idade da instituição (ou de deter-m inados setores) com os m odelos organizativos pres-critos em lei.
Essas avaliações incluem , entre outras:
• avaliações do funcionam ento da estrutura departam en-tal, de colegiados de cursos, de colegiados superiores; • avaliações da im plantação do
JIHGFEDCBA
1 . ° ciclo;• avaliações da conform idade legal de currículos;
• avaliações de propostas de criação, autorização ou re-conhecim ento de cursos, departam entos, universi-dades;
• avaliações da im plantação da reform a universitária.
Suas características principais são o interesse central vol-tado para saber em que m edida a instituição está em acordo com o que a legislação prevê. Freqüentem ente, porém , esse tipo de análise vem com binado com um a avaliação crítica das próprias prescrições legais, o que o faz integrar, tam bém , ou-tros enfoques. Q uando se adm ite o pressuposto de que as nor-m as legais prescrevem m odelos racionais e econôm icos por excelência, a avaliação se confunde, em grande parte, com o enfoque anterior (a). Se, por outro lado, for possível adm itir que as prescrições legais adotem opções válidas em term os em inentem ente pedagógico-educacionais, essa espécie de
ava-20
E d u c a ç ã o e m D e b a t e , F o r t . 6 / 7 ( 2 / 1 ) : j u l / d e z . 1 9 8 3 i a n / i u n 1 9 8 4I l a ç ã o se confundirá, em boa parte, com o que se expõe adian-te (c). Esses estudos tendem a ser m ais qualitativos.
O s critérios dom inantes nesse tipo de avaliação são jurí-dico-legais (a não ser no caso das ressalvas feitas).
c) Avaliações de "qualidade" ou excelência intrínseca da Universidade, que podem ser divididas em :
• avaliação da qualidade dos insum os do processo edu-cativo:
recursos hum anos docentes e adm inistrativos; espaços e instalações;
equipam entos e bibliotecas, etc.
• Avaliação dos processos e procedim entos: da gerência, enquanto instituição universitária;
do ensino, nas suas dim ensões didáticas e de inte-gração nas diversas áreas da Universidade.
• Avaliação da qualidade dos produtos do processo edu-cativo:
da boa form ação discente e da qualidade dos profis-sionais form ados;
do nível da produção científica; da qualidade da extensão.
Caracterizam -se por um questionam ento m ais voltado para o próprio objeto dos diversos program as e por um a tendência em inentem ente qualitativa.
O s critérios dom inantes nesse tipo de avaliação são edu-cacionais-pedagógicos, científicos, acadêm icos e, em m enor grau, gerenciais-organizacionais.
d) Avaliação da contribuição (ou da resposta) da universi-dade aos problem as do seu contexto.
Essas avaliações, que têm a ver diretam ente com a efi-cácia da institutção, voltam -se para o im pacto das funções-fim da universidade sobre o seu m eio, particularm ente em term os de congruência entre a dem anda externa e a oferta da institui-ção. Incluem os tipos de avaliação de políticas e program as educacionais.
Suas características são um grau m aior de abrangência e globalidade, porque im plicam na existência e no reconhecim en-to de um determ inado eixo com um , que transcende todos os
setores da instituição, criando um potencial de conexão e in-teração com o m eio-am biente. A instituição com o um todo deve participar desse intercâm bio e não apenas alguns setores iso-lados. Essas avaliações rem etem a questão ao plano político, porque im plicam em definições iniciais quanto a: quem define ou interpreta os "problem as e dem andas"? de quem ? e quem os im põe
JIHGFEDCBA
à universidade? por que tipo de canais? etc.2 - Q UESTÕ ES M ETO DO LÓ G ICAS (O PERACIO NAIS) DA AVALIAÇÃO INSTlTUCIO NAL EM UNIVERSIDADE
Algum as questões m etodológicas serão esboça.das nesta parte. O assunto constitui m atéria para debate e adm ite espaço para controvérsias construtivas.
1 . 3 - As áreas ou setores ínstítucíonaís de avaliação
2 . 1 - Os procedimentos da avaliação
Na discussão sobre os procedim entos da avaliação, par-te-se do princípio de que cada situação específic~, dentro do seu contexto institucional, condiciona a m etodologia adequad~. Cabe ao executivo universitário, com o ao pesquisador ou a equipe de avaliação, adquirir um nível de com petência capaz de conferir um a postura de autonom ia m etodol?gica. ao, tratam ~n~o dos problem as de avaliação. Procedim ento e m ero, e e~trategl~ e, portanto, adm ite form as alternativas. O i~po~tante e a def~-nição explícita dos fins ou objetivos da avaliação. O s procedi-m entos são cam inhos e devem -se adequar à realidade concreta e viável. As soluções dependem , norm alm ente, da im aginação e da cri atividade do responsável, não havendo lugar para o dogm atism o im produtivo.
Duas grandes tendências, entretanto, pod~m ser ob~erv~-das. A prim eira inclui os procedim entos m ais convenclona~s usados até hoje, que enfatizam m étodos quantitativo,s, e vao desde os sistem as de inform ação e diagnósticos, ate form as m ais sofisticadas de análises com parativas.
Por outro lado, surgem atualm ente outros tipos de aborda-gem m ais caracterizados por form as participa~iyas, a~ertas e dem ocráticas. Contestam , m uitas vezes, o tradicional rigor dos cânones dos m étodos científicos oriundos das ciências exatas e, por outro lado, têm m aior poder de interação e im pacto so-bre o m eio, além de fornecer, m uitas vezes, inform ações m ais realistas e dinâm icas. Incluem , entre outros, sem inários e dis-cussões de avaliação com especialistas e agentes envolvidos nos processos em estudo, com professores e alunos, com is-sões e outras form as de debates participativos.
Envolvem abordagens qualificativas (predom inantem ente) e tam bém quantitativas.
O s critérios dom inantes desse tipo de avaliação são em i-nentem ente político-sociais.
e) Avaliação do exercício do papel de instância crítica da sociedade.
O exercício da função transform adora da universidade, com o instituição científica por excelência, lhe confere o papel de locus de questionam ento radical e sistem ático de toda a sua realidade interna em com passo com o próprio contexto onde ela se insere. Essa prática faz parte da busca de contribui-ção para a em ergência de um m eio hum ano m ais "viável". A avaliação da prática dessa instância constitui-se num recurso dinâm ico da autenticidade desse exercício. Reconhece-se, con-tudo, a ausência dessas avaliações devido, provavelm ente, à
falta de definição dos cam inhos ou projetos que dão à uni-versidade sua identidade própria.
Com o form a de classificar a prática da avaliação, pode-se, por outro lado, partir do objeto ou fato observado, a saber, os elem entos de m anipulação em pírica. Identificam -se, assim , as áreas ou setores específicos, que se estão avaliando, com ple-m entados por categorias m ais abrangentes.
Da m esm a form a que o planejam ento setorial tem o seu significado, quando referido ao planejam ento global, que dá o sentido da instituição universitária, a avaliação setorial ocorre sem pre dentro de um determ inado enfoque que define a sua abrangência. A interface necessária entre os setores em estu-do e o nível da avaliação revela a abrangência do em preendi-m ento.
2.2"- A credíbilidade da avaliação
Na universidade, onde se cotejam profissionais e especia-listas das m ais diversas áreas do saber, m uitas vezes surge o problem a da dificuldade de pe~etração do técni<:o de avaliaç~o não-especialista da área especifica em observaçao. A form açao
2 2 E d u c a ç ã o e m D e b a t e , F o r t . 6 / 7 ( 2 / 1 ) : j u I / d e z . 1 9 8 3 j a n / j u n 1 9 8 4
de grupos com postos de técnicos em avaliação (m etodologia) trabalhando conjuntam ente com especialistas da área perm ite
dar
JIHGFEDCBA
à equipe de avaliação o status de que necessita, não so-m ente para levar a terso-m o sua tarefa, com o para garantir a cre-dibilidade da avaliação. A isso se associam , m uitas vezes, pro-blem as de linguagem , seja na discussão dos fenôm enos, seja na difusão dos resultados. O poder da avaliação não reside na sofisticação dos conceitos ou dos procedim entos, m as na sua capacidade de penetração na área onde se desenvolve.2.3 - O s prazos e as limitações metodológicas
A avaliação institucional, enquanto produção de inform a-ções úteis para a tom ada de decisão e intervenção nos pro-cessos em ação, gera im passes m etodológicos e situações de-licadas para as equipes, que sem pre enfrentam prazos lim ita-dos e rigorosos para a entrega dos resultados. A ação não pára e as decisões devem ser tom adas em tem po. Essas exigências determ inam prazos que, m uitas vezes, arriscam o rigor m eto-dológico da produção de conhecim entos científicos. É nesse m om ento que o pesquisador, no caso, o executivo universitário, deve saber fazer uso da flexibilidade dos recursos e dos proce-dim entos de investigação. Sem afetar a validade das inform a-ções produzidas, faz-se necessário, m uitas vezes, substituir altos níveis de segurança cognitiva, garantidos através de ri-gorosos e longos procedim entos, por práticas m enos dogm á-ticas, susceptíveis, porém , de produzir resultados tam bém efi-cientes, por vezes m ais oportunos e úteis, porque "em tem po hábil". Da m esm a form a e com o m esm o espírito, devem ser contornados os im passes políticos da avaliação e as lim itações da alegada "falta de dados básicos".
2 . 4 - A utilização dos resultados da avaliação
A m aior crítica com um ente dirigida à prática da avaliação refere-se à não utilização dos resultados dessa atividade. Se a equipe for externa à instituição, os resultados correm o risco de perm anecer desconhecidos da m aioria dos interessados. No caso de equipes internas, as freqüentes m udanças adm inistra-tivas provocam , no m ais das vezes, o arquivam ento dos do-cum entos.
O poder de im pacto e o de utilidade dos resultados da avaliação parecem intim am ente ligados à integração da prática
2 4 E d u c a ç ã o e m D e b a t e , F o r t . 6 / 7 ( 2 / 1 ) : j u l / d e z . 1 9 8 3 [ a n / i u n 1 9 8 4
avaliativa com o processo de planejam ento, com o um a ativ!.: dade sistem ática e contínua. Som ente dessa form a, podera ocorrer um a absorção espontânea da inform ação nos processos de decisão e de planejam ento.
Cabe registrar ainda, que as lim itações e dúvi~as q~e cer-cam a própria atividade de planejam ento nas universidades. atingem , em cheio, a questão da avaliação.
2 . 5 - As prioridades
A m ultiplicidade de situações e necessidades que m oti-vam a prática da avaliação, já lim itada pela escasse: de r~-cursos, sugere o estabelecim ento de prioridades de açao. DO IS critérios parecem oportunos para tais definições. Prim eiro, o privilégio deve ser dado aos estudos que contri~uen:' ~a~a um ~ m elhor definicão dos rum os e da identidade da tnstttuiçao Uni-versitária. Segundo, num a perspectiva m ais pragm ática, m aior atenção deve ser dada às atividades e projetos em fase: de con-solidação. Tais m edidas não som ente podem gar~ntlr res~~-tados m ais úteis, com o podem contribuir para m aior estabili-dade dos processos adm inistrativos. Nesse sentido, as ava-liacões "de final de gestão" universitária não devem ser conce-bidas com o prestação de contas em final de progr~m a~, m as com o form a de garantir a continuidade e a consolidação dos m esm os.
3 - Q UESTÕ ES O RG ANIZACIO NAIS
A inserção da atividade de avaliação na estrutura da _ins.ti-tuição levanta questões organizacionais de gran~e relevan~I~. De fato a viabilidade dessa prática depende m ais da credibi-lidade ~dquirida pela equipe de avaliação.e sua ?ar:aci~ade de m obilidade na instituição, do que da autoridade hierárquica que lhe é conferida.
3 . 1 - Composição da equipe de avaliação central
Certos aspectos devem ser levados em consideração, tais com o:
a) os órgãos de origem de seus m em bros, particularm ente no caso de equipes m istas ou de com issões, com ou sem ca-ráter de representatividade;
b) os tipos de experiências profissionais e de form ação dos seus m em bros;
c) a diversificação da equipe e suas dim ensões;
d) a divisão interna do trabalho, com a distribuição de ta-refas e responsabilidades.
JIHGFEDCBA
3 . 2 - Localização e estabilidade do grupo
As propostas de avaliação perm anente e sistem ática não excluem a prática de investigações ocasionais. Considerando-se a integração com o planejam ento, parece evidenciar-se um a re-lação funcional com essa últim a área. Todavia, algum as consi-derações devem ser feitas.
Discute-se a localização da equipe junto à Pró-Reitoria de Planejam ento, ou junto ao G abinete do Reitor. Se, de um lado, as im plicações políticas dessa atividade e sua relação aos pro-cessos de tom ada de decisão sugerem um a localização que fa-vorece a m obilidade - no caso, o G abinete do Reitor -, por outro lado, o caráter globalizante do planejam ento rem ete a atividade para o órqão central de planejam ento. M as a prática do planejam ento nas nossas universidades não tem dem onstra-do um a atuação de caráter realm ente central e globalizador por parte da m aioria das Pró-Reitorias de Planejam ento. Por isso, em geral, o órgão de planejam ento parece não ter poder fun-cional bastante para um a atuação de coordenação e de inte-gração.
3 . 3 - Articulação com os diversos níveis e instâncias da
universidade
A prática da avaliação na universidade traz im plicações tais com o a necessidade de penetração nos diversos setores da ins-tituição, tanto para assegurar a credibilidade dessa atuação e a efetivação de suas recom endações, com o para ponderar o caráter político de associação com os processos de tom ada de decisão. Isso sugere que seja assegurado um alto grau de par-ticipação e de envolvim ento dos diferentes níveis e setores da universidade. Todavia, sem pre será necessário definir onde fica a coordenação do processo e a cúpula do sistem a.
De qualquer m aneira, devem ser previstas as m ais diver-sas form as de articulação da equipe, m antendo-se os elos de integração com os diversos segm entos da instituição.
2 6 E d u c a ç ã o e m D e b a t e , F o r t . 6 / 7 ( 2 / 1 ) : j u l / d e z . 1 9 8 3 i a n / i u n 1 9 8 4
- PERSPECTIVAS
A prática da avaliação institucional em universidades tem , entre nós, um a história ainda recente. Em bora não seja possí-vel discenir a tendência de sua evolução própria, pode-se asso-ciá-Ia aos rum os da própria universidade no que diz respeito à
política e ao planejam ento institucional. Nessa perspectiva, de-vem ser destacadas as propostas e reivindicações de participa-ção dem ocrática que caracterizam o atual m om ento universi-tário no País. Assim sendo, alguns im perativos para a avalia-ção se colocam para o debate:
a) ser um procedim ento científico de prestação de contas substantiva para um a com unidade cham ada a participar, tanto das decisões, com o da execução dos program as e projetos de um a instituição pública;
b) ser um instrum ento de credibilidade interna e externa da capacidade da Universidade em construir seu projeto autô-nom o e eficaz no contexto onde se insere;
c) ser um a atividade de reflexão sistem ática e perm anente sobre a ação-em -processo, com o prática da própria com unidade universitária que se integra ao redor de um projeto com um .
