1837
Cad . Saúd e Púb lica, Rio d e Jane iro , 19(6):1837-1840, no v-d e z, 2003 O PIN IÃO O PINIO N
M odelo de avaliação CAPES:
desejável e necessário, porém, incomplet o
CAPES e valuatio n mo d e l:
d e sirab le and ne ce ssary, b ut inco mp le te
1 Escola N acion al d e Sa ú d e Pú b li ca , Fu n d a çã o Osw a ld o Cru z . Ru a Leo p o ld o Bu lh õ es 1480, Rio d e Ja n eiro, RJ 21041- 210, Bra sil. v i rgi n i a @en sp .fi ocru z .b r
Vi rgi n i a Alo n so H o rt a le 1
Abst ract Seek i n g t o co n t ri b u t e t o t h e i m p ro v em en t o f ev a lu a t i o n cri t eri a i n t h e p u b li c h ea lt h gra d u a t e st u d ies p rogra m , t h is a rt icle p resen t s t h e m a in ch a ra ct erist ics id en t ified b y foreign ob-serv ers d u ri n g t h e 2 0 0 1 p ro gra m ev a l u a t i o n o f t h e B ra z i l i a n go v ern m en t resea rch su p p o rt a gen cy CAPES (Co o rd i n a t i n g Bo d y f o r T ra i n i n g U n i v ersi t y- Lev el Perso n n el) a n d p resen t s so m e cri t i ca l o b serv a t i o n s o n t h e cri t eri a u sed t o ev a lu a t e t h e q u a li t y o f t ea ch i n g i n gra d u a t e st u d i es p rogra m s. T h ese com m en t s w ere b a sed on recen t t ren d s in ot h er cou n t ries.
Key words Tea ch in g; Ev a lu a t ion ; Gra d u a t ion St u d ies Progra m s
HO RTALE, V. A. 1838
Cad . Saúd e Púb lica, Rio d e Jane iro , 19(6):1837-1840, no v-d e z, 2003
Em 2001, o b serva d o res estra n geiro s estivera m p r e s e n t e s n o p r o c e s s o d e a va lia ç ã o d o s p r o -gr a m a s d e p ó s - -gr a d u a ç ã o st ri ct o sen su d e a l-gu m a s á r e a s d o c o n h e cim e n t o : M e d ic in a II, Sa ú d e Co letiva , Od o n to lo gia , So cio lo gia , Ciên -cia s Agrá ria s I, Ve t e rin á ria , Co m p u t a çã o , Qu ím ica e Ge o ciê n cia s. Ao fin a l, fize r a ím co ím e n t á rio s q u e fo ra m sist e m a t iza d o s e m u m d o cu m e n t o p u b lica d o r e ce n t e m e n t e p e la Co o r d e -n a ç ã o d e Ap e r fe iç o a m e -n t o d e Pe s s o a l d e N í-vel Su p erior (CAPES) (Sp agn olo & Calh au , 2002), o q u a l é sin t e t iza d o m a is a d ia n t e . Im p o rt a n t e escla recer q u e, em b o ra essa s á rea s ten h a m d i-fe r e n ça s sign ifica t iva s, q u e r n a su a n a t u r e za , q u er n a su a estru tu ra cu rricu la r, o p ró p rio d o-cu m en to ju lga q u e o s co m en tá rio s feito s p elo s o b serva d o res p o d em ser gen era lizá veis.
Bu scan d o con trib u ir com o ap erfeiçoam en -t o d o s c r i-t é r io s d e a va lia ç ã o d o s p r o gr a m a s
st ri ct o sen su n a á re a d a sa ú d e p ú b lica , d a m o s d e sta q u e n e ste a rtigo à s p rin cip a is ca ra cte rís-tica s d o s a tu a is critério s d e a va lia çã o e à q u es-tã o d a q u a lid a d e d o en sin o , a sp ecto p o u co d e-se n vo lvid o n o a t u a l m o d e lo d e a va lia ç ã o d a CAPES. Pa ra en riq u ecer a s co n sid era çõ es críti-cas sob re este ú ltim o, d iscu tim os as ten d ên cias recen tes d os sistem as d e avaliação d a Eu rop a e Ca n a d á , su ge rin d o a lgu n s p o ssíve is in d ica d o -res p a ra a va lia r a q u a lid a d e d o en sin o .
Um a d a s p rin cip a is ca ra cterística s d o a tu a l m o d e lo d e a va lia çã o , n a o p in iã o d o s o b se rva -d o res estra n geiro s, é a -d e q u e ele é o b jetivo n a su a n a tu re za . U tiliza se a a b o rd a ge m d e ca rá -ter m a is su b jetivo , esp ecia lm en te p a ra ilu stra r o s p o n to s fo rtes o u fra co s id en tifica d o s d u ra n -te o p ro cesso d e a va lia çã o . A u n id a d e d e a n á li-se d a a va lia çã o é o Pro gra m a e , d e n tro d e u m a m e sm a á r e a d e c o n h e c im e n t o , o s Pr o gr a m a s s ã o a va lia d o s c o m p a r a t iva m e n t e . Os p r in c i-p a is d a d o s co le t a d o s sã o d e d o is t ii-p o s: re cu rso s h u m a n o s e p r o d u çã o cie n t ífica , o q u e ca ra ct e riza o m o d e lo d e a va lia çã o co m o ce n t ra -d o n a p esq u isa e n a excelên cia . A a va lia çã o -d o Pro gra m a é fe it a a ca d a t rê s a n o s, n o e n t a n t o , o m o n it o r a m e n t o é d e c a r á t e r a n u a l. Os a va-lia d o r e s e xt e r n o s sã o in d ic a d o s p e lo p r ó p r io Pro gra m a .
Os p r in cip a is in d ica d o r e s d o in st r u m e n t o d e a va lia çã o sã o d e n a tu re za q u a n tita tiva , fa l-ta n d o in d ica d o re s d e n a tu re za q u a lil-ta tiva , co-m o p o r execo-m p lo , d e o p in iã o d o co rp o d iscen te sob re a sa tisfa çã o e a q u a lid a d e d o cu rso. Con t u d o , a va lia m se , n a a n á lise fin a l, o s co m p o -n e -n t e s q u a lit a t ivo s d o Pro gra m a . Pa ra a lgu -n s ob servad ores, os critérios d e avaliação são p o u co se n síve is à va r ia çã o d a q u a n t id a d e d e a lu -n o s p o r Pr o gr a m a , o u se ja , “co m o s cri t éri o s a t u a i s, u m Pro gra m a co m ci n co a lu n o s ca d a
a n o t em o m esm o v a lo r q u e o u t ro co m 50 a lu -n os” (Sp agn olo &Calh au , 2002:15).
As co n clu sõ e s a cim a se p a u t a ra m e m d u a s p rin cip a is d im e n sõ e s. A p rim e ira é a d a e ficiê n cia , o u se ja ; a re la çã o e n t re re cu rso s h u m a -n os d isp o-n íveis e cap acid ad e p er cap itad e p
ro-d u zir p e sq u isa e e n sin o , a in ro-d a q u e p a r a e st e ú lt im o n ã o e xist a m in d ic a d o r e s o b je t ivo s; a segu n d a é a d a q u a lid a d e d o s p ro d u to s, so b re -t u d o a p e sq u isa . Pa ra e s-ta , m e d e -se o va lo r d a p u b lica çã o b a se a d o n o QU ALIS – b a se d e d a -d os q u e com p reen -d e os veícu los -d e -d ivu lga çã o cie n t ífica u t iliza d o s p e lo s Pr o gr a m a s d e Pó sgra d u a çã o . En treta n to , o s o b serva d o res d esta -ca r a m a lgu m a s fr a gilid a d e s d e sse p r o ce sso . Um a d ela s é q u e n ã o h á visita s d o s a va lia d o res p a ra co n h e ce r a in fra -e st ru t u ra d o Pro gra m a . Po r o u t r o la d o , o t e m p o d e u m a se m a n a p a r a a n a lisa r tod os os d a d os d o Progra m a é tid o co m o in su ficie n te ; e a a u to a va lia çã o d o Pro gra -m a t a -m b é -m n ã o é p rio riza d a . Fin a l-m e n t e , fo i o b s e r va d o c o m a lgu m a e s t r a n h e za q u e , e m -b o r a o s in d ic a d o r e s d e q u a lid a d e a n a lis a d o s n a s d ife r e n t e s d im e n s õ e s fo s s e m p o u c o s , a o fin a l o re su lt a d o se e xp re ssa p o r m e io d e u m a ú n ic a n o t a , c o m p r e d o m in â n c ia d o s in d ic a -d o re s q u a n tit a t ivo s.
Os o b serva d o res id en tifica ra m a lgu m a s se -m e lh a n ça s e d ife r e n ça s e n t r e a a va lia çã o d a CAPES e a d e a lgu n s p a íses eu ro p eu s. Um a d a s d iferen ça s é q u e a va lia çõ es co m essa s ca ra cte -rísticas n ão ocorrem em in tervalos m en ores d o q u e cin co a n o s (à s ve ze s, o in te rva lo é d e 6 a 8 a n o s). À se m e lh a n ça d o p ro ce sso b ra sile iro , a e q u ip e d e a va lia d o r e s e xt e r n a é c o m p o st a d e p e sso a s in d ica d a s p e lo co rp o d o ce n t e d o Pro -gr a m a e n ã o h á c o m p a r a ç õ e s d ir e t a s c o m o s d e m a is Pr o gr a m a s d a á r e a n o p a ís. Aq u i ca b e u m com en tá rio: a ten d ên cia h oje, n a Eu rop a , é a d e associar as com p arações com a n orm a p rée st a b rée lrée c id a (o m a is c o m u m ) rée m vá r io s Pr o gr a m a s se m e lh a n t e s e m u m m o m e n t o d e t e r -m in a d o e c o -m o -m e m o Pr o gr a -m a e -m u -m e s-p a ço d e te m s-p o d ife re n te , s-p o ssib ilita n d o q u e a avaliação seja a m ais com p leta p ossível, d ad a a co m p lexid a d e d o p ro cesso (Ferrer, 1997).
er-Cad . Saúd e Púb lica, Rio d e Jane iro , 19(6):1837-1840, no v-d e z, 2003
ca d o d e t ra b a lh o , n í v el sa la ri a l e p o si çã o n a h iera rq u ia , êx it o n a s p rov a s d a esp ecia lid a d e); 7) em co n ex ã o co m o s i t en s a ci m a li st a d o s, a l-gu n s í n d i ces sã o u t i li z a d o s p a ra cla ssi f i ca r e com p arar Program as d e p ós-grad u ação, t ais com o: a lu n os ecom t ecom p o in t egra l/d ocen t es ecom t ecom -p o i n t egra l, -p ercen t u a l d e a lu n o s q u e o b t êm o Ph D e/ou n ú m ero d e t it u la d os p or a n o” (Sp a g-n olo & Ca lh a u , 2002:13).
Os o b se rva d o re s fo ra m u n â n im e s e m co n -sid era r o m od elo d e a va lia çã o h oje a d ota d o p e-la CAPES co e re n t e n a su a ge n e ra lid a d e e co m u m a q u a lid a d e a va lia tiva e le va d a . To d a via , d e a co r d o co m Fe r r e r (1997), t r ê s p r in cíp io s d e -ve ria m se r re sp e it a d o s: -ve ra cid a d e , co e rê n cia e ju st iça , d a n d o - se m a io r ê n fa se a o t e r ce ir o q u a n d o se rea liza m a n á lises co m p a ra tiva s, d e-vid o às con seq ü ên cias n egativas q u e u m a co m -p a r a çã o in ju st a -p o d e t r a ze r -p a r a o Pr o gr a m a avaliad o.
Os c o m e n t á r io s p o s t e r io r e s d o s o b s e r va d o r e s p o d e m s e r e n t e n d id o s c o m o u m a p r o -p o st a d e re o rie n t a çã o d o sist e m a d e a va lia çã o b r a s ile ir o n a á r e a d a p ó s - gr a d u a ç ã o st ri ct o sen su p a r a o q u e p r e va le c e h o je n o c e n t r o
-n o r t e d a Eu r o p a e -n o Ca -n a d á , c o m ê -n fa se -n a a va lia çã o d e q u a lid a d e d o e n sin o e q u e d e t a -lh a rem os a segu ir.
Avaliação da qualidade do ensino
na área de pós-graduação
stricto
sensu: algumas tendências
D o s co m e n t á rio s fe it o s p e lo s o b se rva d o re s, o q u e m a is ch a m o u a a t e n çã o fo i q u e o sist e m a d e a va lia çã o d a CAPES está m a is o rien ta d o p a-ra a p esq u isa d o q u e p a a-ra a q u a lid a d e d o en si-n o. No isi-n stru m esi-n to d e a va lia çã o u tiliza d o, si-n ã o h á in d ica d o re s p ró p rio s p a ra a va lia r o s m é t o -d o s -d e en sin o , a q u a li-d a -d e é in feri-d a co m b a se n a a n á lise d o n ú m ero d e p u b lica ções, d a q u a li-fica çã o d o co rp o d o cen te, d a s o rien ta çõ es realiza d a s e d a ca r ga h o r á r ia d o ce n t e n o Pr o gr a -m a . “Su p or q u e a p esq u isa e a s p u b lica ções q u e d ela d eriv a m sã o t a m b ém ev id ên cia s d a q u a li-d a li-d e li-d o en sin o é u m a h ip ót ese m u it o li-d iscu t ív el. A f o rm a çã o d e q u a li d a d e ex i ge co m p et ên ci a s p ed a gógica s e cien t ífica s q u e n em sem p re em a -n a m d a a t iv id a d e d e p esq u isa” (Sp a gn o lo &Ca-lh au , 2002:24).
Te m sid o ca d a ve z m a io r o in t e r e sse n o s p aíses eu rop eu s em d iscu tir a avaliação d a q u a-lid a d e d o e n sin o . Os m o t ivo s va r ia m d e sd e a m a ssifica çã o d a e d u ca çã o u n ive rsit á ria , o d ese n vo lvim e n t o d o e n sin o a d ist â n cia a t é o a u -m e n t o d o s co rt e s o rça -m e n t á rio s n a s u n ive rsi-d a rsi-d e s p ú b lica s. O e sse n cia l n e ssa s rsi-d iscu ssõ e s
MO DELO DE AVALIAÇÃO CAPES 1839
t e m sid o e n c o n t r a r n o c o n c e it o d e q u a lid a d e d o e n sin o o s a t rib u t o s q u e a ju d a rã o a e xp lict a r a c o m p a r a b ilid a d e d o s o b je lict ivo s d a s a lict i-vid a d e s e d u ca t iva s co m a s m e d id a s u t iliza d a s e se u s co r r e sp o n d e n t e s r e su lt a d o s (H a m a la ï-n e ï-n & Ja kku -Sih vo ï-n e ï-n , 1999). Ne sse se ï-n t id o e d e acord o com Royero (1999), a q u alid ad e d eve se r e n t e n d id a va le n d o - se d e u m a p e rsp e ct iva co m p le xa e m u ltid im e n sio n a l, cu ja a m p litu d e a b a rca o s p ro ce sso s e d u ca tivo , so cia l e h u m a -n o e se co-n verte em u m sistem a co-n ectad o com o u t ro s sist e m a s in t e rd e p e n d e n t e s.
É co n ve rge n t e n o s p a íse s e u ro p e u s a id é ia d e q u e a ga ra n t ia d e ssa q u a lid a d e p o d e se d a r im p le m e n t a n d o p o lít ica s e d u ca cio n a is e t o r n a n d o p ú b lica s in fo rm a çõ es so b re o fu n cio n a -m e n t o d o s Pr o gr a -m a s, d o s se u s r e su lt a d o s, a lé m d e e xp licit a r a n e ce ssid a d e d e m e lh o ria s n o e n sin o . Ne sse co n t e xt o , a a va lia çã o t e m se t o r n a d o u m a e s t r a t é gia e s s e n c ia l, d a n d o - s e e m trê s d im e n sõ e s: (1) a u to a va lia çã o re a liza -d a a o in terio r -d o Pro gra m a ; (2) a va lia çã o in ter-n a rea liza d a p o r p a res; e (3) a va lia çã o exterter-n a , c o n d u zid a p o r a gê n c ia s in d e p e n d e n t e s . N a s p rim eira e segu n d a d im en sõ es é ca ra cterística c e n t r a l o p r o c e s s o p e d a gó gic o d e a d e s ã o d o Pr o gr a m a à ló gic a d e m e lh o r ia d a q u a lid a d e d o e n sin o . A t e rce ira t e m co m o ca ra ct e ríst ica e sse n cia l o u so d e p a d rõ e s b a se a d o s e m crité r io s d e q u a lid a d e c o n s t r u íd o s d e fo r m a c o n -sen su a l.
Hoje, os sistem as d e avaliação d e en sin o d e gra d u a çã o e p ó sgra d u a çã o q u e fo ra m im p le -m e n t a d o s n o c e n t r o - n o r t e d a Eu r o p a a t u a -m n e ssa s d ife r e n t e s d im e n sõ e s e se o r ie n t a m a fim d e “d efi n ir cla ra m en t e os req u isit os form a -t iv os (p or m eio d e lev a n -t a m en -t os com a s p a r-t es in t eressa d a s) e d a í form u la r os objet iv os form a -t iv os, em -t erm os d e con h ecim en -t os, h a b ilid a d es t écn i co - esp ecí f i ca s, ca p a ci d a d es o p era t i v a s e h a b i li d a d es t ra n sv ersa i s q u e o p ro gra m a d ev e in d u z ir n o est u d a n t e; esp ecifica r os m ét od os d e en si n o m a i s a d eq u a d o s e d e a p u ra çã o d o s co-n h ecim eco-n t os a d q u irid os (p rov a s)” (Sp a gn o lo & Ca lh a u , 2002:24). À títu lo d e co n trib u içã o , p o -d e ría m o s su ge rir a lgu n s in -d ica -d o re s b a se a -d o s n o m o d e lo d e e st ru t u ra , p ro ce sso e re su lt a d o . Para o p rim eiro – tem p o d o p rofessor d ed icad o a o Pr o gr a m a . Pa r a o se gu n d o – a t ivid a d e s d e a p ren d iza gem em rela çã o a o a lca n ce d o s o b jetivos d o p rogram a; existên cia ou n ão d e avalia -çã o co n t ín u a e p e rió d ica e o e st ilo d e e n sin a r d o p rofessor. Para o ú ltim o – relação en tre ap ro -va d o s e re p ro -va d o s e m d iscip lin a s e o gra u d e satisfação d os alu n os.
HO RTALE, V. A. 1840
Cad . Saúd e Púb lica, Rio d e Jane iro , 19(6):1837-1840, no v-d e z, 2003
cen tra is o com p on en te form a tivo d a a va lia çã o, o u se ja , a a u t o - a va lia çã o , e a ga r a n t ia d e m e-lh oria con tín u a d a q u alid ad e d os cu rsos e d a re-levân cia d os seu s Program as (Com ission d ’Éva-lu a tio n d e l’En seign em en t Co llégia l, 1994).
Pa ra e n ce rra r, e n te n d e m o s q u e , n a á re a d a sa ú d e p ú b lic a n o Br a sil, a va lia r a fo r m a ç ã o vem se torn a n d o ca d a vez m a is u m a p reocu p a-ção essen cial d as in stitu ições d e en sin o d e p ós-gra d u a çã o , d e vid o à n e ce ssid a d e d e q u a lifica r p ro fissio n a is co m p eten tes q u er p a ra a p esq u isa e o e n sin o , q u e r p a ra a t e n d e r a s n e ce ssid a
-Referências
COM ISSION D ’ÉVALU ATION D E L’EN SEIGN EM EN T CO LLÉGIAL, 1994.Gen era l Gu i d e t o t h e Ev a l u a -t i o n o f Pro gra m s o f S -t u d i es. Q u é b e c : Co m is s io n d ’Éva lu a t io n d e l’En se ign e m e n t Co llé gia l. FERRER, A. T., 1997. T ra t a m ien t o y U so d e la In form a
-ci ó n en Ev a lu a -ci ó n. 22 Se p t ie m b r e 2003 <h t t p :/ / www.in ce .m e c.e s/ cu m b re / d 1-05.h t m >.
H AM ALAÏN EN , K. & JAKKU - SIH VO N EN , R., 1 9 9 9 .
M o re Q u a l i t y t o t h e Q u a l i t y Po l i cy o f Ed u ca t i o n. 22 Se p t e m b e r 2003 <h t t p :/ / w w w .m in e d u .fi/ e u -p r e s i d e n c y / e n g / m e e t i n g s / 2 3 - 2 5 Se -p t e m b e r / ja kku %20e n g.p d f>.
RO YERO , J., 1999 Co n t e xt o m u n d ia l s o b r e la e va lu -a ció n e n l-a s in st it u cio n e s d e e d u c-a ció n su p e rio r.
R ev i st a Ib ero a m eri ca n a d e Ed u ca ci ó n <h t t p :/ / w w w . c a m p u s - o e i . o r g / r e v i s t a / d e l o s l e c t o r e s / 334ro ye ro .p d f>.
SPAGNOLO, F. & CALH AU , M . G., 2002. IN FOCAPES – Bolet im In form a t iv o d a CAPES. 10:7-34.
Re ce b id o e m 25 d e ju n h o d e 2003 Ap ro va d o e m 22 d e se t e m b ro d e 2003
