UNI V E R S I D A D E F E D E R A L D O C E A R Á
F A C UL D A DE D E E D UC A Ç Ã O
PR O G R A M A D E PÓS -G R A D UA Ç Ã O E M E D UC A Ç Ã O B R A SI L E I R A
A NT Ô NI O V A L D E NÍS I O B E Z E R R A J ÚNI O R
A NÁ L I S E D A S PR O V A S D O E X A M E D A O A B E D O E NA DE D OS C UR S O S D E
D I R E I T O D O A NO D E 2012 À L UZ D A T A X O NO M I A D O S O B J E T I V O S
E D UC A C I O NA I S D E B E NJ A M I N B L O O M .
F O R T A L E Z A
A NT Ô NI O V A L D E NÍS I O B E Z E R R A J ÚNI O R
A NÁ L I S E D A S PR O V A S D O E X A M E D A O A B E D O E NA DE D OS C UR S O S D E
D I R E I T O D O A NO D E 2012 À L UZ D A T A X O NO M I A D O S O B J E T I V O S
E D UC A C I O NA I S D E B E NJ A M I N B L O O M .
D issertaçã o apresentada ao Programa de PX
s-Graduaçã o em E ducaçã o B rasileira da
Universidade F ederal do C eará, como requisito
parcial à obtençã o do título de Mestre em
E ducaçã o B rasileira. Á rea de concentraçã o:
A valiaçã o do E nsino-A prendizagem.
Orientador: Prof. D r. R aimundo Hélio L eite.
F O R T A L E Z A
Biblioteca Universitária
Gerada automaticamente pelo módulo Catalog, mediante os dados fornecidos pelo(a) autor(a)
B469a Bezerra Júnior, Antônio Valdenísio.
Análise das Provas do Exame da OAB e do ENADE dos cursos de Direito do ano de 2012 à luz da taxonomia dos objetivos educacionais de Bnajmin Bloom / Antônio Valdenísio Bezerra Júnior. – 2016. 79 f. : il.
Dissertação (mestrado) – Universidade Federal do Ceará, Faculdade de Educação, Programa de Pós-Graduação em Educação, Fortaleza, 2016.
Orientação: Prof. Dr. Raimundo Hélio Leite.
1. Exame da OAB. 2. ENADE. 3. Taxonomia de Bloom. I. Título.
A NT Ô NI O V A L D E NÍS I O B E Z E R R A J ÚNI O R
A NÁ L I S E D A S PR O V A S D O E X A M E D A O A B E D O E NA DE D OS C UR S O S D E
D I R E I T O D O A NO D E 2012 À L UZ D A T A X O NO M I A D O S O B J E T I V O S
E D UC A C I O NA I S D E B E NJ A M I N B L O O M .
D issertaçã o apresentada ao Programa de PX
s-Graduaçã o em E ducaçã o B rasileira da
Universidade F ederal do C eará, como requisito
parcial à obtençã o do título de Mestre em
E ducaçã o B rasileira. Á rea de concentraçã o:
A valiaçã o do E nsino-A prendizagem.
A provado em: _ _ _ C_ _ _ C_ _ _ _ _ _ .
B A NC A E X A MINA D OR A
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _
Prof. D r. R aimundo Hélio L eite (Orientador)
Universidade F ederal do C eará ( UF C )
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _
Prof. D r. Nicolino T rompieri F ilho
Universidade F ederal do C eará ( UF C )
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _
Profa. D ra. A na Maria F ontenelle C atrib
Universidade de F ortaleza (UNIF OR )
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _
Prof. D r. J osé J úlio da Ponte Neto
“Man is apparently so constituted that he
cannot refrain from evaluating, judging,
appraising, or valuing almost everything
Rhich comes Rithin his purvieR.”
(B L OOM et al., 1956)
“A parentemente, o homem é formado de tal
modo que nã o pode deixar de avaliar, julgar,
estimar ou valorar.”
R E S UM O
A aprovaçã o no E xame da OA B é exigê ncia legalmente imposta a todos os bacharéis em
direito que almejem exercer a advocacia. D esde a sua imposiçã o, ela foi alvo de diversas
críticas acerca da sua legalidade, necessidade e, até mesmo, eficácia. E nquanto guardiã da
profissã o de advogado, a OA B , como já ocorre em outros países, utiliza uma prova como
mecanismo para selecionar apenas os candidatos que demonstram o conhecimento,
capacidade e habilidades indispensáveis ao exercício da advocacia. Por outro lado, a efetiva
avaliaçã o do ensino superior, em toda a sua totalidade, é tarefa precipuamente executada pelo
ME C através do S INA E S , sendo o E NA D E o componente utilizado para a avaliaçã o dos
estudantes. A presente pesquisa analisou as provas do E xame da OA B e do E NA D E à luz da
taxonomia dos objetivos educacionais de B enjamin B loom, através do mapeamento dos
objetivos educacionais exigidos nesses testes aplicados no ano de 2012. Os dados obtidos
indicaram que os E xames da OA B trabalham no nível da categoria do conhecimento, ao passo
que o E NA D E explora mais a categoria imediatamente superior, a da compreensã o.
A B S T R A C T
T he approval in the OA B exam is a legal requirement to all laR school bachelors that aim to
be a laRyer. S ince its adoption, it has undergone several critical about its legality, necessity
and even effectiveness. J ust like in other countries, the OA B , the guardian of the attorney’s
profession, uses a measurement test to select only candidates Rho demonstrate the essential
knoRledge, skills and abilities to the practice of laR. T he effective higher education’s
evaluation is a task performed by the ME C , through S INA E S , in Rhich E NA DE is the
component used to measure the student’s evaluation. T hrough B loom’s educational objectives
taxonomy, this research proposes to find the real nature of the OA B exam, in comparison to
E NA DE ’s one, by mapping the educational objectives required in both tests in the years of
2012. D ata obtained from the analysis of the instruments shoRs that the OA B exam Rorked in
the category of knoRledge, and the E NA D E focused on the next one, the comprehension.
L I S T A D E A B R E V I A T UR A S E S I G L A S
C A PE S C oordenaçã o de A perfeiçoamento de Pessoal de Nível S uperior
C E S PE CUnB C entro de S eleçã o e de Promoçã o de E ventos da Universidade de B rasília
E C A E statuto da C riança e do A dolescente
E NA DE E xame Nacional de D esempenho de E studantes
E NE M E xame Nacional do E nsino Médio
F GV F undaçã o Getúlio V argas
F IE S F undo de F inanciamento E studantil
INE P Instituto Nacional de E studos e Pesquisas E ducacionais A nísio T eixeira
ME C Ministério da E ducaçã o
NS A Nã o se aplica
OA B Ordem dos A dvogados do B rasil
PR OUNI Programa Universidade para T odos
PUC R S Pontifícia Universidade C atXlica do R io Grande do S ul
séc. S éculo
S INA E S S istema Nacional de A valiaçã o da E ducaçã o S uperior
S IS U S istema de S eleçã o Unificada
S UM Á R I O
1 I NT R O D UÇ Ã O ... 09
2 E S T UDO A NA L ÍT I C O D O E X A M E D A O A B E D O E NA D E ... 14
2.1 O E xame da O A B ... 14
2.1.1 C aracterizaçã o das provas do E xame da OA B ... 18
2.2 O E NA D E dos cur sos de dir eito ... 20
2.2.1 C aracterizaçã o das provas do E NA D E dos cursos de direito ... 24
3 A PO R T E S T E ÓR I C OS PA R A A C O NS T R UÇ Ã O D E I NS T R UM E NT O S D E A V A L I A Ç Ã O ... 27
3.1 C onstr uçã o e análise de instr umentos de avaliaçã o de r endi mento ... 27
3.2 A taxonomia dos obj etivos educacionais de B loom ... 30
3.2.1 C onhecimento ... 33
3.2.2 C ompreensã o ... 34
3.2.3 A plicaçã o ... 36
3.2.4 A nálise ... 37
3.2.5 S íntese ... 38
3.2.6 A valiaçã o ... 39
4 M E T O D O L O G I A … … … ...… … … . 41
4.1 C ar acter izaçã o da pesquisa … … … .… … 41
4.2 Pr ocedi mento de coleta e análise dos dados ...… … … ...… … . 41
5 A NÁ L I S E E D I S C US SÃ O D O S R E S UL T A DO S ... 44
5.1 A nálise das pr ovas do E xame da O r dem ... 44
5.2 A nálise da pr ova do E NA D E de dir eito ... 57
5.3 C ompar ativo entr e as pr ovas da O A B e do E NA D E ... 63
6 C O NC L US Ã O ... 66
R E F E R ÊNC I A S ... 67
A PÊND I C E A – F I C H A D E C O L E T A D E D A D O S PA R A C L A S S I F I C A Ç Ã O D A S Q UE S T Õ E S NA T A X O NO M I A D E B L O OM ... 73
A PÊND I C E C – C L A SS I F I C A Ç Ã O D A S Q UE S T Õ E S D O E X A M E D A
O A B 2012.1 D E A C O R D O C O M A T A X ONO M I A D E B L O O M ... 75
A PÊND I C E D – C L A SS I F I C A Ç Ã O D A S Q UE S T Õ E S D O E X A M E D A
O A B 2012.2 D E A C O R D O C O M A T A X ONO M I A D E B L O O M ... 76
A PÊND I C E E – C L A S S I F I C A Ç Ã O D A S Q U E S T Õ E S D O E X A M E D A
O A B 2012.3 D E A C O R D O C O M A T A X ONO M I A D E B L O O M ... 77
A PÊND I C E F – C L A S S I F I C A Ç Ã O D A S Q UE S T Õ E S D O
C O M PO NE NT E E S PE C ÍF I C O D O E NA D E D E D I R E I T O 2012 D E
1 I NT R O D UÇ Ã O
A procura pela graduaçã o em direito tem sido intensa, tanto que o curso figurou
como o segundo mais procurado no S istema de S eleçã o Unificada (S ISU), ediçã o 2015,
atingindo o expressivo número de 262.255 inscritos, segundo dados do Ministério da
E ducaçã o (B R A S IL , 2015, p. 11). T al procura é o resultado natural de uma cultura que
enxerga nos concursos públicos um dos poucos caminhos para se alcançar independê ncia e
estabilidade financeira, uma vez que sã o notXrios os atrativos salários prXprios das carreiras
jurídicas (SA NT OS ; GONÇ A L V E S , 2013), aliados ao alto prestígio social a elas inerente.
Por outro lado, o baixo custo relativo de funcionamento destes cursos e o
crescimento do acesso da populaçã o à s universidades, fomentado por programas do governo,
a exemplo do F undo de F inanciamento E studantil (F IE S ) e do Programa Universidade para
T odos (PR OUNI), tornaram o ensino jurídico um nicho bastante atrativo aos empresários que
investem na educaçã o superior. A ssim, essa alta procura aliada à facilidade de abertura dos
cursos sã o fatores que explicam também o expressivo salto no número de cursos de direito em
atividade no País, indo de 165 no ano de 1995 para impressionantes 1.306 no início de maio
de 2015 (GIE S E L E R , 2015b), ou seja, um crescimento de aproximadamente 692Ã em vinte
anos.
T al aumento desenfreado acarretou em medida extrema adotada pelo ME C que,
em 2013, deixou de autorizar a criaçã o de novos cursos de direito, em resposta aos anseios e
preocupações manifestados pela Ordem dos A dvogados do B rasil (OA B ) no que tange à s
repercussões sociais, educacionais e, certamente, mercadolXgicas dessa proliferaçã o. O acordo
firmado entre essas entidades (ME C e OA B) definiu que a suspensã o de novas autorizações
perduraria até o advento do marco regulatXrio do ensino jurídico no País (OR D E M D OS
A D V OGA D OS D O B R A S IL , 2013).
E ntretanto, a pressã o política exercida pelas faculdades privadas conseguiu
reverter a situaçã o e, em meados de 2015, o ME C voltou a autorizar a criaçã o de novos cursos
apXs a publicaçã o da Portaria Normativa nº 20C2014CME C (BR A S IL , 2014), mesmo sem a
aprovaçã o do aludido marco regulatXrio do ensino jurídico, o qual até o presente momento
ainda nã o foi editado.
D iante desse panorama, tornam-se ainda mais polê micos os resultados do tã o
unificada do certame variou entre 65,5Ã e 87,1Ã, considerando um total de inscritos no
período entre 97 mil a 126 mil (F UNDA Ç Ã O GE T ÚL IO V A R G A S , 2014, p. 41).
E m números absolutos, entre 2010 e 2014, das 1.340.560 inscrições recebidas,
apenas 101.933 aprovações ocorreram, ou seja, 20,9Ã do total (F UND A Ç Ã O GE T ÚL IO
V A R GA S, 2014, p. 41), fato que a OA B atribui à atual condiçã o de mercantilizaçã o e péssima
qualidade do ensino jurídico (MA C IE L ; MA T UMOT O, 2008, p. 117). T odavia, há quem
levante a hipXtese de utilizaçã o dessa prova como instrumento de reprovaçã o em massa
(G IE S E L E R , 2015a), cujo escopo principal seria o de diminuir a quantidade de profissionais a
ingressar no mercado advocatício.
D esde o surgimento da OA B , que remonta ao E stado Novo (1930), a entidade tem
manifestado zelo com o ensino jurídico, negando ser por questões de reserva de mercado que
passou a adotar o certame. Oriunda da evoluçã o natural e planejada do antigo Instituto dos
A dvogados do B rasil, à OA B foi entregue a nobre tarefa de ser a guardiã do exercício da
advocacia ( B R A S IL , 1994), destacando-se, outrossim, por suas importantes contribuições ao
ensino do direito, daí porque é tida como verdadeiro divisor de águas (S A NT A NA
C A MA R GO et al., 2012, p. 3).
O prXprio E statuto da OA B ainda prevê tal funçã o colaborativa, nos termos do
artigo 54, inciso X V (B R A S IL , 1994): “C ompete ao C onselho F ederal: ( ...) X V – colaborar
com o aperfeiçoamento dos cursos jurídicos, e opinar, previamente, nos pedidos apresentados
aos Xrgã os competentes para criaçã o, reconhecimento ou credenciamento desses cursos”. No
entanto, diante dos dados apresentados, questiona-se se a OA B realmente desempenha esse
relevante papel educacional e se, com esteio nesse propXsito, de fato seleciona apenas os
profissionais realmente preparados para o mercado de trabalho, operando como um
termômetro do ensino jurídico no país (S A NT A NA C A MA R GO et al., 2012, p. 3).
Na seara legal, um dos argumentos levantados por aqueles que sã o contrários ao
E xame da OA B é a ausê ncia de competê ncia legal da OA B para avaliar a aprendizagem dos
bacharéis, pois este seria encargo exclusivo do Poder Público, mais especificamente do ME C
(MA C IE L ; MA T UMOT O, 2008, p. 119). E m contrapartida, sustenta-se que o reducionismo
desse ponto de vista deixa de lado aquele grande papel conferido à OA B , qual seja, o de
promover o aperfeiçoamento da cultura jurídica, especialmente dentro da academia. A demais,
a OA B é Xrgã o do Poder Público e sua atuaçã o, através do E xame de Ordem, nã o visa avaliar
todos os bacharéis, mas tã o somente aqueles que pretendem exercer a advocacia, ou seja,
No tocante à avaliaçã o externa do ensino superior, um importante contraponto é
apresentado por Marchelli (2007, p. 354), ao ilustrar a realidade da Inglaterra, onde tal
avaliaçã o é feita por meio de corporações profissionais independentes, e nã o por um sistema
central estabelecido pelo Governo. O autor também chama atençã o para o fato de as
universidades inglesas figurarem dentre as mais antigas e experientes do mundo. L á, o
aperfeiçoamento dos meios para se atingir a excelê ncia figura como norte do processo
avaliativo, pautado sob a égide da eficiê ncia e da eficácia.
O estudioso arremata com a esperança de que o ME C se espelhe no modelo inglê s
e passe a utilizar terceiros para melhor trabalhar o sistema de avaliaçã o vigente no País,
chegando a vislumbrar até mesmo possibilidade de uso de uma auditoria independente do
ME C (ou por ele autorizada), a ser adotada de forma voluntária pelas instituições de ensino
superior (V IA NNA , 2003; MA R C HE L L I, 2007, p. 359).
No B rasil, essa incumbê ncia de avaliar o ensino superior é atribuída ao ME C ,
levada a cabo através do S istema Nacional de A valiaçã o da E ducaçã o S uperior (S INA E S )
(MA R C HE L L I, 2007, p. 353). E sse sistema avaliativo, externo à s instituições, é instrumento
cognitivo, crítico, organizador e trabalha com dados quantitativos e juízos de valor para
chegar a uma conclusã o acerca da qualidade das práticas e da produçã o teXrica das avaliadas.
Um dos componentes utilizados no S INA E S é o E xame Nacional de D esempenho de
E studantes (E NA D E ), no qual é feita a mensuraçã o das habilidades acadê micas (no sentido de
capacidades) e das competê ncias profissionais (B R IT O, 2008, p. 846).
No plano teXrico, a elaboraçã o e conduçã o do E NA D E atende à s preocupações de
Gentil et al. (2008, p. 4581), para quem a “avaliaçã o deve existir nã o para constatar a
quantidade de conteúdos aprendidos pelos alunos, mas a qualidade apresentada para a
reelaboraçã o e produçã o de conhecimentos novos por eles”.
E m outra mã o, o E xame da OA B , em decorrê ncia da alta taxa de reprovaçã o
observada, tem fomentado a massificaçã o do ensino jurídico e a proliferaçã o de cursos
preparatXrios específicos para esta prova. F ala-se inclusive em deturpaçã o da contribuiçã o que
ele poderia trazer ao ensino jurídico, uma vez que deixa de promover toda sua potencialidade
de engrandecimento do conhecimento nas universidades para acarretar uma verdadeira
mercantilizaçã o e banalizaçã o da docê ncia jurídica, voltada quase exclusivamente para o ê xito
em testes (SA NT A NA C A MA R GO et al., 2012).
A OA B atribui responsabilidade pelos baixos índices de aprovaçã o à s prXprias
alunos, os quais atribuem os resultados aos professores, formando uma corrente de
transferê ncia na qual ninguém assume seu quinhã o de responsabilidade. G entil et al. (2008, p.
4587) apontam para uma crise do ensino jurídico, muito embora entendam que o péssimo
resultado observado decorre de má formaçã o profissional, da qual resulta inaptos ao exercício
da atividade jurídica, em especial, da advocacia.
A té o presente momento, pouco se investigou a respeito da natureza avaliativa do
E xame da OA B , para se aprofundar a análise acerca da essê ncia dessa prova, ou seja, o que
ela efetivamente consegue mensurar. A pXs exaustiva revisã o de literatura, verificou-se que
T agliavini (2013, p. 11) enfrentou a questã o e buscou elucidar a composiçã o desse
instrumento com base na taxonomia de B loom, muito embora tenha limitado os esforços de
sua equipe ao mapeamento apenas das primeiras fases da I e IX edições unificadas do E xame
da OA B (2009.3 e 2012.3).
C abe destacar que, naqueles estudos, nã o foi utilizada a taxonomia originalmente
proposta por B loom, mas uma variante formulada pelo prXprio pesquisador. T ambém nã o foi
analisada a totalidade do exame, deixando de lado as provas da segunda fase, que possuem
cunho eminentemente dissertativo. T agliavini (2013, p. 10) concluiu que as questões da
primeira fase sã o voltadas à memorizaçã o de conteúdo (em especial, de normas), ou seja,
muito aquém de contemplar todas as habilidades desejadas pela OA B aos almejantes à
carreira advocatícia.
Noutro trabalho, B raga e B ezerra (2014) constataram a possibilidade de utilizaçã o
da taxonomia de B loom nos exames do E NA D E e da OA B , sem, contudo, deterem-se na
análise de quaisquer das versões integrais das provas, apenas reforçando o entendimento
original dos criadores da classificaçã o de B loom, ou seja, de que a sua aplicaçã o é universal.
D e fato, Medeiros (1989, p. 19) já alertava para o uso da taxonomia de B loom na elaboraçã o
de provas em geral, cuja aplicaçã o se faz necessária desde a organizaçã o do esquema básico
de qualquer avaliaçã o de rendimento educativo.
S obre a aplicaçã o da taxonomia de B loom em estudos sobre provas de outras
áreas de formaçã o, especificamente na contabilidade, dois estudos (S A NT A NA J UNIOR et
al., 2009; PINHE IR O et al., 2013) adaptaram-na para avaliar a composiçã o de provas de
concursos públicos federais, do E NA DE do curso de ciê ncias contábeis e do exame do
C onselho F ederal de C ontabilidade. A s seis categorias originalmente formuladas por B loom
O foco nos objetivos educacionais tem norteado temas de relevo como a qualidade
do ensino jurídico, competê ncias exigidas pela OA B , melhoramento de currículos, validade e
fidedignidade das avaliações, de forma que o uso da taxonomia tem incrementado o sistema
de avaliaçã o nas universidades (J OHNS ON; F UL L E R , 2006). A liás, R eginaldo e B ezerra
(2013) informam que o banco de questões de todos os cursos da Universidade de F ortaleza
(UNIF OR ) categoriza os itens postados pelos professores com base na taxonomia de B loom.
É propício, portanto, retomar as lições de L uckesi (1994, p. 69) e Perrenoud
(1999, p. 53), para quem o ato avaliativo envolve sempre uma tomada de decisã o para um
agir. T ambém nã o se pode olvidar a necessária distinçã o feita por V ianna (2000, p. 25) entre
avaliaçã o e mensuraçã o, dado que esta é apenas uma primeira etapa do processo avaliativo.
No atual panorama do ensino jurídico, o E NA DE , na condiçã o de componente do
S INA E S, é o único mecanismo de avaliaçã o utilizado pelo ME C para diagnosticar o
aprendizado no ensino superior brasileiro e, a princípio, presta-se ao papel avaliativo definido
pelos renomados autores. Paralelamente, há quem defenda que a OA B , através do E xame da
OA B , cumpre sua missã o para com o ensino do direito ao selecionar para o mercado os
profissionais realmente preparados (S A NT A NA C A MA R GO et al., 2012, p. 3).
Propõe-se, assim, investigar a natureza dessas provas com arrimo na taxonomia
dos objetivos educacionais de B loom (B L OOM et al., 1956) para se confrontar os resultados
obtidos com as informações disponibilizadas pelas instituições organizadoras. Para cumprir
essa tarefa, foram estabelecidos os seguintes objetivos específicos:
a) A nalisar, à luz da taxonomia dos objetivos de B loom, a composiçã o dos
instrumentos avaliativos utilizados no E xame da OA B e no E NA DE dos cursos
de direito do ano de 2012;
b) C omparar os resultados obtidos nas análises precedentes com os estudos
divulgados pelas prXprias entidades organizadoras (F GV e INE P,
respectivamente).
A través da combinaçã o dos objetivos específicos propostos, pretendeu-se
responder à grande questã o lançada em torno da temática: quais habilidades e competê ncias o
2 E S T UDO A NA L ÍT I C O D O E X A M E S D A O A B E D O E NA D E
O presente capítulo faz uma análise percuciente dos dois exames objeto do estudo
proposto, abordando seus aspectos relacionados com a criaçã o, objetivos e evoluçã o histXrica.
Primeiramente é apresentado um resgate acerca da criaçã o e regulamentaçã o do E xame da
OA B , seguido da caracterizaçã o do exame no período estudado. R essaltam-se os avanços na
tecnologia de elaboraçã o e conduçã o das provas, conforme houve mudança na entidade
contratada pela OA B para realizaçã o do certame. S eguindo igual lXgica, é traçado um
panorama geral da avaliaçã o dos cursos de graduaçã o no B rasil, enfatizando-se a situaçã o dos
cursos de direito. A parte final do capítulo foi destinada à descriçã o das provas do E NA DE .
2.1 O E xame da O A B
A C onstituiçã o F ederal estabelece que a advocacia é funçã o essencial à justiça e,
assim como qualquer outra profissã o, é livre seu exercício, uma vez atendidas as
“qualificações profissionais que a lei estabelecer” (B R A S IL , 1988). A tualmente, a legislaçã o
em questã o é o E stado da Ordem dos A dvogados do B rasil, a L ei F ederal nº 8.906, de 4 de
julho de 1994, que regulamenta as atividades dessa autarquia especial.
A lém de outras exigê ncias (capacidade civil, idoneidade moral, nã o exercer
atividade incompatível com a advocacia, fazer prova do alistamento eleitoral e quitaçã o do
serviço militar obrigatXrio exigida dos candidatos do sexo masculino), para ser inscrito na
OA B o candidato deve obter grau de bacharel em direito por instituiçã o reconhecida pelo
ME C (art. 8º , inciso II, da L ei nº 8.906C94) e aprovaçã o no E xame de Ordem (art. 8º , inciso
IV , da L ei nº 8.906C94). S omente apXs o preenchimento de todos esses requisitos, o aspirante
poderá prestar compromisso perante o conselho e estará apto ao exercício da profissã o de
advogado ( B R A S IL , 1994).
O polê mico retrospecto sobre a adoçã o do E xame de Ordem (ou E xame da OA B )
e da obrigatoriedade de aprovaçã o para que o candidato possa exercer a advocacia foi
brilhantemente resumido por R osas (1997):
estágio profissional, e, finalmente, a L ei 8906 ( art. 8º , 1º ) instituiu unicamente o exame ( excluindo estágio) para o ingresso na OA B , hoje consolidado no provimento nº 81C96 do C onselho F ederal.
A ntes da adoçã o do E xame da OA B pela entidade, foram estudadas as realidades
de 39 países com o intuito de saber como se dava a outorga e permissã o para exercício da
advocacia. No resultado, foram criados sete grupos (dos quais o B rasil figuraria agora no 2º
deles), deixando claro que a exigê ncia de exame profissional nã o seria uma experiê ncia
inédita a ser implementada pela OA B :
L ...] eis que fizemos pesquisa junto a 39 países, para saber como se faz o ingresso ao exercício da advocacia e, concluindo-a, a classificamos em sete grupos, a saber: 1º G r upo – Países que exigem exame profissional ( E xame de Ordem, perante a corporaçã o profissional, ou E xame de E stado, perante determinado Xrgã o público ou T ribunal) , mais estágio ou residê ncia profissional de dois ou mais anos, apXs a graduaçã o: L íbano, S uíça, J apã o, Grécia, Á ustria (exige também mestrado ou doutorado) , Haiti, Polônia, Inglaterra, E stados Unidos ( com variações de E stado para E stado), F rança, Iugoslávia, T ogo, Marrocos, A lemanha e Nigéria.
2º G r upo – Países que exigem exame profissional, sem obrigatoriedade de estágio ou residê ncia: F inlândia, C hile, México e Países B aixos.
3º G r upo – Países que exigem exame profissional, apXs formado o bacharel em D ireito, sem E xame de Ordem ou de estágio: E gito (necessário estágio em escritXrio de advocacia) , A rgélia e C osta do Marfim.
4º G r upo – Países que nã o exigem exame ou estágio: Uruguai, B olívia, E quador, Suriname ( é praxe a prática de um ano em escritXrio de advocacia), Iraque, Nicarágua, E spanha, C uba e V enezuela.
5º G r upo – Países que exigem sX estágio: E slováquia, T urquia, C olômbia ( mais exposiçã o escrita e defesa de tese jurídica) , e Portugal.
6º G r upo – T rabalhar como assistente por trê s anos com advogado, devendo se submeter a diversos testes para advogar perante T ribunais S uperiores. Para advogar perante o ST F , prova de exercício da atividade de cinco anos em T ribunais Superiores: D inamarca.
7º G r upo – Que exige licença pelo Ministério de J ustiça, apXs a comprovaçã o de que nos últimos dois anos cumpriu diversas modalidades legais, incluindo trê s processos em C ortes Inferiores de J ustiça, como estagiário: Noruega. (R OS A S, 1999, apud A L E X A ND R INO, 2006, p. 344-345)
D entre os vários argumentos levantados contra o E xame da OA B , talvez o mais
robusto seja o que reconhece apenas ao ME C a competê ncia para fiscalizaçã o e avaliaçã o do
ensino superior e, por via de consequê ncia, da formaçã o dos egressos. T odavia, sabe-se que as
faculdades de direito nã o formam apenas advogados, muito embora estes constituam a “ponte
de ligaçã o com as outras atividades jurídicas – a magistratura, o Ministério Público, a
consultoria, o serviço público, este o grande consumidor dos quadros profissionais jurídicos, e
Os defensores do exame replicam sustentando que ele verifica tã o somente o
atendimento de uma qualificaçã o mínima do candidato, para que ele demonstre aptidã o e
conhecimento dos instrumentos utilizados na operacionalizaçã o do direito (R OS A S , 2010,
p.144; B US A T O, 2007, p. 125-130). E m outras palavras, conforme assegura D e A lmeida
(2008), o advogado tem perfil de conhecimento específico, dissociado das demais esferas da
atuaçã o no direito, de forma que a OA B busca identificar e selecionar apenas quem demonstra
capacidade para o exercício da advocacia, evidenciada através dos conhecimentos específicos
e necessários ao advogado, objeto de avaliaçã o no E xame da OA B . Por isso:
L ...] nã o se pretende mensurar o acúmulo de conhecimentos jurídicos, mas a capacidade de aplicá-los. Ou seja, ao E xame de Ordem compete testar a habilidade do postulante a advogado de raciocinar juridicamente, de analisar e solucionar os problemas jurídicos apresentados e de demonstrar o domínio dos principais fundamentos do direito e suas aplicações. ( A L E X A ND R INO, 2006, p. 345-350)
R ealmente, da forma como é posto, o E xame da OA B nã o se presta à avaliaçã o do
ensino superior, atividade que envolve a análise de uma série de outras variáveis nã o
contempladas pelo certame. S eu único propXsito seria o de mensurar o conhecimento,
capacidades e habilidades do bacharel em direito para, ao final, atestar ou nã o o
preenchimento do mínimo necessário desejado ( MA ME D E , 2011). Ocorre que as faculdades
de direito, especialmente as públicas, nã o tê m apenas essa funçã o, dada a formaçã o
propedê utica que ela pode oferecer, abrindo, dessa maneira, mercado de trabalho para outras
áreas de interesse para o desenvolvimento do país. C om efeito, é necessário se ponderar o fato
que educaçã o pública é mantida pelos pagadores de impostos que merecem ter o devido
retorno do investimento feito na formaçã o de profissionais. No caso em questã o, cita-se a
defensoria pública como um tipo positivo de retorno.
E ntretanto, nada impediu sua utilizaçã o também com intuito de avaliar a
qualidade dos cursos de direito. Outrossim, tal uso dos resultados do E xame da OA B é visto
de forma corriqueira em faculdades e na prXpria sociedade ao se considerar o número de
egressos de determinada instituiçã o que obtiveram a aprovaçã o.
A liás, o cruzamento dos resultados do E xame de Ordem com os dados de
desempenho do E NA D E , inclusive, já tem sido utilizado pela OA B para ranquear as
universidades. Identificadas aquelas instituições com os mais altos índices de aproveitamento,
é conferido o “S elo OA B R ecomenda”, uma forma de resposta dada pela autarquia em face da
(GE L L E R et al., 2012, p. 12). Um melhor aproveitamento educacional dessas informações
mostra-se possível, na medida em que:
O E xame de Ordem pode se constituir em instrumento indutor de qualidade do ensino jurídico, na medida em que é aferido o desempenho dos candidatos, nas áreas de opçã o de realizaçã o da prova prático-profissional, uma vez que tais informações sejam remetidas aos cursos jurídicos, a fim de que verifiquem o nível dos seus egressos, procurando melhorar as áreas deficitárias. ( ISE R HA R D , 2003. p. 80)
E m artigo veiculado no site da OA B , foi dito:
A supressã o do vestibular tem um preço. Preço muito alto, ressalte-se. C omo nã o existe um crivo ou seleçã o consistente, o nível intelectual médio dos alunos é baixo, muito baixo. T ambém baixo ou muito baixo é o nível do ensino jurídico observado. A final, nã o adiantam professores mestres e doutores, métodos ativos de ensino, bibliotecas aparelhadas, tecnologia de ponta e outras providê ncias nesse sentido, se existem profundas deficiê ncias de formaçã o acadê mica e intelectual entre os estudantes de direito. (C A ST R O, 2014).
C abe destacar o papel da OA B no contexto do ensino jurídico, trazido pelos
artigos 44 e 54 do seu estatuto, pelos quais é encarregada de “pugnar pelo aperfeiçoamento da
cultura jurídica” e “colaborar com o aperfeiçoamento dos cursos jurídicos, e opinar,
previamente, nos pedidos apresentados aos Xrgã os competentes para criaçã o, reconhecimento
ou credenciamento desses cursos” (BR A S IL , 1994). R ecentemente, a prXpria autarquia
explicitou sua visã o acerca do E xame através de publicaçã o da F undaçã o Getúlio V argas
(F GV ), atual responsável pela conduçã o desse processo seletivo:
C omo instrumento normativo de regulaçã o profissional previsto na C onstituiçã o F ederal e em legislaçã o específica, o E xame busca avaliar a qualificaçã o do bacharel em D ireito para o exercício profissional, isto é, aferir se o examinando apresenta os conhecimentos teXricos e práticos indispensáveis ao exercício da profissã o no país. C om esse objetivo, seu conteúdo é elaborado com referê ncia nos parâmetros de aptidã o necessários para atender adequadamente à s demandas do mercado.
A o estabelecer os critérios mínimos para qualificaçã o profissional dos bacharéis, o E xame colabora para a introduçã o de melhorias nos projetos pedagXgicos e na estrutura dos cursos jurídicos oferecidos no país, ao mesmo tempo em que reduz as incertezas e os custos associados à escolha de profissionais no mercado de trabalho. ( F UND A Ç Ã O GE T ÚL IO V A R G A S, 2014, p. 17)
Portanto, no âmbito educacional, a questã o perpassa a natureza dos
conhecimentos, capacidades e habilidades necessárias ao exercício da advocacia e,
2.1.1 C aracterizaçã o das provas do E xame da OA B
O E xame de Ordem foi criado pela L ei 4.125, de 27 de abril de 1963, inicialmente
exigido apenas daqueles que nã o haviam participado ou obtido aprovaçã o em estágio cursado
nos moldes estabelecidos pela OA B. A lém dos aprovados nesse estágio, também eram
dispensados os “membros da Magistratura e do Ministério Público que tenham exercido as
respectivas funções por mais de dois anos, bem como, nas mesmas condições, os professores
de F aculdade de D ireito oficialmente reconhecidas” (B R A S IL , 1963).
A obrigatoriedade de aprovaçã o no exame, como requisito para inscriçã o na OA B ,
por sua vez, sX veio a ser exigida com o advento da L ei 8.904, de 04 de julho de 1994, que
estabeleceu o novo E statuto da Ordem dos A dvogados do B rasil. T odavia, desde entã o se tem
apontado para questões graves relacionadas ao ensino jurídico no País, principalmente em
razã o do alto índice de reprovaçã o constatado (MA C IE L ; MA T UMOT O, 2008, p. 117).
A té o ano de 2010 nã o havia unificaçã o nacional na aplicaçã o do E xame da OA B ,
o que sX veio ocorrer na primeira ediçã o daquele ano, quando a organizadora da prova ainda
era o C entro de S eleçã o e de Promoçã o de E ventos da Universidade de B rasília
(C E S PE CUnB ). Uma das maiores inovações trazidas pelo I E xame Unificado foi a de permitir
a participaçã o dos estudantes do último ano do curso (nono e décimo períodos) (C E NT R O D E
S E L E Ç Ã O E D E PR OMOÇ Ã O D E E V E NT OS , 2010, p. 1). A tualmente, as edições
permanecem unificadas em todo o territXrio nacional, com a frequê ncia de trê s edições por
ano, mas agora realizadas pela F undaçã o Getúlio V argas (F GV ), que assumiu a organizaçã o
do certame a partir da II ediçã o unificada, referente à aplicaçã o de 2010.2.
A té a ediçã o 2010.1 (primeira unificada), entã o organizada pelo C E SPE CUnB , a
avaliaçã o era composta por duas fases, sendo a primeira uma prova com 100 questões
múltipla-escolha, com quatro opções (A , B , C e D ) e uma única resposta correta, de acordo
com o comando da questã o. A cada questã o em concordância com o gabarito oficial o
candidato recebia um ponto, sendo necessários pelo menos 50 pontos para que estivesse
habilitado para a segunda fase do E xame da OA B (C E NT R O D E S E L E Ç Ã O E D E
PR OMOÇ Ã O D E E V E NT OS, 2010, p. 4-5).
Para a composiçã o da primeira fase o C E S PE CUnB escolhia os itens de forma a
contemplar todas as disciplinas profissionalizantes obrigatXrias e integrantes do currículo
mínimo do curso de D ireito, fixadas pelo C NE do ME C , conforme R esoluçã o C NE CC E S nº 9,
A dolescente, D ireito A mbiental, D ireito Internacional, E statuto da A dvocacia e da OA B , seu
R egulamento Geral e C Xdigo de É tica e D isciplina da OA B (C E NT R O D E S E L E Ç Ã O E D E
PR OMOÇ Ã O D E E V E NT OS, 2010, p. 4).
J á na segunda fase, de cunho discursivo, o candidato deveria optar por uma das
áreas: D ireito A dministrativo, D ireito C ivil, D ireito C onstitucional, D ireito do T rabalho,
D ireito E mpresarial, D ireito Penal ou D ireito T ributário. Nela era solicitado do candidato a
elaboraçã o uma peça profissional privativa de A dvogado e respostas a cinco questões abertas,
sob a forma de situações-problema (C E NT R O D E S E L E Ç Ã O E D E PR OMOÇ Ã O D E
E V E NT OS , 2010, p. 4-6) , sendo ainda permitida a pesquisa a leis e livros pré-estabelecidos.
Pelo acerto total da peça profissional o candidato recebia cinco pontos e, pelo
acerto completo de cada questã o, um ponto. Ou seja, um total de dez pontos pela prova da
segunda fase. C onsiderava-se aprovado o candidato que obtivesse pelo menos nota 6, vedado
o arredondamento (C E NT R O D E S E L E Ç Ã O E D E PR OMOÇ Ã O D E E V E NT OS , 2010, p.
4-6). Mesmo com a modificaçã o da organizadora exame a partir da ediçã o 2010.2, essas
características gerais das provas mantiveram-se inalteradas até a aplicaçã o 2011.1.
D esde que assumiu a conduçã o do processo, a F GV mostrou uma maior atençã o
com a temática da meta avaliaçã o, passando a incluir o seguinte item em todos os editais
subsequentes:
3.4.1.1 A dicionalmente, a F G V aplicará Questionário de Percepçã o sobre a Prova, composto de 10 (dez) questões acerca do conteúdo das provas aplicadas, de preenchimento facultativo pelo examinando, por se tratar de mera pesquisa, nã o influindo no resultado final das provas do examinando. ( F UND A Ç Ã O GE T ÚL IO V A R G A S, 2010, p. 6)
A lém dessa sistemática bifásica, na primeira fase houve uma reduçã o no número
de questões, passando a ser composta com 80 itens, com a ressalva de que no mínimo 15Ã
(quinze por cento) das questões versariam sobre E statuto da A dvocacia e da OA B e seu
R egulamento Geral, C Xdigo de É tica e D isciplina e D ireitos Humanos (F UND A Ç Ã O
GE T ÚL IO V A R GA S , 2011, p. 7-8).
A prova da segunda fase também foi aperfeiçoada, permanecendo a exigê ncia de
elaboraçã o da peça prático profissional privativa de advogado, mas com apenas quatro
questões práticas, sob a forma de situações-problema, valendo, no máximo, 1,25 (um inteiro e
vinte e cinco décimos) pontos cada, tudo referente à área previamente escolhida pelo
Os critérios de aprovaçã o foram mantidos, sendo necessário obter pontuaçã o igual
ou superior a 50Ã na primeira fase e uma nota mínima de 6,00 pontos na segunda fase,
vedado o arredondamento, para que o candidato pudesse ser considerado aprovado no E xame
da OA B (F UND A Ç Ã O GE T ÚL IO V A R G A S, 2011, p. 15-16).
Outra inovaçã o importante no processo ocorreu no final de 2013, quando o
C onselho F ederal da OA B deliberou pela possibilidade de reaproveitamento da primeira fase
do exame para o candidato que nã o lograr aprovaçã o na prova prático-profissional (segunda
fase), nos termos do Provimento 144, de 13 de junho de 2011, e suas alterações posteriores
constantes no Provimento 156C2013, de 01 de novembro de 2013, do C onselho F ederal da
OA B . A ssim, passou-se a ter a faculdade de reaproveitar o resultado da prova objetiva, para
fins de realizaçã o da prova prático-profissional do E xame imediatamente subsequente, sem
isentar do pagamento do valor da taxa de inscriçã o correspondente. T al regra passou a vigorar
a partir da X II ediçã o unificada do E xame de Ordem (F UND A Ç Ã O GE T ÚL IO V A R G A S ,
2011, p. 7).
A tualmente, o E xame da OA B permanece com estas últimas configurações, mas
passou a incluir também a disciplina F ilosofia do D ireito nas provas de primeira fase, como
parte do núcleo que deve ser formado de 15Ã das questões supracitadas (F UND A Ç Ã O
GE T ÚL IO V A R GA S , 2016b, p. 9). D emonstra-se uma nítida tendê ncia de buscar indicativos
de uma formaçã o mais ampla e abrangente, evidenciada pela inclusã o de disciplinas cujo
escopo nã o é direcionado para a técnica jurídica de manipulaçã o do direito.
2.2 O E NA DE dos cur sos de dir eito
No B rasil, a avaliaçã o do ensino superior, a nível de graduaçã o, sX teve início na
década de 90, a princípio com a L ei 9.131, de 24 de novembro de 1995, e a sua posterior
regulamentaçã o através do D ecreto 2.026, de 10 de outubro de 1996. A partir de entã o, foi
estabelecido o E xame Nacional de C ursos (E NC ) , também chamado de “Provã o” (V E R HINE ;
D A NT A S , 2005, p. 5), cuja organizaçã o e aplicaçã o foram da alçada do Instituto Nacional de
E studos e Pesquisas E ducacionais A nísio T eixeira ( INE P) , na época, Xrgã o vinculado ao
Ministério da E ducaçã o e do D esporto, mas que posteriormente adquiriu personalidade
jurídica prXpria, na forma de autarquia federal.
E ntretanto, a avaliaçã o dos cursos de mestrado e doutorado teve início mais
Nível S uperior (C A PE S ) , de forma que a situaçã o geral da avaliaçã o do ensino superior era
feita conforme mostra o organograma abaixo:
Gráfico 1 – R epresentaçã o do S istema Nacional da A valiaçã o durante a vigê ncia do
“Provã o”.
F onte: V E R HINE ; D A NT A S, 2005, p. 6
O “Provã o” consistia em uma prova aplicada a todos os concludentes dos campos
de conhecimento avaliados em cada ediçã o, onde nã o havia a necessidade de preenchimento
de um perfil mínimo para fins de aprovaçã o. No começo, apenas trê s cursos foram avaliados:
D ireito, Medicina e E ngenharia C ivil, mas chegou a abranger um total de 26 cursos na sua
última ediçã o em 2003, os quais eram classificados anualmente em conceitos que iam de “A ”
a “E ” (V E R H INE ; D A NT A S , 2005, p.7).
Inicialmente, a escala era referenciada à norma, ou seja, era estabelecida a partir
da classificaçã o relativa dos cursos em comparaçã o com os demais do mesmo campo de
conhecimento, tomando por base o desempenho médio de seus alunos. C ontudo, na sua última
ediçã o (2003), os cursos foram classificados com base em duas escalas, a primeira relacionada
ao desvio padrã o geral e a outra, à média absoluta (V E R HINE ; D A NT A S , 2005, p. 7). E m
todo caso, havia previsã o de consequê ncia sérias à s instituições mal avaliadas, muito embora
nã o tenha ocorrido o devido rigor na prática:
E ainda:
O Provã o foi um mecanismo de regulaçã o estatal com critérios relacionados ao mercado, com estabelecimento de rankings que estimulavam a concorrê ncia entre as IE S . A pesar das normas preverem punições nos casos de resultados negativos no Provã o, na prática nã o houve nenhum efeito punitivo, senã o de divulgaçã o midiática e publicitária em procedimentos de auto-regulaçã o típicos do mercado. ( B A R R E Y R O; R OT HE N, 2006)
A participaçã o do concludente de um curso avaliado era obrigatXria, sob pena de
nã o expediçã o do seu diploma. T odavia, eram suficientes o comparecimento ao exame e
assinatura da lista de presença para cumprimento da exigê ncia. E m decorrê ncia disso, o
prXprio INE P reconheceu a instabilidade dos resultados, inviabilizando o uso das informações
para orientaçã o das políticas educacionais ( V E R HINE ; D A NT A S, 2005, p. 8).
D entre os inúmeros problemas apontados ao E NC , destacam-se a falta de padrã o
de qualidade pré-definidos para elaboraçã o dos testes, prejudicando a análise dos escores;
ausê ncia de uma pontuaçã o mínima para indicar proficiê ncia no curso, impedindo uma análise
direta da qualidade do ensino; uso de critérios relativos, obstando a comparaçã o dos
resultados de diversas áreas ou na mesma área ao longo do tempo; e testes aplicados apenas
aos alunos concludentes, sem permitir a identificaçã o dos programas que efetivamente
contribuíam com o nível de conhecimento do aluno (V E R HINE ; D A NT A S, 2005, p. 7-8;
V IA NNA , 2003).
T odavia, talvez o grande problema desse primeiro sistema de avaliaçã o fosse a
falta de integraçã o entre os seus componentes, o que veio a ser modificado em 2003, através
da Medida ProvisXria nº 147, de 15 de dezembro de 2003, posteriormente convertida na L ei nº
10.861, de 14 de abril de 2004, que criou o S istema Nacional de A valiaçã o da E ducaçã o
S uperior (S INA E S ). C om o propXsito de acabar, ou pelo menos minimizar, tais problemas,
estabeleceu um sistema em trê s avaliações: institucional, de curso e de estudantes
(V E R H INE ; D A NT A S , 2005, p. 13).
Hoje, a avaliaçã o institucional é feita através de uma autoavaliaçã o (pela
C omissã o de A valiaçã o PrXpria de cada instituiçã o) e uma avaliaçã o externa realizada sob a
supervisã o da C ONA E S . A s informações coletadas na autoavaliaçã o sã o enviadas para o
INE P, que realiza visitas posteriores à instituiçã o para complementaçã o e consolidaçã o dos
dados e encerramento dessa etapa ( V E R HINE ; D A NT A S , 2005, p. 14-15) .
Nessa fase, o foco de interesse é definido pelas dimensões avaliadas, conforme
considerar ainda as informações referentes ao desempenho dos alunos no E NA D E e os
conceitos dos cursos (os outros dois componentes do S INA E S ) :
a) missã o e plano de desenvolvimento institucional;
b) políticas relacionadas ao ensino, pesquisa, cursos de graduaçã o, pXs-graduaçã o
e extensã o;
c) responsabilidade social da instituiçã o;
d) comunicaçã o com a sociedade;
e) políticas de pessoal;
f) administraçã o e organizaçã o institucional;
g) infraestrutura física;
h) planejamento e avaliaçã o;
i) políticas de atendimento aos estudantes;
j) sustentabilidade financeira.
No componente de avaliaçã o de cursos, o processo é conduzido por especialistas
que compõem uma comissã o externa indicada pelo INE P. E ssa comissã o é incumbida de
identificar as condições de ensino oferecidas aos estudantes, em especial as relativas ao perfil
do corpo docente, à s instalações físicas e à organizaçã o didático-pedagXgica (B R A S IL , 2004).
A avaliaçã o do desempenho dos estudantes é feita através do E NA D E . Nele, os
alunos sã o avaliados em relaçã o aos conteúdos programáticos previstos nas diretrizes
curriculares do respectivo curso de graduaçã o, suas habilidades para ajustamento à s
exigê ncias decorrentes da evoluçã o do conhecimento e suas competê ncias para compreender
temas exteriores ao âmbito específico de sua profissã o, ligados à realidade brasileira e
mundial e a outras áreas do conhecimento ( B R A S IL , 2004).
O resultado atingido pelos estudantes de cada instituiçã o é expresso em conceitos
ordenados em uma escala com 5 (cinco) níveis, tomando por base padrões mínimos
estabelecidos por especialistas das diferentes áreas do conhecimento ( B R A S IL , 2004).
Nos termos da Portaria Normativa nº 40, de 12 de dezembro de 2007, do ME C
(B R A S IL , 2010), o E NA D E é aplicado tanto aos ingressantes quanto aos concluintes de cada
curso a ser avaliado, constituindo componente curricular obrigatXrio a ser registrado no
histXrico. Importante registrar que o E NA D E nã o é mais aplicado a todos os concludentes,
mas apenas a uma amostra, mas mesmo aqueles alunos nã o selecionados deverã o ter
registrada a dispensa em seu histXrico, pois o nã o atendimento ao exame ou a comprovaçã o da
2.2.1 C aracterizaçã o das provas do E NA D E dos cursos de direito
A té entã o, o E NA D E foi aplicado aos estudantes de direito nos anos de 2006,
2009, 2012 e 2015, conforme periodicidade máxima legalmente estabelecida ( B R A S IL ,
2004). D esde a sua primeira ediçã o, a prova é formada por um componente de avaliaçã o da
formaçã o geral e outro específico da área, com prazo máximo para término de quatro horas
( INS T IT UT O NA C IONA L D E E S T UD OS E PE S QUIS A S E D UC A C IONA IS A NÍS IO
T E IX E IR A , 2006, 2009, 2012).
A ssim, ela é constituída de duas partes: prova de conhecimentos gerais e prova de
conhecimentos específicos da área do curso, voltada a aferir competê ncias, habilidades e
conteúdos agregados durante a formaçã o. C abe salientar que os ingressantes sX participam
prova geral, elaborada com base na matriz de referê ncia do E xame Nacional do E nsino Médio
(E NE M), dela sendo dispensados caso apresentem resultado válido do E NE M (B R A S IL ,
2010).
Para as duas primeiras edições, o componente geral era constituído de 10 (dez)
questões (duas discursivas e oito de múltipla escolha), que abordavam situações-problema,
estudos de caso, simulações e interpretaçã o de textos, imagens, gráficos e tabelas. J á no
componente específico, das 30 (trinta) questões, 4 (quatro) eram discursivas e 26 (vinte e seis)
de múltipla escolha, envolvendo situações-problema e estudos de caso ( INS T IT UT O
NA C IONA L D E E S T UD OS E PE S QUIS A S E D UC A C IONA IS A NÍS IO T E IX E IR A , 2006,
2009). Na última ediçã o do E NA D E de D ireito, no ano de 2012, houve uma alteraçã o na
configuraçã o do componente específico, que passou a ter 3 (trê s) questões discursivas e 27
(vinte e sete) de múltipla escolha, mantido o total de 30 (trinta) questões.
Os elementos que nortearam a composiçã o do componente específico da área do
direito, segundo o Instituto Nacional de E studos e Pesquisas E ducacionais A nísio T eixeira
(2006, 2009, 2012), foram:
a) as diretrizes curriculares dos cursos de graduaçã o em direito;
b) a verificaçã o do desenvolvimento competê ncias e habilidades necessárias ao
aprofundamento nos eixos da F ormaçã o fundamental, F ormaçã o profissional e
F ormaçã o prática;
c) a avaliaçã o do nível de atualizaçã o dos estudantes com relaçã o à realidade
A o passo que foram trabalhadas as seguintes competê ncias ( INS T IT UT O
NA C IONA L D E E S T UD OS E PE S QUIS A S E D UC A C IONA IS A NÍS IO T E IX E IR A , 2006,
2009, 2012):
a) leitura, compreensã o e elaboraçã o de textos, atos e documentos jurídicos ou
normativos, com a devida utilizaçã o das normas técnico-jurídicas;
b) interpretaçã o e aplicaçã o do D ireito;
c) pesquisa e utilizaçã o da legislaçã o, da jurisprudê ncia, da doutrina e de outras
fontes do D ireito;
d) adequada atuaçã o técnico-jurídica, em diferentes instâncias, administrativas ou
judiciais, com a devida utilizaçã o de processos, atos e procedimentos;
e) correta utilizaçã o da terminologia jurídica ou da C iê ncia do D ireito;
f) utilizaçã o de raciocínio jurídico, de argumentaçã o, de persuasã o e de reflexã o
crítica;
g) julgamento e tomada de decisões;
h) domínio de tecnologias e métodos para permanente compreensã o e aplicaçã o
do D ireito;
i) compreensã o adequada e interdisciplinar dos fenômenos políticos, sociais,
econômicos, subjetivos e psicolXgicos, dentre outros, considerando-os na
criaçã o, interpretaçã o e aplicaçã o do D ireito;
j) capacidade de reflexã o crítica e sensível, bem como capacidade de abstraçã o
metafXrica;
k) compreensã o e interrelacionamento dos fundamentos filosXficos, axiolXgicos e
teXricos do D ireito com sua aplicaçã o prática.
T ais itens foram retirados, conforme previsã o legal, das D iretrizes C urriculares
Nacionais do C urso de Graduaçã o em D ireito, nos termos da R esoluçã o C NE CC E S nº 9, de 29
de setembro de 2004.
C abe ainda destacar que possivelmente nos prXximos haverá uma modificaçã o na
sistemática do E NA D E , nos termos da estratégia 13.6 do anexo da L ei nº 13.005, de 25 de
junho de 2014 (Plano Nacional de E ducaçã o – PNE ), pois é prevista a substituiçã o do
E NA DE aplicado aos alunos do primeiro ano de curso pelo resultado por eles obtidos no
E NE M, com vistas à “elevar a qualidade da educaçã o superior”, prevista na meta 13
T al mudança, entretanto, já se fez sentir desde antes, pois no ano de 2012, o
E NA DE foi aplicado apenas aos concluintes, ou seja, os que estavam no último ano dos
cursos de graduaçã o ( INST IT UT O NA C IONA L D E E S T UD OS E PE S QUIS A S
3 A PO R T E S T E ÓR I C OS PA R A A C O NS T R UÇ Ã O D E I NST R UM E NT OS D E
A V A L I A Ç Ã O
O capítulo em epígrafe faz uma prospecçã o do aporte teXrico necessário para a
análise dos dados colhidos na presente pesquisa. A lém de abordar os aspectos técnicos da
elaboraçã o e análise de itens pertinentes ao trabalho, também faz uma exposiçã o da
taxonomia dos objetivos educacionais elaborada por B loom e seus companheiros, com
considerações sobre as intervenções e modificações pretendidas por autores posteriores. No
primeiro tXpico do capítulo, será explorada de uma forma geral a tecnologia dos testes,
deixando a taxonomia para a segunda e última do capítulo.
3.1 C onstr uçã o e análise de instr umentos de avaliaçã o de r endimento
A construçã o de itens de avaliaçã o na área cognitiva nã o é tarefa fácil, mas
também nã o é impossível, uma vez que todos os objetivos educacionais importantes podem
ser mensurados (V IA NNA , 1976, p. 18). Para tanto, os testes objetivos eCou dissertativos
podem ser utilizados indistintamente como mecanismo de mensuraçã o, mas se recomenda a
utilizaçã o de testes objetivos quando o contexto da avaliaçã o envolver um grupo grande de
examinados e haja a necessidade de uma rápida divulgaçã o de notas fidedignas e imparciais
(V IA NNA , 1976, p. 25-26).
É importante definir tanto como medir quanto o que será medido, de forma a nã o
buscar que o aluno manifeste apenas a aquisiçã o de elementos informativos. D e fato,
isoladamente tais elementos informativos sã o insuficientes, pois sX justificam o esforço
desprendido no processo educacional quando estã o acompanhados de outras capacidades
intelectuais, para que sejam desenvolvidos comportamentos desejados ( V IA NNA , 1976, p.
29-30).
B auzer (1970, p.5 6) reforça que, além de ser necessário definir claramente os
objetivos de aprendizagem que serã o avaliados, a construçã o dos itens ou questões deve
buscar medir os “aspectos da aprendizagem nos quais o professor espere encontrar alterações
específicas da conduta”. Para tanto, deve selecionar um grupo de tXpicos suficientemente
representativos do campo de estudo a ser avaliado (BA UZ E R , 1970, p. 56 e 57).
Quanto aos itens, é preciso definir a sua quantidade, os tipos (de resposta única,
(relativa) e o tempo necessário para resolvê -los. Nos testes com propXsito de embasar
decisões importantes (especialmente seleções), recomenda-se o uso de grande número de itens
(pelo menos 50), mas essa quantidade também sofre influê ncia do tipo de
comportamentoCobjetivo exigido do aluno, de forma que quanto mais complexo for o
comportamento exigido, menor o número de itens necessários (V IA NNA , 1976, p. 41-46).
O ponto de partida para elaboraçã o, portanto, devem ser ideias relevantes e
capazes de discriminar os alunos, de forma que os mais preparados respondam corretamente e
os demais errem. Por isso o alerta para se evitar o uso de assuntos ignorados ou conhecido por
todos (V IA NNA , 1976, p. 71-72).
Igualmente relevantes devem ser os objetivos avaliados, devendo a preferê ncia
recair sobre os mais complexos, em detrimento de itens centrados apenas em elementos
específicos ou informações isoladas (V IA NNA , 1976, p. 72-76). E a mensuraçã o da
consecuçã o desses objetivos deve ser precisa:
Um teste de aproveitamento é uma verificaçã o da medida em que os alunos alcançam objetivos educacionais. É adequado e válido quando proporciona dados quanto ao nível alcançado pelos alunos ao atingirem cada um dos principais objetivos de uma unidade de ensino. (B L OOM et al., 1976, p. 25) .
J á em relaçã o à s alternativas de um item objetivo, é necessário que todas sejam
igualmente plausíveis e atrativas. Os erros e a fraseologia típicos dos examinandos sã o de
grande ajuda, muito embora seja imperativa a utilizaçã o de uma linguagem precisa em todas
as alternativas, as quais devem ter a mesma extensã o e complexidade verbal, organizadas de
forma homogê nea (V IA NNA , 1976, p. 76).
Para a mensuraçã o de objetivos mais complexos, o uso de respostas abertas é mais
aconselhável. C ontudo, ao avaliar com itens dissertativos, o cuidado deve ser incidir sobre o
equilíbrio entre grau de generalidadeCespecificidade do comando: deve ser específico ao ponto
de o aluno compreender seu objetivo e saber como proceder, mas deve permitir que o mesmo
formule sua resposta de acordo com sua capacidade de organizaçã o e auto expressã o
(V IA NNA , 1976, p. 82-84).
E m outra mã o, Medeiros (1989, p. 58 a 59), defende que o uso de questões de
múltipla escolha pode ser feito de forma a exigir exame crítico do examinando, nã o
precisando apoiar-se na memorizaçã o. A depender da sua construçã o, podem permitir o
exame de resultados complexos, tais como compreensã o da leitura, raciocínio dedutivo,
A grande maioria dos especialistas prefere a escolha múltipla, uma vez que se presta à medida dos mais diversos tipos de comportamento – da simples memorizaçã o à avaliaçã o do melhor procedimento entre vários apresentados. Numerosas pesquisas tê m mostrado as suas vantagens para a medida da escolaridade ( desde que, é Xbvio, as questões sejam bem construídas e sondem reações importantes). ( ME D E IR OS, 1989, p. 58)
Havendo necessidade de maior objetividade nas respostas, de modo a facilitar e
padronizar a correçã o, poder-se-á limitá-la em funçã o do nível de formaçã o intelectual do
examinando, da identificaçã o clara da linha de abordagem desejada e evitar o uso de
expressões vagas (V IA NNA , 1976, p. 83-84).
No aspecto organizacional dos itens, diversos critérios podem ser adotados para
sequenciar os itens: ordem crescente de dificuldade e complexidade, áreas de conteúdo
uniforme, tipo de comportamento exigido, apresentaçã o formal dos itens etc., todos a
depender dos objetivos do examinador. Mas qualquer que seja o critério, ele nã o pode ser um
fator de perturbaçã o para o examinando (V IA NNA , 1976, p. 92).
É desejável uma pré-testagem dos itens, principalmente para eliminar aqueles
tecnicamente defeituosos e determinar os respectivos graus de dificuldade e de discriminaçã o
dos itens antes mesmo da aplicaçã o. E ntretanto, sabe-se que, em determinadas situações, a
pré-testagem nã o é possível, sendo necessária a posterior anulaçã o de questões mal
formuladas e a determinaçã o dos graus de dificuldade e discriminaçã o em estudos pXs-teste
(V IA NNA , 1976, p. 93).
C om efeito, além de fornecer informações acerca do desempenho dos
examinandos, é essa análise do pXs-teste que fornece os dados quantitativos efetivos sobre os
itens que melhor conseguiram discriminar os alunos e quais itens apresentaram deficiê ncias
técnicas ( V IA NNA , 1976, p. 188).
E m linhas gerais, B auzer (1970, p. 57 a 60) recomenda que sejam evitadas
questões: cuja resposta apareça implícita na pergunta; cuja resposta nã o revele
necessariamente conhecimento obtido através do ensino da matéria, e sim do bom senso ou
senso comum; com perguntas ambíguas; com erros gramaticais ou de pontuaçã o; que possam
admitir mais de uma resposta; formuladas como charada; que indiquem as respostas de outras
questões; com dados desnecessários ou que possam induzir comportamento diverso do
pretendido; cujas opções erradas nã o sejam plausíveis ou tenham extensã o diferenciada.
O uso de questões do tipo certo-errado é desaconselhado, pois a probabilidade de
acerto ao acaso é muito alta (0,5), além de ser difícil a formulaçã o de um item inteiramente
sã o criticadas por exigirem muito da memorizaçã o, prejudicando a análise da mudança da
conduta do avaliado (B A UZ E R , 1970, p. 59).
Monteiro (1970, p. 74) ressalta a preferê ncia das questões de múltipla escolha
dentre as técnicas de construçã o de itens objetivos, constituindo o tipo básico para a maior
parte dos testes padronizados. D evem possuir apenas um item correto, cuja extensã o nã o deve
ser diferente das demais, bem como nã o se deve introduzir na resposta certas palavras ou
termos já utilizados no enunciado, tornando-a mais atrativa que as respostas erradas. T ambém
nã o se devem formular itens na forma negativa, além de evitar ambiguidades (que poderiam
induzir a mais de uma resposta). O número mínimo de itens deve ser quatro, muito embora o
preferível sejam cinco itens.
D e fato, muito árdua é a tarefa do construtor de itens de avaliaçã o, pois lhe exige
domínio da área a se examinar, compreensã o dos objetivos educacionais, compreensã o das
características educacionais e psicolXgicas do examinado, capacidade de comunicaçã o verbal
e domínio da tecnologia do itemCtestes (E B E L , 1951 apud V IA NNA , 1976, p. 50). D essas
habilidades, uma se reveste de especial interesse para a presente pesquisa: compreensã o dos
objetivos educacionais.
3.2 A taxonomia dos obj etivos educacionais de B loom
Os objetivos educacionais possuem importância fundamental para a elaboraçã o e
análise de instrumentos e itens de avaliaçã o. A relevância do tema para área de estudo é
ressaltada na liçã o de Monteiro (1970, p. 65), que destaca a importância de se identificar quais
objetivos educacionais devem ser avaliados. T odavia, o autor alerta para o frequente uso de
mensurações mais voltadas a objetivos imediatos do que a objetivos finais, em outras
palavras, testa-se mais a memorizaçã o do material ensinado do que a capacidade para aplicar
tais conhecimentos.
O esquema de classificaçã o dos objetivos educacionais mais difundido foi
desenvolvido por B loom, sendo posteriormente objeto de críticas e sugestões de modificações
(ME D E IR OS , 1989, p. 22 a 25). No final da década de 40, séc. X X , B enjamin S . B loom
coordenou uma equipe de pesquisadores no intuito de formular um quadro de referê ncia dos
objetivos educacionais. F oi o ponto de partida para muitas pesquisas educacionais, já que os
