A grande questão a ser testada nesse experimento é qual o peso da informação
no Exame da OAB. Assim, questiona-se se engenheiros, matemáticos e outros membros
do grupo de STEM teriam desempenho muito melhor ao fazer a prova da OAB com consulta da legislação. Ainda, será que, tendo acesso as leis e à funcionalidade de busca no texto como o “Control+F”, os membros do grupo de STEM conseguiriam atingir o desempenho mínimo de 50% de aproveitamento? Essas perguntas podem ser separadas analiticamente em hipóteses.
Hipótese 1: A média do desempenho dos voluntários do grupo de STEM no expe-
rimento sem informação será baixa, muito inferior ao mínimo necessário para aprovação, que é 50% de acertos.
Hipótese 2: A média do desempenho dos voluntários do grupo de Direito no
experimento sem informação será superior à média do grupo de STEM no mesmo experimento.
Hipótese 3: A média do desempenho dos voluntários do grupo de Direito no
experimento sem informação será próxima do percentual necessário para aprovação no exame oficial.
Hipótese 4: A média do desempenho dos voluntários do grupo de STEM irá subir
no experimento com informação.
Hipótese 5: A média do desempenho dos voluntários do grupo de STEM no
experimento com informação ficará próxima do percentual necessário para aprovação no exame oficial.
Hipótese 6: A média do desempenho dos voluntários do grupo de Direito no ex-
perimento com informação será alta, significativamente acima do percentual necessário para aprovação no exame oficial.
Após a realização dos experimentos seria possível contrastar os resultados em- píricos com as expectativas. Caso todas as hipóteses fossem confirmadas, seria possível
Tabela 2: Hipóteses de performance média dos voluntários dos dois grupos
Sem informação Com informação
STEM ≤ 50% ≈ 50%
Direito ≈ 50% ≥ 50%
que pessoas desvinculadas do domínio jurídico conseguem responder a prova simples- mente por terem acesso à informação necessária, por conseguirem processá-la e por serem dotados de background knowledge.
Diferentemente de programas de computador, ao serem apresentadas à questão discutida na seção 3.7, seria factível, para seres humanos, perceber a correlação implícita no enunciado entre impopularidade e desagrado de autoridade.
A ideia desse experimento comportamental significa uma aposta justamente nessa direção. Talvez, com o bom-senso que todo ser humano têm, com informação e buscadores adequados, a prova da OAB se torne um desafio simples - mesmo para pessoas sem nenhuma formação em Direito.
Novamente, o intuito desse experimento não seria o de questionar a qualidade da prova. O grande questionamento que poderia ser feito diz respeito a um projeto de educação jurídica modelado para maximizar o desempenho nesse Exame. Mais uma vez, essa seria outra evidência científica que poderia colocar o personagem Custódio em apuros. A motivação pessoal por trás dessa pesquisa não é a de criticar o Exame da OAB em si, como forma de filtro para quem exerce a profissão. O interesse é discutir o quão importante esse Exame deveria ser na formação dos juristas do país. Em uma linha, a provocação seria: se Engenheiros passam no Exame da OAB usando o Google, por quê valorizar tanto essa prova pedagogicamente num mundo em que o Google está sempre ao nosso alcance?
Conclusão
Quando entramos em uma biblioteca, percebemos que as áreas do conhecimento são separadas por blocos. De um lado, temos as estantes das Ciências Humanas, em outro, as Ciências Exatas. Dentro de um mesmo bloco, como o de Ciências Exatas, existem estantes separando os assuntos.
Essa cisão não ocorre apenas nas bibliotecas, ela também acontece na divisão das disciplinas, desde o Ensino Fundamental e, eventualmente, na segmentação dos cursos superiores. Tal partição existe, sobretudo, por motivos didáticos. É dividindo que se conquista. No caso, que se aprende.
O que muitos parecem ignorar é o fato de que, no mundo real, os problemas não estão separados como nas bibliotecas. Muitas vezes, a solução engenhosa de um problema passa pela interdisciplinariedade. Aliás, intuitivamente, parece existir alguma correlação positiva entre a complexidade do problema e a vocação interdisciplinar da sua solução3.
Como evidenciado por (RESTREPO-AMARILES, 2014), existe uma tendência mundial de ascensão da Matemática no mundo jurídico, em especial com o uso de indi- cadores numéricos baseados em estatística. Estes influenciam o comportamento de juízes e determinam aspectos da administração da justiça, como promoções em cargos. Como o trabalho de (FORTES,2015) mostra, percebe-se que a virada matemática do Direito (mathematical turn) acontece também na administração da Justiça Brasileira, em espe- cial, isto pode ser visto na iniciativa pioneira do Conselho Nacional de Justiça (CNJ) por meio do projeto Justiça em Números4.
Indispensável que se diga que a aproximação da Matemática com o Direito não ocorre apenas no âmbito governamental. O Supremo em Números5 é um projeto precursor,
criado em 2010, no âmbito da Fundação Getúlio Vargas - uma instituição acadêmica. A iniciativa, além de produzir trabalhos importantes para o debate nacional no formato de relatórios acessíveis para todos, já produziu trabalhos acadêmicos sofisticados de nível internacional, como (ARGUELHES; HARTMANN, 2017).
Este trabalho é uma aposta nessa direção. Diante de um problema complexo, sugeriu-se, timidamente, um diálogo com a Psicologia. Em especial, recorreu-se à Ma- temática e à Ciência da Computação - áreas que historicamente não dialogam com o Direito.
Chega-se aqui com a conclusão de que a missão inicial foi descumprida, já que não 3 Id est, quanto mais complexo o problema, mais interdisciplinar será a sua solução.
4 Mais informações em:http://www.cnj.jus.br/programas-e-acoes/pj-justica-em-numeros 5 Mais informações em:http://www.fgv.br/supremoemnumeros/
foi construído o algoritmo capaz de ser aprovado no Exame da OAB. O melhor resultado alcançado foi o desempenho de 33% em uma amostra de questões de ética. Entretanto, “no caminho”, surgiu uma promissora performance para encontrar as justificativas das alternativas corretas.
O entusiamo com esse diálogo epistemológico é tão grande que talvez estejamos observando o surgimento de uma nova área. No início da década de 1960, os trabalhos de (CALABRESI,1961) e de (COASE et al.,1960) inauguraram a área que ficou conhecida como Law & Economics (Direito & Economia). A inovação desse campo consistiu em aplicar métodos da Economia Ortodoxa (Neoclássica) no contexto jurídico. Talvez seja o caso de pensarmos em cunhar a área de Law & Mathematics (Direito & Matemática)6, em que seriam usados instrumentos da Matemática e da Computação no campo jurídico. Como este trabalho está inserido no macro tema de educação jurídica, cabe tam- bém pensar em como inserir esse perfil interdisciplinar nos cursos de Direito. Em (VAR- GAS,2014), o autor defende que o século XXI possui um novo perfil de Jurista, o Juristia Criativo, marcado pelo pragmatismo. Um indivíduo que deixa de lado o puritanismo frio do liberalismo e o revolucionarismo adolescente do Critical Legal Studies para focar nos problemas, nas causas - independentemente do método ou da matriz de pensamento que se faça necessário para criar uma solução. A Matemática e a Ciência da Computação são duas ferramentas poderosas na resolução de problemas e que, até aqui, foram negligenci- adas, não apenas nas Escolas de Direito clássicas mundo afora, como também na própria
ideia da Escola Criativa de Direito7.
Espera-se que este trabalho se torne mais um exemplo na direção do diálogo entre Direito, Matemática e Ciência da Computação. Verdade seja dita, esta monografia tem um valor simbólico, já que é o primeiro Trabalho de Conclusão de Curso (TCC) do recém- criado programa de dupla graduação em Direito e Matemática Aplicada, uma iniciativa louvável da Fundação Getúlio Vargas do Rio de Janeiro8. Um das vantagens desse pro-
grama é a exigência de apenas um TCC para a obtenção dos dois diplomas. Torço para que este seja o número um de muitos.
Dado que o trabalho não cumpre totalmente o que foi “vendido” como sua grande missão inicial e começa com uma imagem cinematográfica, leitores ácidos poderiam dizer que este trabalho é mais imaginativo do que qualquer outra coisa. A resposta?
Uma citação de Albert Einstein: Imagination is more important than knowledge9.
6 Ou talvez estender o termo Legal Tech para além das start-ups que trabalham na interseção entre Direito e tecnologia.
7 Ressalte-se a iniciativa louvável da FGV DIREITO RIO de ter iniciado, em 2013, de forma pioneira, um grupo de estudos denominado “Programação para Advogados”. Em 2014, a disciplina se tornou um curso eletivo e, desde então, foi oferecida anualmente.
8 Muito me orgulha ter sido o responsável por sugerir esse programa para o corpo de gestores das Escolas de Direito e de Matemática Aplicada.
ALEXANDERSON, G. About the cover: Euler and königsberg’s bridges: A historical view. Bulletin of the american mathematical society, v. 43, n. 4, p. 567–573, 2006. Citado 2 vezes nas páginas 39e 40.
AMORIM, F. A.; NETO, G. D. T. Exame da Ordem em Números. [S.l.], 2016. Http://hdl.handle.net/10438/18493. Citado 3 vezes nas páginas 20, 21e 28.
AMORIM, F. A.; NETO, T.; DIB, G. Exame de Ordem em números vol. 3. [S.l.], 2016. Citado 2 vezes nas páginas 16e 19.
ARGUELHES, D. W.; HARTMANN, I. A. Timing control without docket control: How individual justices shape the brazilian supreme court’s agenda. Journal of Law and Courts, University of Chicago Press Chicago, IL, v. 5, n. 1, p. 105–140, 2017. Citado na página67.
CALABRESI, G. Some thoughts on risk distribution and the law of torts. The Yale Law Journal, JSTOR, v. 70, n. 4, p. 499–553, 1961. Citado na página68.
CLARK, P. et al. Think you have solved question answering? try arc, the ai2 reasoning challenge. arXiv preprint arXiv:1803.05457, 2018. Citado na página 15.
COASE, R. H. et al. The problem of social cost. Journal of law and economics, Chicago, v. 3, n. 1, p. 1–44, 1960. Citado na página 68.
DASGUPTA, S.; PAPADIMITRIOU, C. H.; VAZIRANI, U. V. Algorithms, chapter 8, NP-complete problems. [S.l.]: McGraw-Hill, 2008. Citado 4 vezes nas páginas 40,41, 42 e43.
DAVIS, E.; MARCUS, G. Commonsense reasoning and commonsense knowledge in artificial intelligence. Communications of the ACM, ACM, v. 58, n. 9, p. 92–103, 2015. Citado na página60.
DELFINO, P. et al. Passing the brazilian oab exam: Data preparation and some experiments. In: WYNER, A.; CASINI, G. (Ed.). Legal Knowledge and Information Systems. [S.l.: s.n.], 2017, (Frontiers in Artificial Intelligence and Applications, v. 302). 30th International Conference on Legal Knowledge and Information Systems (JURIX 2017). Expanded version at https://arxiv.org/abs/1712.05128. Citado 12 vezes nas páginas11,22, 28, 29,32, 48, 49, 50,53, 55, 59e 60.
DELFINO, P. et al. Using openwordnet-pt for question answering on legal domain. In: Global Wordnet Conference 2018. Singapore: [s.n.], 2018. To appear. Citado 2 vezes nas páginas11 e59.
FAWEI, B.; WYNER, A. Z.; PAN, J. Passing a USA national bar exam: a first corpus for experimentation. In: Language Resources and Evaluation. [S.l.: s.n.], 2016. p. 3373–3378. Citado 3 vezes nas páginas 14, 15e 22.
FAWEI, B.; WYNER, A. Z.; PAN, J. Z. Passing a usa national bar exam-a first experiment. In: JURIX. [S.l.: s.n.], 2015. p. 179–180. Citado na página 15.
FEHR, E. Behavioural science: The economics of impatience. Nature, Nature Publishing Group, v. 415, n. 6869, p. 269, 2002. Citado na página 64.
FORTES, P. R. B. How legal indicators influence a justice system and judicial behavior: the brazilian national council of justice and ‘justice in numbers’. The Journal of Legal Pluralism and Unofficial Law, Taylor & Francis, v. 47, n. 1, p. 39–55, 2015. Citado na página 67.
FREY, C. B.; OSBORNE, M. A. The future of employment: how susceptible are jobs to computerisation? Technological Forecasting and Social Change, Elsevier, v. 114, p. 254–280, 2017. Citado na página 12.
GHIRARDI, J. G. O instante do encontro: questões fundamentais para o ensino jurídico. [S.l.]: Escola de Direito de São Paulo da Fundação Getúlio Vargas (DIREITO GV), 2012. Citado 2 vezes nas páginas 11 e12.
HAEUSLER, E. H.; PAIVA, V. D.; RADEMAKER, A. Intuitionistic logic and legal ontologies. In: JURIX. [S.l.: s.n.], 2010. p. 155–158. Citado na página 60.
JENKINS, H. Cultura da convergência. [S.l.]: Aleph, 2015. Citado na página 14. JOHNSTONE, A. H.; PERCIVAL, F. Attention breaks in lectures. Education in chemistry, ERIC, v. 13, n. 2, p. 49–50, 1976. Citado na página 58.
JOIREMAN, S. F. Colonization and the rule of law: Comparing the effectiveness of common law and civil law countries. Constitutional Political Economy, Springer, v. 15, n. 4, p. 315–338, 2004. Citado na página 15.
KOLATA, G. et al. Clone: the road to Dolly and the path ahead. [S.l.]: Penguin Books Ltd, 1997. Citado na página 13.
LIMA, J. A. de O.; CICILIATI, F. LexML brasil: versão 1.0. Available at http://projeto.lexml.gov.br/. 2008. Citado 2 vezes nas páginas 32 e33. MANNING, C. D.; RAGHAVAN, P.; SCHUTZE, H. Introduction to information retrieval. An Introduction To Information Retrieval, v. 151, p. 177, 2008. Citado 3 vezes nas páginas 46, 48e 49.
MARÓSTICA, A. H. Ars combinatoria and time: Llull, leibniz and peirce. Studia Llulliana, v. 32, p. 105–134, 1992. Citado na página 48.
MEIRA, S. Novos negócios inovadores de crescimento empreendedor no Brasil. [S.l.]: Leya, 2015. Citado na página 59.
MILLER, G. A. Wordnet: a lexical database for english. Communications of the ACM, ACM, v. 38, n. 11, p. 39–41, 1995. Citado na página 59.
MONROY, A.; CALVO, H.; GELBUKH, A. Using graphs for shallow question answering on legal documents. In: MICAI 2008: Advances in Artificial Intelligence: 7th Mexican International Conference on Artificial Intelligence, Atizapán de Zaragoza, Mexico, October 27-31, 2008 Proceedings. Berlin, Heidelberg: Springer Berlin Heidelberg, 2008. p. 165–173. ISBN 978-3-540-88636-5. Disponível em: <https://doi.org/10.1007/978-3- 540-88636-5 15>. Citado na página 14.
MONROY, A.; CALVO, H.; GELBUKH, A. Using graphs for shallow question answering on legal documents. In: MICAI 2008: Advances in Artificial Intelligence: 7th Mexican International Conference on Artificial Intelligence, Atizapán de Zaragoza, Mexico, October 27-31, 2008 Proceedings. Berlin, Heidelberg: Springer Berlin Heidelberg, 2008. p. 165–173. ISBN 978-3-540-88636-5. Disponível em: <https://doi.org/10.1007/978-3- 540-88636-5 15>. Citado na página48.
O Exterminador do Futuro. Direção: James Cameron. Produção: Gale Anne Hurd. Roteiro: James Cameron, Gale Anne Hurd. Interpretes: Arnold Schwarzenegger, Michael Biehn, Linda Hamilton, Paul Winfield e outros. [S.l.]: Orion Pictures, 1984. 1 filme (107 min), son., color., 35 mm. Citado na página 10.
PAIVA, V.; RADEMAKER, A.; MELO, G. Openwordnet-pt: An open brazilian wordnet for reasoning. Proceedings of COLING 2012: Demonstration Papers, p. 353–360, 2012. Citado na página59.
PALMIRANI, M.; VITALI, F. Akoma-ntoso for legal documents. In: Legislative XML for the semantic Web. [S.l.]: Springer, 2011. p. 75–100. Citado na página 33.
POOLE, D. Linear algebra: A modern introduction. [S.l.]: Cengage Learning, 2014. Citado na página44.
RESTREPO-AMARILES, D. The mathematical turn: L’indicateur rule of law dans la politique de développement de la banque mondiale. Gouverner par les standards et les indicateurs: de Hume au rankings, Bruylant Brussels, p. 193–234, 2014. Citado na página67.
RODRIGUES, C. F.; FALCÃO, J. O projeto da escola de direito do rio de janeiro. Cadernos FGV Direito Rio, p. 4–15, 2005. Citado na página48.
SAGRI, M. T.; TISCORNIA, D.; BERTAGNA, F. Jur-wordnet. In: CITESEER. Proceedings of the 2nd International Global Wordnet Conference. [S.l.], 2004. p. 305–310. Citado na página59.
SHELDON, R. et al. A first course in probability. [S.l.]: Pearson Education India, 2002. Citado na página51.
SUSSKIND, R. E. Tomorrow’s lawyers: An introduction to your future. [S.l.]: Oxford University Press, 2017. Citado na página12.
SUSSKIND, R. E.; SUSSKIND, D. The future of the professions: How technology will transform the work of human experts. [S.l.]: Oxford University Press, USA, 2015. Citado na página 12.
VARGAS, D. Jurista criativo. Educação e Direito-V. 09-Rio de Janeiro-2014, p. 83, 2014. Citado na página 68.
VASCONCELLOS, L. F. R. Exame da Ordem em Números. [S.l.], 2014. http:
//fgvprojetos.fgv.br/publicacao/exame-de-ordem-em-numeros. Citado na página 19.