Um projeto diferente foi muito bem sucedido em prever decisões da Suprema Corte americana: o The Supreme Court Forecasting Project, criado pelos cientistas políticos Theodore Ruger e Pauline Kim, e pelos professores de direito Andrew Martin e Kevin Quinn. Nele, um modelo estatístico acertou uma quantidade maior de resultados de julgamentos do que especialistas do ramo. Uma particularidade do projeto é que o modelo não se apoiou em nenhum marco teórico e usou apenas informações gerais de processos anteriores para estimar os resultados. A abordagem é considerada promissora e apresenta diferenças em relação aos modelos conhecidos.
Ruger et al. (2004) reportam os resultados da previsão dos votos do tribunal entre 2002 e 2003. Duas propostas foram examinadas no projeto. Em uma, foi usado um modelo estatístico, sem fundamentação teórica, baseado em informações de ações julgadas no tribunal de 1994 até 2002 (período em que a corte teve sua composição inalterada). Os resultados desse modelo foram comparados com as previsões feitas por experts, professores de direito e advogados. Todas as previsões eram de fato feitas antes dos julgamentos. O modelo previu corretamente 75% das decisões, enquanto os especialistas, coletivamente, acertaram menos de 60% das vezes. Os autores consideram os resultados “notáveis”, já que o modelo desconsidera o que diz a lei ou detalhes específicos de cada caso.
Nenhuma teoria formal de comportamento judicial foi usada. Para os autores, o objetivo era obter precisão na previsão e não testar hipóteses, de forma que elas optaram por não entrar na discussão entre legalismo e atitudinalismo. Eles se valeram apenas de informações “facilmente observáveis e prontamente disponíveis”. A amostra que gerou os estimadores era composta por 628 casos decididos entre 1994 e outubro de 2002, mês que se inicia o “ano” (term) do tribunal. Essas ações não se originaram na Suprema Corte: foram julgadas inicialmente por tribunais inferiores. Características gerais dos casos (identificáveis por quem não tem formação especializada) foram usadas para criar o modelo: “Apesar de essas características poderem servir como proxy para aspectos importantes do processo
28 jurídico, elas são intrinsecamente insensíveis a doutrinas e textos jurídicos específicos” (RUGER ET AL., 2004, p. 1161). As seis variáveis usadas eram o circuito de origem de um caso (equivalente à região na Justiça Federal brasileira), a área do direito do caso, o tipo de autor (como o governo ou um empregador), o tipo de réu, a ideologia da decisão do tribunal inferior (liberal ou conservadora) e uma variável que designasse se o autor argumenta que a lei ou ato é inconstitucional.
“Árvores de classificação” (classification trees) forneciam o voto de cada juiz. As informações recolhidas foram usadas para gerar essas árvores, que previram os resultados de julgamentos entre outubro de 2002 e outubro de 2003 na Suprema Corte. Nesse modelo, os votos não estão associados a algum nível de probabilidade: o modelo estima apenas se um juiz vai confirmar ou reverter à decisão do tribunal inferior. Também os juristas realizaram apenas previsões binárias nesse molde. Várias variáveis inicialmente escolhidas não se encaixaram nos dados entre 1994 e 2002, e por isso foram descartadas. No modelo final, onze árvores foram estimadas: duas prevendo se a decisão vai ser uma unanimidade de caráter liberal ou uma unanimidade de caráter conservador, e mais nove prevendo como cada juiz irá votar – nos EUA a Suprema Corte tem nove juízes. Para prever um resultado, os autores começam pelas árvores das unanimidades e, se elas apontarem que não haverá consenso, as árvores individuais são usadas. Um exemplo de árvore, a do juiz Clarence Thomas, está na Figura 3.
O modelo estatístico é fundamentalmente diferente da maneira com os que especialistas fazem suas previsões. Para Ruger et al., a principal distinção reside no nível de generalidade empregado pelos dois métodos. Enquanto o modelo estatístico considera sempre as mesmas seis variáveis e é indiferente a aspectos jurídicos, os juristas se atinham, por exemplo, a fatos específicos ou declarações dos juízes em ações similares julgadas anteriormente. O modelo estatístico tem como base centenas de casos julgados nos anos anteriores – todos com o mesmo peso -, e os professores e advogados teriam como base apenas os casos mais salientes. Para os autores, os experts usam menos observações, mas observações mais detalhadas, quando comparados à “máquina”. Em resumo, a máquina foca nas observações, os juristas nas opinions.
As árvores de classificação foram especialmente bem sucedidas em prever os votos dos juízes centristas (medianos). Segundo os criadores do projeto, são esses os juízes “pivotais”, aqueles que mais importam para o resultado porque são mais imprevisíveis. Já as previsões dos especialistas teriam um formato em V, porque eles tiveram mais êxito com os juízes nos extremos do espectro ideológico e mais dificuldade com os do centro. Os autores avaliam que o modelo capturou padrões no comportamento dos juízes pivotais que não foram reconhecidos pelos experts. Eles discutem ainda que o resultado encontrado sugere que os
29 especialistas veem o tribunal em “termos atitudinais”, já que talvez um modelo que usasse apenas a ideologia dos juízes para explicar os votos tivesse resultado semelhante.
Figura 3 – Árvore de classificação para o juiz Thomas
Fonte: Ruger et al. (2004).
As previsões do modelo foram superiores em todos os tipos de casos. Segundo os autores, a diferença foi sempre estatisticamente significativa. Curiosamente, porém, os especialistas tiveram uma média maior de acerto para os votos individuais (68% contra 67%), mesmo com o desempenho inferior para o resultado dos julgamentos. Como visto na figura acima, a estimativa é que, para alguns juízes, o voto é dependente dos de outros juízes do tribunal. Ruger et al. acreditam que essa e outros resultados representam correlações, não
30 causalidades. Eles citam, por exemplo, a variável “circuito de origem”, que funcionaria como uma proxy para algum aspecto não observável que influencia o resultado. Uma explicação é que juízes de alguns circuitos podem ter em geral ideologia compatível com a de algum juiz da corte. Essa é interpretação compatível com o modelo atitudinal – modelo que os autores do projeto não rejeitam totalmente.
Apesar da ausência de referencial teórico, os autores consideram o projeto promissor. Eles afirmam:
Dada à alta importância econômica, social e política das decisões da Corte, um modelo que pudesse prospectivamente prever as decisões com uma alta taxa de precisão seria uma ferramenta de grande valor para litigantes e observadores da Corte, mesmo que o modelo em si seja teorizado de maneira incompleta. (RUGER ET AL., 2004, p. 1154).
O modelo seria útil ainda para advogados e para aprimorar as concepções acadêmicas de como os juízes chegam a suas decisões. Outra vantagem seria que o modelo, por realmente ter previsto decisões para um período de tempo, já foi verificado, algo que os “trabalhos analíticos retrospectivos” não possuem. Eles resumem o sucesso do modelo na identificação de fatores que se liguem às decisões com alguma generalidade: não tão específicos quanto saber o que diz a lei para uma determinado caso, mas não tão gerais quanto saber apenas a ideologia de um juiz.