R egistRaR o pRoCesso pelo qual os dados vêm a seR obseRvados

A despeito de como os pesquisadores procedem quanto à seleção de suas observações, inferências válidas requerem informações sobre o processo de geração de dados.323 Um estudo que fornece informa- ções insuficientes sobre o processo pelo qual os dados vieram a ser observados pelo investigador não pode ser replicado e, dessa manei- ra, viola a regra que articulamos no Capítulo II. Igualmente impor- tante, ele quebra o vínculo presumido entre os fatos que temos e os fatos que gostaríamos de conhecer, e dessa forma não tem serventia para a elaboração de inferências em torno da população. Finalmente, como explicamos abaixo, somente conhecendo o processo pelo qual eles obtiveram os dados, os pesquisadores podem determinar se algum viés aflige suas inferências.

A lista de publicações de artigos de direito que não seguem esta recomendação é longa. Muitas, como a de Friedman, Lin e Kramer, são qualitativas. Mas estudos quantitativos não são imunes à violação dessa crítica regra de inferência. No Capítulo II nós apontamos dois, o exame de Mann de crédito segurado (secured credit)324 e o estudo em grupo de Eisenberg sobre a sentença do júri nos casos capitais.325 Mas há várias outros trangressores. A investigação de Anderson e Rowe sobre como várias regras podem induzir ao acordo entre as partes de um processo fornece um exemplo interessante.326 Para enfrentar esta questão, os pesquisadores mandaram um disquete de

computador (contendo um programa “interativo” de simulação de litigios) para cerca de 1.310 advogados. (Dizemos “cerca de” porque é impossível especificar, de sua descrição, o número na sua amostra original). O que eles nos dizem é que 131 advogados completaram a simulação, o que representa uma taxa de resposta de “aproximada-

mente 10%”.327 _{Mas como eles projetaram essa amostra? Tudo o}

que eles dizem acerca da geração de dados é que começaram com uma lista de advogados (quantos, nós não sabemos) que obtiveram da American Inns of Court Foundation e “mandaram questionários para advogados atuantes de Inns selecionados, escolhidos por dis- persão tanto geográfica como referente ao tamanho da cidade.”328_A

partir dessa descrição, podemos supor que certos viéses existem em sua amostra final de 131 advogados (por exemplo, um viés para com advogados com tempo suficiente e conhecimentos para rodar uma simulação de computador), mas, porque os pesquisadores não forne- ceram praticamente nenhuma informação quanto ao processo de geração de dados, nós não podemos estipular muitos outros viéses.

Isto torna qualquer inferência alcançada por eles quanto a se cer- tas regras induzem ao acordo entre advogados válida para a amostra final de 131 advogados (que é em si de pouco interesse), mas não necessariamente válida para a amostra desejada de 1.310 advogados para a qual a pesquisa foi enviada, e provavelmente inválida para o alvo de população de todos os advogados. O único elo entre a popu- lação e a amostra final observada é o processo pelo qual os dados vêm a ser observados. Todos os métodos de inferência que procuram buscar conhecimento sobre uma população com dados de uma amostra requerem conhecimento desse processo. Sem esse conhe- cimento, somos relegados a elaborar assunções teóricas injustifica- das sobre fatos fáceis de se conhecer e conclusões substanciais bem mais incertas do que o necessário.

Para outro exemplo, considere a pesquisa de Mill sobre o estado versus as estratégias clínicas elaboradas para ajudar mulheres que sofreram violência doméstica, na qual ela hipotetiza que formas par- ticulares de intervenção estatal, como prisão mandatória e ajuiza- mento de ação – pode fazer mais mal do que bem às mulheres.329

Para avaliar essa afirmação, Mills realiza o que ela chama de uma “análise clínica”, comparando as estratégias que assistentes sociais e outros clínicos utilizam quando estão lidando com mulheres que foram submetidas à violência doméstica com aquelas estratégias invocadas pelo Estado.330 _{Essa comparação dá-se por meio de um}

exame dos cursos de ação prescritos em determinados livros e artigos escritos por clínicos, de um lado, e pela seleção de práticas governa- mentais. (Estipulamos, com o propósito de isolar um problema meto- dológico por vez, que essas fontes são representativas da prática empírica real, mesmo que possamos razoavelmente questionar essa afirmação e, em verdade, provavelmente devêssemos sujeitá-la a uma investigação empírica separada).

Dado que Mills não especifica o objeto de sua inferência, ao menos quanto às estratégias clínicas, suponhamos que se trata de cada curso de ação já prescrito por clínicos em livros e artigos. Da mesma manei- ra, uma vez que ela não revela como escolheu os determinados livros e artigos para sua análise – de fato, o único elemento que nós, leitores, conhecemos com propriedade é que ela não coletou cada curso de ação já prescrito nas obras escritas dos clínicos – assumamos ainda que as observações que ela analisou em seu estudo representem o pro- duto de um de dois mecanismos de seleção, que são bem comuns em periódicos jurídicos: ou o pesquisador exerce discrição completa sobre quais observações serão incluídas (processo por vezes denominado “amostragem proposital”) ou escolhe observações porque elas são convenientes ou visíveis (processo denominado “conveniência” ou

“amostragem fortuita”). Se Mills procedeu de uma das duas maneiras, é completamente possível que um viés ode uma forma ou outra infecte sua amostra e, consequentemente, quaisquer inferências que ela espe- re traçar.331 _{Esses vieses podem manifestar-se em uma amostra de}

observações por meio da sustentação imprópria da conclusão que ela pretendia alcançar (seleção de práticas clínicas que ela acredita que ajudam mulheres), ou de uma maneira mais sutil (mas não menos per- niciosa) que descrevemos em seguida. Agora, suponha que Mills cole- tou dados sobre todos os elementos de sua população – cada curso de ação já prescrito nas obras escritas por clínicos. (Continuamos a esti- pular que esses escritos representam a prática empírica). Obviamente, o mesmo tipo de vieses não estaria presente; pela inclusão de todas as estratégias sugeridas por clínicos, a “amostra” não incluiria, por exemplo, apenas aquelas que são condizentes com a sua tese.