1.2 O que é avaliação de impacto?
1.2.3 A complexidade do conceito de causalidade
Considerando as complexidades e dificuldades inerentes à avaliação de impacto e à determinação de relações de causa e efeito, a conceituação de causalidade para ciências sociais têm sido discutida e ampliada.
Já nos idos de 1971, Suchman propôs que avaliações de impacto nessa área deveriam ser desenhadas para considerar uma “multiplicidade de causas” e “interdependência de eventos”.
Avaliações de sucesso devem ser feitas em termos de probabilidades condicionais, envolvendo ataques a fatores causais os quais são apenas eliminatórios, contribuintes ou precipitantes, ao invés de determinantes. O efeito de qualquer atividade individual vai depender de outras circunstâncias também presentes e refletirá uma série de eventos antecedentes19 (Suchman, 1971, p. 46, tradução nossa).
Assim, qualquer explicação do êxito ou fracasso de um programa em alcançar determinado efeito ou conjunto de efeitos deveria levar em conta as condições em que o
19 “Evaluations of success must be made in terms of conditional probabilities involving attacks upon causal
factors which are only disposing, contributory, or precipitating rather than determining. The effect of any single activity will depend upon other circumstances also being present and will itself reflect a host of antecedent events” (Suchman, 1971, p. 46).
programa foi iniciado, os eventos que se interpuseram entre o início e o momento em que os resultados foram produzidos e as consequências que se seguiram dos efeitos. Para Suchman, nenhum programa é uma entidade em si, mas deve ser visto como parte de um sistema social em curso. Assim, o que se deve apreender na avaliação de impacto é a cadeia de eventos. Mais do que procurar entender que evento isolado foi determinante para o resultado obtido, o pesquisador deveria se interessar em observar que eventos, em conjunto, o produzem.
Para o objeto deste estudo, em que não é possível atribuir os resultados dos alunos a apenas um evento, essa noção é essencial, mudando o foco da pesquisa para a cadeia de eventos que influenciam esses resultados.
Alguns autores têm defendido que, em ciências sociais, não é possível falar em causalidade direta entre ações e resultados, apontando alternativas teóricas ao conceito20. Um exemplo do exposto é a noção de multicausalidade, ou causalidade complexa, na qual os eventos não têm apenas uma causa e, não raro, cada evento tem diversos efeitos.
Sosa defende a existência de uma variedade de definições. Em sua teorização, percebe a existência de causalidade nomológica, consequencialista, material ou inclusiva, argumentando que o aspecto que as homogeneíza é a necessidade de explicar as mudanças, embora cada uma tenha características próprias (Sosa, 1993).
Scriven (1991) aponta duas características fundamentais para que se façam afirmações causais: a garantia de manipulabilidade da variável que é a possível causa de um efeito21 e o respeito à natureza dependente do contexto.
Kellstedt e Whitten (2009) também enfatizam o caráter multivariado dos fenômenos sociais, ponderando que os pesquisadores deveriam sempre considerar que eles têm muitas outras causas possíveis, às quais é preciso estar atento e controlar, mesmo quando a teoria que se quer testar é bivariada (envolve apenas a relação entre duas variáveis). Os autores acreditam que toda teoria causal deveria ser examinada sob quatro questões:
20 Diversos são os autores que se dedicam ao estudo da causalidade em ciências sociais, e não é objetivo deste
trabalho esgotar todas as posições em relação ao assunto, mas sim ilustrar alternativas que iluminaram aqui o entendimento das relações causais. Kaplan (2009) fornece uma visão atualizada da evolução filosófica ou metodológica da inferência causal, e Schneider et al. (2007) discutem fundamentos metodológicos de pesquisas que usam bases de dados para estudar relações de causalidade.
21 Um método de instrução ou um material didático podem ser possíveis causas dos resultados dos alunos em
uma prova, por exemplo. São variáveis manipuláveis pelo pesquisador. Já atributos como cor ou raça não são manipuláveis. Ainda que possam ser variáveis correlacionadas aos resultados, Scriven explica que os participantes de um programa não são expostos potencialmente a essas variáveis, não havendo motivos para considerá-las como possíveis causa em estudos dessa natureza.
1) Há um mecanismo causal possível que conecta X to Y? 2) Poderia Y causar X?
3) Existe covariância entre X e Y?
4) Há alguma variável confundidora Z que se relaciona a X e a Y e faz com que a associação observada entre X e Y seja espúria?22 (Kellstedt; Whitten, 2009, p. 48, tradução nossa).
Schneider at al. (2007) apontam a necessidade de os estudos de impacto se preocuparem em estimar a probabilidade de um efeito. Segundo os autores, essa estratégia permitiria ao pesquisador compreender por que certos efeitos ocorrem em algumas situações e não em outras. Além disso, chamam a atenção para a distinção entre pesquisas cujo foco é identificar o efeito de uma causa e, muitas vezes, compreender a força da relação e pesquisas cujo foco é o estudo da causa de um efeito, pois a natureza da questão da pesquisa delimitaria as fronteiras para a escolha dos métodos de investigação e desenhos de pesquisa.
Baseados nas indicações de Holland, Schneider at al. (2007) apontam quatro critérios necessários à inferência causal: relatividade causal (o efeito de uma causa deve sempre ser avaliado com relação a outra causa), manipulação causal (cada participante tem que ter sido potencialmente exposto às causas consideradas), ordenação temporal (a exposição do participante à provável causa deve ter ocorrido num tempo determinado ou dentro de um período específico) e eliminação de explicações alternativas (os pesquisadores devem conseguir eliminar outras possíveis explicações para a relação entre a possível causa e os efeitos, medidos por um resultado de interesse) (Schneider et al., 2007, p. 17-18).
Outros autores levam o debate para além do número de fatores associados a uma causa, propondo a ampliação do conceito para a consideração das circunstâncias em que se deu o evento causal.
Para Mackie23 (apud Kaplan, 2009), por exemplo, uma das dificuldades de estabelecer causalidade é distinguir entre as condições (necessárias e suficientes) e as causas quando se analisam diversos fatores em relação aos resultados observados. Ambas (condições e causas), por sua vez, ocorrem em um contexto, denominado pelo autor campo causal, que engloba uma somatória de fatores que podem causar os efeitos obtidos. O autor acredita que é necessário determinar, dentre esses fatores, quais constituem a condição mínima suficiente para que o efeito ocorra. Além disso, considera que cada fator isolado pode ser o que ele
22 “(1) Is there a credible causal mechanism that connects X to Y? (2) Could Y cause X? (3) Is there covariation
between X and Y? (4) Is there some confounding variable Z that is related to both X and Y and makes the observed association between X and Y spurious?” (Kellstedt; Whitten, 2009, p. 48).
chama Inus condition (condição INUS – Insuficient, Non-redundant Unnecessary, Sufficent), ou seja, uma condição insuficiente, não redundante, parte de uma desnecessária e suficiente.
Segundo Kaplan (2009), a relevância da contribuição de Mackie (apud Kaplan, 2009) para a análise das políticas educacionais é que seu “conceito de condição Inus alerta para a importância de especificar cuidadosamente o campo causal no qual as afirmações causais são feitas” (p. 14). Ainda como contribuição de Mackie (apud Kaplan, 2009) aponta o questionamento sobre a regularidade na causalidade, já que um efeito pode ocorrer sob algumas circunstâncias e não sob outras, fato que não invalida, na opinião do autor, a relação causal.
Hoover24 expandiu o pensamento de Mackie (apud Kaplan, 2009) argumentando que os erros aleatórios deveriam compor a noção de campo causal, sobretudo nos casos em que os parâmetros da relação de causalidade não são constantes e no caso de omissão de variáveis importantes para a explicação do problema e que seriam “apreendidas” no campo causal (Kaplan, 2009).
Assim como as considerações de Suchman (1971), a visão de Schneider et al. (2007) sobre o estudo das probabilidades de determinado efeito e a de Mackie (apud Kaplan, 2009) sobre a irregularidade de alguns eventos causais e suas preocupações sobre a análise condicional da causalidade inspiraram a construção metodológica deste trabalho, cujo olhar, entretanto, não recaiu sobre o efeito, mas sobre as causas, ou seja, sobre a possibilidade de as causas (variáveis explicativas) concorrerem para explicar os efeitos estudados (resultados dos alunos) em determinados contextos e sob as condições em estudo. A Figura 1.1 sintetiza a concepção de causalidade adotada neste estudo.
De qualquer forma, considera-se que essa é uma ampliação da causalidade de fatores no sentido estrito e que suas múltiplas dimensões devem ser exploradas no sentido de buscar o sentido possível dos estudos de causalidade nas ciências humanas.
24 HOOVER, K. D. Causality in macroeconomics. Cambridge: Cambridge University Press, 2001; ______. The
logic of causal inference: econometrics and the conditional analysis of causality. Economics and Philosophy, n. 6, p. 207-234, 1990.
Figura 1.1 – Concepção de multicausalidade contextual