DESAFIOS METODOLÓGICOS DA PSICOMETRIA

Carroll (1997) enfatiza que há estudos psicométricos que possuem mais de 100 variáveis (testes) em seu banco de dados. A seleção dos testes é muito importante, na

medida em que eles são os instrumentos diretos de mensuração das variáveis psicológicas. Sem a presença de instrumentos adequados de mensuração, torna-se impossível a identificação de fatores comuns e a indicação de novos componentes da inteligência humana. Há critérios para isso. O pesquisador deve selecionar testes que, hipoteticamente, mensurem um mesmo fator, mas que variem em formato e conteúdo. Além disso, pelo menos três testes devem ser usados para que as técnicas de extração da matriz fatorial possam com confiança identificar a presença de um fator.9 Concomitantemente, a administração da testagem é um aspecto a ser considerado, além do universo da amostra e a qualidade psicométrica dos testes, através da análise da confiabilidade e validade.

Com relação à superextração dos fatores, provenientes de técnicas inferiores à Análise Paralela e ao MAP, Marsh, Hau, Balla e Grayson (1998) demonstram que uma amostra grande (N) tende a produzir resultados mais estáveis e consistentes, mesmo quando o pesquisador superestima e extrai um número maior de fatores do que o número adequado em relação à amostra. Dentro dessa linha de raciocínio, Carroll (1995) sugere um tamanho de amostra bastante grande em relação ao número de fatores a serem extraídos, tendo em vista a busca por evidências mais consistentes, e com melhor replicabilidade.

Uma regra de grande utilidade (Carroll, 1985, p.31) para o número (N) de casos necessários para dar sustentação à extração de a fatores comuns e a fatores interpretáveis é que N deve ser igual a pelo menos 2a + 2ª. (esta regra se aplica a qualquer tipo de estudo fatorial.) (Carroll, 1995, p. 431)

Através e por meio dos dilemas encontrados pelos pesquisadores no uso cotidiano das técnicas psicométricas e dos problemas deparados com o tratamento de variáveis psicológicas, a psicometria tem avançado em novas metodologias e em novas

9

Essa regra serve especificamente para análise fatoriais exploratórias. Para análises fatoriais confirmatórias são necessários pelo menos 2 testes.

rotinas computacionais para seus cálculos e procedimentos (Browne & Du Toit, 1992). Uma delas é o uso da análise fatorial confirmatória em variáveis psicológicas. Diferentemente da análise fatorial exploratória, que busca compreender as relações básicas entre as variáveis psicológicas, a análise fatorial confirmatória é capaz de formar um teste de hipóteses e testar diferentes modelos teóricos a respeito das variáveis mensuradas. Apesar de uma onda crescente a favor da análise fatorial confirmatória, os psicometristas mais experientes defendem a posição de que ambos os métodos se complementam, ao invés de um superar o outro. Ambos os métodos encontram evidências que mais se complementam do que se contrapõem ou se superam.

Um número considerável de autores tem afirmado que procedimentos exploratórios não deveriam ser usados em absoluto. O argumento é o de que testar teorias é o propósito fundamental da ciência. Procedimentos confirmatórios (modelagem estrutural) são criados especificamente para testar teorias e deveriam, portanto, suplantar completamente o uso de técnicas exploratórias. Esse é um ponto de vista com o qual não concordamos por uma série de motivos. Primeiramente, a maioria dos problemas de pesquisa podem ser colocados em algum ponto de um continuum entre as duas posições extremas. Pouquíssimos estudos podem ser utilizados como exemplo puro de um estudo explanatório ou confirmatório. A maioria dos estudos representa uma mistura – parcialmente baseada na teoria, que é explicitada ou implícita na formulação da pergunta de pesquisa e parcialmente exploratório, envolvendo situações novas, estímulos ou áreas onde não existe praticamente nenhum dado ou teoria prévios. Quando as teorias existem, elas são frequentemente vagas, mal formuladas e imprecisas. (Velicer & Jackson, 1990a, p. 20)

Além dos problemas metodológicos do campo e das regras de produção do conhecimento, há uma considerável polêmica envolvendo questões epistemológicas, assim como a legitimidade inclusive da própria análise fatorial, seja ela exploratória ou confirmatória. Um largo conjunto de pesquisadores, sejam eles a favor ou contra o método fatorial, argumentam sobre problemas epistemológicos a respeito da objetividade dos fatores e da capacidade de estudos empíricos de base indutiva em gerar conhecimento científico sólido e confiável, por meio da construção de construtos estáveis e de alguma maneira invariantes (Bartholomew, 1996a, 1996b; Gustafsson,

1992a, 1992b; Guttman, 1992; Jensen, 1992a, 1992b; Loehlin, 1992a, 1992b; Maraun, 1996a, 1996b, 1996c; McDonald, 1996a, 1996b; Mulaik, 1996a, 1996b; Roskam & Ellis, 1992a, 1992b; Rozeboom, 1996a, 1996b; Schönemann, 1990, 1992a, 1992b, 1996a, 1996b; Steiger, 1990, 1996a, 1996b).

Segundo Mulaik (1993), a indeterminância encontrada na análise fatorial é determinada pela própria condição da ciência, enquanto campo do conhecimento delimitado por normas e regras lingüísticas capazes de estabelecer consensos que delimitam o que é objetivo e o que não é.

Como eu estava lendo Wittgenstein na época em que escrevi o artigo Child Development (O desenvolvimento infantil) (Mulaik, 1987b), eu me baseei na idéia do filósofo austríaco de uma prática normativa que explicitasse o que eu pensava ser causalidade e ampliei aquelas idéias aqui: em qualquer situação no mundo há uma indeterminação e arbitrariedade essenciais na forma como respondemos a ela. Grupos humanos desenvolvem normas para reduzir a indeterminação que se definem quando os membros desse grupo reagem a situações. Mas tais normas são arbitrárias porque há inúmeras maneiras pelas quais um grupo humano regularia o comportamento de seus membros para chegar a um dado fim. Isso acontece particularmente no reino da experiência representacional para os propósitos da comunicação. A comunicação é impossível sem a existência de normas. Assim sendo, um grupo de pessoas desenvolve normas de linguagem ligadas a normas adicionais sobre suas reações e dessa forma práticas normativas desenvolvem-se a elaboração e a comunicação de julgamentos sobre o que está no mundo. Frequentemente é apenas no uso da linguagem e comportamento associado ao responder a uma situação que um grupo de pessoas pode determinar se uma dada pessoa respondeu a situação na comunidade de uma forma sancionada. Então a linguagem torna-se inextricavelmente ligada à forma de uma comunidade de regular as reações de seus membros a situações. A ciência é uma prática normativa, mas uma prática normativa anormal, no sentido em que os membros de uma comunidade científica têm liberdade para criar e introduzir novas normas, por exemplo, conceitos teóricos, regras para a utilização de instrumentos para observar e contruir objetos, regras sobre como descrever o que se observa – mas dentro de um arcabouço de normas que regulam tal atividade. Uma norma geral nesse arcabouço é a norma da objetividade, que é implementada em relação a uma linguagem de objetos. Causalidade é não mais que uma relação na linguagem dos objetos, que é uma forma de representar o que é experimentado no mundo. (Mulaik, 1993, p. 179-180)

Nessa condição, Mulaik (1993) sustenta que a análise fatorial, assim como qualquer outro método científico, contém escolhas fortemente alicerçadas por uma comunidade de pesquisadores que redefinem a todo o momento o tipo de técnicas adequadas e o tipo de evidências consistentes e confiáveis. No entanto, por mais que essa comunidade estabeleça normas de ação e análise, um largo conjunto de aspectos permanece infinitamente mal-definido, determinando zonas de incerteza e indeterminância. Uma delas, atualmente no campo da psicometria, refere-se à extração e rotação de fatores. O princípio básico do cálculo da análise fatorial possibilita a existência de um conjunto amplo de soluções e essa diversidade acarreta uma incerteza que a comunidade deve considerar e lidar com ela, senão for possível solucioná-la.

Mulaik (1993) é otimista em relação a essa incerteza existente na diversidade de métodos da análise fatorial, na medida em que transita com naturalidade sobre essa condição, através do princípio de que boa parte da construção do conhecimento científico não provém de consensos bem delimitados de métodos e técnicas com clara objetividade, mas provém sim de boas escolhas capazes de gerar novos insights e maneiras de compreender os fenômenos.

Rozeboom (1972) sugeriu que métodos como a análise fatorial exploratória são métodos para a geração de hipóteses provisórias sobre variáveis que sintetizam diversas variáveis observáveis. Por outro lado, defendo, como Kant (1965) que a hipótese não é totalmente dirigida pelos dados, mas representa um ato de espontaneidade ou liberdade que temos como sujeitos para arranjar ou organizar os dados de várias formas diferentes no pensamento. Podemos escolher nossos métodos de análise e até mesmo, dentro de métodos como a análise fatorial, escolher nossos métodos de rotação, de extração de fatores. Esta é apenas mais uma faceta da subdeterminação da teoria a partir dos dados. (Mulaik, 1993, p. 189)

No entanto, Mulaik (1993) reconhece a necessidade da objetividade por parte da análise fatorial. Segundo ele, um dos maiores problemas da psicometria seria o de encontrar evidências que somente se produziriam em um único procedimento

metodológico. Essa singularidade de resultados em um único método poderia indicar que as evidências obtidas não são boas análises dos fenômenos da realidade, mas são muito mais um produto ou artefato do próprio procedimento metodológico. Segundo seu pensamento boas evidências deveriam ser produzidas a partir de diferentes técnicas ou procedimentos de tratamento de dados. Produções derivadas de um único método ou técnica carregam a possibilidade de terem sido geradas a partir de falsas relações determinadas pelo próprio método ou técnica empregada.

A ciência é uma especialização do jogo de linguagem do sujeito e objeto, de fazer julgamentos sobre objetos e das relações entre objetos no lidar com o mundo físico dos objetos e nosso lugar como objetos inseridos nele. Uma compreensão da objetividade no uso de estatísticas multivariadas nos fará centrar o foco na forma como nossos métodos estatísticos distorcem as aparências dos objetos e até mesmo criam para nós objetos ilusórios. Estou aqui falando do artefato na estatística, onde o artefato trata de uma forma aparentemente objetiva na aparência que é de fato subjetiva porque encontrada apenas relacionada com um único método de observação e representação ao invés de vários métodos independentes.

(...)

Consideremos a crítica feita por Thurstone (1937) ao tratamento dado por Holzinger (1934- 1936) e Hotelling (1933) ao primeiro componente principal ou centróide como um objeto real psicológico, coisa que Thurstone rejeitava porque o primeiro componente principal ou eixo varia com as variáveis estudadas e suas distribuições. Ele afastou-se dos componentes principais e das soluções principais de eixos para aproximar-se de soluções de estrutura simples pela necessidade de identificar uma solução objetiva para os fatores. Uma solução de estrutura simples seria invariante em várias análises diferentes usando testes diferentes do mesmo domínio contanto que os testes escolhidos para o estudo não dependessem de todos os fatores do domínio. (Mulaik, 1993, p. 198)

Concomitantemente ao problema da indeterminância dos fatores, há a questão da validade e confiabilidade dos instrumentos da psicometria. De fato, os fatores extraídos somente têm algum valor científico se os dados obtidos possuem um padrão mínimo de qualidade. McCorquodale e Meehl (1948) já salientavam sobre a necessidade da psicologia transformar conceitos psicológicos abstratos em construtos operacionais tangíveis. Os instrumentos psicométricos devem possuir validade, ou seja, devem

mensurar o construto que se propõem a mensurar, ao mesmo tempo em que devem possuir um nível mínimo de confiabilidade, através de um indicador que identifique a parcela da variância do resultado atribuído ao erro.

Com relação tanto aos resultados de validação e análise da confiabilidade, alguns pesquisadores têm chamado a atenção para o uso inadequado de termos em relação a esses processos. Conforme declara Thompson (1994), nenhum teste é confiável ou válido em si mesmo. Um pesquisador não deve afirmar que o teste x possui validade ou é confiável. Ao contrário, o pesquisador deve declarar que o resultado obtido pela performance da amostra x no teste x possui validade ou é confiável.

Um aspecto infeliz na linguagem acadêmica contemporânea é o uso comum das afirmativas, “o teste é confiável” ou “o teste é válido.” Linguagem desse tipo é incorreta e deletéria em seus efeitos para a pesquisa acadêmica, particularmente dadas as conseqüências perniciosas que crenças paradigmáticas inconscientes podem ter. Embora a discussão que se segue trate explicitamente da confiabilidade da contagem, considerações parecidas se aplicam com respeito a validade.

Muito poucos pesquisadores atuam com base em um reconhecimento consciente de que a

confiabilidade é uma característica da contagem ou dos dados à disposição. Muitas

autoridades nos seus campos têm expressado essa opinião, mas influências paradigmáticas impedem alguns pesquisadores integrar ativamente de fato em sua prática analítica esse pressuposto. (Thompson, 1994, p.839)

O que é válido ou confiável não é o teste, mas sim os resultados de um conjunto específico de pessoas em relação a um determinado instrumento psicométrico.

Como Rowley (1976) argumentou, “é preciso que se estabeleça que um instrumento não é nem confiável, nem não-confiável em si ... Um único instrumento pode produzir contagens que não são confiáveis” (p.53 ênfase minha). De forma semelhante, Crocker e Algina (1986) argumentam que “um teste não é ‘confiável’ nem ‘não-confiável.’ Ao invés disso, a confiabilidade é uma propriedade das contagens de um teste para um grupo particular de examinados” (p.144 ênfase minha).

(...)

E Eason (1991) argumenta,

Embora alguns praticantes do paradigma de mensuramento clássico [incorretamente] falem da confiabilidade como uma característica de testes, na verdade a confiabilidade é uma característica dos dados, ainda que sejam dados gerados em uma dada medição

administrada com um dado protocolo a dados sujeitos em ocasiões dadas. (p. 84 ênfase minha) (Thompson, 1994, p. 839)

Justamente por ser uma característica dos dados, e não do instrumento em si, a validade e a confiabilidade de um resultado devem ser entendidas como um somatório de forças que influenciam o processo. O tamanho da amostra, a aplicação dos instrumentos em uma amostra bastante heterogênea, a relação entre o tamanho da amostra e o número de fatores esperados, entre outros elementos, influenciam poderosamente a determinação tanto da validade como da confiabilidade, e esse aspecto deve ser bem ponderado no momento da análise das qualidades psicométricas dos instrumentos.

A confiabilidade é determinada pela variância – tipicamente, maiores variâncias nos escores levam a maiores escores na confiabilidade, e amostras quanto mais heterogêneas freqüentemente levam a escores mais variáveis e, evidentemente, com maior confiabilidade. Conseqüentemente, a mesma medida, quando administrada para conjuntos de sujeitos mais heterogêneos ou mais homogêneos irá produzir escores com diferentes confiabilidades. (Thompson, 1994, p. 839)

6.11 OS INSTRUMENTOS DE MENSURAÇÃO DA PSICOMETRIA