ESTRATÉGIAS PARA VALIDAÇÃO DO MODELO DOS TRÊS NÍVEIS

Fator Geral (g), seis fatores secundários e 15 fatores primários do modelo de Carroll (1993). A escolha por testes que pudessem, teoricamente, medir esses fatores cognitivos deveu-se ao fato de que esses componentes da inteligência são capazes de explicar boa parte da variância da performance escolar dos estudantes, assim como

representam boa parcela dos fatores mais importantes da arquitetura intelectual estudada pela psicometria.

Os procedimentos metodológicos relacionados à validação do Modelo dos Três Estratos se agruparam em quatro importantes metas:

1. Tradução e adaptação de cada um dos 45 testes americanos para o universo dos participantes da pesquisa.

2. Análise da confiabilidade dos escores de cada um dos 45 testes, através da análise da consistência entre as duas partes de cada teste, e da análise da consistência interna de todos os itens de cada teste.

3. Validação de cada teste enquanto marcador de um fator primário. 4. Validação do Modelo dos Três Níveis de Carroll.

A tradução e adaptação dos testes para o universo dos participantes da pesquisa foi o primeiro passo realizado. Além da tradução do inglês para o português, realizada pelo pesquisador e por um estudante de psicologia, a construção da versão em português foi demarcada por várias adaptações do material, implicando mais do que a tradução dos termos. Os testes verbais alicerçados em tarefas com forte peso na estrutura lingüística americana, ou em fatores culturais específicos, foram adaptados para o contexto dos estudantes da referida escola federal de ensino. A adaptação levou em consideração a manutenção da lógica envolvida pelos testes americanos, os processos envolvidos e as regras de construção, ao mesmo tempo em que focou a realidade sociocultural dos participantes e seu nível de escolaridade e conhecimento acadêmico.

Foi realizada uma analise semântica dos enunciados e itens contidos nos testes, através de uma aplicação prévia em estudantes. A análise semântica seguiu o seguinte procedimento. Após fazerem um conjunto de testes, alguns testandos deveriam comentar a respeito de possíveis dificuldades de entendimento das instruções, dos itens,

ou da execução dos testes. Aparentemente, as instruções se apresentaram claras e os itens realizáveis em quase todos os testes. Alguns detalhes foram alterados na instrução de alguns testes, assim como foram modificados alguns termos e palavras em certos itens de testes de natureza verbal. O ponto de destaque apontado pelos testandos foi a alegação do tempo curto para a realização dos testes. No entanto, esse fator não significou uma inadequação dos testes da versão em português, na medida em que a bateria original também disponibiliza um tempo muito reduzido para a execução dos testes.

A análise da confiabilidade dos escores dos participantes nos testes foi realizada em dois momentos. Como a aplicação dos testes foi realizada em dois momentos distintos, uma aplicação em 2004 e outra em 2005, pôde-se observar em duas ocasiões como os itens de cada teste correlacionavam-se internamente, assim como verificar o grau de correlação entre os escores dos participantes nas duas partes de cada teste. Ambas as medidas incorporaram o alfa de Cronbach.

A terceira meta - verificar se os testes realmente se caracterizariam como marcadores de fatores primários - demarcava-se como importante, pois o Conjunto de Testes de Referência para Fatores Cognitivos foi elaborado para este fim. Foram realizadas 15 análises fatoriais10, através do agrupamento dos 45 testes em 15 grupos de três testes. Através desse agrupamento seria possível verificar se cada um dos 15 grupos de três testes geraria um único fator, ou seja, mensuraria uma única dimensão, e quais testes de cada grupo teriam maior influência na definição da dimensão mensurada, através da análise da carga dos testes no fator identificado.

10

Diferentemente dos estudos que realizam a análise fatorial dos itens para verificar a validade de um teste psicológico (Andriola & Pasquali, 1995; Yoshida, 2000; Lucarelli & Lipp, 1999; Wood, Carvalho, Rothe-Neves, & Haase, 2001; Moreira & Tamayo, 1999; Siqueira, Barbosa & Alves, 1999; Sobral, 1998; Andriola & Cavalcante, 1999; Primi & Almeida, 2000), os estudos de validade sobre um conjunto de testes utiliza o escore total de cada participante no teste para o cálculo da matriz de correlações e da matriz de análise fatorial.

Foi feita uma sondagem inicial dessa validação, através dos dados de 53 participantes da primeira aplicação da pesquisa. Uma segunda análise contou com todos os dados da pesquisa.

Como quarto passo, foi analisado se os escores dos participantes nos 45 testes de inteligência seriam capazes de indicar a presença do Modelo dos Três Níveis de Carroll. Nesse sentido, foi feita uma análise fatorial a partir da matriz de correlação dos escores dos participantes em todos os testes aplicados. No caso da obtenção de fatores primários que se correlacionassem, uma nova análise fatorial deveria ser realizada com a matriz de correlação dos fatores primários, e assim sucessivamente, até que todos os fatores de alta-ordem pudessem ser obtidos.

7.6 ESTRATÉGIAS PARA VALIDAÇÃO DO MODELO COGNITIVO DO ENEM

Além dos 45 testes cognitivos do ETS, foi aplicado nos participantes da pesquisa a prova objetiva (amarela) do Exame Nacional do Ensino Médio de 2001. Procurou-se validar o modelo cognitivo do ENEM, enfocando os seguintes pontos:

1. A prova de 2001 do ENEM foi aplicada nos mesmos estudantes que fizeram os 45 testes traduzidos e adaptados.

2. Foi analisada a confiabilidade dos escores dos participantes na prova de 2001, através da análise da consistência interna entre os itens.

3. Foi analisada a validade do modelo cognitivo do ENEM, através da análise fatorial exploratória, considerando-se os erros e acertos de cada estudante em cada um dos 63 itens na prova objetiva, para que se pudesse calcular a matriz de correlação e a matriz fatorial.

As mesmas estratégias gerais utilizadas na análise fatorial do Modelo dos Três Níveis de Carroll foram utilizadas para a análise fatorial modelo do ENEM, de forma a

englobar os mesmos procedimentos para a extração, a seleção e a rotação dos fatores encontrados. É importante salientar que se esperava previamente encontrar como fatores primários às 21 habilidades determinadas pela matriz de competências do ENEM. Também era esperado que os 21 fatores primários se correlacionassem a ponto de formar cinco fatores de segundo nível, o que indicaria a existência das cinco competências do modelo.

7.7 ESTRATÉGIAS PARA ANÁLISE DA RELAÇÃO ENTRE OS FATORES