Introdução: Procedimentos na construção dos testes de realização

A construção dos testes psicológicos tem sido encarada como objecto de cuidados metodológicos cada vez mais complexos e adaptados ao próprio evoluir da Psicologia. Tais procedimentos, presentes na elaboração, na análise e na selecção dos itens, são o garante das características psicométricas dos próprios resulta- dos nesses instrumentos (sensibilidade, fidelidade e validade, cf. Capítulo 4). A importância destes procedimentos não se limita apenas ao trabalho de construção de novos instrumentos, como devem ainda estar presentes nas suas adaptações e aferições a novas amostras populacionais.

Tradicionalmente, e dentro da perspectiva psicométrica, os itens em testes de realização máxima são avaliados em função de dois parâmetros interdependentes: o índice de dificuldade e o

poder discriminativo. 0 primeiro traduz a proporção de respostas correctas ao item no conjunto da amostra, e o seu valor pode variar entre .00 e 1.00 (no primeiro caso ninguém respondeu correctamente ao item e, no segundo, todos os sujeitos responde- ram correctamente).

Dada a disposição dos elementos na fórmula de cálculo (C/N, ou seja o número de respostas correctas a dividir pelo número de sujeitos da amostra), o índice de dificuldade encontrado será tanto maior quanto maior o valor de "C", ou seja quando maior número de sujeitos responde acertadamente ao item em questão (Ghiselli et ai., 1981, p.429). Surge, assim, uma "dificuldade" na interpretação deste coeficiente pois que, embora designado de

índice de dificuldade, o seu cálculo considera a proporção de respostas correctas (scale of dificulty is reversed - Guilford e Fruchter, 1978, p.458).

Este índice vai permitir que os itens possam aparecer na prova hierarquizados segundo uma ordem crescente de dificuldade, o que em testes de realização máxima - dado o tempo limite que preside a sua realização - possibilita que os sujeitos possam atingir os itens mais ou menos identificados com o seu nível de realização (Anastasi, 1982, p.193; Leary e Dorans, 1985; Wing, 1980). Um exemplo prático das vantagens deste tipo de hierarqui- zação dos itens na avaliação das capacidades intelectuais dos indivíduos é o dos sujeitos não "perderem" o seu tempo com a tentativa de resolução de itens difíceis, deixando outros mais fáceis por responder. Aliás, avançando um pouco mais nesta apre- ciação, veja-se a possibilidade de na situação anterior dois

sujeitos com o mesmo nível de capacidade poderem apresentar resultados diferentes nos testes: um, perante as dificuldades específicas de um item, persiste - por vezes em vão - na sua resolução, o outro perante essa dificuldade opta pela busca e realização dos itens mais fáceis. No fundo, comportamentos que mais poderão ter a ver com aspectos da sua personalidade mas que, nesta situação, parecem interferir de um modo mais evidente nos níveis de realização atingidos por um e outro sujeito (Leary e Dorans, 1985; Munz e Smouse, 1968).

Por seu lado, o índice de discriminação de um item traduz o grau em que ele contribui para a diferenciação dos indivíduos em termos dos seus níveis de realização: grupo superior e grupo inferior. Um item apresentará um índice de discriminação, ou poder discriminativo, mais elevado quanto mais sujeitos do grupo superior respondem correctamente e mais sujeitos do grupo infe- rior falham a sua realização. Deduz-se, deste modo, que o índice de discriminação dos itens tem a ver com a relação existente entre as respostas dos sujeitos ao item e os seus resultados finais na prova (no conjunto dos itens).

0 cálculo do poder discriminativo de um item traduz sempre a razão da diferença entre a percentagem de respostas correctas por parte do grupo superior e do grupo inferior na realização do teste. Indica-se, de seguida, a fórmula mais geral para o cálculo deste coeficiente - usada no estudo da construção da BPRD -

(Glass e Stanley, 1970, p.164):

Xl-X nl.N P.D.=

D.P. nO(N-l)

onde:

XI - média dos alunos que acertaram o item X - média geral de todos os alunos

D.P. - desvio-padrão geral dos resultados N - número total de sujeitos na amostra nl - número de sujeitos que acertam o item nO - número de sujeitos que falham o item 0 valor do poder discriminativo de um item pode variar entre -1.00 e +1.00, sendo o primeiro ilustrativo de um item em que todos os sujeitos do grupo inferior acertam e todos os sujeitos do grupo superior falharam a sua realização. O segundo valor exemplifica a situação contrária.

Evidentemente que a existência de itens com índice de dis- criminação negativos não se adequa aos objectivos gerais da avaliação. Tais itens afectariam negativamente o sentido prático da informação obtida, bem como os coeficientes de sensibilidade, de fidelidade e de validade dos resultados (cf. Capítulo 4).

Ao mesmo tempo, fará pouco sentido a existência de itens com poder discriminativo nulo (PD=.00 ou, igual número de sujeitos do grupo superior e do grupo inferior realizam o item), pois que em nada contribuem para a diferenciação pretendida com os resulta- dos. Os itens aceitáveis em termos psicométricos devem diferen- ciar os sujeitos de acordo com os resultados finais no teste

(maior proporção de respostas correctas no grupo superior), to- mando-se o valor de .20 como o limiar de aceitação/recusa dos itens (Garrett, 1962, pp.444-5).

que os itens retidos poderão apresentar coeficientes de discrimi- nação inferiores àquele valor. Embora decorra daí uma não dife- renciação dos sujeitos (a maior parte dos sujeitos acerta ou falha o item), a permanência numa prova de tais itens tem a sua justificação.

Em primeiro lugar, os itens mais fáceis (colocados hierar- quicamente no começo da prova) ocasionam nos sujeitos sentimentos de auto-confiança e auto-eficácia que se mostram decisivos para a realização dos testes. Representam ainda uma possibilidade da aprendizagem e de treino tendo em vista a resolução dos itens seguintes (Wing, 1980). Por sua vez, os itens mais difíceis são colocados na parte final do teste e são mantidos na perspectiva de uma eventual diferenciação entre os sujeitos de níveis supe- riores de realização no instrumento em questão.

Estas duas situações ilustram bem a relação que é possível estabelecer entre o índice de dificuldade e o poder discriminati- vo dos itens. Serão os itens com nível médio de dificuldade (ID entre .35 e .65 segundo Mollenkopf, 1950) aqueles que, em termos de probabilidade, melhor poderão diferenciar os sujeitos em ter- mos da sua realização no teste. Refira-se que um item com ID=.90, ou seja um item bastante fácil e que divide os sujeitos no grupo dos que o acertaram (90%) e no grupo dos que o falharam (10%), permite apenas um total de 90 x 10 possibilidades diferentes de combinação dos sujeitos entre si (total de 900 pares diferentes tomando um a um os sujeitos de ambos os grupos). Por seu turno, um item com ID=.50 (50% dos sujeitos acertam e 50% falham a realização do item) eleva para o máximo as possibilidades de

maior diferenciação dos sujeitos (a combinação dos sujeitos um a um de ambos os grupos permite formar agora 2.500 pares diferen- tes). Esta interdependência de ambos os coeficientes justifica a necessidade da sua conjugação no momento da selecção dos itens para a versão definitiva do teste. Ambos fornecem algo de espe- cífico, mas sempre complementar, à avaliação.

Embora estes dois índices sejam os mais utilizados na cons- trução e adaptação deste tipo de instrumentos, referem-se de seguida outros procedimentos complementares da análise dos itens.

Em primeiro lugar, há que fazer referência aos métodos qualitativos de análise. O método mais utilizado tem a ver com o que Claparède (1934) designou por "reflexão falada" dos itens e consiste na realização em voz alta por parte dos sujeitos das tarefas que lhes são apresentadas. Com este procedimento procura- se, sobretudo, identificar os processos de resposta usados pelos sujeitos na sua resolução. A sua importância decorre das conside- rações formuladas a partir dos avanços da psicologia cognitiva, designadamente da multiplicidade de operações e estratégias que podem ser requeridas para a resolução dos itens do teste, por mais simples que estes se apresentem (Glaser, 1981; Hunt, 1978; Sternberg, 1977). Ao mesmo tempo, a maior atenção dada pelos autores psicométricos à validade de constructo (Gulliksen, 1950; Cronbach e Meehl, 1955) na resposta à questão "o que cada teste avalia de facto" teve também o seu impacto para a necessidade desta análise mais qualitativa dos itens. Por exemplo, em testes de raciocínio, torna-se necessário saber se esta operação se

mostra necessária ou subjacente à realização dos seus itens ou se, pelo contrário, a sua resolução faz sobretudo apelo a outras operações mentais.

Por dificuldades várias esta nova metodologia não tem sido .sistematicamente utizada, pese embora a sua importância para o

reconhecimento de ambiguidades nos itens e de processos alterna- tivos de resposta. Refira-se que as ambiguidades dos itens são fonte de erro na avaliação,, designadamente porque se constituem como factores irrelevantes nos seus índices de dificuldade (Pike, 1978). Em estudo recente, Powers (1986) fazia referência a estes aspectos e às suas implicações menos controladas na avaliação psicológica.

Algumas das dificuldades que poderão justificar a não utili- zação sistemática destas análises nâ construção e adaptação dos testes terão a ver com as limitações do próprio procedimento. Em primeiro lugar, pode referir-se a sua forte dependência em re- lação às capacidades introspectivas e de verbalização dos sujei- tos. Nem sempre é fácil verbalizar todo o trabalho mental subja- cente à realização de uma tarefa, e, por vezes, essa verbalização nem sempre traduz os passos sucessivos da realização efectuada. Um segundo aspecto prende-se com a dificuldade surgida ao nível do registo da verbalização do sujeito ou com a interferência do recurso a equipamentos de registo no próprio trabalho mental dos indivíduos. Por último, é deixada ao psicólogo a interpretação das verbalizações obtidas e a súa conversão em termos de proces- sos cognitivos usados.

Apesar destas desvantagens, procedeu-se à utilização deste

método na fase de recolha e análise dos itens das provas que integram a BPRD, aliás como se havia procedido em relação à adaptação portuguesa dos TRD (Almeida, 1982b). Mais à frente, e a respeito de cada prova, são apontadas algumas das vantagens advindas do uso deste método.

Um segundo grupo de análises complementares aos índices estatísticos apontados, e de algum modo em resposta a algumas das imperfeições do método qualitativo anterior, procuram conhecer a estrutura correlacionai e factorial das respostas aos itens. Estes procedimentos permitem também ver em que medida todos os

itens avaliam uma mesma e única característica psicológica (Anas- tasi, 1986). 0 pressuposto é de que os itens referentes a um mesmo constructo psicológico aparecerão fortemente correlaciona- dos, e vice-versa, e ao mesmo tempo tenderão a ser explicados na

sua variância por um simples factor.

Um dos autores que mais desenvolveu esta metodologia de análise foi Guilford na construção dos testes específicos para cada uma das aptidões postuladas no seu modelo (cf. Capítulo 1). 0 valor destas análises é, segundo este autor, inestimável tendo em vista a validade de constructo dos resultados dos testes

(Guilford e Fruchter, 1978, p.457).

Mais à frente, dar-se-ão outros pormenores do uso desta metodologia a propósito de algumas provas da BPRD.

Por último, uma outra orientação na análise dos itens tem a ver com a apreciação do grau de relacionamento entre as respostas certas ou incorrectas ao item e a avaliação do sujeito em qual- quer critério externo correlacionado. Trata-se, finalmente, do

estudo da validade externa do item (Ghiselli et ai., 1981, p.433), ou seja, em que medida os resultados dos sujeitos no item vão no sentido "esperado" dadas as características particulares dos indivíduos avaliados (resultados noutros testes, resultados escolares, nível escolar ou etário, número de reprovações esco- lares anteriores, etc.).

A concluir, refira-se a complementaridade que é.possível encontrar com o uso destes vários procedimentos em termos de resultados práticos. Ao mesmo tempo, tomando-se itens cujo for- mato e conteúdo se aproximam dos utilizados em testes anteriores a necessidade do emprego exaustivo destes métodos não se mostra necessário. Finalmente, as análises da sensibilidade, da estabi- lidade, da consistência interna dos itens, da validade interna e validade externa dos resultados nos testes constituem-se como nova forma de apreciação das características psicométricas dos itens. Estas análises, tomando os resultados das cinco provas, aparecem descritas no quarto capítulo deste trabalho.

Descrevem-se, em seguida, os procedimentos considerados na construção de cada uma das provas da BPRD. As principais alte- rações introduzidas em relação às provas similares na bateria TRD aparecem também descritas, bem como a sua justificação. Aprovei- ta-se, ainda, para fazer a apresentação de cada prova e dos aspectos específicos a observar na sua administração. Em anexo (cf. Volume II deste trabalho) apresentam-se os quatro testes da bateria TRD (cf. Anexo A) e as cinco provas da BPRD (cf. Anexo

B), para uma melhor visualização das alterações introduzidas.

2.2. - Prova de Raciocínio Numérico (Prova NR)

Apresentação geral da prova

A prova de raciocínio numérico é constituída por séries de números que os sujeitos devem continuar após a descoberta e a aplicação da lei sequencial dos números em presença.

Eis um exemplo:

1 2 4 8 16

(0 sujeito deveria escrever 32 e 64 como solução para este problema)

Se considerarmos a prova de raciocínio numérico da bateria de Testes de Raciocínio Diferencial (Meuris, 1970)/ estudada e aferida para a população estudantil do ensino secundário do Grande Porto (Almeida, 1982a,b; Almeida e Campos, 1982),pode eonstatar-se algumas modificações (cf. Anexo A, pp.15-17, onde se apresenta a versão da prova nos TRD).

Uma primeira, também comum às restantes provas, tem a ver com o aumento do número de itens. A sua justificação tem a ver com a procura de uma maior sensibilidade da prova pois que, neste

estudo ela se deveria adequar a um leque maior de alunos (alunos do 72 ao 12Q ano de escolaridade). Uma segunda alteração prende- -se com a constituição de itens efectivamente fáceis e outros francamente difíceis. Os primeiros, a colocar logicamente no início da prova, atenuariam uma certa predisposição dos alunos para o desânimo e o desinteresse face a esta prova (comportamen- tos de algum modo associados ao conteúdo numérico da prova e à sua fácil associação com a disciplina de matemática). A inclusão destes itens no início da prova permite ultrapassar mais facil- mente esses comportamentos devido à percepção de sucesso que os alunos podem experienciar no começo da prova.

Quanto aos itens difíceis, a sua justificação passa pela procura de uma maior dispersão dos resultados nos anos escolares mais avançados ou nos alunos de maior nível de realização.

Uma terceira alteração consistiu na não inclusão de qualquer item apresentado, sob a forma de número fraccionário ou envolvendo cálculos bastante complexos. Estes itens, na prova anteriormente usada, favoreciam o aparecimento dos comportamentos antes referi- dos, prejudicando o investimento dos alunos na realização da prova. Por outro lado, acarretavam à partida maior perplexidade para a prova em questão, decorrendo de tal facto um índice de dificuldade acrescido e não controlado para a sua realização por parte dalguns alunos. As séries numéricas sob a forma de fracções ou números decimais, sendo menos familiares para os alunos, poderiam representar um efeito de erro na dificuldade desses itens e consequentemente nos resultados desta prova (Pike, 1978).

Uma última alteração tem a ver com o tipo de resposta soli- citada aos alunos. Nesta versão da prova de raciocínio numérico, o sujeito deverá indicar os dois números (e não apenas um) que completam a sequência apresentada, pensando-se com esta exigência aumentar o poder discriminativo dos itens. A resposta correcta, a partir de agora, implica uma efectiva compreensão da situação problema na sua globalidade. A pertinência desta alteração é mais

facilmente visualizada nos itens constituídos por duas séries alternadas de números. Estes itens, na prova utilizada anterior- mente, poderiam ser respondidos de um modo correcto pelos sujei- tos sem que tal exigisse uma compreensão global da série apresen- tada. Veja-se um exemplo:

9 12 12 13 15 14 -(a) -(b)

(Neste item, sendo apenas exigida a resposta (a), o aluno, conhecendo que alguns itens são constituídos por

séries alternadas - ou quando não encontra de imediato uma solução para o problema -, pode dar a sua resposta atendendo apenas à série 9 - 12 - 15. Esta situação já não ocorre se o sujeito tiver que responder (a) e (b)).

Construção da Prova NR

Um conjunto de 4 0 itens foram reunidos e aplicados a alunos do 22 ano da Licenciatura em Psicologia da Faculdade de Psicolo-

gia e de Ciências da Educação da Universidade do Porto (tratou-se de uma actividade inserida nas aulas práticas da disciplina de Métodos de Observação Psicológica - 1983/84). Esta aplicação seguiu de perto a metodologia da "reflexão falada" (Claparède,

1934; Meuris, 1969) e visou o conhecimento de eventuais ambigui- dades e outras imprecisões nos itens. Desta análise resultou uma primeira versão da prova constituída por 37 itens que veio a ser aplicada a uma amostra de 349 alunos, repartidos pelos vários anos de escolaridade e por ambos os sexos.

Tratou—se de uma aplicação sem limite de tempo e realizada

em escolas oficiais e particulares do ensino secundário dos distritos do Porto, Braga, Bragança e Évora. Os resultados obti- dos com esta primeira versão da Prova NR permitiram uma análise do índice de dificuldade e do poder discriminativo dos itens. Deste estudo resultou a eliminação de três itens e a introdução de várias alterações nas sequências apresentadas. Foi então construída uma segunda versão da Prova NR com 34 itens.

Esta versão foi aplicada a 235 alunos provenientes de esco- las oficiais e particulares dos distritos do Porto e Braga, estando representados os vários anos de escolaridade e ambos os sexos (quadro 2.1). Na aplicação desta versão procedeu-se a um controlo experimental do tempo dispendido pelos alunos na sua resolução (os sujeitos registavam o item em que se encontravam aos 15, 20, 23 e 25 minutos). 0 tempo total dispendido, até darem por concluída a realização da prova, foi também registado, procu- rando-se deste modo encontrar o tempo adequado à realização desta prova.

Quadro 2.1 - Amostra de alunos que realizaram a 2a versão da Prova NR.

Sexo Masculino Feminino Total Nível

Unificado 67 65 132

Complementar 56 47 103

Total 123 112 235

No quadro 2.2 estão indicados os índices de dificuldade e de discriminação para os 34 itens avaliados. Dentro de parêntesis aparece indicada a ordem que o item ocupa na versão definitiva da prova, assinalando-se com asterisco os itens que foram suprimi- dos.

Desta análise resultaram algumas alterações em certos itens (por exemplo, uma pequena reformulação do tamanho das sequências numéricas apresentadas) e a exclusão dos cinco itens assinalados com asterisco (quadro 2.2). Por outro lado, inclui-se um item da bateria TRD considerado difícil (ocupava a 24a posição no conjun- to dos 25 itens da versão portuguesa daquela prova - cf. Anexo A ) .

A exclusão destes itens decorreu de dois tipos de conside- rações. Em primeiro lugar, o poder discriminativo dalguns deles mostrava-se inferior ao da generalidade dos restantes. Por outro lado, tendo-se procedido a uma análise em coordenadas principais

dos coeficientes de similaridade de resposta no conjunto dos itens (quadro 2.3) verificou-se que os restantes itens eliminados (itens ns 27 e 32) apresentam alguma especificidade de resposta (cf. Factores II e III). Esta especificidade aparece mais facil- mente visualizada nas figuras 2.1, 2.2 e 2.3, alusivas a esta análise, e onde se assinalam os itens com menor similaridade de respostas em relação' aos restantes.

Quadro 2.2 - índice de dificuldade e poder discriminativo dos itens da 22 versão da Prova NR.

item ordem I.D. P.D. item ordem I.D. P.D.

1 (1) .98 .28 18 (20) .46 .50 2 (2) .97 .31 19 (15) .62 .56 3 (4) .90 .52 20 (18) .53 .53 4 (3) .92 .33 21 (16) .60 .50 5 * _{.84. .19 22 (21) .42 .48} 6 (5) .87 .50 23 * _{.65 .28} 7 (13) .67 .47 24 (14) .64 .52 8 (8) .79 .64 25 (28) .25 .48 9 (6) .82 .58 26 (27) .27 .42 10 (7) .80 .53 27 * _{.34 .38} 11 * _{.76 .24 28 (23) .38 .61} 12 (11) .71 .55 29 (22) .40 .49 13 (12) .70 .54 30 (24) .34 .51 14 (10) .75 .53 31 (30) .15 .38 15 (19) .49 .50 32 * _{.40 .34} 16 (9) .77 .55 33 (26) .29 .33 17 (17) .56 .45 34 (25) .32 .40 110

Quadro 2.3 - Análise em coordenadas principais dos 34 itens que integravam a 2a versão da Prova NR

Item Fact.I Fact.II Fact.Ill Item Fact.I Fact.II Fact.Ill

1 .334 -.104 -.081 18 .096 .015 .034 2 .329 -.103 -.080 19 .031 .116 .095 3 .295 -.055 -.034 20 -.168 .200 .080 4 .277 -.085 -.054 21 .012 .081 .203 5 .285 -.111 -.077 22 -.302 .184 .160 6 .285 -.083 -.045 23 .260 -.021 -.017 7 .299 -.075 -.059 24 .034 .072 .068 8 .231 .003 -.006 25 -.581 .178 -.102 9 .269 -.047 -.047 26 -.442 .274 .178 10 .203 .014 -.041 27 -.553 -.632 .640 11 .226 -.031 -.010 28 -.037 .135 .042 12 .114 .077 .041 29 -.354 .263 .018 13 .132 .034 .013 30 -.389 .164 -.057 14 .190 -.028 .003 31 -.683 -.095 .347 15 .209 -.014 -.008 32 -.694 -.426 -.509 16 .240 -.073 -.028 33 -.084 .017 .063 17 -.113 .155 -.031 34 -.144 -.001 .018

Finalmente, e em relação ao tempo de realização desta prova, existiram algumas dificuldades com a sua fixação. Vários alunos dispendem um tempo considerável na procura das soluções ou ten- tam, muitas vezes em vão, responder a todos os itens mesmo após várias tentativas falhadas na compreensão das sequências. Esta situação é especifica da Prova NR, pois que nas restantes os itens apresentam alternativas de resposta cabendo ao sujeito optar por uma delas.

Este facto deve ser convenientemente ponderado dada a inter- ferência de um prolongado tempo de realização na sensibilidade dos resultados, o mesmo é dizer do poder diferenciador da prova

i \ J O O O n n > - n O o I o- I • I o o * 1 ♦ * • 1 ■» ■ * * * * fNJ « r * * » » 1 » » 1 * » 1 1 ♦ * 1 # | ♦ » * 1 * » 1 » ♦ 1 * * 1 M 1 o o o o »— » I o o o o

Figura 2.1 ­ Análise em coordenadas principais dos itens da la versão da Prova NR (factores 1 e 2).

u i O O O - * o > - n r> - < o o o O ■o o •r- ■o œ o l • • »-t o- I • I ro O ro o o o -»- o a o -t- o » * • * * * * ro » * ' - * ■M * * * * * * o o o o o o

F i g u r a 2.2 Análise era coordenadas principais dos itens da