Planejamento e construção de testes objetivos

Anteriormente à redação das perguntas, a construção das provas envolve a definição dos objetivos do exame, que indica os tipos de aprendizagem a avaliar. “O importante no planejamento de um teste é estabelecer o que medir e não apenas como medir” (Vianna, 1976, p.29). Dessa forma, a especificação dos objetivos a avaliar é o primeiro aspecto do planejamento de instrumentos. São os objetivos que guiam o construtor do teste na “seleção das áreas a examinar, na ênfase a ser dada a cada uma delas e, quando apresentados de modo específico, sugerem, também, os tipos de itens a construir” (Vianna, 1976, p.20). Após a definição dos conteúdos e aprendizagens a avaliar e especificação dos objetivos, estabelece-se a importância de cada objetivo, em relação à sua complexidade e ao seu significado educacional.

Relativamente à redação das perguntas, o primeiro passo é refletir sobre qual processo mental se deseja que o aluno utilize para responder. Para isso, o avaliador deve ter conhecimento sobre os processos mentais do grupo ao qualserá aplicado o teste, além do

conteúdo e dos objetivos. O construtor dos itens deve colocar-se na posição do examinando e fazer a si mesmo perguntas tais como:

Como será interpretado este item por alunos de diferentes níveis de aptidão? Que indícios são fornecidos no item ou em outras partes do teste? Há ambigüidades na redação? O sentido é claro e preciso? O item é demasiado fácil ou difícil? O item testa capacidades e aptidões importantes ou apenas conhecimentos triviais? Será ele demasiado longo? Relaciona-se claramente com objetivos importantes do curso? (LINDEMAN, 1976, p.70).

A redação das questões deve garantir a clareza e evitar a ambigüidade dos enunciados, uma vez que, em muitos casos, as respostas erradas são decorrência de perguntas mal formuladas e, portanto, mal compreendidas. Deve-se evitar o uso de respostas que se encaixem umas nas outras, tornando mais de uma alternativa correta (Lindeman, 1976) e todas as respostas devem ser plausíveis. Além disso, é preciso que o contexto das questões tenha sentido para os respondentes. Assim, a fim de verificar imprecisões, problemas de redação e nível de dificuldade é importante ensaiar as perguntas antes do exame.

Para a elaboração de itens, Vianna (1976) apresenta algumas sugestões gerais para itens objetivos e específicos para os de múltipla escolha:

Sugestões gerais para itens objetivos (Vianna, 1976):

1. Desenvolver o item a partir de idéias relevantes (p.71);

2. Selecionar assuntos e idéias que possibilitem a elaboração de itens com o máximo de poder discriminativo (p.72);

3. Elaborar itens que meçam objetivos educacionais importantes (p.72); 4. Apresentar o item com a maior clareza possível (p72);

5. Evitar a inclusão de elementos não-funcionais no item (p.73);

6. Evitar a construção de itens com base em elementos demasiadamente específicos (p.73);

7. Adaptar a dificuldade do item ao nível do grupo (p.73);

8. Evitar a inclusão de elementos que possam sugerir a resposta (p.73); 9. Eliminar o uso de uma fraseologia estereotipada (p.74).

Sugestões específicas para itens de múltipla escolha (Vianna, 1976):

1. Construir o suporte (raiz ou premissa) do item usando uma frase interrogativa direta ou uma sentença incompleta (p.74);

2. Incluir no suporte do item todos os elementos repetidos nas alternativas (p.75); 3. Colocar as omissões na parte final do suporte (p.75);

4. Elaborar alternativas breves, eliminando tudo aquilo que não for essencial (p.76);

5. Evitar, sempre que possível, suportes negativos (p.76); 6. Elaborar alternativas que não provoquem controvérsias (p.76);

7. Todas as alternativas devem ser plausíveis e atrativas para os que desconhecem o assunto ou não possuem a capacidade testada (p.77);

8. Evitar, sempre que possível, o emprego de “nenhuma das alternativas” ou “todas as alternativas acima” (p.77);

9. Apresentar, quando for o caso, as alternativas em ordem lógica e evitar colocar a resposta correta numa posição preferencial (p.78);

10. Nunca apresentar um conjunto de itens falso-verdadeiro como item de múltipla escolha (p.78).

O teste de múltipla escolha, no qual os avaliados devem fazer uma escolha entre várias respostas possíveis, pode se constituir de vários tipos de itens ou perguntas, dentre as quais destaco os seguintes, a partir de De Landsheere (1974):

1. Perguntas de complemento simples: “o item apresenta-se, na intenção se bem que nem sempre na forma, como uma frase a completar” (p. 109); 2. Perguntas de associação simples: “serve para verificar o conhecimento de um certo número de entidades que podem ou não estar em relação” (p. 110); 3. Perguntas de associação composta: é uma variante da associação simples; 4. Perguntas de associação com exclusão de termo: tem-se um conjunto de itens associados; deve-se indicar o item que não corresponde ao grupo associado;

5. Perguntas de relação de causa e efeito;

6. Perguntas de análise de observação: baseadas em situações comparáveis à experiência real;

7. Perguntas de comparações quantitativas; 8. Perguntas de relações de sentenças;

9. Perguntas de complementos agrupados: utilizadas quando uma questão pode ter mais de uma resposta correta.

Vianna (1976) identifica, também, diversos tipos de questões que podem ser apresentadas por meio de itens de múltipla escolha, sendo alguns semelhantes aos descritos por De Landsheere (1974), porém com outro nome, e outros distintos, como se observa a seguir:

1. Item de resposta única: “o suporte é seguido de uma única alternativa inteiramente correta e de outras incorretas, mas plausíveis” (p.52);

2. Item de resposta múltipla: o item admite várias respostas corretas; “não se trata de indicar apenas a melhor resposta, mas sim apontar todas as alternativas certas” (p.54);

3. Item de afirmação incompleta: “é o mais comum dos itens de múltipla escolha. A parte introdutória do item (suporte) é uma afirmação incompleta e não uma pergunta” (p.57);

4. Item negativo: “as alternativas apresentam várias respostas certas e apenas uma incorreta ou menos plausível, que deve ser assinalada. Convém ressaltar que se deseja a resposta incorreta” (p.58);

5. Item de associação simples: “possui uma relação de alternativas que deve ser associada a várias perguntas [...] É aconselhável um número maior de alternativas que de perguntas” (p.60);

6. Item de lacuna: “uma ou várias partes relevantes da sentença são suprimidas e apresentadas nas alternativas” (p.62). As lacunas não devem ser numerosas e, deve-se evitar que ela venha no início da frase, para não dificultar a compreensão;

7. Item de substituição: “modificam-se textos e solicita-se a identificação de problemas de pontuação, deficiência de estilo ou a modificação da própria estrutura do período” (p.62);

8. Item de identificação: “o examinando deve identificar algum erro ou caracterizar o tipo de erro que a frase contém” (p.64);

9. Item de interpretação: é construído com base em textos literários ou científicos, ou ainda a partir de tabelas, gráficos, mapas, ilustrações. Exige a capacidade de “realizar inferências, identificar explicações, apresentar generalizações, tirar conclusões, apresentar críticas e outras formas de interpretação” (p.65);

10. Item pictórico: o material pictórico pode ser fotografia, desenho, diagrama, gráfico ou mapa. É baseado no material pictórico e pode ser de dois tipos: um, no qual a ilustração é parte do problema e exige interpretação e outro, em que a ilustração é usada para comunicar uma idéia.

O planejamento de um teste é constituído, inicialmente, pela definição dos objetivos da avaliação e da organização e redação de itens, que obedecem a critérios pré-

estabelecidos, conforme descrito anteriormente. Os testes objetivos e mais ainda os padronizados, que são destinados a um grande número de pessoas e têm a finalidade de avaliar um sistema de ensino, como é, também, o caso do SARESP, caracterizam-se por seu rigor técnico. Dessa forma, a fase seguinte da redação das questões de um teste não é a sua aplicação imediata. Anteriormente à aplicação, há uma fase de preparação do teste para o uso, realizada por especialistas, que inclui a revisão e a correção dos itens, para identificação, através de análise estatística, de possíveis deficiências dos itens e seu aprimoramento, se necessário. O que não garante, todavia, que após essa revisão, o instrumento ficará isento de problemas. Não cabe a esta pesquisa um detalhamento sobre a análise que estabelece a validade e a fidedignidade de um instrumento na fase de revisão, pois exigiria longa discussão sobre métodos estatísticos, o que não é o foco da investigação. Além disso, no planejamento, são elaborados cadernos de instruções para os respondentes e para os corretores do teste. Somente depois de todo esse processo, o teste está pronto para ser aplicado (Lindeman, 1976; Vianna, 1976).

A confiabilidade dos resultados de uma avaliação é determinada em grande parte pela qualidade de seus instrumentos. Nesse sentido, é relevante e também primordial a preocupação com a qualidade e com o aprimoramento dos instrumentos utilizados no processo avaliativo. Por esta razão, o foco desta pesquisa é a análise de um instrumento avaliativo: as provas de leitura da 4ª série do Ensino Fundamental, aplicadas pelo SARESP.

Sabe-se que o SARESP é um sistema que utiliza o teste objetivo como instrumento para avaliar o rendimento escolar do aluno, em termos de competências e habilidades adquiridas em determinada série escolar e que o teste segue padrões de planejamento, definição de objetivos, elaboração de itens, análise técnica das questões, aplicação e correção das provas. Apesar disso, e de ser validado por especialistas antes de aplicado, os estudiosos (Lindeman, 1976; Vianna, 1976) salientam que o teste não está livre de deficiências. Sendo assim, é legítimo o questionamento feito nesta pesquisa sobre a qualidade das provas do SARESP, mesmo considerando que esse instrumento passou por análises prévias técnicas e estatísticas. Entendo ser relevante um estudo sobre aspectos como a clareza dos enunciados das provas e a coerência entre a habilidade especificada na matriz de habilidades como item a ser avaliado na pergunta e a habilidade que é, de fato, exigida para que se responda a pergunta, o que permite, também, uma análise e crítica sobre a complexidade dos conteúdos (habilidades) envolvidos nas provas. Especialistas como De Landsheere (1974), Depresbiteris (1997, 1990), Lindeman (1976) e Vianna (1990, 1976), que fundamentam este capítulo, destacam pontos importantes sobre instrumentos de avaliação,

dentre os quais enfatizei o teste objetivo, por ser este o instrumento utilizado pelo SARESP. Desta breve e necessária abordagem sobre os instrumentos, procurei discutir os aspectos principais e, talvez, suficientes, levando-se em conta os propósitos desta investigação, para embasar a análise dos instrumentos realizada nesta pesquisa. Depois de contextualizado historicamente e analisado o referente do SARESP, bem como os aspectos relativos ao planejamento e elaboração de instrumentos de avaliação, apresento no capítulo que segue a análise das provas selecionadas para a pesquisa, propriamente dita, em seu conjunto de questões e textos.