DICAS DE ELABORAÇÃO DE ITENS DE TESTE
Prof. Robson Araujo O que é, afinal de contas, um item de teste? O item é a unidade básica de um instrumento de coleta de dados (isto é, de uma prova, um questionário, etc.). Trata-se um comando ou de uma questão que apresenta a tarefa cognitiva requerida do bombeiro, que terá sua resposta avaliada com base em uma chave de correção (conhecida como gabarito).
E o que se mede com um item de teste? Os itens medem conhecimentos, competências e habilidades relacionadas ao domínio cognitivo1. O item é portanto, um instrumento que permite o acompanhamento do processo de ensino e aprendizagem.
Há
basicamente dois formatos de itens de teste: os itens de resposta construída e os itens de reconhecimento, dentre os quais se destaca o item de múltipla escolha. Esta tipologia se baseia em uma diferença fundamental: no primeiro caso, o bombeiro elabora uma resposta e, no segundo, seleciona uma resposta dentre um conjunto de alternativas.O item de múltipla escolha é composto por três partes: o enunciado, a resposta correta (ou gabarito) e os distratores. O enunciado é, geralmente, uma questão ou um comando; a resposta correta é a palavra, frase ou sentença que responde à questão proposta pelo enunciado e os distratores são respostas incorretas, porém plausíveis, à esta mesma questão.
As etapas para a elaboração de itens de teste
Identifique, na competência, habilidade, tarefa e conteúdo com o qual você estará trabalhando;
Analise o tópico de conteúdo abordado pelo tarefa. Pesquise em diversas fontes de consulta (livros didáticos, bibliografia de referência, etc.) antes de decidir sobre a melhor forma de abordar o assunto. Não se concentre em detalhes ou em interpretações controversas entre os próprios especialistas da área. Procure enfocar aspectos relevantes do conteúdo e que sejam relacionados ao cotidiano dos bombeiros.
Escolha o tipo de item de múltipla escolha que será utilizado, levando em consideração tanto o grau de complexidade do conteúdo quanto a natureza da operação mental correspondentes a esta tarefa.
1
Utilize, sempre que possível, um estímulo2 (texto, artigo de jornal ou revista, gráfico, tabela, figura, fotografia, etc.) que torne o item mais interessante para o bombeiro. Via de regra, o item deve ser fácil e agradável de ser lido. Ilustrações e textos provenientes de livros didáticos devem ser preferencialmente evitados, tendo em vista que a inclusão de referências de livros desta natureza pode ser encarada como um referendo da instituição avaliadora a esta ou aquela publicação. Assim sendo, deve ser dada preferência ao uso de fontes primárias para os textos ou então fontes secundárias de alto gabarito.
Elabore o enunciado. Forneça todas as informações necessárias para que o bombeiro responda ao item. O ideal é que, no momento da leitura do enunciado, ele seja capaz de antecipar a resposta correta sem examinar previamente as alternativas. Formule a questão de maneira direta. O importante é evitar que o bombeiro erre o item porque não compreendeu o que estava sendo perguntado. Finalmente, certifique-se de que o comando ou questão está realmente de acordo com a tarefa.
Elabore as alternativas. Deve haver apenas uma resposta correta para a questão proposta pelo enunciado. As demais alternativas – também chamadas de distratores – devem ser incorretas, porém plausíveis, atraindo os bombeiros com pouco conhecimento do conteúdo ou aqueles que tentam adivinhar (ou “chutar”) a resposta correta.
Elabore justificativas para todas as alternativas (resposta correta e distratores). Isto favorece a construção de bons itens e possibilita a identificação precisa do erro cometido pelo bombeiro.
Verifique a redação e a apresentação do item. É fundamental seguir, ao escrever o item, as regras de ortografia, gramática e sintaxe da norma padrão.
Formate o item de acordo com as especificações fornecidas;
Revise o item alguns dias após tê-lo escrito. Este procedimento simples certamente contribuirá para aprimorar a qualidade dos itens.
2
- Deve ser tomado especial cuidado no que se refere às referências, as quais devem ser apresentadas de forma completa, de acordo com o observado junto às regras da ABNT.
RESUMO DE REGRAS PARA CONSTRUÇÃO DE ITENS
A seguinte tabela apresenta um resumo de regras para construção de itens de múltipla escolha apresentadas no texto acima:
1. INFORMAÇÕES GERAIS
1.1. Os itens elaborados deverão ser INÉDITOS.
1.2. Os itens devem considerar o cotidiano dos bombeiros. 1.3. Os itens deverão estar em formato de múltipla escolha.
1.4. Os itens deverão estar rigorosamente relacionados às tarefas e ao conteúdo necessários para realizá-la, principalmente considerando conteúdos utilizados nos treinamentos. 1.5. Os itens não deverão conter afirmações preconceituosas sobre etnia, religião ou gênero. 1.6. Os itens deverão levar em consideração o tempo de leitura exigido do bombeiro
2. LINGUAGEM
2.1. Os enunciados deverão apresentar por completo o problema a ser resolvido.
2.2. Os enunciados e as alternativas devem ser gramaticalmente consistentes e não conter dicas verbais.
2.3. Os itens deverão ter os enunciados e alternativas formulados de maneira positiva, salvo se houver uma exigência da tarefa em sentido contrário.
2.4. Recomenda-se que não sejam utilizados termos como “sempre”, “nunca”, “todo(a)”, “totalmente”, “absolutamente”, “completamente" e “somente”.
2.5. Recomenda-se não elaborar itens que contenham “pegadinhas”.
2.6. Cada item incluirá somente um problema, não podendo avaliar vários tópicos ou conter muitos passos para a identificação da resposta correta.
2.7. Os itens deverão ser elaborados numa linguagem apropriada ao bombeiro da série para a qual foram elaborados.
2.8. A linguagem utilizada nos itens deve ser clara e direta. 2.9. É fundamental elaborar itens com pontuação correta.
3. ALTERNATIVAS
3.1. Número de Alternativas: 4 alternativas para 4ª e 8ª série do Ensino Fundamental e 5 alternativas para 3ª série do Ensino Médio
3.2. As alternativas devem incluir uma única resposta correta e respostas incorretas plausíveis em relação à primeira.
3.3. A alternativa correta e os distratores devem ser justificados pelo elaborador do item. 3.4. As alternativas devem estar organizadas de maneira lógica, por exemplo, em ordem
alfabética ou cronológica.
3.5. As alternativas não devem conter detalhes irrelevantes e conteúdos absurdos. 3.6. As alternativas devem ser mutuamente excludentes.
3.7. As alternativas devem ser construídas de maneira a impedir que bombeiros acertem o item por exclusão.
3.8. As alternativas devem ser aproximadamente da mesma extensão. Isto evitará a identificação da alternativa correta ou incorreta pela observação do seu tamanho.
3.9. Não serão aceitos itens com alternativas como “todas as anteriores” ou “nenhuma das anteriores”.
4. TEXTOS BASE
4.1. Pode ser utilizado um texto base acompanhando itens completos, desde que o mesmo tenha referência bibliográfica completa, seguindo as normas da ABNT. Esta recomendação aplica-se também a gráficos, figuras, ilustrações e tabelas.
4.2. Deve-se evitar utilizar fontes secundárias de textos, gráficos, figuras, ilustrações ou tabelas.
4.3. Não utilizar fragmentos de textos nem textos criados artificialmente,.
MODELO PARA A FORMATAÇÃO DOS ITENS
Descreva aqui as especificações sobre o item quanto a: (use quantas linhas for necessário) Competência:
Habilidade:
Tarefa:
Conteúdos:
FONTES: Para cada uma delas, cite as fontes que serviram de informação para seu trabalho (colocando os links).
Modelo para formatação dos itens (itens simples)
Código do Item [nome do(a) elaborador(a)]
Digite aqui o seu Enunciado
(A)
Digite aqui a Alternativa A(B)
Digite aqui a Alternativa B(C)
Digite aqui a Alternativa C(D)
Digite aqui a Alternativa D(E)
Digite aqui a Alternativa EGabarito: ( )
Justificativa das Alternativas
Alt. A: Digite aqui a justificativa da alternativa A Alt. B: Digite aqui a justificativa da alternativa B Alt. C: Digite aqui a justificativa da alternativa C Alt. D: Digite aqui a justificativa da alternativa D Alt. E: Digite aqui a justificativa da alternativa E
Tabela 2. NÍVEIS DE COMPETÊNCIAS COGNITVAS
Nível Básico Características do estímulo/enunciado Competências Cognitivas
Neste nível, encontram-se ações que possibilitam a apreensão das características e propriedades permanentes e simultâneas de objetos comparáveis, isto é, que propiciam a construção dos conceitos.
Fácil de compreender Muito utilizado Comum Típico Básico Facilmente encontrado
Observar para levantar dados, descobrir informações nos objetos, acontecimentos, situações, etc., e suas representações;
Identificar, reconhecer, indicar, apontar, dentre diversos objetos, aquele que corresponde a um conceito ou a uma descrição, ou identificar uma descrição que corresponde a um conceito ou às características típicas de objetos, da fala, de diferentes tipos de texto, etc.;
Localizar um objeto, descrevendo a sua posição ou interpretando a descrição de sua localização, ou localizar uma informação em um texto;
Descrever objetos, situações, fenômenos, acontecimentos, etc., e interpretar as descrições correspondentes;
Discriminar, estabelecer diferenciações entre objetos, situações e fenômenos com diferentes níveis de semelhança;
Constatar alguma relação entre aspectos observáveis do objeto, semelhanças e diferenças, constâncias em situações, fenômenos, palavras, tipos de texto, etc
Representar graficamente (por gestos, palavras, objetos, desenhos, gráficos, etc.) os objetos, situações, seqüências, fenômenos, acontecimentos, etc.;
Representar quantidades através de estratégias pessoais, de números e de palavras.
Nível Operacional Características do estímulo/enunciado Competências cognitivas
Neste nível, encontram-se as ações coordenadas que pressupõem o estabelecimento de relações entre os objetos; fazem parte deste nível os esquemas operatórios que se coordenam em estruturas reversíveis. Estas competências que, em geral, atingem o nível da compreensão e da explicação, mais que o saber fazer, supõem alguma tomada de consciência dos instrumentos e procedimentos utilizados, possibilitando a sua aplicação a outros contextos.
Mais extensivo, detalhado ou complexo do que os estímulos e/ou enunciados do nível Básico Pode incluir mais de um estímulo
Pode utilizar termos técnicos
Pode conter alguma informação que não esteja diretamente relacionada com a resolução da questão
Pode incluir uma maior quantidade de detalhes
Classificar organizar (separando) objetos, fatos, fenômenos, acontecimentos e suas representações, de acordo com um critério único, incluindo subclasses em classes de maior extensão;
Seriar organizar objetos de acordo com suas diferenças, incluindo as relações de transitividade;
Ordenar objetos, fatos, acontecimentos, representações, de acordo com um critério; Conservar algumas propriedades de objetos, figuras, etc., quando o todo se modifica; Compor e decompor figuras, objetos, palavras, fenômenos ou acontecimentos em seus fatores, elementos ou fases, etc.; Fazer antecipações sobre o resultado de experiências, sobre a continuidade de acontecimentos e sobre o produto de experiências;
Calcular por estimativa a grandeza ou a quantidade de objetos, o resultado de operações aritméticas, etc.
Medir, utilizando procedimentos pessoais ou convencionais;
Interpretar explicar o sentido que têm para nós acontecimentos, resultados de experiências, dados, gráficos, tabelas, figuras, desenhos, mapas, textos, descrições, poemas, etc., e apreender este sentido para utilizá-lo na solução de problemas;
Justificar acontecimentos, resultados de experiências, opiniões, interpretações, decisões, etc.
Nível Global Características do estímulo/enunciado Competências cognitivas
Neste nível encontram-se as ações e operações mais complexas, que envolvem a aplicação de conhecimentos a situações diferentes e a resolução de problemas inéditos.
Pode conter linguagem especializada e símbolos que não são de uso comum
Pode conter mais informações do que as estritamente necessárias para se resolver o item
Pode incluir vocabulário técnico
Pode incluir informações e detalhes implícitos
Pode apresentar informações e conceitos complexos
A quantidade de informação pode ser relativamente maior do que a contida nos níveis anteriores
Os documentos e gráficos utilizados podem ser apresentados de forma pouco usual Pode incluir várias fontes de informação
Analisar objetos, fatos, acontecimentos, situações, com base em princípios, padrões e valores;
Aplicar relações já estabelecidas anteriormente ou conhecimentos já construídos a contextos e situações diferentes; aplicar fatos e princípios a novas situações, para tomar decisões, solucionar problemas, fazer prognósticos, etc.;
Avaliar, isto é, emitir julgamentos de valor a respeito de acontecimentos, decisões, situações, grandezas, objetos, textos, etc.;
Criticar, analisar e julgar, com base em padrões e valores, opiniões, textos, situações, resultados de experiências, soluções para situações-problema, diferentes posições assumidas diante de uma situação, etc.;
Explicar causas e efeitos: explicar uma determinada seqüência de acontecimentos, etc.;
Apresentar conclusões a respeito de idéias, textos, acontecimentos, situações, etc.;
Levantar suposições sobre as causas e efeitos de fenômenos, acontecimentos, etc.;
Fazer prognósticos a partir de dados já obtidos a respeito de transformações em objetos, situações, acontecimentos, fenômenos, etc.;
Fazer generalizações (indutivas) a partir de leis ou de relações descobertas ou estabelecidas em situações diferentes, isto é, estender de alguns para todos os casos semelhantes;
Fazer generalizações (construtivas) referentes às operações do sujeito, com produção de novas formas e de novos conteúdos.
TIPOS RECOMENDÁVEIS DE ITENS DE MÚLTIPLA ESCOLHA
Recomendamos que os seguintes formatos de itens sejam utilizados para a 4ª e 8ª séries do Ensino Fundamental e 3ª série do Ensino Médio:
complementação simples (I), complementação múltipla (II), associação (III),
pictóricos (IV),
conjunto de itens para interpretação (V).
I. Complementação Simples. Este é o tipo mais comum de item de múltipla escolha, onde o enunciado é uma pergunta ou frase incompleta e as alternativas respondem corretamente à pergunta ou completam a frase. Este item exige somente uma resposta correta e diversas alternativas plausíveis.
Seguem algumas sugestões para construção deste tipo de questão: (a) ao utilizar uma frase incompleta, deixe o espaço para o aluno completar no final da frase ao invés de no meio da frase, (b) evite frases idênticas às apresentadas em livros, (c) utilize palavras ou frases-chave como alternativas, evitando enfatizar detalhes irrelevantes e (d) tenha certeza de que o enunciado não indica ao aluno a resposta correta através de dicas gramaticais. Devem ser tomadas todas as precauções para evitar que este tipo de item teste a capacidade de memorização em vez do conhecimento do aluno.
Exemplo I.1. (Vunesp):
O período de 1969-1973 caracterizou-se pelo crescimento acelerado da economia brasileira, ou seja, as taxas de crescimento do produto interno bruto (PIB) alcançaram cifras superiores a 10% ao ano. Esse processo foi gerado por medidas político-econômicas implementadas pelos governos militares pós-64. Nesse período ocorreu o que se denominou:
(A) “milagre brasileiro”. (*) (B) “crescer 50 anos em 5”. (C) “Brasil ano 2000”. (D) “Plano de Metas”. (E) “Diretas-Já”.
II. Complementação Múltipla. No item de complementação simples apenas uma lacuna será preenchida, ao passo que no item de complementação múltipla mais de uma lacuna deve ser preenchida. É importante enfatizar que a complementação de frases não é a única possibilidade à disposição dos elaboradores de itens. A complementação de diagramas, gráficos ou figuras também pode ser utilizada.
É aconselhável evitar o emprego de frases demasiadamente incompletas, o que pode prejudicar a interpretação do problema. Assim como nos itens de Complementação Simples, deve-se tomar cuidado para evitar que este tipo de item teste apenas memorização. No exemplo II.1 (Coelho, 1992, p. 14), um item utilizado no vestibular da Universidade Federal do Espirito Santo):
Exemplo II.1:
Qual das alternativas indica as palavras, pela ordem numérica crescente, que servem para preencher os espaços vazios dos retângulos que se referem à agricultura itinerante?
1 2 3 4 5 6
(A) Plantio, reflorestamento e enriquecimento do solo. (B) Derrubada da mata, plantio e abandono da área. (*) (C) Derrubada da mata, emigração e transumância.
(D) Transumância, circulação de trator e gradeamento do solo. (E) Implantação do plantio, circulação do trator e desflorestamento.
III. Associação. Este tipo de item apresenta duas colunas de dados que devem ser associadas em função de um conteúdo determinado. As alternativas incluem seqüências numéricas da associação final das colunas.
Este formato de item é adequado para testar associações, definições, características ou exemplos de conceitos, princípios e procedimentos. È um formato muito eficiente em termos de tempo e aproveitamento de espaço físico no teste.
Algumas sugestões para a construção deste tipo de item são: (a) para redução da chance de acerto ao acaso, a 1ª coluna deve conter mais opções do que a 2ª; (b) deve-se incluir somente material homogêneo, isto é, não misturar vários assuntos em um mesmo item; (c) recomenda-se numerar a primeira coluna e deixar os espaços em branco na segunda; (d) assim como nas alternativas do item de múltipla escolha, a apresentação das alternativas deve seguir algum tipo de ordem cronológica, numérica, alfabética ou outras e (e) é necessário checar várias vezes o item para evitar que ele contenha “pistas” de qualquer tipo.
queimada diminui a quando produtividade
implantação do processo em outra
Exemplo III.1 (modificado de Coelho, 1992, p. 41):
O clima é também um elemento fundamental na identificação ou caracterização das paisagens naturais. Associe os climogramas A, B, C, D e E aos respectivos tipos climáticos e paisagens naturais.
( ) Clima árido – paisagem desértica (Denver – Deserto do Colorado). ( ) Clima equatorial quente e úmido – paisagem tropical (Cingapura).
( ) Clima tropical alternadamente úmido e seco – paisagem tropical (Cuiabá). ( ) Clima temperado continental úmido e frio – paisagem temperada (Moscou). ( ) Clima polar – paisagem polar (Mac Murdo – Antártida).
Escolha a alternativa correta para representar a associação acima:
(A) D E B C A (B) E D C B A (*) (C) A B C D E (D) D B E C A
Exemplo III.2 (Vestibular Universidade Federal de Juiz de Fora, 1997):
Em uma excursão realizada por estudantes, foi feita uma série de observações listadas a seguir. Relacione as observações com os itens abaixo.
A – Uma certa espécie de planta clorofilada , com poucos centímetros de altura, em lugar úmido e sombreado, apresentando rizóides e desprovida de tecidos condutores B - Uma árvore apresentando na ponta dos ramos uma estrutura coniforme com enorme quantidade de grãos de pólen.
C – Uma planta rasteira, com flores vistosas porém pequenas, apresentando o cálice e corola com três peças, ovário constituído por três lóculos unidos.
(1) Briófita
(2) Pteridófita
(3) Gimnosperma
A opção CORRETA é:
(A)
A-1, B-2, C-3(B)
A-2, B-3, C-4(C)
A-2, B-4, C-3(D)
A-1, B-3, C-4(E)
A-1, B-4, C-3Exemplo III.3 (Vestibular Universidade Federal de Juiz de Fora, 1997) pode também ser considerado um item de associação:
A vasta superfície do território brasileiro, associada às características de tropicalidade, confere ao nosso país uma extraordinária riqueza florística.
Leia atentamente a descrição de algumas formações vegetais:
I. “As florestas latifoliadas, cada vez mais raras em virtude da enorme devastação que têm sofrido, têm aspecto imponente: árvores altas, com troncos retilíneos e copas frondosas. Recobriam, originalmente, as escarpas do relevo voltadas para o mar.
II. A mais difundida, a mais interessante e a mais característica formação florestal do Planalto Central: as árvores, geralmente pequenas, com troncos e galhos retorcidos, acham-se espalhadas irregularmente em meio a uma cobertura descontínua de gramíneas.
III. O viajante, nos meses de seca, é cercado por troncos despidos; não se vê folha verde; nenhum vestígio de grama no solo incandescente; apenas caules de formas estranhas se erguem, como candelabros gigantescos, com seus espinhos venenosos” (AZEVEDO, Aroldo de: O Brasil, a terra e o homem)
As formações vegetais descritas, são respectivamente:
(A) Floresta Equatorial, Cerrado e Caatinga. (B) Mata Atlântica, Cerrado e Caatinga. (*) (C) Mata de Araucária, Caatinga e Cerrado. (D) Floresta Subtropical, Caatinga e Cerrado.
(E) Floresta Tropical, Floresta Subtropical e Mata dos Pinhais.
IV. Pictórico. Neste formato, além do enunciado e das alternativas, este item oferece também uma figura, tabela, foto ou outro estímulo para ser utilizado pelo aluno na resolução do problema. As ilustrações servem a dois objetivos diferentes:
A) A ilustração utilizada para interpretação é parte do problema para a aluno “organizar e elaborar idéias e dados” (Varizo, Okuda & Domingues, 1980, p. 59). Neste caso o aluno necessita das informações contidas na figura para conseguir solucionar o problema. O próximo exemplo (Bianchini, 1996, pag. 153) ilustra um item com a utilização de uma figura para este fim:
Exemplo IV.1:
Uma torre vertical é presa por cabos de aço fixos no chão, em um terreno plano horizontal, conforme mostra a figura. Se A está a 15 m da base B da torre e C está a 20 m de altura, o comprimento do cabo
AC
é:(A) 15 m (B) 20 m (C) 25 m (*) (D) 35 m (E) 40 m
B) No segundo tipo de item pictórico, a utilização de gráficos e ilustrações tem como principal objetivo a comunicação de idéias. Isto é, a ilustração não coloca o problema e sim o ilustra, para facilitar o entendimento e compreensão dos alunos.
Exemplo IV.2 (Bianchini, 1996, pag. 154):
Um barco navegou 10 km para o oeste, depois 5 km para o sul, depois 13 km para o leste, e finalmente 9 km para o norte. Onde o barco parou relativamente ao ponto de partida? (A) 5 km ao norte. (B) 3 km a sudoeste. (C) 4 km ao sul. (D) 3 km a sudoeste. (E) 5 km a nordeste. (*)
V. Conjuntos de Itens para Interpretação. Também conhecido como “conjunto de itens dependentes do contexto”, esta modalidade de item contém um conjunto de itens associados a um estímulo básico que pode ser um texto, tabela, mapa ou gráfico necessários na resolução dos itens. Este tipo de item tem sido muito utilizado na área de compreensão de leitura e menos aproveitado em outras áreas, como, por exemplo na área de Matemática. Itens deste tipo podem ser classificados em três categorias: compreensão de leitura, resolução de problemas e interpretação com figuras ou gráficos.
Os conjuntos de itens para compreensão de leitura são muito comuns em avaliações de Língua Portuguesa. O exemplo IV.1 ilustra utilização desta modalidade de itens:
Exemplo IV.1:
C
Texto para as questões 1 e 2.
“(...) Escuta, Miguilim, uma coisa você me perdoa? Eu tive inveja de você, porque o Papaco-o-Paco fala Miguilim me dá um beijim...e não aprendeu a falar meu nome... O Dito estava com jeito: as pernas duras, dobradas nos joelhos, a cabeça dura na nuca, só para cima ele olhava. O pior era que o corte do pé ainda estava doente, mesmo pondo cataplasma doía muito demorado. Mas o papagaio tinha que aprender a falar o nome do Dito! “Rosa, Rosa, você ensina o Papaco-o-Paco a chamar alto o nome do Dito?” Eu já pelejei, Miguilim, porque o Dito mesmo me pediu. Mas ele não quer falar, não fala nenhum, tem certos nomes assim eles teimam de não entender ...” (Guimarães Rosa)
1. (FUVEST - SP) Os diminutivos e a pontuação, no texto de Guimarães Rosa, contribuem para criar uma linguagem:
(A)
descuidada.(B)
Lógica.(C)
Erudita.(D)
Afetiva.(E)
Enxuta.2. (FUVEST - SP) De acordo com o texto:
(A)
a Rosa pelejou para ensinar o papagaio a falar o nome dela.(B)
o papagaio não conseguia falar nome algum porque estava doente.(C)
o Dito tinha jeito para ensinar o papagaio a falar.(D)
a Rosa tinha inveja do Miguilim porque o papagaio falava o nome dele.O exemplo V.2 ilustra a utilização de um conjunto de itens para resolução de problemas (adaptado de Haladyna, 1994, p. 49).
Exemplo IV.2:
As questões de 1 a 3 referem-se ao texto a seguir:
Pedro e Laura estavam planejando ir a um show de rock com seus amigos Júlio e Daniela. Os ingressos custavam R$ 15,00 por pessoa se comprados antes de 1º de março, e R$ 16,00 se comprados após 1º de março. Existe também um desconto de 10% com a compra de quatro ou mais ingressos. Há também uma taxa de R$ 2,00 por ingresso a despeito de quando eles foram comprados.
1. Qual é o custo total dos quatro ingressos se comprados em 16 de fevereiro?
(A) R$ 62,00 (*) (B) R$ 56,00 (C) R$ 54,70 (D) R$ 56,70
2. Qual é o custo de um ingresso comprado no dia 8 de março?
(A) R$ 15,00 (B) R$ 16,00 (C) R$ 17,00 (D) R$ 18,00 (*)
3. Quanto eles estão economizando com o desconto de grupo se eles comprarem os ingressos antes de 1º de março?
(A) R$ 1,60 (B) R$ 6,40 (*)
(C) R$ Não pode ser determinado pela informação dada. (D) R$ Não houve nenhum desconto.
O Exemplo V.3 ilustra o uso de itens de interpretação com figuras, por meio de vários itens com enunciados e alternativas verbais e alguma representação gráfica (adaptado de Haladyna, 1994, p. 52):
Exemplo IV.3:
Utilize a figura ao lado para responder às próximas cinco questões.
1. Qual é a soma dos ângulos
BEC e CED? A
(A) Menos que 90 graus
(B) 90 graus (*) F E B (C) 180 graus
(D) Mais de 180 graus D C
2. Qual ângulo é igual a CED? 4. Qual é o ângulo reto?
(A) BEC (A) BED (*)
(B) AEF (*) (B) AEF
(C) AEB (C) CED
(D) FED (D) BEC
3. Qual ângulo é maior do que 90 graus? 5. Um dos ângulos agudos é:
(A) BEC (A) AEF (*)
(B) AEB (*) (B) AEB
(C) FED (C) FED
ESPECIFICAÇÕES TÉCNICAS DOS ITENS DE TESTE
1. INFORMAÇÕES GERAIS:
1.1. Os itens elaborados para o MEC/INEP/DAEB deverão ser INÉDITOS. A definição de inédito, segundo o Novo Dicionário Aurélio, é “não publicado ou não impresso”, “nunca visto; original; incomum” (p. 761). Para que se possa elaborar instrumentos de avaliação confiáveis, é necessário que as questões utilizadas: (i) não tenham sido previamente aplicadas; (ii) não constem em livros didáticos; (iii) não pertençam a outro banco de itens; (iv) não sejam itens preexistentes superficialmente modificados.
Em sala de aula, por exemplo, um professor que utilizar itens conhecidos pelos alunos não poderá saber se eles dominam os conhecimentos e habilidades que se pretende avaliar, uma vez que as questões poderão ser resolvidas por simples memorização ou reconhecimento.
Além disso, a utilização de itens preexistentes pode gerar conflitos em termos da propriedade do item, os quais poderão resultar em sérios problemas tanto de ordem legal quanto técnica, uma vez que, de acordo com as normas de segurança e regras de utilização de Bancos de Itens reconhecidas internacionalmente, exige-se da Empresa/Instituição a cessão total dos direitos patrimoniais e intelectuais dos itens elaborados.
1.2. Os itens devem considerar o cotidiano dos alunos. A utilização de situações alheias ao cotidiano dos alunos pode fazer com que um item de boa qualidade técnica não seja respondido adequadamente. O elaborador deve escrever itens de maneira a torná-los interessantes e atrativos, utilizando situações autênticas para aumentar o grau de realidade do que está sendo avaliado. Apesar de itens de prova nunca serem “realmente” autênticos, o material utilizado no item deve ter alguma relação com a vida do aluno fora da escola. Isto pode ser alcançado pela utilização de material (atual) de jornais, revistas, atlas ou outros que possam interessar aos alunos.
1.3. Os itens deverão estar em formato de múltipla escolha. Este tipo de item envolve um enunciado, também conhecido como raiz ou suporte, que identifica o problema, seguido de uma lista de quatro ou cinco possíveis respostas ou alternativas. As alternativas incluem uma - e somente uma - resposta correta e várias respostas incorretas.
1.4. Os itens deverão estar rigorosamente relacionados aos descritores das matrizes curriculares. Itens de prova devem ser formulados para testar somente conhecimentos e habilidades especificados em uma determinada matriz curricular e não “inteligência” ou conhecimentos gerais.
Desta forma, os itens deverão ser construídos de acordo com o conteúdo e o nível cognitivo de seu respectivo descritor. Isto significa que um item só será considerado válido se estiver diretamente relacionado a uma parte específica da tabela de especificações fornecida pelo MEC/INEP/DAEB.
1.5. Os itens não deverão conter afirmações preconceituosas sobre etnia, religião ou gênero. Os itens deverão ser elaborados com vocabulário, objetos e situações conhecidos nacionalmente. A utilização destes critérios evitará que ocorra
discriminação de grupos específicos e que o desempenho do aluno seja influenciado por fatores externos à prova.
O exemplo a seguir, utilizado no vestibular da Universidade Federal de Mato Grosso do Sul (UFMS) e publicado pelo jornal Folha de São Paulo no dia 10/01/98, causou polêmica e ofendeu populações específicas de alunos.
Examine as orações dos períodos a e b abaixo e assinale a(s) alternativa(s) correta(s).
a. Ela é bonita, mas é negra. b. Embora negra, ela é bonita.
(01) Os períodos apresentam estrutura sintática diferente.
(02) Em a, a cor da moça é argumento desfavorável à sua beleza. (04) Em b, a cor da moça é uma restrição superável pela beleza. (08) Em a há coordenação; em b, subordinação.
(16) O valor argumentativo das proposições é diferente.
*Aparência do item no formato original em que foi publicado.
1.6. Na elaboração dos itens, dever-se-á levar em consideração o tempo de leitura exigido do aluno. Quanto maior o tempo de leitura por item, menor a quantidade de itens que poderão ser respondidos pelo aluno, e menor a confiabilidade e validade do instrumento. A preocupação com a questão do tempo de leitura se aplica especialmente aos itens associados com um texto base. Deve haver um equilíbrio entre o tamanho do texto-base e o número de itens a ele associados. Não seria adequado, por exemplo, incluir um texto base de 30 linhas (relativamente extenso) relacionado a apenas dois itens. (Haladyna, 1997).
2. LINGUAGEM:
2.1. Os enunciados deverão apresentar por completo o problema a ser resolvido. O aluno deve ler o enunciado e saber exatamente a natureza das alternativas que virão a seguir. Não se deve confundir enunciado com instrução (comando) para responder a questão. Isto pode ocorrer quando em vez de apresentar um problema a ser resolvido, o elaborador do item usa a expressão “assinale a alternativa correta” seguida de alternativas que, em geral, tratam de uma diversidade de temas ou tópicos de conteúdo, o que é inaceitável tecnicamente. O item neste formato transforma-se simplesmente em vários itens de “Verdadeiro” ou “Falso”, uma vez que o aluno julga independentemente as alternativas.
2.2. Os enunciados e as alternativas devem ser gramaticalmente consistentes e não conter dicas verbais. Itens com erros gramaticais, de pontuação ou abreviação podem distrair o aluno e ter efeitos negativos sobre a concentração e o rendimento do mesmo. É importante também evitar fornecer pistas que permitam ao aluno deduzir, a partir da leitura das alternativas, qual é a resposta correta. Neste sentido, não se deve utilizar palavras ou expressões repetidas nas alternativas: em vez disso, é recomendável incluir tais palavras e expressões no próprio enunciado.
2.3. Os itens deverão ter os enunciados e alternativas formulados de maneira positiva, salvo se houver uma exigência do descritor em sentido contrário. Itens escritos na forma negativa somente serão aceitos quando o seu respectivo descritor assim o exigir. Neste caso, palavras negativas tais como “incorreta”, “errada”, “não”, “exceção” ou outras deverão ser incluídas em LETRAS MAIÚSCULAS, negrito, itálicos, “entre aspas” ou sublinhadas para evitar erros durante a leitura. Expressões duplamente negativas também devem ser evitadas.
2.4. Recomenda-se que não sejam utilizados termos como “sempre”, “nunca”, “todo(a)”, “totalmente”, “absolutamente”, “completamente" e “somente”. A utilização de termos absolutos pode enviar um sinal indesejável ao aluno.
2.5. Recomenda-se não elaborar itens que contenham “pegadinhas”. A questão básica é a seguinte: “O item pode ser considerado malicioso ou enganoso, induzindo o aluno ao erro?” A utilização deste tipo de item pode provocar uma atitude negativa em relação à avaliação, assim como denotar falta de respeito ou confiança para com o aluno (Haladyna, 1994). Cabe ressaltar que um item pode se transformar em uma “pegadinha” mesmo que esta não tenha sido a intenção do elaborador. Isto acontece quando a questão aborda conteúdos triviais ou detalhes irrelevantes, ou quando o problema proposto pelo item oferece múltiplas possibilidades de resposta.
2.6. Cada item incluirá somente um problema, não podendo avaliar vários tópicos ou conter muitos passos para a identificação da resposta correta. Cada item deve propor apenas uma única questão. O uso de itens muito complexos cria um problema de multidimensionalidade que pode afetar o desempenho do aluno.
2.7. Os itens deverão ser elaborados numa linguagem apropriada ao aluno da série à qual se destinam. Não se pode perder de vista a série para a qual o item está sendo escrito para evitar que a utilização de vocabulário desconhecido ao aluno influencie o seu desempenho.
2.8. A linguagem utilizada nos itens deve ser clara e direta. É muito importante que o aluno não tenha dificuldade em compreender o objetivo da questão proposta.
2.9. É fundamental elaborar itens com pontuação correta. Algumas recomendações: (a) se o enunciado for uma frase incompleta que deva ser corretamente completada pelas alternativas, estas devem começar com letras minúsculas e terminar com o ponto apropriado para a frase (ponto final, interrogação, exclamação, etc.); (b) caso o enunciado seja uma pergunta, este deve terminar com uma interrogação e as alternativas devem começar com letras maiúsculas e terminar com ponto final; e (c) quando o enunciado for uma pergunta e as alternativas forem construídas com palavras ou frases curtas incompletas, cada alternativa deve começar com letra maiúscula e não apresentar pontuação no final (Hopkins, Stanley & Hopkins, 1990).
3. ALTERNATIVAS:
3.1. Número de alternativas:
Para a 4ª e a 8ª séries do Ensino Fundamental... 4 alternativas. Para a 3ª série do Ensino Médio... 5 alternativas.
3.2. As alternativas devem incluir uma única resposta correta e respostas incorretas plausíveis em relação à primeira. Plausibilidade significa uma semelhança ou similaridade em relação à situação/tempo/local/elementos apresentada na alternativa correta. Isto reflete a idéia de que um item deve ser corretamente
respondido apenas pelos alunos que possuem conhecimento daquilo que o teste se propõe a medir. Um distrator plausível parecerá a resposta correta para aqueles que não possuem este conhecimento (Haladyna, 1994, p.81). A alternativa correta, por sua vez, deve conter todas as informações necessárias para que não haja dúvidas quanto à sua correção. A resposta correta (gabarito) deverá ser indicada em uma planilha eletrônica conforme modelo fornecido pelo MEC/INEP/DAEB. O exemplo a seguir ilustra a utilização de distratores baseados em erros comuns de alunos (Hopkins, Stanley, & Hopkins, 1994, p. 242):
Qual é o comprimento da circunferência (em cm) de um círculo com raio igual a 5 cm?
(A) 5 x 3,14 = 15,7
(B) 10 x 3,14 = 31,4 (*) (C) 52 x 3,14 = 78,5
(D) 102 x 3,14 = 78,5
A fórmula do comprimento da circunferência é: 2r (utilizada na alternativa correta) e a fórmula da área é de r2 (utilizada na alternativa c para alunos que confundem área com o comprimento da circunferência). A alternativa a será atrativa para alunos que confundirem diâmetro com raio utilizando a fórmula de r, enquanto que a alternativa d será atrativa para alunos que cometerem os dois erros, confundirem área com o comprimento da circunferência e o raio com o diâmetro, utilizando 2r2.
3.3. A alternativa correta e os distratores devem ser justificados pelo elaborador do item. Cada distrator deve ser justificado, ressaltando-se a razão de sua incorreção. O objetivo é que a plausibilidade das alternativas, exemplificada pelo exemplo anterior, seja garantida. Caso sejam utilizados distratores que não se relacionem ao conteúdo testado, não será possível fazer nenhuma inferência sobre os erros dos alunos, os quais podem também conter informações importantes.
3.4. As alternativas devem estar organizadas de maneira lógica, por exemplo, em ordem alfabética ou cronológica. Isto não só facilitará a leitura do item como também evitará que o aluno identifique a resposta correta apenas pela sua posição. O exemplo a seguir, do Vestibular da Universidade Federal de Pernambuco e Universidade Federal Rural de Pernambuco – 1997, ilustra a apresentação das alternativas por ordem de grandeza.
Numa cidade de 10.000 habitantes são consumidas cervejas de dois tipos A e B. Sabendo que 45% da população tomam da cerveja A, 15% tomam os dois tipos de cerveja e 20% não tomam cerveja, quantos são os habitantes que tomam da cerveja B?
(A) 3.500 (B) 5.000 (*) (C) 4.000
(D) 4.500 (E) 2.000
3.5. As alternativas não devem conter detalhes irrelevantes e conteúdos absurdos.
3.6. As alternativas devem ser mutuamente excludentes. Esta é uma forma de assegurar que haja apenas uma alternativa que responda adequadamente à questão proposta ao aluno. Isto significa que o item não pode conter duas alternativas que tenham o mesmo significado ou que levem direta ou indiretamente a um mesmo resultado.
3.7. As alternativas devem ser construídas de maneira a impedir que alunos acertem o item por exclusão. O acerto por exclusão será evitado através da utilização de distratores plausíveis e bem construídos. (Haladyna, 1994; Hopkins, Stanley & Hopkins, 1990).
No exemplo (de Hopkins, Stanley and Hopkins, 1990, p. 245), como só existe uma resposta correta, o aluno pode automaticamente eliminar as alternativas a e d, o que aumenta a chance de que ele acerte o item sem ter o conhecimento exigido.
A substância que em sua forma pura é um(a) bom(boa) condutor(a) de eletricidade é:
(A) Água. (B) Prata. (C) H2S. (D) H2O.
3.8. As alternativas devem ser aproximadamente da mesma extensão. Isto evitará a identificação da alternativa correta ou incorreta pela observação do seu tamanho.
3.9. Não serão aceitos itens com alternativas como “todas as anteriores” ou “nenhuma das anteriores”. Em geral, recorrem a este tipo de alternativa aqueles que não dominam técnicas de construção de questões de múltipla escolha ou que têm dificuldade em completar a questão com alternativas plausíveis.
4. TEXTOS BASE:
4.1. Pode ser utilizado um texto base, desde que o mesmo tenha referência bibliográfica completa, seguindo as normas da ABNT. Esta recomendação aplica-se também a gráficos, figuras, ilustrações e tabelas.
4.2. Deve-se evitar utilizar fontes secundárias de textos, gráficos, figuras, ilustrações ou tabelas. Isto é, caso se utilize parte de um texto original reproduzida em um outro livro, deve ser consultada e citada a fonte principal, também conhecida como fonte primária ou fonte de origem.
Fonte primária: meio pelo qual os textos, gráficos, figuras, ilustrações e tabelas foram primeiramente publicados.
Revistas. Se os textos, gráficos, figuras, ilustrações e tabelas foram elaborados expressamente para serem publicados em uma revista, esta será considerada fonte primária.
Fonte secundária: meio pelo qual foram divulgados os textos, gráficos, figuras, ilustrações e tabelas já publicados anteriormente em uma fonte primária.
Jornal. Se os textos, gráficos, figuras, ilustrações e tabelas forem inéditos e estiverem sendo publicados em um jornal, este será considerado fonte primária. Neste caso, o texto deverá trazer referência completa, segundo as normas da ABNT.
Revistas. Por exemplo, se a revista está reproduzindo um texto de Monteiro Lobato em uma reportagem sobre a vida do autor, este texto, na revista, será considerado como fonte secundária, dado que a fonte primária sempre será o livro de Monteiro Lobato. Caso este texto venha a ser utilizado em algum item, deverá ser citado como fonte primária o livro de Monteiro Lobato.
Folhetos, folders e similares. Se os textos, gráficos, figuras, ilustrações e tabelas foram criados expressamente para serem publicados no folheto, folder ou
similar, estes serão considerados fontes primárias. Se os textos, gráficos, figuras, ilustrações e tabelas foram elaborados para uma outra publicação e estão sendo reproduzidos no folheto, folder ou similar, serão considerados fontes secundárias.
4.3. Ao utilizar fragmentos de textos e textos criados artificialmente, observar os seguintes aspectos:
Fragmentos de textos: poderão ser utilizados parágrafos extraídos de um texto maior, desde que se inclua a referência bibliográfica correspondente.
Textos criados artificialmente: textos oriundos de fontes primárias deverão ser facilmente reconhecíveis: se um texto não tem referências segundo as normas da ABNT, estará implícito que o mesmo foi criado pelo elaborador de itens.
4.4. Os textos devem seguir a mesma formatação utilizada pela(s) fonte(s) primária(s). Deve-se manter sempre o formato original: poesia, texto, artigo de jornal, etc. Isto é, os textos oriundos de fontes primárias poderão ser adaptados (tamanho de letras, desenhos, ilustrações ao espaço destinado à questão) desde que mantenham a mesma estrutura/formato, pontuação e proporção da fonte primária
