Escolha do Teste e Re-elaboração do Teste

Entre os dois testes, B e C, foi feita a opção de se trabalhar com o teste

B mais detalhadamente para aplicação como teste final, devido aos resultados

obtidos na análise feita pelo aplicativo (Modelo Rasch), e devido ao fato de que

as questões deste teste representavam mais fielmente o tipo de questão

proposta inicialmente.

O objetivo da elaboração das questões, bem como do tipo de correção

efetuada (sem estabelecimento de critérios e treinamento de corretores) e da

análise dos resultados, não era a obtenção de um teste que pudesse ser

considerado ideal, ou perfeito, considerando os conceitos e características

apresentados ao longo desta dissertação. Ao contrário, procurou-se elaborar e

corrigir os testes de acordo como, em geral, os testes são elaborados e

corrigidos na grande maioria das instituições e situações atualmente, ou seja,

com a intenção de elaborar um bom teste, mas sem a utilização de critérios

muito bem definidos, porém, usando muito mais a intuição e a experiência

docente, ao invés de basear-se em alguma teoria de avaliação e correção de

testes existente.

A intenção foi, justamente, possibilitar o levantamento de problemas

comuns às avaliações, para que pudessem ser identificados e analisados, na

busca de soluções que pudessem minimizar esses problemas na elaboração e

aplicação de futuros testes de seleção. Sendo assim, com base nos resultados

obtidos, o objetivo foi reelaborar as questões que apresentaram maiores

problemas, quer na elaboração das respostas, para os candidatos, quer na

correção, para os corretores.

Na re-elaboração do teste, buscou-se identificar quais questões

apresentavam problemas, para que fossem melhoradas ou, caso isso fosse

necessário, substituídas por outras totalmente diferentes. Foram mantidas as

questões: 1; 2; 4; 5 e 6, sendo que nessa última foi redefinida a formatação

com a inclusão de um espaço específico indicado para a relação de vantagens

e desvantagens, minimizando assim, problemas de correção devidos à

desorganização espacial das respostas. As questões 3; 7 e 8 foram

modificadas da forma apresentada abaixo, sendo que em negrito estão as

questões já reformuladas e aplicadas no teste final:

3) De acordo com a perspectiva histórica de introdução de novas

proteínas no mercado, preencha a tabela abaixo.

Proteína Sucesso ou Fracasso Razão

TABELA 5 –TABELA USADA NO TESTE FONTE: AUTOR (2008)

Razão: O formato desta questão demonstrou ser excessivamente

facilitador, não possibilitando a discriminação desejada entre os candidatos

mais fortes e mais fracos.

3) De acordo com a perspectiva histórica de introdução de novas

proteínas no mercado, escreva abaixo:

a) a denominação das 3(três) proteínas que foram apresentadas ao

mercado consumidor;

b) a reação do mercado consumidor (se for apresentada) e a razão do

sucesso ou fracasso de cada uma delas.

Expectativa: Que a junção das duas colunas da direita e a necessidade

de identificação e argumentação da razão do fracasso ou sucesso de cada

uma proporcionasse uma discriminação mais observável e relevante para o

processo.

7) Os autores do artigo chegaram a que conclusão?

Razão: Assim como na questão 1, os candidatos em geral não

conseguiram distinguir o que era conclusão de pesquisa do que era conclusão

do artigo. Para que não houvesse duas questões gerando este mesmo tipo de

problema, optamos por modificar esta, em que, aparentemente, o problema

mostrou-se mais evidente.

7) Diante da dificuldade que os consumidores demonstram em

incluir os insetos em seus cardápios, os pesquisadores pensam em uma

outra possibilidade. Diga qual a possibilidade e explique por que eles a

consideram viável.

Expectativa: Evitar o problema acima descrito. Esta questão foi trocada

e não apenas modificada.

8) Qual é o papel do consumidor nessa história?

Razão: Esta questão ficou ambígua, possibilitando mais de uma

resposta, que poderiam ser consideradas corretas.

8) Que argumentos podem justificar mais estudos em relação ao

ponto de vista do consumidor?

Expectativa: Que a reformulação da questão eliminasse a

ambigüidade.

Antes da aplicação do teste final, foi feito pela autora um julgamento da

dificuldade das questões reelaboradas, para o qual foram definidos 3 graus de

dificuldade: difícil, médio e fácil. O objetivo dessa classificação era um posterior

confronto entre esta e a classificação com base nas informações geradas pelo

aplicativo. O julgamento teve como base o tipo de informação requerida,

considerando a classificação teórica apresentada por Nery e nas dificuldades

identificadas nas respostas durante a correção do piloto. No entanto, como a

análise da dificuldade das questões pretende ser mais embasada nas

informações geradas pelo modelo Rasch do que por modelos teóricos de

classificação, para cada questão foi proposto um dos três graus de dificuldade,

com breve justificativa da escolha.

Q1- Qual é o objetivo da pesquisa?

DIFÍCIL – Exige o uso de um conhecimento prévio da existência de

uma diferença entre o objetivo da pesquisa do objetivo do artigo e o posterior

reconhecimento do objetivo solicitado.

Q2 – O que motivou a pesquisa? Explique.

FÁCIL – Exige a reconstituição de uma informação que se encontra

bastante explícita no início do texto.

Q3- De acordo com a perspectiva histórica de introdução de novas

proteínas no mercado, escreva abaixo:

1. a denominação das 3(três) proteínas que foram apresentadas ao

mercado consumidor;

2. a reação do mercado consumidor (se for apresentada) e a razão do

sucesso ou fracasso de cada uma delas.

1:FÁCIL – Exige apenas a identificação da informação, que é dada

explícita e linearmente no texto.

2:MÉDIA – Cada informação encontra-se imediatamente após a

informação do item 1 acima, portanto, fácil de ser recuperada. No entanto as

informações são apresentadas de forma menos explícita.

Q4- Qual é a diferença apresentada no item 3 do texto, quanto à

aceitação da nova fonte de proteína como alimento.

MÉDIA – Exige o reconhecimento da estrutura de contraste e

recuperação dela na elaboração da resposta, o que em geral dificulta a

questão; porém a informação é orientada, o que minimiza esse grau de

dificuldade.

Q5- Qual a conclusão apresentada sobre o valor nutricional da nova

fonte de proteína?

FÁCIL – Exige a reconstituição da informação, que é fornecida no texto

de forma pontual e linear.

Q6- Quais as vantagens e desvantagens da utilização da nova proteína

como alimento?

MÉDIA – Embora seja uma questão que também exija o conhecimento

da estrutura de contraste, como a Q4, esta estrutura é apresentada de maneira

bastante explícita no texto. O que a torna mais difícil é o fato de ser uma

questão trabalhosa, por exigir a recuperação de várias informações, cuja

linearidade se confunde um pouco na apresentação de dados numéricos.

Q7- Diante da dificuldade que os consumidores demonstram em incluir

os insetos em seus cardápios, os pesquisadores pensam em outra

possibilidade. Diga qual a possibilidade e explique por que eles a consideram

viável.

DIFÍCIL – Exige a recuperação da informação pedida e a reconstrução

da argumentação apresentada.

Q8- Que argumentos podem justificar mais estudos em relação ao

ponto de vista do consumidor?

DIFÍCIL – Exige o reconhecimento da argumentação, a apreensão de

julgamento de valor além da recuperação da informação.

No documento AVALIAÇÃO DE LEITURA EM INGLÊS PARA FINS ACADÊMICOS: ELABORAÇÃO E ANÁLISE DE TESTE DE SUFICIÊNCIA (páginas 155-160)