Pré e Pós-teste

O Pré-teste constituiu-se em uma adaptação do teste Key English Test (KET), um teste de proficiência de nível básico elaborado pela Universidade de Cambridge. A razão da escolha desse exame foi o nível elementar, no que diz respeito à produção oral em inglês, dos alunos participantes desta pesquisa. A finalidade do uso desse teste foi a análise da acurácia gramatical, da densidade lexical ponderada e da fluência dos participantes, antes de realizarem as tarefas orais via WhatsApp. A adaptação utilizada nesta pesquisa consistiu em descrever uma figura durante, no mínimo, um minuto. Após a gravação, a pesquisadora transcreveu e tabulou as produções orais.

A densidade lexical se refere à relação entre o número de palavras com propriedades lexicais e com propriedades gramaticais produzidas. Por sua vez, a densidade lexical ponderada representa uma medida mais complexa, pois se refere à proporção de palavras repetidas e de palavras novas em um texto (MEHNERT, 1998; WEISSHEIMER, 2007). Para determinarmos esta medida, observamos os seguintes passos: primeiro, separamos os itens linguísticos20 em lexicais e gramaticais. Em seguida, fizemos o mesmo com os itens gramaticais e lexicais de alta-frequência (com pelo menos duas ocorrências21

20 _{Utilizamos a noção de item linguístico adotada por Weissheimer (2007), na qual verbos com} mais de uma palavra (to fall in love with), phrasal verbs (to keep up with), expressões idiomáticas (head over hills) e formas contraídas (I’m, they’re) são contadas como um só item linguístico.

no texto) e itens de baixa-frequência (com apenas uma ocorrência). Então, aferimos meio ponto a cada item de alta frequência e um ponto a cada item de baixa frequência. Somamos os itens gramaticais e lexicais de alta e baixa- frequência, obtendo o total de itens linguísticos ponderados. Dividimos o total de itens lexicais ponderados pelo total de itens linguísticos ponderados (a soma do total de itens gramaticais ponderados e itens lexicais ponderados) e multiplicamos o resultado por 100 (WEISSHEIMER, 2007).

A título de ilustração, na fala a seguir, entre outras repetições, percebemos duas ocorrências do substantivo “food” e duas do verbo “eat”. Logo, nesse caso, “food” e “eat” são considerados itens lexicais de alta frequência e, portanto, recebem apenas meio ponto, cada.

The picture is a family / they are cooking / it is the weekend / they are doing lunch / they eat noodles / they are cutting the food / the ingredients / they are in the kitchen / they are in the kitchen of the house their / they are preparing a dinner / they dinner together / they

eat Italian food

A acurácia gramatical refere-se à relação entre o número de erros cometidos e o número total de palavras produzidas pelos aprendizes. Para medir a acurácia gramatical, dividimos o número de erros gramaticais pelo número total de palavras produzidas e multiplicamos o resultado por 100 (WEISSHEIMER, 2007). O número obtido corresponde à quantidade de erros gramaticais22 cometidos a cada 100 palavras. Para ilustrarmos, na fala a seguir, destacamos, entre outros erros, dois exemplos de problemas relativos à acurácia gramatical: a confusão entre plurais regulares (que recebem “s”) e irregulares (child – children), assim como a ausência de concordância entre o sujeito da frase, no plural (the vegetables) e o verbo, no singular (is).

I can see people on the picture / there are a man, a woman and kids / they are from Rio de Janeiro / they like eat delicious meals / they are in the kitchen / the childs are sick / they are cutting vegetables / they are making soup / it’s dinner time / have a table in the kitchen / is a big table / the vegetables is on the table

22

Embora nossa correção tenha sido majoritariamente de natureza gramatical, consideramos também como problemas relativos à acurácia os casos nos quais o participante tenha empregado um léxico que vai de encontro ao considerado correto pela língua. Por exemplo, ao dizer que “pega sol na praia” como “catch sun at the beach”, ao invés de sunbathe.

Por último, a fluência refere-se à capacidade de se expressar em tempo real (SKEHAN, 1996; ELLIS, 2009). No que concerne à fluência, obtivemos a medida dividindo o número de palavras faladas pelo tempo total gasto (em segundos) e multiplicando o resultado por 60 (WEISSHEIMER, 2007).

O Quadro 3 resume as variáveis dependentes e como elas foram operacionalizadas neste estudo.

QUADRO 3 – Variáveis dependentes e suas medições

Variáveis Operacionalização

Acurácia gramatical

AG = número de erros cometidos x 100

número de palavras produzidas

- Cálculo: número total de erros cometidos dividido pelo número total de palavras produzidas e multiplicados por 100.

Densidade lexical ponderada

DLP = número de palavras com propriedades lexicais x 100

soma do número de palavras com propriedades gramaticais e lexicais

- Cálculo: número de palavras produzidas com propriedades lexicais dividido pela soma do número de palavras produzidas com propriedades gramaticais e lexicais e multiplicados por 100.

Fluência

P = número de palavras enunciadas x 60

Tempo total em segundos

- Cálculo: número de palavras enunciadas, dividido pelo tempo total gasto (em segundos) vezes 60.

Os alunos tiveram um minuto para planejar suas falas antes de elas serem gravadas por meio de um celular. Segundo Mehnert (1998) e Guará- Tavares (2007), uma melhora no desempenho em termos de acurácia gramatical já pode ser notada na produção oral de aprendizes que tiveram um minuto de planejamento, se comparados a aprendizes que não planejaram. Por isso, um minuto foi considerado um tempo ideal.

No que diz respeito ao pós-teste, realizamos o mesmo procedimento do pré-teste, ou seja, ambos os grupos, experimental e controle, tiveram que

descrever novamente uma figura, diferente da usada no pré-teste, para que pudéssemos reavaliar sua acurácia gramatical, densidade lexical ponderada e fluência.

As instruções do pré e pós-testes foram feitas em português, língua materna dos aprendizes, objetivando evitar dúvidas ou desentendimentos a respeito da instrução e da tarefa. A fim de controlar possíveis efeitos da tarefa (MEHNERT, 1998), foi adotado o seguinte procedimento em relação às imagens apresentadas na Figura 3: a metade dos participantes descreveu a figura da esquerda e a outra metade descreveu a figura da direita no pré-teste e vice e versa no pós-teste.

FIGURA 3 - Figuras usadas no pré e pós-teste

Após discorrermos sobre o pré e pós testes utilizados em nosso estudo, assim como sobre a forma de medição das nossas variáveis, no próximo ponto tratamos da intervenção pedagógica realizada em nossa pesquisa.