Validade dos GJTs

Um teste de julgamento é válido quando ele mede o que se propõe a medir. Para exemplificar essa definição, tomemos o seguinte exemplo: um

135 pesquisador tem a intenção de medir a proficiência oral de seus alunos, em um curso de língua espanhola, em uma universidade brasileira. Para medir a proficiência oral, o pesquisador grava entrevistas com os sujeitos e usa apenas critérios fonológicos para discussão dos resultados. Nessa discussão, nada é constatado acerca das diferenças de conhecimento de vocabulário ou sintaxe por parte dos aprendizes. Nesse caso, porém, o teste e os resultados da pesquisa possuem pouca validade, pois o pesquisador não considerou fatores importantes para medir a proficiência na língua-alvo. A validade de um GJT deve sempre levar em conta o tipo de estrutura gramatical que se quer examinar, que tipo de informantes responderão o teste (crianças ou adultos, por exemplo), em que situação de aprendizagem eles estão inseridos, qual ou quais são as primeiras línguas dos aprendizes, entre outras questões importantes.

Em estudos de SLA, pesquisadores fazem inferências sobre o estado das interlínguas dos aprendizes, baseados em observações de suas performances. Por isso, os GJTs usados por eles deveriam seguir padrões de validade e de confiabilidade. Autores como , Birdsong (1989, 1994), Ellis (1991); Cowan e Hatasa (1994), Sorace (1996), Douglas (2001), e Ellis e Barkhuizen (2005) se preocupam com o fato de os GJTs serem usados com poucos critérios por alguns pesquisadores.72 _{Chaudron (2003, p. 801) sugere}

72 _{Douglas (2001) cita o estudo de Bley-Vroman e Yoshinaga (2000) e de Robertson (2000) como exemplos}

136 que a validade dos GJTs pode ser obtida das seguintes formas:

• Através da confirmação da proposta teórica – pesquisadores investigam fenômenos lingüísticos, procurando diferenças e semelhanças nas interlínguas dos aprendizes, com o propósito de confirmar ou não suas teorias. Se suas hipóteses forem confirmadas, é sinal de que a metodologia empregada foi válida.

• Reaplicação de estudos – pesquisas são realizadas com o propósito de comparar novos resultados com resultados anteriores (dos mesmos ou de outros pesquisadores, da mesma ou de outra L1 ou L2, etc.). Se os resultados das pesquisas forem iguais ou aproximados, isso também ratifica a validade do teste utilizado;

• Triangulação – um mesmo estudo pode utilizar diferentes testes (elicited imitation, GJTs, escolha de figuras, etc.) e obter resultados semelhantes. Isso freqüentemente aumenta a validade dos resultados.

Douglas (2001), ao citar alguns estudos (Bley-Vroman e Yoshinaga, 2000; Dube, 2000; Robertson, 2000) nos quais os GJTs não mostram evidências suficientes de sua validade, afirma que isso não tira a importância desses estudos, mas que essas evidências demonstram que os

137 pesquisadores não deram a devida importância à natureza das estruturas em questão e também ao procedimento de elicitação dos resultados. Em estudos como os de Gass (1994) e de Mandell (1999), por outro lado, os autores mostram sua preocupação com a validade e a confiabilidade dos GJTs. Gass repete o teste com os mesmos informantes, e Mandell (1999) faz uso de diferentes medidas para correlacionar seus resultados. A seguinte afirmação de Douglas resume a importância da validade dos GJTs:

(...) Evidence should be systematically and routinely provided in order to demonstrate that the methods employed to collect SLA data for theoretical purposes are being ‘used properly and appropriately’(…), they yield consistent results which can then be interpreted confidently in terms of the theoretical claims made. (Douglas, 2001, p. 454)

Douglas enfatiza a importância de se ter em mente exatamente o que queremos elicitar ou medir através dos GJTs: sempre que possível, devemos dar aos informantes mais de uma oportunidade de demonstrar suas habilidades lingüísticas, seja através de testes diferentes, da repetição de um mesmo teste, ou de um número razoável de questões sobre o tópico da pesquisa. Isso se torna importante para podermos distinguir quais

138 resultados realmente evidenciam ou não nossas hipóteses e quais resultados têm relação com o teste que aplicamos. Quanto mais evidências existirem para dar suporte às interpretações dos resultados, mais “consistência” terá o teste e, por conseguinte, maior validade e confiabilidade. Na confecção de testes para serem usados em aula, em exames internacionais ou em pesquisas, as mesmas considerações sobre confiabilidade e validade devem ser observadas.

Assim como Shohamy (1994), Douglas (2001) também concorda que pesquisadores em SLA devem tirar proveito dos conhecimentos dos pesquisadores da área de “Language Testing”. Questões como validade e confiabilidade são largamente estudadas nessa área e, com certeza, outras questões determinantes, como número de questões, tempo para realização, instruções, ordem das sentenças, entre outras, são bastante conhecidas por esses teóricos. Assim, os pesquisadores em SLA se atentarão mais às definições e instruções de seus testes e às justificativas das interpretações extraídas das performances de seus sujeitos. Por outro lado, também os teóricos de “Language Testing” podem se beneficiar dos estudos em SLA, prestando mais atenção em tudo que essa área acrescenta acerca de como se dão os processos de aquisição de uma segunda língua. Inclusive Douglas (2001) é enfático ao dizer que, muitas vezes, o tipo de teste a ser utilizado pelos pesquisadores seja talvez menos importante do que a demonstração de que o teste tem consistência e de que é apropriado para o estudo em questão. Roger Hawkins

139 (comunicação pessoal, 2007) declara que “maybe the most important thing is not the test that is used but the way this test is being interpreted.”73

Na seção seguinte, falaremos sobre fatores não-lingüísticos que podem influenciar os julgamentos gramaticais.

2.7 FATORES NÃO-LINGÜÍSTICOS QUE INTERFEREM NOS GJs

2.7.1 Processos Cognitivos e Linguagem

Uma das razões principais de se usar universais lingüísticos em pesquisas de SLA é o fato de que tanto princípios quanto parâmetros podem representar operações e representações que transcendem o que podemos observar somente através da performance dos indivíduos. Como já observamos em seções anteriores, os estudos relacionados à UG contribuem para um melhor entendimento de questões, tais como transferência lingüística, fixação de parâmetros e desenvolvimento das interlínguas. Através de pesquisas nessa área , é possível descobrirmos o que pode ser determinado pela primeira língua, pela UG ou por fatores extralingüísticos. Pica (2002, 2005) afirma que há outro fator ainda mais importante em relação às contribuições da UG na pesquisas de SLA: os universais lingüísticos oferecem tanto uma teoria da linguagem (Language Theory) quanto uma teoria da aprendizagem (Language Learning). Porém, existem questões

73 _{“Talvez o mais importante não seja o teste que está sendo usado, mas sim a maneira como o teste está}