Avaliação em meios eletrônicos

Ao levarmos em consideração a afirmação de Chapelle e Douglas (2006), de que o método que embasa um determinado teste ou exame de proficiência consiste da maneira pela qual o teste é apresentado, as várias tarefas que serão desenvolvidas, a forma por meio da qual as tarefas são explicitadas e os procedimentos adotados para avaliar o desempenho do candidato, devemos concordar que o formato do teste está diretamente ligado a sua metodologia e a sua validação.

De acordo com Douglas e Chapelle (op. cit), a avaliação realizada em testes de proficiência deve apresentar uma metodologia relevante, ou seja, os aspectos da linguagem que estão sendo avaliados devem ser bem definidos.

Ao discutirmos avaliação em meios eletrônicos, área em que se insere o EPPLE, é necessário levar em consideração dois fatores: as inovações trazidas pelos artefatos tecnológicos e as mudanças que ocorreram na transferência do papel para o computador. Thorne (2006) afirma que o uso da internet em ensino e aprendizagem de LE nos dias atuais tem sido mais cultural do que tecnológico. Ensino, aprendizagem e avaliação, mesmo em meios eletrônicos, ainda se encontram embasados em princípios advindos da existência desses processos em meios presenciais (CONSOLO, 2010; THORNE, 2006).

Em outras palavras, algumas práticas avaliativas em meios eletrônicos apenas trazem mudanças de formato, mas não trazem inovações, visto que as mesmas atividades que eram desenvolvidas no formato em papel, agora são realizadas no formato eletrônico, de forma a ter ocorrido apenas uma transferência de formatos.

E ainda, segundo Thorne (op. cit.), muitas vezes, a avaliação nos meios eletrônicos aparece mediada pelo texto escrito, reproduzindo-se as práticas do ensino presencial, ainda porque muitas abordagens de ensino de línguas, como a abordagem gramatical, são embasadas mais no texto escrito do que no texto falado.

As ferramentas necessárias para se construir um teste em língua estrangeira dependem do seu propósito e de questões práticas, tais como custo, disponibilidade de pessoas qualificadas e de tecnologia.

Segundo Chapelle e Douglas (2006), o que temos em termos de tecnologia desenvolvida para a área de avaliação são: sistemas modestos, planos de sistemas ideais e trabalhos em progresso. Acreditamos que esse quadro descrito por Chapelle e Douglas (2006) possa ter se alterado, uma vez que existem exames de proficiência aplicados em meios eletrônicos que apresentam sistemas tecnológicos bem elaborados, como é o caso do TOEFL iBT12.

Brown (1997) afirma que entre as características de testes em meios eletrônicos, devemos ressaltar as seguintes possíveis vantagens: os computadores apresentam alto grau de precisão; os computadores podem fornecer feedback imediato após a realização do teste, incluindo porcentuais e estatísticas; alguns testes adaptados ao computador podem selecionar tarefas para medir as habilidades dos candidatos de acordo com o desempenho que eles apresentam durante o teste; os resultados são elaborados com maior rapidez, o insumo é padronizado, ou seja, as instruções são apresentadas sempre da mesma forma.

Brown (1997) afirma também existirem algumas vantagens de cunho humano. Sendo elas: os alunos podem trabalhar dentro do seu ritmo individual e testes adaptados

12

TOEFL (iBT): Test of English as a Foreign Language (internet based-test) ou Teste de Inglês como uma Língua Estrangeira (teste baseado na internet)

ao computador geralmente levam menos tempo para serem realizados do que aqueles que são aplicados no formato impresso.

No caso de alguns testes adaptados ao computador, os candidatos poderão sofrer menos frustrações, pois as tarefas são escolhidas de acordo com seu nível de proficiência, as instruções são apresentadas de forma contextualizada e padronizada; muitos candidatos gostam de utilizar o computador e, consequentemente, poderão gostar do processo avaliativo por meio de um teste eletrônico.

Outro ponto a ser questionado é o de que, no formato eletrônico, o candidato seria capaz de realizar a prova em menos tempo do que no formato impresso. Como já discutimos em nosso trabalho, é preciso que o candidato apresente não apenas a habilidade de se comunicar na língua-alvo para realizar uma tarefa em meios eletrônicos, mas também que tenha a habilidade de digitar os dados e de identificá-los na tela do computador com rapidez e eficiência, caso contrário, o formato eletrônico do teste não contribuirá de forma positiva para seu desempenho.

Brown (1997) também aponta possíveis desvantagens de testes em formato eletrônico. O autor afirma que dentre tais desvantagens podemos citar: os equipamentos podem não estar sempre disponíveis ou funcionando corretamente, questões de

eletricidade podem causar problemas, o tamanho da tela do computador pode não ser satisfatório, algumas máquinas podem apresentar lentidão de acordo com os arquivos que são utilizados, pode haver incompatibilidade entre computadores ao abrir arquivos de um teste, como é o caso de figuras, vídeos e animações.

Dentre tais desvantagens, podemos citar também a escassez de computadores de qualidade em instituições de ensino no Brasil, o que pode limitar os pontos de aplicação de um exame como o EPPLE. Mesmo não tendo sido documentados, gostaríamos de compartilhar o fato de que em muitos congressos de Linguística Aplicada dos quais

participamos no Brasil, no decorrer desta pesquisa, muitos pesquisadores, professores e profissionais da área de ensino e aprendizagem de línguas demonstraram certo receio ao conhecer o EPPLE, uma vez que acreditam que a maioria dos professores de línguas em nosso país ainda não apresenta familiaridade suficiente com o computador para se submeter a um exame como esse.

Brown (1997) considera que a falta de familiaridade com o computador, por parte do candidato, pode ser um fator negativo. Acreditamos, com base nos estudos de Anchieta (2010), que a figura humana pode trazer maior conforto para o candidato, uma vez que o examinador poderá ser simpático, sorridente, compreensivo, deixando o candidato mais confortável.

Ao mesmo tempo, os examinadores precisam ser devidamente treinados para aplicar um teste, como é o caso de entrevistas orais, do controle de vídeos, do controle do tempo e também da correção das tarefas realizadas pelos candidatos.

Anchieta (2010) apresenta um quadro retirado do texto de Douglas e Chapelle (2006), por ela traduzido, que mostra algumas das vantagens e limitações oferecidas pelos testes desenvolvidos em meios eletrônicos.

Características do método Vantagens do CALT13 Limitações do CALT

Circunstâncias físicas e temporais

CALTs podem ser aplicados em diferentes locais convenientes, em diferentes

momentos, sem que haja a intervenção humana.

Segurança é uma questão primordial. Sendo assim, é preciso que os equipamentos sejam corretamente instalados

e cadastrados. Instruções As tarefas e o input

apresentados aos candidatos são padronizados e automáticos, para que não ocorra diferença entre os testes.

Diferentes níveis de instruções e dicas oferecidas por meio da tela, com diferentes artefatos

linguísticos utilizados para apresentar as instruções.

Input (insumo apresentado) e

resposta esperada

Os artefatos da multimídia permitem que os diferentes insumos e suas consecutivas

respostas sejam contextualizados, aproximando-se do contexto

real de comunicação.

O input e as respostas são limitados pelos dispositivos

tecnológicos disponíveis.

A interação entre o input e a resposta

Computadores podem adaptar o input de acordo com a

resposta e as ações dos candidatos, possibilitando o surgimento de testes adaptados

e de rápido feedback.

A interação é mais controlada no formato eletrônico do que em outros formatos e tem um

custo maior.

Características da avaliação O processamento natural da linguagem tecnológica permite uma avaliação automática e fiel

das respostas complexas.

O processamento natural da linguagem tecnológica é de alto custo e é limitado, o que

pode gerar problemas potenciais para a construção da

definição e da validação do teste.

Quadro (7): Características de métodos de testes e limitações dos CALT (p.23)14

Alguns dos pontos positivos dos testes em formato eletrônico que também dizem respeito ao EPPLE são, por exemplo, as instruções apresentadas de forma consistente e igualitária a todos os candidatos e o controle automático do tempo para o desenvolvimento de tarefas. Ainda sobre esses aspectos, Roever (2001) afirma que:

provavelmente, a maior vantagem logística do WBT (web-based test) é a flexibilidade de tempo e espaço. Apenas é necessário que se tenha um computador com a Web Browser e a conexão com a internet (ou o teste em um disco). Os candidatos podem realizar o teste quando e onde for conveniente e os elaboradores de testes podem compartilhar seus testes com colegas de todas as localidades do mundo e receber

feedback. (ROEVER, 2001, p.88)

Dessa forma, a partir do momento em que todos os candidatos recebem as mesmas instruções, o mesmo input, e possuem o mesmo tempo para o desenvolvimento das tarefas, temos uma maior padronização e um maior controle da aplicação, o que reforça não só a validade de face do exame, mas também sua confiabilidade.

Um ponto ainda limitado na área de avaliação em meios eletrônicos diz respeito à avaliação de respostas dissertativas. Neste caso, o potencial de risco da validade da pontuação do computador não ser coerente é maior, pois o programa que atribui determinado conceito pode falhar ao pontuar uma resposta cujo sentido desconhece.

Logo, têm-se realizado investimentos para que sistemas eletrônicos de avaliação sejam cada vez mais elaborados e entendedores da linguagem humana. Outra possibilidade seria a utilização de corretores humanos para corrigir esse tipo de questão, como acontece no EPPLE.

Com efeito, ao considerarmos o formato de um teste de proficiência, devemos primeiramente apontar os objetivos da avaliação para posteriormente julgar se seriam ou não vantajosas as diferenças entre os formatos eletrônico e papel.

O EPPLE é um instrumento que, por ser aplicado em meios eletrônicos, pode trazer inovações para a área de avaliação uma vez que características como a versatilidade do local de aplicação, o controle do tempo estimulado, o insumo padronizado, o uso de vídeos e a possibilidade de gravar a fala do candidato, podem ser positivas a todos os que estão envolvidos no processo, tanto os avaliadores quanto os candidatos.

Acreditamos que a utilização do formato eletrônico do EPPLE poderá contribuir para que seus candidatos tenham maior familiaridade com os meios eletrônicos, uma vez que as práticas de sala de aula e o perfil dos alunos da modernidade podem estar ligados ao mundo virtual.

A necessidade de os professores estarem inseridos no mundo contemporâneo, de novas tecnologias, está ligada ao ensino voltado para a realidade social. A interação com os artefatos tecnológicos é útil para que a comunicação autêntica aconteça. Sendo assim, profissionais da contemporaneidade necessitam do trabalho em grupo e aprendem, continuamente, novos processos e técnicas, para estarem capacitados para a realização das suas tarefas. A interação com seus colegas e a busca por novas informações são relevantes a sua prática de sala de aula.

No âmbito dessas discussões, tratamos, na próxima seção, das questões que abordam o método dos testes de proficiência, de forma a melhor compreendermos os métodos utilizados na elaboração do EPPLE.