As especificações do EPLIS

O ICEA é a instituição responsável pelo planejamento, desenvolvimento e aplicação de métodos, técnicas e atividades de avaliação de inglês aeronáutico no âmbito do COMAER. Como mencionado anteriormente, esse instituto desenvolveu o EPLIS e o aplicou pela primeira vez em 2007 para controladores de tráfego aéreo e operadores de estação aeronáutica em serviço. Desde então, o EPLIS é aplicado anualmente a esses profissionais, que estejam envolvidos com aviação civil internacional no Brasil e possuam a Carteira de Habilitação Técnica válida para trabalhar nos órgãos operacionais de tráfego aéreo (estações aeronáuticas, torres de controle, controles de aproximação e centros de controle de área). Em relação aos alunos da EEAR, desde o segundo semestre de 2014, o EPLIS é aplicado duas vezes ao ano, acompanhando o calendário escolar.

46 _{O EPLIS para os profissionais em serviço apresenta três versões de acordo com o órgão operacional no qual o}

O EPLIS foi elaborado seguindo as recomendações feitas pela OACI no Manual de Implementação dos Requisitos de Proficiência Linguística (Doc 9835 AN/453), publicado com o objetivo de dar um suporte aos países em relação a aspectos de capacitação e avaliação de proficiência de pilotos, controladores de tráfego aéreo e operadores de estação aeronáutica envolvidos com aviação civil internacional. O objetivo do exame é avaliar o uso do inglês comum para comunicação aeronáutica (plain English) na solução de situações incomuns, inesperadas e/ou emergenciais que podem ocorrer na prestação do serviço de controle de tráfego aéreo. Pelo fato de a comunicação aeronáutica ser feita via radiotelefonia, o exame tem como foco as habilidades de compreensão e produção orais. O conteúdo do exame aborda temas, tópicos e funções pertinentes às comunicações aeronáuticas. O Quadro 5 descreve a estrutura do exame, suas fases, o modo de aplicação, o formato, o objetivo de cada fase, os critérios de avaliação utilizados e os tipos de tarefas a serem realizadas.

Quadro 5 − A estrutura e as características do EPLIS

Estrutura Aplicação Formato Objetivo Caráter Tarefas

Fase I a distância 30 questões de múltipla escolha avaliar a compreensão oral do candidato eliminatório − o candidato deve acertar, no mínimo, 20 questões para realizar a Fase II

O candidato escolhe uma única alternativa correta de acordo com o áudio. Os enunciados das

questões e as alternativas estão em português.

Fase II presencial entrevista

avaliar a compreensão e a produção oral do candidato é aferido ao candidato um nível de proficiência conforme descrito na tabela de níveis de proficiência da OACI

Parte 1: Quatro perguntas

abertas sobre a profissão.

Parte 2: Dez enunciados são

lidos. O candidato explica a situação e oferece uma sugestão.

Parte 3: Quatro perguntas

abertas sobre aviação e controle de tráfego aéreo.

Parte 4: O candidato descreve

uma figura e elabora uma história.

O EPLIS pode ser considerado um exame de desempenho com propósitos específicos mesmo possuindo uma fase de múltipla escolha para avaliar a compreensão oral do candidato. McNamara (1997) explica que a avaliação de desempenho se apresenta em um contínuo que varia de uma abordagem mais forte para uma abordagem mais fraca em termos de representatividade do cenário real de uso da língua. A versão mais forte, conhecida como

desempenhadas pelo candidato no uso futuro da língua. Na tradição mais cognitiva, a tarefa em si é menos importante do que o quê o desempenho do candidato revela sobre sua habilidade linguística. Os testes fundamentados nessa abordagem apresentam uma orientação comunicativa, porém não estão preocupados em representar o cenário de uso da língua com um alto nível de verossimilhança.

No caso do EPLIS, sua fase de múltipla escolha, apesar de afastá-lo da abordagem mais forte, contém itens que abordam situações autênticas de interação entre piloto e controlador. Ademais, na fase II do exame, é avaliado o uso integrado de habilidades linguísticas na solução de problemas de tráfego aéreo, o que o caracteriza como um exame de desempenho com propósitos específicos. Segundo Scaramucci et al (2010), no EPLIS, conhecimentos específicos necessários para o desempenho da profissão interagem com os conhecimentos linguísticos exigidos em uma situação comunicacional, distanciando-o, assim, de um teste de conhecimento apenas.

O ICEA tem buscado submeter continuamente o exame a processos de validação com o objetivo de aprimorar sua qualidade, seguindo, assim, as recomendações da OACI quanto à coleta e à análise de evidências de validade que sustentem as interpretações e os usos de seus resultados e que demonstrem que o exame está alinhado com os critérios estabelecidos no Doc 9835 AN/ 453. Em 2009, o EPLIS foi enviado à análise de uma equipe de especialistas em avaliação de línguas da Unicamp, liderada pela profa. Dra. Matilde Virgínia Ricardi Scaramucci, pesquisadora de alto renome na área de avaliação em contexto de línguas. Novamente, em 2014, o exame foi apreciado pelo Serviço de Testes de Inglês Aeronáutico da OACI.

Essas averiguações promoveram melhorias no exame, tais como a criação de uma página na web exclusiva para o teste, a elaboração de um manual para o candidato, a substituição de áudios da fase I do exame cujos gêneros divergiam da comunicação aeronáutica e a criação de provas específicas por órgão de controle de tráfego aéreo para os profissionais em serviço e de uma versão ab-initio para aqueles ainda em formação. No entanto, as funções comunicativas avaliadas, os tipos de tarefas e formatos não sofreram alterações em relação à primeira versão aplicada em 2007, com exceção da inclusão das tarefas de descrever uma imagem e relatar uma história sobre ela, ocorrida em 2009. As principais críticas ao exame envolvem divergências entre a natureza da interação em contextos reais de uso da língua e aquela propiciada na fase II e a necessidade de maior correspondência entre os propósitos comunicativos das situações autênticas e aqueles suscitados na entrevista oral. Essas questões

serão retomadas nos Capítulos IV e V, dedicados à análise dos dados. A seguir, detalho as fases do exame, os tipos de tarefas e seus propósitos.

3.5.4.2 A fase I do EPLIS

A compreensão oral é essencial para as comunicações aeronáuticas, porque as interações são feitas, em sua grande maioria, por rádio frequência. Uma das características chave do uso da língua nesse contexto é a habilidade de entender diversos sotaques, uma vez que essa comunicação abrange uma comunidade internacional de usuários. Por essa razão, a primeira fase do EPLIS é dedicada, exclusivamente, a avaliar a compreensão oral do candidato por meio da escuta de gravações sobre situações de controle de tráfego aéreo dentro de uma gama variada de sotaques. Essa fase é realizada, a distância, por meio do computador que gera, aleatoriamente, as questões a serem respondidas por cada candidato, com base no grau de dificuldade dos itens. São, ao todo, 30 questões de múltipla escolha e cada item refere-se a um áudio diferente. É considerado apto para a segunda fase do EPLIS o candidato que obtiver um mínimo de 20 questões corretas. Os enunciados e as alternativas de resposta estão em português, pois o que está sendo avaliado é apenas a compreensão oral do candidato.

As gravações trazem situações verossímeis da comunicação piloto-controlador via rádio, com duração entre 10 e 45 segundos, podendo ser o áudio real ou uma regravação feita em laboratório. Os temas abrangem tanto situações rotineiras (mudança de nível, redução da velocidade etc) quanto situações não-rotineiras (fogo a bordo da aeronave, falhas de comunicação, falhas mecânicas, problemas com combustível, entre outras).47 _{A escolha dos}

áudios busca contemplar sotaques presentes no controle de tráfego aéreo internacional, sem priorizar uma nacionalidade em detrimento de outra. Além disso, também são levados em consideração os diferentes órgãos de controle de tráfego aéreo (torre, controle de aproximação e centro de área) onde as interações ocorreram, a fim de manter um equilíbrio entre elas, uma vez que cada um desses órgãos apresenta características particulares.

Em relação aos itens dessa fase, para cada questão existem três alternativas de resposta, das quais apenas uma é considerada correta. As perguntas podem focar na ideia geral da interação, em informações específicas ou em detalhes. Veja abaixo dois exemplos de questões da fase I.48

47 _{A lista completa dos temas e domínios encontra-se no Apêndice B, Parte II, do Doc 9835 AN/453.}

48 _{Todos os exemplos de tarefas do exame apresentados nesta pesquisa são públicos e podem ser encontrados no}

Fonte: https://eplis.icea.gov.br

Fonte: https://eplis.icea.gov.br

Como na fase II do EPLIS, o candidato interage apenas com o entrevistador, justifica-se, portanto, a realização da fase I para avaliar sua habilidade na compreensão de diferentes sotaques. Além disso, por questões de logística, praticidade e limitação de recursos humanos, a fase I funciona também como um filtro, selecionando apenas os candidatos com maior potencial para atingir o nível mínimo exigido. Cerca de 3.000 profissionais realizam a primeira fase do EPLIS por ano, o que impossibilita a aplicação da segunda fase a todos os candidatos. Por fim, vale ressaltar que a nota obtida na fase I não é contabilizada no critério de compreensão para a fase seguinte.

3.5.4.3 A fase II do EPLIS

A segunda fase do EPLIS consiste na avaliação integrada das habilidades de compreensão e produção orais do candidato, no formato de uma entrevista. Foi elaborada com o propósito de obter uma amostra significativa do desempenho oral do candidato. São quatro conjuntos de prova: 1) EPLIS ab-initio,49 _{voltado para os controladores de tráfego aéreo em}

formação; 2) EPLIS TWR, para os profissionais que atuam na torre de controle ou estação aeronáutica; 3) EPLIS APP, para os que trabalham no centro de controle de aproximação e; 4)

49 _{Desde o final de 2014, o EPLIS tem sido aplicado aos alunos concludentes dos cursos de formação em Controle}

de Tráfego Aéreo como um exame obrigatório. Os resultados informam os órgãos operacionais que receberão esses profissionais sobre sua capacidade linguística. Por enquanto, a não aprovação no EPLIS não impede o aluno de concluir o curso e iniciar sua carreira profissional.

EPLIS ACC, para os controladores no centro de controle de área. A aplicação do teste dura de 15 a 30 minutos e apenas um candidato é avaliado por vez.

A avaliação é feita por dois profissionais. Um deles fica a cargo da interlocução e atribui, ao final da entrevista, uma nota geral ao desempenho demonstrado pelo candidato, utilizando uma grade de avaliação holística, elaborada com base na escala de níveis de proficiência da OACI (Anexo B). O segundo examinador posiciona-se fora do campo de visão do candidato e é responsável por atribuir uma nota analítica, ou seja, uma nota para cada um dos aspectos previstos nessa tabela. Para embasamento de sua nota, esse avaliador deve preencher um formulário de desempenho, com amostras da produção do candidato. Não há qualquer tipo de interação entre esse avaliador e o candidato.50 _{Caso não haja concordância na}

nota final atribuída por esses dois avaliadores, um terceiro avaliador é requisitado para que seja feita uma nova avaliação do desempenho do candidato.

A entrevista está dividida em quatro partes. Na primeira parte, o candidato responde a quatro perguntas sobre sua carreira e rotina de trabalho. É permitido ao candidato negociar significado caso seja necessário, solicitando ao interlocutor repetir a pergunta ou parafraseá-la. São avaliados, nesse momento, a compreensão face a face, o uso da língua, a clareza com que o candidato se expressa e o emprego adequado das estratégias de negociação de sentido. As perguntas são, geralmente, abertas e abrangem situações no presente, passado e futuro. Caso haja questões no formato sim/não, é pedido ao candidato que justifique sua resposta. Seguem abaixo modelos de questões utilizadas nessa parte do exame.

Part I

1. When did you start your career and why? 2. What’s the importance of your job to aviation?

3. What was the most difficult part of becoming an air traffic controller? 4. What are your plans for the future?

Fonte: https://eplis.icea.gov.br

A parte II é composta por 10 situações incomuns, inesperadas ou de emergência plausíveis de ocorrerem no controle de tráfego aéreo. Primeiramente, o interlocutor posiciona uma barreira visual entre ele e o candidato, simulando, assim, uma característica importante da interação piloto-controlador: a ausência de contato visual. Para cada situação lida pelo

50 _{Desde 2016, por restrição orçamentária, o avaliador responsável pela avaliação analítica não tem estado presente}

durante a entrevista, atribuindo, portanto, sua nota posteriormente, por meio do áudio gravado e inserido no sistema de gerenciamento de avaliações.

interlocutor, o candidato é instruído a explicar o que entendeu e, em seguida, a fazer uma sugestão para a solução do problema apresentado. Nessa parte, o candidato pode pedir uma repetição para cada situação lida. Porém, não é permitido ao interlocutor parafrasear, caso o candidato apresente problemas de compreensão.

Os objetivos são avaliar a compreensão somente por voz, o uso da língua e a clareza com que o candidato se expressa, assim como sua capacidade em transitar entre a fraseologia e o inglês comum para comunicação aeronáutica. As situações abordam os temas e domínios presentes no Doc 9835 AN/453 e estão ordenadas de acordo com o grau de dificuldade. Elas são, relativamente, curtas para que a memória não interfira na recuperação das informações. Seguem abaixo alguns exemplos de situações:

Part II

1. There are flocks of birds flying in the vicinity of the airport. 2. The pilot lost radio contact after reaching cruising altitude. 3. The rain has stopped, but the runway is still contaminated.

4. The cabin crew is trying to control an aggressive passenger so the pilot requested diversion. Fonte: https://eplis.icea.gov.br

Na parte III, o bloqueio visual é retirado e o candidato deve responder a quatro perguntas abertas sobre aviação e controle de tráfego aéreo. Elas estão ordenadas em grau de dificuldade. As duas primeiras costumam conter assuntos mais concretos, relacionados ao trabalho, ao passo que as duas últimas são mais abstratas. Nessa parte, o candidato pode, além de pedir uma repetição para cada uma das perguntas, solicitar paráfrase. São avaliados a compreensão face a face, o uso da língua em situações concretas e abstratas e o emprego das estratégias de negociação de sentido. Nessa parte, é permitido ao candidato demonstrar uso mais sofisticado da língua, característica presente nos candidatos de nível 5 e 6. Seguem exemplos de questões da parte III:

Part III

1. How do different weather conditions affect aviation where you work?

2. Do you think that computers will replace air traffic controllers in the future? Why? Why not? Fonte: https://eplis.icea.gov.br

Na parte IV, é apresentada ao candidato uma figura relacionada a situações de tráfego aéreo. O candidato tem 15 segundos para observar a imagem e, após esse tempo, ele é

instruído a descrevê-la por um (1) minuto. Em seguida, são dados ao candidato mais 30 segundos para pensar em uma história sobre a figura que ele deverá contar em um (1) minuto e 30 segundos. Os objetivos dessa parte são avaliar o uso da língua, a clareza com que o candidato se expressa, assim como a capacidade de produzir turnos de fala mais longos. Segue abaixo um modelo de imagem utilizada nessa parte do exame:

Fonte: https://eplis.icea.gov.br

3.6 O estudo preliminar

O estudo preliminar foi realizado no período de julho de 2014 a março de 2016. Como exposto anteriormente, essa etapa abordou um estudo minucioso da literatura existente sobre efeito retroativo, a análise dos documentos que embasaram a elaboração do EPLIS, a coleta de dados de base com os professores por meio de um questionário inicial e visitas técnicas ao cenário pesquisado, bem como observações de aulas.

Conforme já descrito, no final de 2014, as autoridades decidiram implementar o EPLIS ab-initio na 4a _{série do curso BCT. Abriu-se, então, uma grande oportunidade para a}

coleta de dados preliminares sobre as percepções e atitudes dos professores em relação ao exame. Para isso, foi elaborado um questionário inicial (Apêndice A), fundamentado na revisão da literatura feita previamente, principalmente, no estudo de Cheng (2005). Antes de sua aplicação, o questionário foi submetido à revisão de dois especialistas da área de Linguística Aplicada. Responderam ao questionário 12 professores, o que correspondeu a um retorno de 60%. É importante pontuar que, na época em que o questionário foi preenchido, os professores não tinham ainda conhecimento de que o exame seria implementado na EEAR.

Acredito que esses dados iniciais sobre as percepções dos professores podem ser considerados dados de base (baseline data). Dados de base são entendidos como informações

sobre o estado atual de um determinado evento ou situação. Segundo Allwright e Bailey (1991, p. 74, tradução nossa), eles “fornecem a base contra a qual podemos fazer alegações comparativas sobre o quão diferente ou igual o fenômeno que observamos pode estar”.51 _Dessa

forma, o fato de o EPLIS ter sido introduzido na EEAR, possivelmente, pela necessidade de aumentar sua relevância entre alunos e professores, faz com que as informações coletadas no estudo preliminar possam ser consideradas de base, podendo, então, ser confrontadas com os dados gerados posteriormente, a fim de averiguar se as mudanças pretendidas foram alcançadas. O questionário para a coleta de dados de base foi elaborado em três partes. Na primeira parte, intitulada “Informações Gerais”, os participantes foram orientados a escolher a alternativa que melhor representava seu perfil e o perfil de seus alunos. Foram coletados dados sobre sexo, idade, qualificação, experiência no ensino de inglês, experiência no ensino de inglês aeronáutico, séries para as quais costuma lecionar, número de alunos por sala, língua falada em sala de aula e material didático utilizado. Na segunda parte do questionário, foram feitas 10 perguntas, em escala likert, sobre o grau de influência do EPLIS em diversos aspectos do ensino e aprendizagem de inglês. Também foi perguntado como os professores conheceram o EPLIS e se o exame exercia algum impacto em suas aulas. A terceira parte, composta por três itens, focou nas crenças dos professores sobre ensino e aprendizagem de língua e em sua prática pedagógica. A primeira pergunta era aberta e contrapunha o ensino de inglês geral e o ensino para fins específicos. Nas demais, os professores tinham que selecionar as habilidades e os tipos de atividades mais trabalhadas em sala de aula.

Esse questionário foi redigido em inglês a fim de facilitar a publicação e divulgação dos resultados em âmbito internacional. No entanto, embora não houvesse solicitação de identificação no preenchimento, os professores se sentiram incomodados em ter que responder em inglês às perguntas abertas. Para evitar que isso os impedisse de expressar sua opinião sobre as questões apresentadas, optei imediatamente por permitir respostas em português.

Entretanto, não foi possível obter dados de base com os alunos da EEAR, porque, naquele momento, não havia ainda autorização oficial do Departamento de Ensino da Aeronáutica (DEPENS) para a coleta de dados diretos com esse grupo de participantes. Consegui aplicar um breve questionário (Apêndice B) a alguns alunos da 4a _{série minutos após}

terem realizados a fase II do exame. Bastante similar ao do professor, esse questionário também possuía três partes. Na primeira, foram obtidos dados relativos a sexo, idade, anos de estudo de inglês e nível de proficiência na língua. Na segunda parte, os alunos foram orientados,

51 _{No original: “It provides the basis against which we make comparative claims about how different or usual the}

primeiramente, a selecionar como conheceram o exame e, em seguida, a responder perguntas, em uma escala likert, sobre o grau de influência do exame em sala de aula. Na terceira parte do questionário, eles enumeraram os tipos de atividades mais trabalhadas por seus professores. O questionário foi respondido por oito alunos, cerca de 20% do número total de alunos da 4a _série