Construto 4 – Visões e percepções sobre o EPLIS

O construto 4 é representado pela parte V do questionário e contém 15 questões. Seus itens/variáveis abordaram questões referentes à influência do exame na motivação dos alunos, no nível de stress do professor e do aluno e na carga de trabalho e estudo desses participantes. Nessa parte, também foram tratados assuntos referentes à autenticidade das

tarefas do exame, a confiabilidade de seus resultados e sua relevância para o desempenho da função profissional. A importância de avaliarmos as percepções e atitudes dos participantes nessas questões reside no fato de que o modo como eles percebem e interpretam as demandas do exame, tradicionalmente denominado validade de face, pode influenciar suas atitudes em relação ao teste e, consequentemente, informar sobre os efeitos gerados. Green (2013) assegura que a perspectiva dos participantes sobre um exame é mais relevante na determinação de seu impacto do que a intenção de seus elaboradores e, por essa razão, essas questões devem ser consideradas em um estudo sobre efeito retroativo.

A Tabela 29 apresenta os resultados das respostas dos professores e instrutores às questões 51, 52, 53, 54, 55 e 57. Notamos que os itens mais bem avaliados correspondem à motivação causada pelo exame, a sua contribuição para a elevação da proficiência e à importância da aprovação. Os itens sobre autenticidade e confiabilidade do exame apresentaram médias menores, ao redor de 3.500. O último item apresentou média próxima a 2, indicando que professores e instrutores tendem a discordar da possibilidade de o exame se tornar opcional na escola.

Tabela 29 – Visões e percepções sobre o EPLIS

N M DP EPM

O exame motiva os alunos 16 4.062 0.853 0.213

O exame colabora para elevação do nível de proficiência 16 4.375 0.718 0.179 O exame representa bem as atividades do profissional CTA 16 3.562 0.963 0.240 O exame avalia precisamente o nível de proficiência dos alunos 16 3.437 1.093 0.273 O sucesso no exame é importante para o desempenho da função 16 4.000 0.730 0.182

A realização do exame na EEAR deve ser opcional 16 2.125 1.024 0.256

Em porcentagem (Tabela 30), verificamos que nenhum participante discordou da afirmação de que a aplicação do exame na EEAR contribui para a elevação do nível de proficiência dos alunos (níveis 1 e 2). No caso da motivação, apesar de haver discordância, mais de 80% dos professores e instrutores concordaram que o EPLIS é um fator motivador nos estudos de inglês na EEAR. Por outro lado, 81% se mostraram contrários à possibilidade de o exame se tornar opcional. Com base nesses resultados, assumo que o exame é bem aceito entre professores e instrutores. Eles o veem como um instrumento benéfico ao ambiente escolar, capaz de motivar os alunos e de impulsionar o nível de proficiência. Essa situação é, portanto, favorável à ocorrência de efeitos.

Quanto à autenticidade, definida por Green (2007a) como o grau de correspondência entre as tarefas presentes no exame e as tarefas reais no uso da língua alvo, 50% dos participantes demonstraram concordar, enquanto apenas 12% discordaram. Contudo,

podemos observar que um grupo expressivo de respondentes (38%) preferiu não emitir nenhum parecer sobre o assunto, escolhendo o critério 3 “nem concordo nem discordo”. A princípio, podemos associar essa falta de posicionamento à carência de entendimentos ainda existente por parte de alguns participantes envolvendo a natureza da linguagem da comunicação aeronáutica e o exame em si.

Tabela 30 – Visões e percepções sobre o EPLIS em porcentagem

1 2 3 4 5

O exame motiva os alunos 0.00 0.06 0.12 0.50 0.31

O exame colabora para elevação do nível de proficiência 0.00 0.00 0.12 0.38 0.50 O exame representa bem as atividades do profissional CTA 0.00 0.12 0.38 0.31 0.19 O exame avalia precisamente o nível de proficiência dos alunos 0.00 0.25 0.25 0.31 0.19 O sucesso no exame é importante para o desempenho da função 0.00 0.00 0.25 0.50 0.25 A realização do exame na EEAR deve ser opcional 0.25 0.56 0.00 0.19 0.00

Sobre a confiabilidade dos resultados, embora, 50% dos professores e instrutores tenham concordado que o EPLIS avalia o nível de inglês dos alunos de forma precisa, 25% discordaram dessa afirmação, o que pode afetar a ocorrência de efeito retroativo nas práticas desses participantes. Por outro lado, sobre a relação entre o desempenho no exame e o desempenho na profissão, 75% a consideraram como positiva e o restante posicionou-se no centro. Verifiquei, então, diferenças mais expressivas nas respostas de professores comparadas àquelas dadas pelos instrutores. Os resultados dessa análise podem ser consultados na Tabela 31.

Tabela 31 − Comparação entre professores e instrutores em relação a visões e percepções sobre o EPLIS

Subgrupos N M DP

O exame motiva os alunos 1 12 4.166 0.717

2 4 3.750 1.258

O exame colabora para elevação do nível de proficiência 1 2

12 4.500 0.674

4 4.000 0.816

O exame representa bem as atividades do profissional CTA 1 2

12 3.750 0.965

4 3.000 0.816

O exame avalia precisamente o nível de proficiência dos alunos 1

2 12 4 3.833 2.250 0.937 0.500 O sucesso no exame é importante para o desempenho da função 1 12 4.166 0.717

2 4 3.500 0.577

A realização do exame na EEAR deve ser opcional 1 2 12 4 1.833 2.125 0.834 1.154

Percebemos que os instrutores apresentaram médias inferiores em todos os itens. No entanto, as diferenças nos itens autenticidade, confiabilidade e importância da aprovação se sobressaíram, sugerindo que os instrutores, por serem controladores de tráfego aéreo, são mais críticos ao julgar a verossimilhança do exame com a prática profissional e a relevância de sua

aprovação para o desempenho da função. O que nos chama a atenção, no entanto, é o fato de esses profissionais se mostrarem duvidosos quanto à capacidade do exame em avaliar com precisão o nível de inglês dos candidatos, o que também pode comprometer os efeitos pretendidos. Nesse item, as respostas dos instrutores alcançaram uma média considerada baixa (2.250). Tenho que ressaltar que essa percepção não pode, de forma alguma, ser considerada representativa dos controladores de tráfego brasileiros, uma vez que esses dados se referem à visão de, apenas, quatro participantes. Por fim, ambos os subgrupos mantêm médias baixas para a afirmação de que o exame deveria ser opcional para os alunos da EEAR, indicando que os benefícios superam os aspectos negativos.

Os itens autenticidade e confiabilidade também marcaram diferenças mais expressivas nos subgrupos com menos e mais experiência no ensino de inglês aeronáutico (Tabela 32). Diferentemente da comparação anterior, os dois itens alcançaram médias superiores a 3 nos dois subgrupos, com o subgrupo mais experiente marcando médias menores, porém com maior dispersão de respostas (DP=1.224). Dado que o grupo mais experiente atribuiu níveis mais altos de conhecimentos sobre o exame, esse resultado sugere que quanto maior o nível de conhecimentos sobre o exame, menor o nível de percepção em relação à autenticidade do teste e à confiabilidade de seus resultados.

Tabela 32 − Comparação entre experiência no ensino de inglês aeronáutico e visões e percepções sobre o EPLIS

Subgrupos N M DP

O exame representa bem as atividades do profissional CTA 1

2 9 7 3.777 3.285 0.971 0.951 O exame avalia precisamente o nível de proficiência dos alunos 1

2

9 3.666 1.224

7 3.142 0.899

O impacto negativo do exame pode ser depreendido nas respostas aos itens de 59 a 65. A Tabela 33 reporta os resultados dessa análise. Sabemos que efeitos negativos sempre irão existir por estarem associados à prática da avaliação como, por exemplo, o aumento da ansiedade, do medo e da pressão causados pela necessidade ou vontade de serem bem- sucedidos no exame ou de que seus alunos o sejam. Contudo, esses efeitos devem ser mantidos sob controle e minimizados para que a validade das interpretações e usos de seus resultados não seja comprometida. Ademais, ao sentirem muito pressionados pelo teste, professores e alunos podem se engajar em práticas de preparação consideradas indesejáveis por permitirem aumento dos resultados sem, necessariamente, promoverem o desenvolvimento da proficiência.

Tabela 33 − Impacto negativo do exame

N M DP EPM

O professor/instrutor sente-se confortável com o exame 16 3.687 0.873 0.218 O professor/instrutor sente-se pressionado pelo exame 16 2.625 1.147 0.286 A carga de trabalho do professor/instrutor aumenta com o exame 16 2.875 1.258 0.314 O nível de stress dos alunos aumenta com o exame 16 3.625 0.957 0.239 A carga de estudos dos alunos aumenta com o exame 16 3.000 1.032 0.258 O exame limita os tipos de atividades realizadas 16 1.875 0.885 0.221 O exame promove o uso de técnicas para sua realização 16 2.375 1.204 0.301

Os itens referentes aos níveis de ansiedade e stress dos alunos decorrentes do teste alcançaram média superior a 3. Os professores e instrutores reportaram níveis menores e tenderam a concordar com a afirmação de que se sentem confortáveis com o teste. Eles também demonstraram discordar sobre a possibilidade de estreitamento do currículo como efeito retroativo negativo do teste. Somado a isso, a possibilidade do exame de promover o uso de técnicas para a realização de provas em detrimento do desenvolvimento da proficiência também atingiu média relativamente baixa (2.375). Esses resultados sugerem que o impacto negativo do exame afeta um pouco mais os alunos, em termos de stress, ansiedade e carga de estudos, do que o professor/instrutor e sua prática pedagógica, porém não é considerado extremo.

Na Tabela 34, é possível observar a variação nas respostas dos participantes a esses itens por porcentagem. Em relação ao impacto negativo nos professores e instrutores, 56% afirmaram não sofrer qualquer pressão relacionada à presença do exame na escola e 68% se sentem confortáveis na preparação dos alunos para o teste. No estudo preliminar, a porcentagem de professores que alegou não se sentir pressionada pelo exame é bastante similar, 50%, sugerindo que, mesmo com a implementação do teste no contexto escolar, o nível de pressão sobre os professores não se alterou, o que nos faz questionar em relação à relevância atribuída ao teste por parte dos professores, instrutores e escola.

Tabela 34 − Impacto negativo do exame em porcentagem

1 2 3 4 5

O professor/instrutor sente-se confortável com o exame 0.00 0.12 0.19 0.56 0.12 O professor/instrutor sente-se pressionado pelo exame 0.12 0.44 0.19 0.19 0.06 A carga de trabalho do professor/instrutor aumenta com o exame 0.12 0.31 0.25 0.19 0.12 O nível de stress dos alunos aumenta com o exame 0.00 0.12 0.31 0.38 0.19 A carga de estudos dos alunos aumenta com o exame 0.00 0.38 0.38 0.12 0.12 O exame limita os tipos de atividades realizadas 0.38 0.44 0.12 0.06 0.00 O exame promove o uso de técnicas para sua realização 0.31 0.25 0.19 0.25 0.00

Sobre o aumento na carga de trabalho, as respostas ao questionário de 2016 mostraram que 43% discordaram e 25% nem concordaram e nem discordaram. Em relação ao estreitamento do currículo, 82% foram categóricos em afirmar que o teste não propicia esse tipo de situação, e sobre o uso de estratégias de fácil solução para a realização do teste 56% se

mostraram contrários. No entanto, 25% se sentem pressionados, 12% desconfortáveis, 27% veem aumento na carga de trabalho, 25% concordaram sobre o uso de técnicas indesejáveis e 6% afirmaram que o exame reduz os tipos de atividades em sala de aula, indicando que uma parcela desses professores e instrutores apresentam visões negativas sobre o teste.

Diferenças mais salientes, na comparação entre os subgrupos com mais e menos experiência no ensino de inglês aeronáutico, foram encontradas nos itens referentes à pressão exercida pelo exame no professor/instrutor e ao aumento na carga de trabalho. O resultado pode ser visto na Tabela 35.

Tabela 35 − Comparação entre experiência no ensino de inglês aeronáutico e impacto negativo do exame

Subgrupos N M DP

O professor/instrutor sente-se pressionado pelo exame 1 9 2.333 1.000

2 7 3.000 1.290

A carga de trabalho do professor/instrutor aumenta com o exame

1 9 3.222 1.394

2 7 2.428 0.975

Os professores e instrutores mais experientes reportaram se sentirem mais pressionados pelo exame, porém não julgaram que sua carga de trabalho tenha sofrido considerável aumento. Já os menos experientes expressaram sentir uma pressão menor, porém alegaram maior aumento na carga de trabalho. Ou seja, apesar de não ser grande a pressão exercida pelo exame, os professores com menos experiência no ensino de inglês aeronáutico sentem-se mais sobrecarregados, provavelmente, em razão de carências nos conhecimentos sobre o teste.

Por fim, em relação ao resultado no EPLIS ser considerado na nota final da disciplina de inglês da 4ª série do curso, 69% dos respondentes declararam-se contrários, frente a 18% que concordaram, conforme podemos verificar na Tabela 36. Nesse caso, todos os instrutores de inglês aeronáutico posicionaram-se contra e somente 17% dos professores foram favoráveis. Podemos assumir que a maioria parece estar consciente dos impactos que essa decisão pode acarretar para a escola e para o sistema de controle de tráfego aéreo como, por exemplo, maior índice de retenção escolar e, consequentemente, diminuição no número de profissionais habilitados.

Tabela 36 − EPLIS como exame de saída na perspectiva dos professores e instrutores

1 2 3 4 5

Retornando a Qi (2004), para a promoção de efeitos benéficos, é necessário manter a relevância de um teste em um nível ideal: sem ser demasiadamente relevante, o que acarretaria práticas preparatórias indesejáveis, e sem ser pouco relevante, o que não contribuiria para inovações. A chave está, portanto, em saber em que ponto desse contínuo se situa o EPLIS no contexto investigado. Com base nos resultados aqui apresentados, se, por um lado, as respostas dos professores e instrutores sugerem que houve um provável aumento da intensidade do efeito retroativo, principalmente, em relação aos conteúdos, tipos de atividades e avaliações, por outro lado, não nos parece que o exame já tenha alcançado um nível ótimo em termos de relevância.