Construto 1 – Conhecimentos sobre o EPLIS

O construto 1, denominado Conhecimentos sobre o EPLIS, é representado pela parte II do questionário do professor e foi elaborado com o objetivo de investigar as facetas que envolvem o conhecimento do professor sobre diversos aspectos do exame. É formado por 10 itens/variáveis. As questões de 10 a 17 abordam assuntos ligados aos conhecimentos dos professores e instrutores em relação aos requisitos de proficiência da OACI (Doc 9835, escala de níveis de proficiência, nível mínimo exigido), conhecimento geral sobre o exame (objetivo) e conhecimento específico (conteúdo, tipos de tarefas e manual do candidato). As questões 18 e 19 avaliam a frequência com que o profissional participa de eventos sobre o EPLIS e consulta o site do exame para obter informações mais específicas.

Na Tabela 5, podemos observar as médias de respostas dos professores e instrutores às questões de 10 a 17, na qual N representa o número total de participantes, M refere-se à média de respostas, com variação de 1 (nenhum) a 5 (ótimo), DP é a abreviação usada para desvio padrão, e EPM significa o erro padrão da média. Verificamos que os professores e instrutores avaliaram de forma bastante positiva os conhecimentos que possuem sobre o exame. Com exceção do item relacionado ao Doc 9835 AN/453, todos os demais itens atingiram média superior a 4, que representa o critério “bom” no questionário. Quanto ao conhecimento sobre o

Doc 9835 AN/453 que estabelece os requisitos de proficiência linguística da OACI, a média de respostas dos participantes ficou próxima a 3, considerada “razoável”.

Tabela 5 − Conhecimentos dos professores sobre o EPLIS

N M DP EPM Geral 16 4.000 0.966 0.241 Doc 9835 AN/453 16 3.187 1.167 0.291 Objetivo do exame 16 4.187 0.834 0.208 Conteúdo do exame 16 4.065 0.853 0.213 Tarefas – Fase I 16 4.065 0.928 0.232 Tarefas – Fase II 16 4.065 0.997 0.249 Tabela de níveis 16 4.125 0.885 0.221 Desempenho nível 4 16 4.062 0.853 0.213

Em relação ao nível de conhecimento geral sobre o exame em porcentagem, as respostas dos professores e instrutores concentraram-se nos níveis “bom” (51%) e “ótimo” (31%), mostrando um cenário bastante distinto daquele de 2014, quando 58% dos professores afirmaram possuir pouco ou nenhum conhecimento sobre o teste. Isso sugere que houve um aumento no nível de familiaridade dos participantes com o EPLIS, o que podemos relacionar à implementação do exame no contexto escolar e à melhoria em sua divulgação.

Devido ao fato de que, no ano de 2016, a EEAR passou a contar com a participação de controladores de tráfego aéreo como instrutores de inglês aeronáutico para o curso BCT, decidi avaliar como professores e instrutores percebem a influência do exame. A Tabela 6 apresenta as diferenças entre esses dois grupos de participantes em relação aos conhecimentos que possuem sobre o EPLIS. O subgrupo 1 representa os professores com licenciatura em Letras e o subgrupo 2 representa os controladores de tráfego aéreo convidados a atuarem como instrutores de inglês aeronáutico.

Tabela 6 − Comparação entre professores e instrutores em relação aos conhecimentos sobre o EPLIS Subgrupos N M DP Geral 1 12 3.833 1.029 2 4 4.500 0.577 Doc 9835 AN/453 1 2 12 3.083 1.311 4 3.500 0.577 Objetivo do exame 1 2 12 4 4.000 4.750 0.852 0.500 Conteúdo do exame 1 2 12 3.916 0.900 4 4.500 0.577 Tarefas – Fase I 1 2 12 4 3.833 4.750 0.937 0.500 Tarefas – Fase II 1 2 12 3.833 1.029 4 4.750 0.500 Tabela de níveis 1 2 12 4 3.916 4.750 0.900 0.500 Desempenho nível 4 1 2 12 3.916 0.900 4 4.500 0.577

Podemos constatar que as médias de respostas dos controladores de tráfego aéreo (subgrupo 2) são mais altas em todos os itens analisados, quando comparadas às médias dos professores. Enquanto as respostas dos professores variaram entre 3.083 e 4.000 (entre os critérios “razoável” e “bom”), as médias dos instrutores flutuaram entre 3.500 e 4.750, sendo que somente no que se refere ao Doc 9835 AN/453 essa média ficou abaixo de 3, indicando que o nível de conhecimentos desse subgrupo sobre o EPLIS varia de “bom” a “ótimo”. Já, o subgrupo dos professores apresenta valores de desvio padrão (medida de dispersão em torno da média) mais elevados, apontando maior dispersão e heterogeneidade nas respostas desses participantes.

Os gráficos 3 e 4, em box plot, exemplificam essa variação nas respostas do subgrupo 1 quanto ao conhecimento das tarefas da fase I e das tarefas da fase II do EPLIS, respectivamente. No eixo vertical, estão representados os níveis de conhecimento atribuídos pelos participantes de 1 (nenhum) a 5 (ótimo) e, no eixo horizontal à esquerda está o subgrupo 1 e à direita o subgrupo 2.

No Gráfico 3, é possível observar que os dados do subgrupo 1 (à esquerda) se dispersam mais, com respostas variando entre 2 e 5. No subgrupo 2 (à direita), os dados estão mais aglutinados e as respostas mostram pequena flutuação (entre 4 e 5). Os retângulos marcam a concentração das respostas e a linha horizontal preta no retângulo informa a simetria dos dados. Em outras palavras, no subgrupo 1 as respostas concentraram-se no nível 4, enquanto que, no subgrupo 2, as respostas concentraram-se no nível 5.

Gráfico 3 − Dispersão das respostas dos subgrupos 1 e 2 em relação às tarefas da fase I do EPLIS

Algo parecido ocorreu em relação às tarefas da fase II do exame, como pode ser observado no Gráfico 4. É possível notar, no subgrupo 1 (professores, à esquerda), maior

dispersão dos dados, com respostas entre 2 e 5. Essa dispersão é diminuída no subgrupo 2, com valor mínimo de 4 e máximo de 5, indicando um subgrupo mais homogêneo. No caso do subgrupo 1, enquanto a maioria das respostas dos professores ficou ao redor de 4, verificamos algumas respostas no nível 2. O mesmo não aconteceu dentro do subgrupo 2. Esses resultados sugerem que, embora tenha havido uma melhora expressiva em relação a 2014, no subgrupo de professores, ainda existem casos de profissionais que consideram possuir poucos conhecimentos sobre o EPLIS. Podemos presumir que os professores que afirmaram ter menos conhecimentos sobre o exame são aqueles com pouco tempo de experiência no ensino de inglês aeronáutico.

Gráfico 4 − Dispersão das respostas dos subgrupos 1 e 2 em relação às tarefas da fase II do EPLIS

Por essa razão, realizei a comparação entre o tempo de experiência no ensino de inglês aeronáutico e o nível de conhecimentos sobre o EPLIS. Recordo que, no estudo preliminar, constatamos evidências de que o tempo de experiência no ensino de inglês aeronáutico influenciou positivamente o grau de conhecimento geral sobre o exame e, consequentemente, a intensidade do efeito retroativo. Para isso, dividi os participantes, professores e instrutores, em dois subgrupos: subgrupo 1 (professores e instrutores com até 5 anos de experiência no ensino de inglês aeronáutico) e subgrupo 2 (professores e instrutores com mais de 6 anos de experiência). Essa divisão foi pautada nos parâmetros do estudo preliminar, cujo subgrupo considerado menos proficiente apresentava até 2 anos de experiência e o subgrupo mais proficiente possuía 3 anos ou mais no ensino de inglês aeronáutico. Considerando que, aproximadamente, 3 anos decorreram entre a aplicação do questionário preliminar e a aplicação do questionário principal, o primeiro grupo estaria, portanto, com até

5 anos de experiência no ensino de inglês aeronáutico, e o segundo com 6 anos ou mais. Os resultados dessa análise encontram-se dispostos na Tabela 7.

Tabela 7 − Comparação entre experiência no ensino de inglês aeronáutico e conhecimentos sobre o EPLIS Subgrupos N M DP Geral 1 9 3.777 1.201 2 7 4.285 0.487 Doc 9835 AN/453 1 2 9 7 2.777 3.714 1.201 0.951 Objetivo do exame 1 2 9 4.111 1.054 7 4.285 0.487 Conteúdo do exame 1 2 9 7 4.000 4.142 1.118 0.377 Tarefas – Fase I 1 2 9 3.888 1.666 7 4.285 0.487 Tarefas – Fase II 1 2 9 7 3.888 4.285 1.269 0.487 Tabela de níveis 1 2 9 4.000 1.118 7 4.285 0.487 Desempenho nível 4 1 2 9 7 3.888 4.062 1.054 0.487

Os valores das médias indicam que o subgrupo 2 (com mais de seis anos de experiência) possui níveis mais elevados de conhecimentos em todos os itens analisados. A diferença é mais expressiva em relação ao conhecimento geral do exame, do Doc 9835 AN/453 da OACI, bem como das tarefas das fases I e II. No entanto, percebemos novamente valores mais altos de desvio padrão no subgrupo 1, indicando grande dispersão nas respostas desses participantes. Esses resultados mostram que, embora a maioria dos participantes tenha avaliado o seu nível de conhecimentos sobre o exame positivamente, esses conhecimentos não se encontram totalmente consolidados e ainda existem lacunas a serem preenchidas, principalmente, no subgrupo com profissionais menos experientes.

Quanto à capacitação dos professores e instrutores em relação ao EPLIS, a Tabela 8 resume os resultados das respostas dos participantes às questões 18 e 19 do questionário. O item 18 aborda a participação em palestras sobre o exame, e o item 19 avalia a frequência com que eles acessam o site do EPLIS em busca de informações. Constatamos médias inferiores a 3 (“às vezes”) para os dois itens, com maior variação de respostas no item “Acesso ao site do exame” (DP=1.289).

Tabela 8 − Oportunidades de capacitação

N M DP EPM

Participação em palestras e oficinas 16 2.562 0.629 0.157

A Tabela 9 ajuda-nos a visualizar melhor essa situação ao distribuir as respostas dos professores e instrutores em porcentagem. Vemos que 50% dos professores e instrutores afirmaram que raramente participam de seminários e oficinas sobre o exame. Em relação ao acesso ao site, as respostas variaram mais, com 57% entre “nunca” e “às vezes”, e 43% entre “frequentemente” e “sempre”.

Tabela 9 − Oportunidades de capacitação em porcentagem

1 2 3 4 5

Participação em palestras e oficinas 0.50 0.43 0.07

Acesso ao site do exame 0.19 0.19 0.19 0.37 0.06

Ao comparar professores (subgrupo 1) e controladores de tráfego aéreo (subgrupo 2) em relação a esses dois itens, vemos que a situação é praticamente a mesma para ambos os subgrupos, como mostra a Tabela 10. As médias são muito próximas, entre 2.500 e 3.000, porém notamos maior variação (desvio padrão) no item “Acesso ao site” tanto no subgrupo de professores quanto no subgrupo de instrutores.

Tabela 10 − Comparação entre professores e instrutores em relação às oportunidades de capacitação

Subgrupos N M DP

Participação em palestras e oficinas 1 12 2.583 0.668

2 4 2.500 0.577

Acesso ao site do exame 1

2 12 4 2.916 3.000 1.443 0.816

Verifiquei, então, se havia relação entre essa variação e a experiência no ensino de inglês aeronáutico. Relembro que o subgrupo 1 é formado por profissionais com até cinco anos de experiência e o subgrupo 2 com mais de seis anos (Tabela 11).

Tabela 11 − Comparação entre experiência no ensino de inglês aeronáutico e acesso ao site do exame

Subgrupos N M DP

Acesso ao site do exame 1

2

9 2.888 1.269

7 3.000 1.414

Podemos observar que os dois subgrupos apresentaram diferença mínima nas médias de respostas em relação à frequência com que acessam o site do exame, o que nos leva a crer que o quê distingue esses dois subgrupos nesse item não é o tempo de experiência no ensino de inglês aeronáutico, mas outro fator que pode estar relacionado à disposição, dedicação, profissionalismo e comprometimento desses profissionais.

Temos, portanto, um contrassenso. Embora a grande maioria dos professores e instrutores tenha avaliado positivamente os conhecimentos que possuem sobre o exame, a frequência com que disseram participar de eventos e buscar informações é mais baixa. Essa situação levanta questões que precisam ser analisadas mais cuidadosamente, por exemplo, como esses profissionais constroem conhecimentos sobre o EPLIS, qual a contribuição da escola e do ICEA nesse processo, e por que o site do exame é pouco acessado.

As discrepâncias encontradas nos dados em relação aos conhecimentos que os participantes possuem sobre o EPLIS, principalmente, no grupo dos professores e dos profissionais menos experientes, juntamente com o fato de que a busca por informações e a frequência de eventos de capacitação terem sido baixas, podem interferir negativamente na intensidade do efeito retroativo do EPLIS. Isso porque esses óbices ferem as condições estabelecidas por Hughes (1989, 1993) e previstas no modelo de efeito retroativo de Green (2007a) de que a familiaridade dos participantes para com o exame, bem como a disponibilidade de recursos e assistência, são fundamentais para que os efeitos ocorram em plenitude.