Resultados dos testes de confiabilidade entre avaliadores

O primeiro procedimento estatístico utilizado para analisar o nível de concordância de avaliação dos itens do Checklist entre os participantes foi o Coeficiente de Correlação Intraclasse. O ICC corresponde a uma medida estatística do grau de concordância existente entre avaliadores. Quanto mais próximo a 1 (um) for essa medida, maior o grau de concordância entre os avaliadores.

Conforme podemos observar na Tabela 1 a seguir, o ICC encontrado para os 3 (três) grupos de participantes foi de 0,983 (zero vírgula novecentos e oitenta e três), com intervalo de confiança de 95% (noventa e cinco por cento) entre 0,976 (zero vírgula novecentos e setenta e seis) e 0,988 (zero vírgula novecentos e oitenta e oito). Esse resultado indica alto grau de correlação de avaliação dos itens do Checklist pelos participantes, apesar de ensinarem a língua inglesa em contextos diferentes e de não terem o mesmo nível de

expertise em fonética/fonologia dessa língua.

Tabela 1 - ICC dos itens do Checklist Correlação

Intraclasse

95% Intervalo de Confiança Limite Inferior Limite Superior

0,983 0,976 0,988

O segundo procedimento estatístico realizado foi a Análise de Variância (ANOVA) simples. A ANOVA simples compara as variações existentes dentro dos grupos de participantes (variação intragrupos) com as variações existentes entre os grupos (variação intergrupos) verificando se há uma diferença significativa entre eles ou não. Os grupos são significativamente diferentes se o valor de p produzido pela ANOVA simples for inferior a 0,05 (zero vírgula zero cinco). Para determinar a localização da diferença, é necessária a realização de um teste post-hoc além da ANOVA simples.

A ANOVA simples foi utilizada para comparar as avaliações dos itens do

Checklist feitas pelos 3 (três) grupos de participantes: Grupo 1 - professores brasileiros de inglês como LE; Grupo 2 - experts brasileiros em fonética/fonologia da língua inglesa; e Grupo 3 – experts estrangeiros em fonética/fonologia da língua inglesa. Esses 3 (três) grupos formam a variável independente, enquanto os 67 (sessenta e sete) itens avaliados são a variável dependente.

Apesar das diferenças de contexto de ensino e de nível de expertise em fonética/fonologia da língua inglesa dos 3 (três) grupos, os resultados da ANOVA simples não demonstraram diferença significativa (p > 0,05) na avaliação de 62 (sessenta e dois) dos 67 (sessenta e sete) itens pelos 3 (três) grupos. Isso significa que, na avaliação de 62 (sessenta e dois) itens, houve concordância de 99,5% (noventa e nove vírgula cinco por cento), p > 0,05, entre os 3 (três) grupos de participantes. Os 5 (cinco) itens com p inferior a 0,05, ou seja, com menor nível de concordância, são os Itens 1.1, 1.2, 1.6, 2.14 e 2.2946(“O programa aborda conteúdos de acordo com os objetivos propostos”, Item 1.1, “O programa aborda

conteúdos de acordo com o nível de proficiência proposto”, Item 1.2, “O programa prioriza encontros consonantais”, Item 1.6, “O programa contrasta diferentes sons vocálicos”, Item 2.14, e “As atividades trabalham a percepção do ritmo e entoação”, Item 2.29). Vejamos a

Tabela 2 a seguir.

Tabela 2 - Itens do Checklist com p < 0,05 (ANOVA simples)

Itens do Checklist Variação Sig.

1.1 O programa aborda conteúdos de acordo com os objetivos propostos. Intergrupos 0,008 1. 2 O programa aborda conteúdos de acordo com o nível de proficiência proposto. Intergrupos 0,004 1.6 O programa priorizaencontros consonantais. Intergrupos 0,039 2.14 O programa contrasta diferentes sons vocálicos. Intergrupos 0,048 2.29 As atividades trabalham a percepção do ritmo e entoação. Intergrupos 0,025 Fonte: elaborada pela autora.

46

A numeração de alguns itens deste capítulo pode não coincidir com a numeração dos itens da versão final do Checklist de Softwa re Educativo para o Desenvolvimento da Pronúncia da Língua Inglesa, apresentado no Apêndice A.

Quanto aos Itens 1.1 e 1.2 (“O programa aborda conteúdos de acordo com os objetivos”, Item 1.1, e “O programa aborda conteúdos de acordo com o nível de proficiência”,

Item 1.2), alguns participantes relataram que eles não identificaram, no software analisado, os objetivos e o nível de proficiência propostos e, por isso, tiveram que atribuir 0 (zero) a eles. Para encontrar os objetivos e o nível de proficiência propostos pelo software, os participantes teriam que, antes de acessarem o programa, navegar pelo website do desenvolvedor do

software. Como essas informações não estavam disponíveis no próprio programa, alguns participantes podem não ter navegado pelo website do desenvolvedor, o que pode ter levado a uma diferença significativa na avaliação desses 2 (dois) itens do software. O p encontrado

para os outros 3 (três) itens (“O programa prioriza encontros consonantais”, Item 1.6, e “O programa contrasta diferentes sons vocálicos”, Item 2.14, e “As atividades trabalham a percepção do ritmo e entoação”, Item 2.29), respectivamente 0,039 (zero vírgula zero trinta e

nove), 0,048 (zero vírgula zero quarenta e oito), 0,025 (zero vírgula zero vinte e cinco), apesar de inferior a 0,05, também não aponta para grande discrepância na avaliação desses itens.

Na ANOVA simples, o teste post-hoc de Fisher, de comparação da diferença mínima significativa (LSD), também foi utilizado para localizar diferenças no valor de p < 0,05. Conforme podemos constatar na Tabela 3 a seguir, os resultados do teste post-hoc

mostraram que a diferença significativa para esses 5 (cinco) itens ocorreu sempre entre o grupo de professores brasileiros de inglês como LE e o grupo de experts brasileiros em fonética/fonologia da língua inglesa ou entre o grupo de professores e o grupo de experts

estrangeiros em fonética/fonologia dessa língua, mas nunca entre os dois grupos de experts.

Tabela 3 - Itens do Checklist (ANOVA simples - teste post-hoc de Fisher LSD)

Variável Dependente Sig.

1.1 O programa aborda conteúdos de acordo com os objetivos propostos.

Professor brasileiro Expert brasileiro 0,002

Expert estrangeiro 0,242 Expert brasileiro Professor brasileiro 0,002 Expert estrangeiro 0,148

Expert estrangeiro Professor brasileiro 0,242 Expert brasileiro 0,148

1.2 O programa aborda conteúdos de acordo com o nível de proficiência proposto.

Professor brasileiro Expert brasileiro 0,120

Expert estrangeiro 0,001

Expert brasileiro Professor brasileiro 0,120 Expert estrangeiro 0,074

Variável Dependente Sig.

Expert brasileiro 0,074

1.6 O programa prioriza encontros consonantais. Professor brasileiro Expert brasileiro 0,712

Expert estrangeiro 0,012

Expert brasileiro Professor brasileiro 0,712 Expert estrangeiro 0,053

Expert estrangeiro Professor brasileiro 0,012 Expert brasileiro 0,053

2.14 O programa contrasta diferentes sons vocálicos. Professor brasileiro Expert brasileiro 0,021

Expert estrangeiro 0,147

Expert brasileiro Professor brasileiro 0,021 Expert estrangeiro 0,577

Expert estrangeiro Professor brasileiro 0,147 Expert brasileiro 0,577

2.29 As atividades trabalham a percepção do ritmo e entoação.

Professor brasileiro Expert brasileiro 0,157

Expert estrangeiro 0,009

Expert brasileiro Professor brasileiro 0,157 Expert estrangeiro 0,214

Expert estrangeiro Professor brasileiro 0,009 Expert brasileiro 0,214

Fonte: elaborada pela autora.

Talvez os Itens 1.6, 2.14 e 2.29 (“O programa prioriza encontros consonantais”, Item 1.6, “O programa contrasta diferentes sons vocálicos”, Item 2.14, e “As atividades trabalham a percepção do ritmo e entoação”, Item 2.29) indaguem sobre características mais

específicas, requerendo um maior conhecimento sobre fonética/fonologia da língua inglesa para serem analisados. Isso justificaria a diferença significativa encontrada entre a avaliação do grupo de professores e a do grupo de experts brasileiros ou estrangeiros nesses 3 (três) itens.