Procedimentos de análise qualitativa e quantitativa

A análise qualitativa apresentada neste estudo baseia-se em procedimentos quantitativos. O tratamento estatístico dos dados foi desenvolvido para que as inferências feitas na análise qualitativa sejam confrontadas com os dados numéricos.

Foram realizadas as transcrições a partir de gravações em áudio e vídeo dos testes orais, bem como dos seminários. Os arquivos gerados por meio das transcrições foram posteriormente preparados para análise quantitativa da linguagem produzida em situação de testes arrolada por meio do programa RANGE, disponibilizado por Paul Nation no site49 da Victoria University of Wellington, na Nova Zelândia, que analisa o vocabulário com o emprego de técnicas de análise estatística. No entanto, a análise quantitativa dos dados não descarta os procedimentos qualitativos, pelo contrário, tem o intuito de sustentar os resultados obtidos.

Sendo assim, para que fosse possível levantar dados objetivos do desempenho dos alunos em situação de teste oral, ou seja, para se analisar a competência lexical dos alunos- formandos, foi utilizado um método quantitativo de análise de dados: uma análise da competência lexical na linguagem produzida pelos alunos durante testes orais (FCE, IELTS e TEPOLI), por meio do programa estatístico RANGE50 (NATION e HEATLEY, 1996) que examina o vocabulário produzido oralmente a partir de textos transcritos e editados.

Assim, como principal instrumento de levantamento de dados quantitativos, utilizou- se o programa RANGE, que pode ter duas versões. A primeira delas conta com três listas-base de vocabulário que trazem cada uma, 1.000 palavras mais frequentes, tanto na variante do inglês britânico como na do norte-americano. Para esta primeira versão, o programa se baseia

49_{http://www.victoria.ac.nz/lals/staff/paul-nation.aspx} 50 _{Disponibilizado no site da Victoria University of Wellington.}

em dois corpora: A General Service List of English Words (WEST, 1953) e The Academic Word List (COXHEAD, 1998, 2000).

A segunda versão para o programa se baseia no corpus BNC, British National Corpus, que apresenta 16 listas de palavras, compostas cada uma por 1.000 Famílias de palavras, e dispostas em ordem decrescente no que concerne à frequência de utilização em língua inglesa, ou seja, as palavras contidas na lista 1 são mais frequentemente utilizadas do que as contidas na lista 2, e assim sucessivamente.

Nesta pesquisa, optou-se por utilizar a segunda versão do programa RANGE, que tem como base as listas do BNC, pelo fato de que este é um corpus que conta com um banco eletrônico de dados com 100 milhões de palavras, procedentes de uma amplitude de amostras de linguagem atual escrita bem como da linguagem atual falada. Por este motivo, vale ressaltar que a fração que se refere à oralidade representa 10% do corpus e abarca uma grande quantidade de amostras de palavras utilizadas em situações de conversação informal.

O programa RANGE conta os itens lexicais e os classifica em três categorias: Tokens, Types e Families, e distribuídos em dezesseis listas por ordem de frequência, ou seja, a lista1 se refere às palavras mais frequentes ou mais comumente utilizadas em LI e nas listas de 2 a 14 se distribuem as palavras menos frequentes da língua. A lista 15 contém nomes próprios e a lista 16 é composta de palavras que representam exclamações, hesitações, etc, e a lista denominada no programa como Not in the lists classifica as palavras não identificadas pelo programa, como as palavras que não foram compreensíveis no momento da transcrição ou faladas incorretamente.

Ressalta-se que à medida que a análise quantitativa for sendo apresentada, aprofundam-se os detalhamentos do programa RANGE, cuja interface é ilustrada na figura 9:

Figura 9: Interface programa RANGE

Cabe retomar as três categorias utilizadas por este programa, Tokens, Types e Families, já mencionadas no arcabouço teórico, mas fundamentais para o entendimento da análise desenvolvida pelo programa. Os Tokens correspondem a todas as palavras e expressões que aparecem na amostra de linguagem e sempre que aparecem são contadas; os Types são as palavras ou expressões que são contadas uma única vez e assim não importa quantas vezes elas apareçam no texto; e as Families representam a categoria em que apenas a base da palavra é contada, como em um dicionário e desse modo não importa tempo verbal e derivações, ou seja, são contadas somente as raízes das palavras, de forma a indicar quantas palavras diferentes o foram utilizadas (SINGLETON, 2000; LEECH, RAYSON e WILSON, 2001; READ, 2000).

Para que a análise pelo RANGE fosse desenvolvida, todas as transcrições a serem utilizadas foram editadas de acordo com as instruções do programa, isto é, os textos transcritos de todos os testes orais feitos pelos participantes foram editados com a eliminação

das marcas de transcrição e qualquer outro conteúdo da interação. A figura 10 traz um exemplo de uma transcrição editada para a análise pelo RANGE:

Figura 10: Exemplo de transcrição editada para RANGE - IELTS 1

fine nice to meet you ok erm you mean about the university the subjects or the erm some most of the subjects are erm annual like is right annual and just one of them is erm

semester semester semantics and we‟re finishing now this week because of the strike we had on June and we are finishing now we had test this week and this is what I‟m

finishing and the others I have to do some erm extra work to finish Brazilian poetry Portuguese Portuguese literature erm what else teaching practice Portuguese and English erm and English literature North American literature yes language classes Portuguese is just semantics and English no it‟s just semantics because in the second year in the first year we have the basics of linguistics in the second year we have some writing classes yes language is not a specific the only thing we had this semester about

the language (…)

Procurou-se recortar as transcrições para a análise, de modo que cada instrumento tivesse um tempo aproximado a ser considerado, uma vez que os instrumentos de coleta utilazados diferem em termos de duração. Para todos os participantes foram criados arquivos separados com suas falas durante os testes orais, sendo que cada arquivo representa a linguagem falada exclusivamente pelo participante em questão.

Cada um dos oito participantes se submeteu a cinco testes orais (dois simulados do FCE, dois simulados do IELTS e o TEPOLI), bem como aos seminários individuais, gerando o total de quarenta e oito arquivos analisados pelo programa RANGE, que contou e categorizou todas as palavras processadas em forma de texto, que neste estudo, representam a fala transcrita dos alunos. Deste modo, o programa forneceu como resultado o número de palavras que aparecem no texto e sempre que aparecem são contadas (Tokens); as palavras que são contadas somente uma vez (Types), não importando quantas vezes elas apareçam no texto; e as bases de palavras (Families), como em um dicionário, não importando tempo

verbal e derivações, são contadas somente as raízes das palavras. A figura 11 apresenta a disposição dos dados gerados pelo programa RANGE:

Figura 11: Exemplo de arquivo inicial de análise - RANGE

Segundo as informações contidas nos arquivos do programa, os critérios utilizados para formular as Famílias de palavras (Families) foram baseados no nível 6 de Bauer e Nation (1993), que incluem todos os afixos dos níveis de família de palavras. O programa também registra o número de vezes em que cada palavra aparece em cada lista e também a quantidade de Famílias de palavras utilizadas no texto oral. Assim, o que se tem como resultado é a distribuição de todas as palavras utilizadas, categorizadas em 16 listas (Figura 11). Os dados gerados pelo programa foram reeditados em tabelas conforme o quadro 8:

Quadro 8: Exemplo de arquivo de análise editado - RANGE FCE 1 – A06

Word list Tokens % Types % Families %

one 386 93,69 118 90,08 107 91,45 two 15 3,64 5 3,82 5 4,27 three 2 0,49 2 1,53 2 1,71 four 1 0,24 1 0,76 1 0,85 five 1 0,24 1 0,76 1 0,85 six 0 0,00 0 0,00 0 0,00 seven 0 0,00 0 0,00 0 0,00 eight 0 0,00 0 0,00 0 0,00 nine 0 0,00 0 0,00 0 0,00 ten 0 0,00 0 0,00 0 0,00 11 0 0,00 0 0,00 0 0,00 12 0 0,00 0 0,00 0 0,00 13 0 0,00 0 0,00 0 0,00 14 0 0,00 0 0,00 0 0,00 15 0 0,00 0 0,00 0 0,00 16 4 0,97 1 0,76 1 0,85 NitL 3 0,73 3 2,29 ????? Total 412 100 131 100 117 100

Os dados que compõem esta investigação provêm de gravações dos seminários apresentados pelos alunos-formandos, de dois testes consagrados de proficiência em língua inglesa (FCE 1 e 2, IELTS 1 e 2), além dos dados procedentes do TEPOLI. Aos dados referentes aos testes, aplicou-se ainda um procedimento estatístico de caráter descritivo, a fim de que tais dados fossem confirmados numericamente.

Essa análise estatística é caracterizada como descritiva devido à presença de gráficos e tabelas que ilustram os dados, segundo a literatura da área de Matemática. De acordo com Marconi e Lakatos (2003), o objetivo das tabelas é ajudar na distinção de diferenças, semelhanças e relações entre os dados. Outras estatísticas descritivas foram aplicadas aos dados como média e mediana, que são medidas de posição, além do desvio padrão, uma medida de dispersão.

Por média entende-se a medida em torno da qual os dados se concentram, medida que é influenciada por valores altos e pequenos, mesmo que esses surjam em pequeno número, e assim, se a dispersão entre os valores é muito grande, não se deve considerá-la como representativa dos dados. Já a mediana corresponde ao ponto médio, isto é, a metade dos dados da amostra é menor ou igual à mediana e a outra metade, maior ou igual. Por fim, como a medida de dispersão utilizada, o desvio padrão nos representa um conjunto de dados que é distribuído em relação à média.

Para concluir, é importante ressaltar que o procedimento estatístico descritivo é fundamental para este estudo e será mais detalhado ao longo da análise quantitativa, a fim de facilitar a compreensão da mesma. Ressalta-se ainda que, o desenvolvimento da análise foi acompanhado por profissionais da área de Matemática Estatística, do departamento de Ciências Exatas da mesma universidade estadual que compõe este contexto de pesquisa.

Buscou-se, neste capítulo, descrever a metodologia da pesquisa e a maneira pela qual se procurou atingir os objetivos desta investigação. Almejou-se também esclarecer o processo de análise dos dados qualitativos e quantitativos utilizados na pesquisa. A discussão dos dados analisados é apresentada na sequência.