Como relatei na introdução deste estudo, a fim de obter uma maior confiabilidade nas análises por mim realizadas, foram efetuadas inter e intra-avaliações (inter-ratings e
intra-ratings) das categorizações utilizadas nas análises dos dados, como sugerem alguns
estudiosos (Seliger e Shohamy, 1989; Allwright e Bailey, 1991; Miccoli, 1997). Nas interavaliações, uma outra pessoa, utilizando a categorização empregada na análise dos dados, analisa um percentual deles para que se possa verificar o grau de concordância entre as duas análises. A intra-avaliação, por sua vez, consiste em uma segunda verificação feita pelo próprio pesquisador algum tempo depois da primeira análise para verificar se a sua primeira análise está consistente. Conforme consta na literatura, a concordância mínima requerida nesses tipos de avaliação é de 85% (Alwright e Bailey, 1991, p. 46).
4.5.1 Interavaliações
Como foram realizadas várias análises, solicitei a três professoras universitárias de inglês – pós-graduandas em Lingüística Aplicada, sendo uma mestranda (avaliadora A) e duas doutorandas (avaliadoras B e C) – que efetuassem as verificações. A avaliadora A conferiu as categorizações empregadas nas análises dos textos escritos. Em relação às categorizações utilizadas nas análises das interações, duas avaliadoras realizaram as conferências. A avaliadora B conferiu a categorização referente ao foco das interações, e a avaliadora C conferiu as categorizações relativas às atividades sociocognitivas e estratégias mediadoras. A avaliadora C também efetuou a conferência das categorizações utilizadas na análise das entrevistas.
4.5.1.1 Verificação das categorizações utilizadas na análise dos textos escritos
Conforme já foi afirmado anteriormente, 68 textos foram analisados. Para a verificação da categorização dos erros, escolhi as primeiras versões, por evidenciarem uma
quantidade maior de erros e, com isso, ter a oportunidade de obter uma maior verificação. Como 10% deles seriam 6,8 textos, resolvi utilizar 10 textos, selecionados aleatoriamente, sendo um de cada participante, para a verificação, o que equivale a 14,7% dos textos.
Os erros foram marcados e numerados nos textos para que se fizesse a verificação. A verificação da classificação dos erros teve um grau de concordância de 88,7%. Como observei que a avaliadora havia confundido algumas categorizações, principalmente em relação aos erros ortográficos, e como essa classificação resultaria em um outro tipo de análise, no qual eu verificaria a freqüência dos erros por sua tipologia, solicitei à avaliadora que fizesse uma outra verificação. O grau de concordância foi, então, de 94,2%.
Para a conferência das modificações e revisões, foram utilizadas, além dos textos originais, as segundas versões, o que equivale a 29,4% dos textos. Desse modo, foram retirados, dos textos, os trechos originais e os modificados para efetuar a verificação. O grau de concordância foi de 89,2%. Observei que a professora que efetuou a verificação estava confundindo as categorizações de substituição e reestruturação. Dessa forma, foram retiradas as dúvidas existentes e realizada uma nova conferência que obteve um grau de concordância de 95,2%. Os resultados das verificações dessas duas categorizações podem ser observados na Tabela 4.1. Os itens deixados em branco não foram computados.
TABELA 4.1 – Grau de concordância da interavaliação das categorizações utilizadas para classificar os erros e as revisões efetuadas na segunda versão dos textos dos participantes
Verificação da categorização utilizada para classificar os erros Itens coincidentes Itens não coincidentes Total de itens classificados Itens em branco Percentual de concordância 1a verificação 182 23 205 05 88,7% 2a verificação 198 12 210 - 94,2%
Verificação da categorização utilizada para classificar as revisões efetuadas na segunda versão dos textos escritos
Itens coincidentes Itens não coincidentes Total de itens classificados
Itens em branco Percentual de concordância
1a verificação 225 27 252 - 89,2%
4.5.1.2 Verificação das categorizações utilizadas na análise da transcrição das atividades de correção
Para esta verificação, foi sorteada a transcrição da quarta atividade – o que equivale a mais de 25% dos dados –, pois foi uma atividade da qual participaram os dez alunos. Para efetuar a conferência das categorizações foco das conversações, atividades sociocognitivas e estratégias mediadoras, foram marcados na transcrição da atividade os segmentos de conversação para serem analisados pelas avaliadoras. O grau de concordância entre a minha análise e as realizadas pelas avaliadoras B e C pode ser observado na Tabela 4.2:
TABELA 4.2 – Grau de concordância da interavaliação das categorizações utilizadas na análise da transcrição das interações
Itens coincidentes Itens não coincidentes Total de itens classificados Itens em branco Percentual de concordância
Foco das conversações 128 6 134 - 95,5%
Atividades sociocognitivas 37 2 39 - 94,8%
Estratégias mediadoras 263 7 270 8 97,4%
4.5.1.3 Verificação das categorizações utilizadas na análise da transcrição das entrevistas
Para esta verificação, foi sorteada a entrevista sobre a terceira atividade – o que equivale a mais de 25% dos dados –, uma vez que os dez alunos participaram dessa entrevista. Foram marcados na transcrição os trechos para que a avaliadora C efetuasse a classificação e a verificação. O grau de concordância entre a minha análise e a dela foi de 92,9%, como se pode observar na Tabela 4.3:
TABELA 4.3 – Grau de concordância da interavaliação das categorizações utilizadas na análise das entrevistas Itens coincidentes Itens não coincidentes Total de itens classificados Itens em branco Percentual de concordância 66 5 71 - 92,9% 4.5.2 Intra-avaliações
Apesar de o grau de concordância das verificações realizadas por mim e pelas avaliadoras ter sido alto, decidi efetuar intra-avaliações com o intuito de eliminar quaisquer
dúvidas em relação ao uso das categorizações. Desse modo, o mesmo material fornecido às avaliadoras foi por mim, novamente, analisado.
As intra-avaliações ocorreram dois meses após a verificação com as avaliadoras. Os graus de concordância entre a primeira verificação que realizei e a segunda podem ser observados na Tabela 4.4:
TABELA 4.4 – Graus de concordância obtidos nas intra-avaliações Itens coincidentes Itens não coincidentes Total de itens classificados Itens em branco Percentual de concordância
Classificação dos erros 205 5 210 - 97,6%
Classificação das revisões 246 6 252 - 97,6%
Foco das conversações 132 2 134 - 98,5%
Atividades sociocognitivas 39 0 39 - 100,0%
Estratégias mediadoras 270 8 278 - 97,1%
Entrevistas 65 6 71 - 91,5%
As verificações das categorizações – inter e intra-avaliações – serviram não apenas para validar os resultados das análises, mas, sobretudo, para que eu me sentisse mais seguro ao realizá-las.
Bem-me-quer, malmequer – tendo escolhido os procedimentos e critérios utilizados para realizar as análises dos dados, apresentarei, no próximo capítulo, os resultados desta pesquisa.
C
APÍTULO
5
S
ENTINDO O PERFUME DAS FLORES
:
OS RESULTADOS
DA PESQUISA
No finished writing, no matter how finished- final draft, published, posted, or bound between two covers – is truly finished, because it still has the potential to generate dialog. More dialog may mean either more revision, or more writing, and it certainly means more growth for the writer.41
Cheney (1989, p. 52)
Este capítulo, com quatro subdivisões, se propõe à apresentação dos resultados. Na primeira, apresento os resultados obtidos da análise dos textos escritos e reescritos pelos participantes durante o processo da pesquisa; na segunda, os resultados da análise do processo interativo de correção, na qual os participantes se engajaram; na terceira, os resultados referentes à análise das entrevistas realizadas com os alunos participantes deste estudo e com a professora da turma. Finalmente, na quarta subdivisão, analiso o questionário de avaliação final.