ANÁLISE E INTERPRETAÇÃO DOS DADOS

Nas pesquisas sobre avaliação de proficiência, uma tensão entre a tradição psicométrica e outras da área de Linguística Aplicada vem refletindo também em divergências metodológicas (MCNAMARA, 2011; LAZARATON, 2017):

A psicometria, por definição, envolve a medida objetiva de traços psicológicos, processos e habilidades e na maioria das vezes emprega uma sofisticada coleta, análise e interpretação de dados quantitativos. Em contrapartida, o estudo da língua em uso, e especialmente a construção do discurso, geralmente exige uma abordagem mais qualitativa interpretativa para o processo de pesquisa (LAZARATON, 2017, p. 212)63_.

Desse modo, Lazaraton (2017) destaca o desenvolvimento de metodologias de pesquisa qualitativas que contribuem para a elaboração, revisão e validação de testes, principalmente no caso de avaliações de desempenho, tal como o exame Celpe-Bras. Considerando-se que a pesquisa qualitativa serve aos interesses de pesquisadores que buscam respostas a perguntas sobre “como” determinados fenômenos acontecem, esta contribui com questões teóricas e práticas, estabelecendo uma agenda de pesquisa para a avaliação de línguas (LEUNG, 2013).

Isto posto, o trabalho de pesquisa empreendido nesta dissertação teve em vista as orientações teórico-metodológicas da pesquisa qualitativa interpretativa (ERICKSON, 1990; MASON, 2002), buscando produzir conhecimento de modo sistemático acerca do modo como a recontextualização de informações do material de insumo é avaliada nas tarefas integradas de leitura e escrita do exame Celpe-Bras. Para tanto, esta pesquisa, ao longo da análise documental de tarefas do exame Celpe-Bras e de produções escritas dos examinandos em resposta a tais tarefas, exigiu a busca pelo entendimento das especificidades desse exame, de modo a descrever como as informações dos materiais de insumo são recontextualizadas pelos examinandos nas produções escritas e como essa recontextualização é avaliada. Ao investigar o que está acontecendo na recontextualização de informações do material de insumo das tarefas de leitura e escrita do Celpe-Bras com base na sistematização de como a avaliação funciona nesse contexto, portanto, esta pesquisa se caracteriza como qualitativa interpretativa.

A fim de cumprir com os objetivos de pesquisa, na análise dos enunciados das tarefas foram considerados os resultados apresentados em Schoffen et al. (2018) sobre a Parte Escrita

63 _{No original: “Psychometrics, by definition, involves the objective measurement of psychological traits,}

processes, and abilities and most often employs sophisticated, quantitative data collection, analysis, and interpretations. In contrast, the study of language in use, and especially the construction of discourse, often demands a more interpretive, qualitative approach to the research process”.

do Celpe-Bras. Por se tratar de uma pesquisa qualitativa interpretativa, entretanto, os procedimentos de indexação dos dados foram parte do processo de pesquisa em si, de modo que as categorias observáveis não estavam definidas a priori, mas se constituíram ao longo da análise dos dados tendo em vista as perguntas de pesquisa. Nesse sentido, o olhar analítico condutor da pesquisa buscou recuperar o porquê das notas atribuídas ao desempenho dos examinandos nas tarefas de leitura e escrita da edição 2015-2, de modo a entender como a recontextualização de informações dos materiais de insumo foi avaliada com base nos parâmetros e em que medida esse critério contribuiu para o resultado da avaliação.

A partir dos dados disponíveis, foi possível triangular as expectativas de recontextualização de informações do insumo estabelecidas pelo instrumento de avaliação (enunciado e material de insumo que constituem as tarefas), a descrição desse critério nos parâmetros de avaliação da Parte Escrita (em conjunto com a resposta esperada para cada tarefa) e a materialização dessa recontextualização de informações nas produções escritas dos examinandos em resposta às tarefas (com as respectivas notas atribuídas pelos avaliadores para seus desempenhos). Portanto, realizei a leitura completa desses materiais a fim de perceber se existiam semelhanças entre as produções escritas avaliadas com uma mesma nota nas duas tarefas, contrastando com o que era solicitado pelos instrumentos de avaliação e com a descrição apresentada nos parâmetros de avaliação para cada nível de proficiência. Desse modo, também busquei entender se existiam diferenças entre os textos produzidos pelo mesmo examinando em resposta às duas tarefas analisadas, bem como de que modo os textos avaliados em determinado nível de proficiência se assemelhavam ou se diferenciavam dos textos avaliados nos demais níveis.

Cabe ressaltar que, como apresentado na seção 1.4.2, para realizar a avaliação das produções escritas em resposta às tarefas, a equipe responsável por cada tarefa recebe um treinamento específico em que os parâmetros de avaliação são particularizados conforme a tarefa designada àqueles avaliadores. Portanto, um maior detalhamento sobre as expectativas de recontextualização de informações do material de insumo nas produções dos examinandos, bem como tomadas de decisões para casos não previstos nos parâmetros de avaliação, podem ter sido discutidos ao longo desse treinamento dos avaliadores, o que não foi considerado na realização desta pesquisa. Isto posto, os parâmetros de avaliação constituíram-se como um material central nesta pesquisa, pois oferecem a descrição que baliza o entendimento dos avaliadores acerca dos níveis de proficiência da Parte Escrita do exame, o que inclui a recontextualização de informações do material de insumo.

que permitem expectativas iniciais de critérios para análise da recontextualização de informações nas produções escritas. Ao analisarem tarefas do exame Celpe-Bras, Gomes (2009) e Schoffen (2009), por exemplo, concordam sobre a importância da seleção de informações do material de insumo relevantes para o cumprimento do que é solicitado pela tarefa. Isto posto, a análise das produções escritas exigiu constante movimento de retomada das tarefas em si, buscando entender quais informações selecionadas pelos examinandos contribuíram – ou não – para sua realização. Nesse sentido, apesar de o Celpe-Bras não avaliar a recontextualização de informações do material de insumo de modo quantitativo, a completude da tarefa também depende da seleção desse conteúdo informacional.

Para além de analisar a seleção de informações, buscou-se entender o modo como os examinandos recontextualizaram as informações do material de insumo em suas produções escritas. Considerando-se resultados de estudos anteriores (JOHNS; MAYES, 1990; CUMMING et al., 2005; 2006; SOLEIMANI; MAHDAVIPOUR, 2014), a recontextualização de informações do material de insumo através de cópia constitui-se como um critério relevante para a distinção de níveis de proficiência, visto que examinandos menos proficientes apresentam mais índices de cópia literal em tarefas integradas de leitura e escrita. Nos parâmetros de avaliação do Celpe-Bras, apresentados na seção 1.4.2, os descritores dos níveis de proficiência só preveem cópia no nível 0, configurando uma oposição entre reprodução do material de insumo e autoria; a recontextualização de informações de modo autoral, por sua vez, está prevista apenas no nível 5. Assim, considerando a revisão bibliográfica empreendida e os descritores dos parâmetros de avaliação, a distinção entre cópia e autoria também se tornou relevante para responder como a recontextualização de informações do material de insumo é avaliada nas tarefas integradas de leitura e escrita do Celpe-Bras.

O próximo capítulo, portanto, apresenta as tarefas de leitura e escrita da edição 2015-2 do exame e parte das produções escritas selecionadas para esta pesquisa, de modo que o leitor possa ser coanalista das interpretações realizadas desses dados. A extensão deste relatório impede a reprodução da totalidade das produções escritas, por isso, é apresentada apenas uma seleção, realizada por mim a partir do volume de dados, de modo a exemplificar o todo e a responder às perguntas de pesquisa. Nesse sentido, ainda que a avaliação realizada na Parte Escrita do exame Celpe-Bras seja holística, o que leva à atribuição de uma única nota pautada em vários critérios, foram privilegiadas, para compor este trabalho, produções escritas em que se considerou relevante discutir especificamente a recontextualização de informações do material de insumo. A partir dessa amostra, portanto, busca-se justificar as asserções elaboradas com base na análise do conjunto de dados.