PROCEDIMENTOS PARA SELEÇÃO DE TAREFAS E PRODUÇÕES

Considerando-se as informações disponíveis no corpus de pesquisa e o objetivo geral deste trabalho, a geração dos dados desta pesquisa consistiu na seleção de tarefas integradas de leitura e escrita do Celpe-Bras e de produções escritas em resposta a essas tarefas. Desse modo, em um primeiro momento foram elencadas as tarefas 3 e 4 das edições 2015-2, 2016-1, 2016-2, 2017-1 do exame Celpe-Bras, visto que são as tarefas que integram as habilidades de leitura e escrita a cujas produções escritas obtive acesso e autorização para uso. Para a geração dos dados relativos às tarefas, portanto, acessei o Acervo Celpe-Bras e arquivei em meu computador os documentos relativos ao Caderno de Questões das quatro edições supracitadas.

No que tange às respostas dos examinandos às oito tarefas de leitura e escrita dessas edições do exame, tornou-se necessário realizar uma seleção dentre as cerca de 35 mil produções escritas disponíveis no banco de dados que compõem o corpus de pesquisa. Dadas as limitações de extensão do trabalho, optou-se por focalizar duas das oito tarefas. Para tanto, considerou-se a seleção de uma tarefa 3 e uma tarefa 4, tendo em vista que as orientações para a elaboração de tarefas do exame revelam uma busca por diferenciar o modo como as habilidades de leitura e escrita são integradas nessas tarefas, o que também vem sendo apontado por pesquisas acadêmicas (PILLEGI, 2015; SCARAMUCCI, 2016; MENDEL, 2017; SCHOFFEN et al., 2018). Além disso, optou-se por selecionar tarefas de uma mesma edição do exame, de modo a obter uma amostra que permitisse o cotejo do desempenho de um mesmo examinando nas duas tarefas de leitura e escrita, como sugerido por Scaramucci (2016).

Para selecionar uma das quatro edições do exame cujos dados foram cedidos pelo Inep, foi realizada uma análise prévia das tarefas 3 e 4 das edições 2015-2, 2016-1, 2016-2 e 2017-1 do exame Celpe-Bras. A partir disso, elencou-se a edição 2015-2 para a realização desta pesquisa, incluindo o instrumento de avaliação das tarefas de leitura e escrita e a

resposta esperada nessas tarefas. A escolha por essa edição é justificada pelas características dos textos dos materiais de insumo e dos enunciados das tarefas, que, em comparação às demais edições disponibilizadas, permitem mais expectativas de recontextualização de informações do material de insumo na produção escrita solicitada aos examinandos, tal como analiso no próximo capítulo. Além disso, as tarefas selecionadas são representativas de um perfil recorrente nas tarefas do Celpe-Bras (SCHOFFEN et al., 2018), o que também justifica o recorte realizado.

Na edição de 2015-2 do exame Celpe-Bras, 4.471 examinandos realizaram a Parte Escrita, totalizando 8.942 produções escritas em resposta às tarefas 3 e 4, um volume demasiado extenso de dados para uma análise qualitativa tal como a proposta neste trabalho. Para cada uma das duas tarefas de leitura e escrita da edição 2015-2 do exame Celpe-Bras, portanto, realizou-se um recorte de 120 produções escritas, totalizando 20 textos com notas correspondentes a cada um dos níveis de proficiência do exame Celpe-Bras. Os níveis de proficiência, entretanto, são pontuados considerando-se a média aritmética das quatro tarefas da Parte Escrita, bem como o resultado da Parte Oral do exame Celpe-Bras. Dado que esta dissertação focaliza a Parte Escrita do exame, mais especificamente as tarefas de leitura e escrita (3 e 4), os critérios para delimitação dos dados analisados se restringem a tais tarefas, isto é, não foi considerado o desempenho dos examinandos nas tarefas de compreensão oral e produção escrita (1 e 2), tampouco na interação face a face da Parte Oral do exame.

Como explicitado na seção 1.4, a avaliação das tarefas da Parte Escrita é realizada por dois avaliadores de forma independente, que atribuem a cada texto uma nota inteira de 0 (zero) a 5 (cinco) pontos. Desse modo, a nota final de cada texto pode ser resultante tanto de um consenso quanto de uma média aritmética, desde que a diferença entre as notas não seja superior a 1 (um) ponto, o que caracteriza discrepância e exige uma terceira avaliação, que exclui a nota mais distante entre as atribuídas pelos dois primeiros avaliadores. A figura 1 apresenta a distribuição de frequência das notas finais das tarefas 3 e 4 da edição 2015-2 do exame Celpe-Bras:

Figura 1 - Notas finais das tarefas 3 e 4 da edição 2015-258

Fonte: Relatório de Assessoria Estatística59_.

Visando à seleção de dados em que houvesse consenso acerca dos níveis de proficiência avaliados pelo exame, foram selecionadas, para este estudo, apenas produções escritas que receberam notas iguais dos dois avaliadores60. Com base nesse critério, foram desconsiderados tanto textos em que os dois avaliadores divergiram em mais de um ponto,

58 _{Do total de 48 produções escritas avaliadas com nota 0 na tarefa 3 e 79 produções escritas avaliadas com 0 na}

tarefa 4, não foram respondidas 15 e 51, respectivamente.

59 _{O grupo Avalia realizou um estudo (não publicado) com as notas das quatro edições do exame Celpe-Bras}

disponibilizadas pelo Inep a partir de uma parceria com a professora Luciana Neves Nunes, do Núcleo de Assessoria Estatística da UFRGS.

60 _{Neste trabalho, portanto, não faço distinção entre “nível de proficiência” e “nota da tarefa da Parte Escrita”,}

considerando a seguinte correspondência: Avançado Superior – 5; Avançado – 4; Intermediário Superior - 3; Intermediário - 2; Sem certificação - 1 e 0.

configurando discrepância e reavaliação, quanto textos cuja nota final é decimal, ou seja, em que os dois avaliadores divergiram em um ponto.

Outro critério elencado para a seleção dos dados diz respeito à comparação do desempenho de um mesmo examinando nas duas tarefas. Para isso, foram priorizadas produções escritas de examinandos cujas notas foram exatamente as mesmas tanto na tarefa 3 quanto na tarefa 4, de modo a selecionar desempenhos de cada nível de proficiência avaliado pelo exame. Para os níveis de proficiência Avançado, Intermediário Superior e Intermediário, mais que 20 examinandos receberam notas iguais dos quatro avaliadores nas tarefas 3 e 4. Por outro lado, nos níveis Avançado Superior, Básico e Iniciante, o número de examinandos que recebeu notas iguais dos quatro avaliadores nas tarefas 3 e 4 não foi suficiente para a seleção da quantidade de textos previstos para serem analisados neste trabalho.

Entre as produções escritas que receberam a mesma nota dos avaliadores nas duas tarefas e não configuraram discrepância em nenhuma delas, randomizou-se os dados em uma ferramenta61 que seleciona uma amostragem aleatória simples (CHRISTENSEN et al., 2014), selecionando 20 examinandos para cada um dos níveis Avançado, Intermediário Superior e Intermediário. Nos níveis Avançado Superior, Básico e Iniciante, por sua vez, selecionou-se os examinandos que receberam a mesma nota em ambas tarefas 3 e 4 e não configuraram discrepância nessas tarefas; em seguida, dentre os dados restantes em que não houve discrepância, foram selecionadas randomicamente produções escritas de examinandos avaliados nesses níveis na tarefa 3, independentemente do resultado da tarefa 4, bem como produções escritas de examinandos avaliadas nesses níveis na tarefa 4, independentemente do resultado da tarefa 3. Desse modo, apenas parte dos dados dos níveis Avançado Superior, Básico e Iniciante é referente ao desempenho dos examinandos nas duas tarefas de leitura e escrita. A tabela 1 apresenta os dados que compõem a seleção final das produções escritas analisadas neste trabalho:

Tabela 1 - Produções escritas selecionadas

Seleção dos dados

Níveis de proficiência Avançado

Superior Avançado

Intermediário

Superior Intermediário Básico Iniciante

T3 T4 T3 T4 T3 T4 T3 T4 T3 T4 T3 T4

Produções escritas de examinandos avaliados

com as mesmas notas nas tarefas 3 e 4

9 9 20 20 20 20 20 20 15 15 7 7

Produções escritas de examinandos avaliados

com as mesmas notas em apenas uma das

tarefas (3 ou 4)

11 11 - - - 5 5 13 9

Produções escritas por

tarefa 20 20 20 20 20 20 20 20 20 20 20 16

62

Produções escritas por

nível de proficiência 40 40 40 40 40 36

Total de produções

escritas 236

Fonte: Elaborado pela autora.

Uma vez selecionados os dados, os arquivos com as imagens escaneadas das produções escritas manuscritas dos examinandos foram copiados do banco de dados cedido pelo Inep. Para viabilizar a análise dos dados e evitar possíveis riscos relacionados à exposição dos participantes, como o constrangimento decorrente de uma possível identificação da autoria das produções escritas utilizadas nesta pesquisa, os textos foram digitados, mantendo-os fidedignos aos originais. Na amostra dos dados apresentados nesse trabalho, entretanto, foram substituídos elementos dos textos tais como nomes próprios, assinaturas, dados pessoais, de localização e quaisquer outros que pudessem vir a tornar possível a identificação dos textos, a fim de preservar a identidade dos participantes. Desse modo, a exposição pública dos dados cedidos pelo Inep segue os acordos estabelecidos através do termo de sigilo e compromisso, bem como contempla as diretrizes éticas para pesquisa. A partir da caracterização dos procedimentos adotados para a seleção de tarefas e produções escritas, a próxima seção delineia as perguntas que norteiam esta pesquisa e os objetivos que ela se propõe a cumprir.