AVALIAÇÃO DE TEXTOS NO PROCESSO SELETIVO DE UM CURSO PRÉ-VESTIBULAR

AVALIAÇÃO DE TEXTOS NO PROCESSO SELETIVO DE UM CURSO PRÉ-VESTIBULAR

TEXT ASSESSMENT IN THE SELECTION PROCESS OF A PREPARATORY COURSE FOR ENTRANCE EXAMINATION

Kaiane MENDEL1 RESUMO: Avaliações em larga escala como os exames vestibular e o Enem exercem alto impacto na educação brasileira, implicando na criação de instituições voltadas especificamente à preparação para tais exames. Nesse contexto, os cursos pré-vestibular de caráter popular, assim como as próprias universidades, não dispõem de vagas suficientes para todos os candidatos, o que exige uma sistemática de avaliação para distribuir as vagas. Isto posto, este artigo objetiva apresentar a elaboração de um instrumento e de parâmetros de avaliação para a prova de redação do processo seletivo de um curso pré-vestibular popular. Para tanto, com base na literatura da área de avaliação de proficiência, foram realizados os seguintes procedimentos: análise das provas de redação de processos seletivos anteriores e do edital do processo em vigência; elaboração de uma proposta de redação com instruções claras e de parâmetros de avaliação coerentes com tal instrumento; ajuste dos parâmetros com base em uma amostra de textos; avaliação da totalidade de textos. Os resultados da proposta apresentada neste trabalho contribuem para a implementação de uma avaliação mais válida e confiável no processo seletivo focalizado, bem como apresentam possibilidades de práticas de avaliação de textos neste e em outros contextos.

PALAVRAS-CHAVE: Prova de redação. Parâmetros de avaliação. Pré-vestibular. Exame Nacional do Ensino Médio.

ABSTRACT: Large-scale assessment such as entrance examinations and Enem have a high impact on Brazilian education, with implication on the creation of institutions that prepare students for these exams. In this context, considering that preparatory courses for entrance examinations which are focused on low-income students, and the universities themselves, do not have enough vacancies for all the candidates, an assessment system to distribute vacancies is needed. Therefore, this paper aims to present the design of an assessment tool and parameters for the composition test of the selection process of a preparatory course for entrance examination. For this purpose and based on the literature review of proficiency assessment, the following procedures were undertaken: analysis of previous composition tests and the current public notice; design of an assessment tool with clear instructions and consistent assessment parameters; parameters adjustment based on a sample of texts; evaluation of all the texts. The results of the proposal presented in this paper contribute to the implementation of a more valid and reliable assessment in the selection process under analysis, as well present possibilities of text assessment practices in this and other contexts.

KEYWORDS: Composition test. Assessment parameters. Preparatory course for entrance examination. National Secondary Education Examination.

1. Mestra em Linguística Aplicada no Programa de Pós-Graduação em Letras da Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre, Rio Grande do Sul, Brasil, bolsista da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). E-mail: kaiane.mendel@hotmail.com. ORCID ID: https://orcid.org/0000-0003-1839-8750.

Introdução2

O ato de avaliar se faz presente em uma diversidade de situações do nosso coti-diano, de modo que possamos realizar tomadas de decisão com base no que diagnos-ticamos. Em nossa sociedade, a avaliação, entretanto, tem se tornado cada vez mais relevante não pelo seu caráter diagnóstico, mas por ser um mecanismo classificatório. Nesse sentido, os testes têm sido apontados como instrumentos políticos e sociais de poder em práticas de inclusão e de exclusão, impactando na educação e na sociedade como um todo (SHOHAMY, 2006).

No contexto brasileiro, os testes para ingresso no ensino superior, tais como os vestibulares e, mais recentemente, o Exame Nacional do Ensino Médio (Enem), são re-presentativos do potencial de impacto das avaliações em larga escala, que, nesse caso, são decisivas para selecionar a quem caberão as vagas oferecidas pelas instituições de ensino superior. Assim, esses exames podem exercer efeitos retroativos nos proces-sos de ensino-aprendizagem, na elaboração de currículos e materiais didáticos, bem como nas atitudes de alunos, professores e instituições (ALDERSON; WALL, 1993; SCARAMUCCI, 2011). Cabe notar que, para além de impactar na Educação Básica, a existência dessas avaliações externas de alta relevância motivou a criação dos cursos pré-vestibular, instituições voltadas especificamente para a preparação para os testes. Neste cenário, surgem também os cursos pré-vestibular populares, que visam a opor-tunizar a preparação de estudantes que não dispõem de condições socioeconômicas, em uma tentativa de democratização do acesso ao ensino superior.3 _{Assim como as} próprias universidades, entretanto, esses cursos populares apresentam um número de vagas insuficiente em relação à demanda, fazendo-se necessária a realização de uma avaliação para selecionar os candidatos a alunos.

O contexto da pesquisa apresentada neste artigo é de um curso pré-vestibular popular localizado em Porto Alegre (RS) e gerido por uma organização estudantil de uma universidade federal. O curso oferece 240 vagas por ano, divididas em duas tur-mas com aulas de segunda à sexta, que são ministradas majoritariamente por alunos e ex-alunos de diferentes cursos da universidade. Ainda que seja voltado também à preparação para o Enem, a organização curricular do curso segue as disciplinas re-queridas no vestibular da Universidade Federal do Rio Grande do Sul, isto é, Biologia, Física, Geografia, História, Literatura, Matemática, Português, Química e Redação, além da opção por Inglês ou Espanhol como língua adicional.

O processo seletivo do pré-vestibular tem como público-alvo estudantes oriun-dos da rede pública de ensino e bolsistas da rede privada, preferencialmente. Elabora-2. Agradeço à Juliana Roquele Schoffen pela leitura e comentários feitos a uma primeira versão deste texto.

da pelos professores do curso, a prova de seleção é composta de vinte questões objetivas baseadas na Matriz de Referência do Enem4_{, sendo cinco questões de cada área do} co-nhecimento, além de um texto dissertativo com extensão entre 10 e 15 linhas. A corre-ção5 _{dos textos dos candidatos pré-classificados}6 _{é realizada por professoras de Língua} Portuguesa e de Redação do curso ao longo de uma semana. Visando à relevância do resultado desse processo seletivo para os candidatos, bem como às condições práticas da avaliação dos textos produzidos nesse contexto, este artigo apresenta a elaboração de um instrumento e de parâmetros de avaliação para a prova de redação do processo seletivo ocorrido no primeiro semestre de 2018 no curso pré-vestibular em questão.

A primeira seção deste artigo oferece um panorama dos estudos da área de avaliação de proficiência, introduzindo o leitor aos principais conceitos que embasam a proposta apresentada. Em seguida, são explicitados o corpus de pesquisa e os procedi-mentos metodológicos empreendidos. As seções posteriores apresentam o instrumento e os parâmetros de avaliação propostos, encaminhando a discussão dos resultados, que é feita com base em uma amostra dos textos avaliados. Por fim, são apresentadas algu-mas considerações relevantes para o desenvolvimento de pesquisas futuras.

1. Referencial teórico

Cada vez mais, uma variedade de metodologias para o ensino-aprendizagem de línguas tem sido proposta por especialistas e, pouco a pouco, são adotadas em diferentes contextos. A avaliação, entretanto, nem sempre caminha lado a lado com essas novida-des; seja pelas exigências institucionais ou pelos efeitos retroativos dos exames em larga escala, normalmente, a avaliação não vai além de conferir uma nota ao aluno, funcio-nando apenas como classificatória. Em contextos de sala de aula, entretanto, a avaliação configura-se como uma tomada de decisão (LUCKESI, 1996), visto que o seu resultado é produtivo para que se redirecionem as práticas de ensino. A avaliação da aprendizagem, nesse sentido, é sempre diagnóstica, mesmo quando utilizada para fins classificatórios.

Em certa medida, os exames em larga escala tais como os vestibulares e o Enem influenciam na preocupação escolar em relação aos resultados das avaliações, dados os efeitos retroativos de tais testes. As discussões sobre efeitos retroativos, ainda que não sejam consensuais, remontam ao trabalho de Alderson & Wall (1993), que sistematiza a noção de que a avaliação em larga escala influencia as práticas de ensino. Posterior-4. Disponível em: http://download.inep.gov.br/download/enem/matriz_referencia.pdf.

5. Neste artigo, avaliação e correção, bem como avaliador e corretor, são entendidos como sinônimos.

mente, Scaramucci (2004) apresenta um estado da arte sobre a questão, abordando também o contexto brasileiro. Nesse sentido, a pesquisa da autora acerca dos efeitos retroativos do vestibular da Universidade de Campinas no ensino de inglês exemplifica a complexa relação entre testes e a sala de aula (Scaramucci, 1999). Guedes, Fischer e Simões (2000), por sua vez, apontam para os efeitos retroativos negativos da ausência da redação no Concurso Vestibular da Universidade Federal do Rio Grande do Sul, ao longo da década de 1970.

Apesar das relações existentes entre avaliação em larga escala e avaliação de sala de aula, seus propósitos são distintos. Weigle (2002) distingue três tipos de inferências que podem ser realizadas a partir de testes de língua, a saber: proficiência, o conhe-cimento que o candidato tem da língua; diagnóstico, o que ele já sabe e o que ainda precisa aprender; rendimento, os aprendizados ao longo de um dado período. No caso da prova de redação dos vestibulares e do Enem - uma avaliação de proficiência em que pese a atribuição de uma nota para ranquear aqueles que se submetem ao teste - alguns procedimentos específicos se fazem necessários, como a escolha do tipo de teste e de parâmetros de avaliação utilizados.

As provas de redação constituem-se como o que convencionou-se chamar de avaliação de desempenho, em que os candidatos são avaliados a partir de sua perfor-mance em uma produção (BACHMAN, 2002). Neste sentido, pode-se estabelecer tam-bém um contraste entre testes indiretos, que testam a escrita a partir de questões de gramática e de uso, e testes diretos, nos quais o candidato precisa efetivamente produ-zir uma amostra de escrita. Cabe notar que os testes diretos são apontados como mais utilizados, seja em avaliações de língua materna ou de língua adicional (WEIGLE, 2002), seja em testes de proficiência ou avaliações de rendimento.

Para a concepção e desenvolvimento de uma avaliação, Bachman & Palmer (1996) propõem seis qualidades que devem ser levadas em conta, considerando-se, para tanto, os propósitos do teste: confiabilidade, validade de construto, autenticida-de, interatividaautenticida-de, impacto e praticidade. Weigle (2002, p. 48) observa que “ainda que essas qualidades sejam todas importantes, é preciso enfatizar que é praticamente im-possível maximizar todas elas. Em especial, a praticidade, ou a quantidade de recursos disponíveis, é um fator limitante, e requer priorização entre as outras qualidades”7_.

Em relação à elaboração de tarefas, White (1994 apud WEIGLE 2002) aponta alguns requisitos mínimos para as tarefas de escrita, como a clareza do enunciado e o interesse dos autores e leitores no assunto abordado. Além disso, o autor reitera a importância da validade e da confiabilidade, conceitos amplamente difundidos na 7. A tradução é de responsabilidade da autora. Citação original: “While these qualities are all important, it must be emphasized that it is virtually impossible to maximize all of them. In particular, practicality, or the amount of available

área de avaliação de proficiência. Em Chapelle (1999), é possível verificar os diferentes entendimentos acerca do conceito de validade entre as décadas de 1960 e 1990, culmi-nando na centralidade da noção de validade de construto, alcançada quando um teste avalia a habilidade que se propõe a avaliar. Posto que a confiabilidade de um exame evidencia sua validade (SCARAMUCCI, 2011), os testes de desempenho exigem maior atenção em relação a procedimentos confiáveis, de modo a minimizar os fatores exter-nos ao teste e avaliar uniformemente o construto que se está testando.

Outra decisão importante a ser considerada na avaliação de textos são os parâ-metros que guiam o processo de correção, que podem ser de natureza analítica ou ho-lística, e, em muitos contextos, um mesmo texto é avaliado a partir de ambos os tipos de parâmetros (WEIGLE, 2002). Enquanto os parâmetros analíticos apresentam diferentes critérios, que são avaliados separadamente, nos holísticos, o avaliador atribui uma única nota, considerando, para tanto, o texto como um todo. Por conseguinte, a opção por pa-râmetros holísticos ou analíticos depende fundamentalmente dos objetivos da avaliação.

2. Metodologia

Este estudo objetiva apresentar uma proposta para a avaliação de textos no processo seletivo de um curso pré-vestibular popular. Para tanto, o instrumento e os parâmetros de avaliação são elaborados a partir do seguinte corpus: a) duas provas de redação de processos seletivos anteriores da instituição; b) edital do processo seletivo; c) documento Redação no Enem 2017 - Cartilha do Participante; d) 545 textos produzi-dos pelos candidatos.

Primeiramente, foram discutidas as provas de redação anteriores, bem como o edital do processo seletivo, a fim de que o instrumento e os parâmetros de avaliação apresentados neste artigo fossem válidos quanto ao que é institucionalmente esperado. Além disso, visto que as questões objetivas do processo seletivo seguem a Matriz de Referência do Enem, as orientações da Redação no Enem 2017 - Cartilha do Participante foram consideradas para a proposta de avaliação apresentada neste trabalho.

Uma vez identificadas as exigências do processo seletivo, elaborou-se uma pro-posta de redação com instruções claras, considerando-se o público-alvo e os objetivos deste instrumento. A seguir, propomos parâmetros de avaliação para o instrumento elaborado, tendo em vista tanto as orientações da área de avaliação quanto a pratici-dade necessária ao trabalho dos avaliadores. Após a realização da prova pelos candi-datos, empreendeu-se a leitura e discussão conjunta de uma amostra dos textos, a fim de realizar o ajuste dos parâmetros de avaliação. O último procedimento consistiu na

Por limitações de extensão, foram selecionados textos representativos para exemplificar os níveis dos parâmetros de avaliação e ilustrar a aplicação do instru-mento proposto neste trabalho. Os textos reproduzidos neste artigo foram trans-critos mantendo-se fidedignos aos originais, o que inclui possíveis inadequações realizadas pelos candidatos.

3. O instrumento de avaliação

As provas de redação dos processos seletivos de 2017-1 e 2017-2 aplicadas no curso pré-vestibular focalizado versam sobre o universo escolar e o papel do celular, respectivamente. Ambas as provas forneceram aos candidatos um breve parágrafo que apresentava uma reflexão sobre a temática, seguida de uma pergunta e algumas ins-truções, e exigindo um parágrafo dissertativo de 7 a 10 linhas. O edital do processo seletivo de 2018-1 prevê a manutenção do tipo dissertativo, o que contribui para a va-lidade da avaliação, visto que se assemelha ao que é exigido nas redações de vestibula-res e do Enem, contextos de aprovação almejados pelo curso pré-vestibular. Por outro lado, o processo seletivo do curso não apresenta as mesmas exigências das práticas de avaliação em larga escala no que tange ao texto solicitado, visto que que o edital de 2018 prevê a escrita de um texto com extensão entre 10 e 15 linhas.

As escolhas metodológicas da proposta apresentada neste trabalho foram pau-tadas em um equilíbrio das seis qualidades elencadas por Bachman & Palmer (1996) mencionadas anteriormente. Desse modo, as instruções quanto à extensão do texto solicitado reforçam as limitações impostas pela praticidade. Além disso, o número de avaliadores disponíveis - quatro professoras de Redação e de Português do curso8 _{- e o} tempo disponibilizado para a correção – cinco dias – também foram determinantes na elaboração do instrumento de avaliação.

Visando à validade de construto do processo seletivo, que se diz embasado pe-las provas objetivas do Enem, o instrumento de avaliação aqui proposto também foi elaborado tendo em vista a prova de redação de tal exame. Desse modo, oferecemos, para leitura, um texto motivador mais longo do que os dos processos seletivos anterio-res, a fim de fornecer mais subsídios para os pontos de vista passíveis de escolha pelo candidato. Por outro lado, a extensão do texto solicitado figura novamente como uma limitação do instrumento de avaliação, uma vez que, diferentemente do que acontece no Enem, o candidato não tem espaço suficiente para desenvolver uma proposta de intervenção social para o problema apresentado nas 15 linhas que lhe são concedidas. 8. Agradeço à Luiza Laguna Rodrigues, Izadora Chagas Troian e Natália Pacheco Silveira pela parceria na

Determinou-se de antemão, portanto, que o instrumento não poderia contemplar a competência 5 do Enem, que trata da proposta de intervenção social9_.

Ao longo da busca por textos motivadores, privilegiou-se uma temática atual, a fim de que esta fosse acessível aos candidatos. Além disso, considerou-se o caráter diagnóstico dessa avaliação, de modo que os textos produzidos se prestassem não apenas ao propósito classificatório do processo seletivo, mas também servissem como um ponto de partida para as professoras no que tange às concepções de língua dos futuros alunos do curso. Isto posto, elegeu-se o texto O WhatsApp e o analfabetismo

funcional10 _{como texto de insumo, devido ao seu potencial de motivar uma discussão} que relacionasse o uso das redes sociais - questão atual e próxima do público-alvo do curso - e a capacidade de leitura dos brasileiros - sendo, esta última, uma temática cara ao diagnóstico almejado pelas professoras.

Uma vez escolhido o texto oferecido para leitura, a proposta de redação foi elaborada tendo em vista instruções claras quanto ao que era esperado nos textos dos candidatos. Assim, logo após o texto de insumo, disponibilizou-se uma contextuali-zação da temática, que encaminhava a pergunta que os candidatos precisavam res-ponder. Além da pergunta, que visava ao direcionamento da produção da redação, o instrumento de avaliação elencava as ações que o candidato precisava cumprir ao longo do texto. Por fim, foram delimitadas algumas instruções que, se não seguidas, justificariam a atribuição de nota 0 ao candidato. Isto posto, o quadro 1 apresenta o instrumento de avaliação elaborado:

Quadro 1 - Instrumento de avaliação

O texto de Luiz Felipe de Alencastro relaciona o analfabetismo funcional e o crescimento dos meios digitais de comunicação. Tal questão é controversa: há quem defenda e há quem condene o uso de internet. A partir da leitura do texto, elabore um texto dissertativo de modo a responder:

O uso da internet, por meio das redes sociais, tem prejudicado ou contribuído para a capacidade de leitu-ra dos bleitu-rasileiros?

Para desenvolver seu texto, você deve assumir um ponto de vista, justificando sua opinião de maneira bem fun-damentada, com argumentos que sustentem seu posicionamento.

Instruções:

1. Escreva um texto dissertativo respondendo à pergunta da proposta de redação; 2. Seu texto deve ter extensão mínima de 10 linhas e máxima de 15 linhas; 3. Utilize lápis apenas em rascunho. Ao passar a limpo, utilize caneta.

Fonte: Elaborado pela autora.

9. De acordo com Redação no Enem 2017 - Cartilha do Participante, a competência 5 consiste em “Elaborar proposta de intervenção para o problema abordado, respeitando os direitos humanos”.

https://noticias.uol.com.br/blogs-e-colunas/coluna/luiz-felipe-alencastro/2016/12/07/o-whatsapp-4. Os parâmetros de avaliação

Como anteriormente explicitado, dada a aproximação entre o processo seletivo do curso pré-vestibular e a avaliação realizada pelo Enem, os parâmetros de avaliação elaborados para esta proposta consideraram os critérios apresentados em Redação no

Enem2017 - Cartilha do Participante. A leitura deste documento forneceu subsídios para a

descrição de parâmetros de avaliação voltados a uma prova de redação que visa à produ-ção de um texto dissertativo. Nesse sentido, foram levadas em conta as quatro primeiras competências avaliadas no Enem, pois, conforme já explicitado, os candidatos teriam dificuldades de realizar a competência 5, dadas as limitações de extensão do texto: Quadro 2 - Competências avaliadas na redação do Enem

Fonte: Redação no Enem 2017 - Cartilha do Participante.

Os critérios que constituem as competências do Enem são avaliados separada-mente: para cada competência, o avaliador precisa atribuir um nível, com notas que variam de 0 a 200; ao final, as notas dessas cinco competências são somadas. Tais in-formações sobre o processo de avaliação realizado pelo Enem, portanto, são suficientes para entendermos que esta se trata de uma avaliação analítica, com a atribuição de notas distintas para cada critério.

Os parâmetros de avaliação propostos neste artigo, entretanto, foram elabo-rados considerando-se as especificidades de um determinado contexto. Desse modo, dado que as demais provas do processo seletivo resultam em notas de 0 a 5, a avaliação da redação também deveria adequar-se a esse padrão. Portanto, elaborou-se parâme-tros com níveis de 0 a 5, de modo que não seria necessário nenhuma conversão das

notas para os fins do processo seletivo. Para além da escolha por atribuir as notas tal como acontece nas demais provas, os parâmetros foram elaborados tendo em vista as condições práticas em que a avaliação aconteceria - pouca disponibilidade de tempo e de avaliadores. Dessa maneira, a opção por parâmetros de avaliação holísticos apresen-tou-se como mais adequada aos propósitos desta avaliação.

A descrição dos parâmetros de avaliação de forma holística, em 5 níveis distin-tos, foi baseada nos parâmetros de avaliação da Parte Escrita do Certificado de Profici-ência em Língua Portuguesa para Estrangeiros (Celpe-Bras), bem como nas propostas de Dilli, Schoffen & Schlatter (2012) e de Sirianni (2016). Assim, foram privilegiados os aspectos relativos à realização das ações solicitadas na prova de redação; um texto que não responde à pergunta da proposta de redação, portanto, não é bem avaliado, ainda que demonstre domínio da modalidade escrita formal da língua portuguesa. Isto pos-to, os parâmetros de avaliação elaborados são apresentados no quadro 3:

Quadro 3 - Parâmetros de avaliação

NÍVEL DESCRITOR

5

Escreve um texto dissertativo que responde à pergunta da proposta de redação de forma clara, assu-mindo um ponto de vista ao defender que a internet, por meio das redes sociais, prejudica OU contri-bui para a capacidade de leitura dos brasileiros. Justifica sua opinião de maneira bem fundamentada, apresentando informações, fatos e argumentos consistentes e organizados que sustentam seu posicio-namento de modo autoral. Articula bem as partes do texto, fazendo uso de repertório diversificado de recursos coesivos. Demonstra excelente domínio dos recursos linguísticos próprios à modalidade escrita formal da língua portuguesa, apresentando raras inadequações que não comprometem o texto.

4

Escreve um texto dissertativo que responde à pergunta da proposta de redação, assumindo um pon-to de vista ao defender que a internet, por meio das redes sociais, prejudica OU contribui para a capacidade de leitura dos brasileiros. Justifica sua opinião de maneira bem fundamentada, apresen-tando informações, fatos e argumentos organizados que sustentam seu posicionamento com indícios de autoria. Articula as partes do texto, fazendo uso de repertório diversificado de recursos coesivos. Demonstra bom domínio dos recursos linguísticos próprios à modalidade escrita formal da língua portuguesa, apresentando raras inadequações.

3

Escreve um texto dissertativo que responde parcialmente à pergunta da proposta de redação, não assumindo um ponto de vista claro ao defender, com algumas inconsistências, que a internet, por meio das redes sociais, prejudica OU contribui para a capacidade de leitura dos brasileiros. Justifica sua opinião de maneira previsível e/ou limitada, apresentando informações, fatos e argumentos pouco or-ganizados para sustentar seu posicionamento. Articula as partes do texto com inadequações, fazendo uso de repertório pouco diversificado de recursos coesivos. Demonstra domínio dos recursos linguísticos próprios à modalidade escrita formal da língua portuguesa, apresentando algumas inadequações.

2

Escreve um texto dissertativo que responde parcialmente à pergunta da proposta de redação, não assumindo um ponto de vista claro ao defender, de forma inconsistente e/ou contraditória, que a in-ternet, por meio das redes sociais, prejudica OU contribui para a capacidade de leitura dos brasileiros. Justifica sua opinião de maneira previsível e/ou limitada, apresentando informações, fatos e argumen-tos desorganizados e/ou limitados ao texto motivador da proposta para sustentar seu posicionamento. Articula as partes do texto com muitas inadequações, fazendo uso de repertório limitado de recursos coesivos. Demonstra pouco domínio dos recursos linguísticos próprios à modalidade escrita formal da língua portuguesa, apresentando várias inadequações.

1

Escreve um texto com traços constantes de outros tipos textuais e/ou que tangencia a pergunta da proposta de redação, não assumindo um ponto de vista para defender que a internet, por meio das redes sociais, prejudica OU contribui para a capacidade de leitura dos brasileiros. Não justifica sua opinião de maneira consistente, apresentando informações, fatos e argumentos pouco relacionados ao tema e/ou incoerentes para sustentar seu posicionamento. Articula as partes do texto com muitos problemas de coesão e demonstra domínio precário dos recursos linguísticos próprios à modalidade escrita formal da língua portuguesa, apresentando inadequações frequentes e variadas.

0

Não escreve um texto dissertativo e/ou não responde à pergunta da proposta de redação, fugindo totalmente do tema proposto. E/ou não assume um ponto de vista e/ou não justifica sua opinião, apresentando informações, fatos e argumentos insuficientes para sustentar seu posicionamento e/ou copia integralmente o texto motivador da proposta e/ou outros textos apresentados na prova. E/ou não articula as partes do texto e/ou demonstra desconhecimento dos recursos linguísticos próprios à modalidade escrita formal da língua portuguesa. E/ou escreve trecho desconectado do tema propos-to, e/ou em língua estrangeira e/ou impropérios, faz desenhos e outras formas propositais de anula-ção. E/ou escreve um texto à lápis e/ou fora da folha de redação e/ou com extensão inferior a dez ou superior a quinze linhas. E/ou escreve um texto que desrespeita os direitos humanos.

Fonte: Elaborado pela autora.

5. Resultados e discussão

Esta seção discute os resultados da avaliação realizada a partir do instrumento e dos parâmetros propostos. Para tanto, são apontadas algumas características gerais dos textos de cada nível, bem como um exemplo de texto. Ainda que o processo de treinamento dos avaliadores e de correção dos textos esteja fora do escopo deste artigo, cabe registrar que a média geral da avaliação dos textos foi de 1,93 pontos, visto que as notas ficaram bastante concentradas nos níveis 1 e 2.

Dentre os 545 textos avaliados, atribuiu-se o nível 5 a apenas 14 deles. Tais tex-tos se diferenciaram dos demais por sintetizarem uma opinião clara e coerente,

articu-ser avaliados como de nível 5, desde que estas não prejudicassem a compreensão, como no caso do exemplo apresentado a seguir:

Quadro 4 - Texto de nível 5

Desde a Terceira Revolução Industrial, o mundo tem se adaptado às atuais tecnologias. Com isso, o uso da internet por meio das redes sociais, se usado de maneira eficiente, pode ser considerado como um ótimo incentivo para que haja maior capacidade de leitura entre os brasileiros.

No Brasil, a prática de leitura é rara, mas os brasileiros usam o meio virtual para se inteirar das notícias e para pôr em prática leituras derivadas de livros, revistas, textos digitalizados. Dessa maneira, esse uso é consi-derado um bônus para os jovens se forem bem instruídos, porque ter um aconselhamento de como utilizar desse meio melhora o desempenho de leitura dos brasileiros.

Portanto, para que esse uso seja benéfico para a sociedade, os jovens devem receber informações e instruções de como fazer bom uso da internet. Assim, haverá grandes benefícios para a melhor capacidade de leitura mesmo que este recurso não seja o meio tradicional, mas sim inovador decorrente da geração tecnológica que vivemos

Este texto responde à pergunta da proposta de redação, pois assume um ponto de vista claro ao longo dos parágrafos, reiterando, ao final, que o uso da internet pode contribuir para a capacidade de leitura dos brasileiros. A opinião do autor é bem fun-damentada, pois ele articula diferentes informações para sustentar seu posicionamento, realizando uma contextualização histórica no primeiro parágrafo e mobilizando elemen-tos do texto de insumo no segundo e no terceiro ao relacionar leitura e uso da internet à instrução dos jovens. O texto é bem articulado, demonstrando repertório diversificado de recursos coesivos e domínio dos recursos linguísticos adequados. No último parágra-fo, há alguns problemas de uso de pontuação, mas estes não comprometem o texto.

Em relação ao nível 4, 51 dos 595 textos avaliados foram considerados deste nível, dentre os quais alguns elencavam menos argumentos para defesa do ponto de vista e outros apresentavam mais inadequações linguísticas se comparados aos textos de nível 5. Tais critérios foram determinantes, portanto, para diferenciar tais níveis. O quadro abaixo exemplifica um texto avaliado com nota 4:

Quadro 5 - Texto de nível 4

O uso da internet, nos dias atuais, tem sido de grande valia. Tanto os jovens quanto os mais velhos tem acesso a um computador ou celular e os utilizam para conectar-se com as pessoas, com as notícias, com o entre-tenimento e com as oportunidades.

A capacidade de leitura dos brasileiros, vem crescendo com o auxílio das redes sociais, pois quando um amigo compartilha um site de notícias, pesquisas ou matérias significantes, o interesse em continuar entendendo e pesquisando mais sobre os assuntos apresentados é considerável.

Sendo assim, é possível encontrar leituras relevantes, com conteúdo estruturado e que transforme o leitor em um ser pensante, crítico e inquieto, além do mais, o vocabulário e novas visões de mundo são ampliados, trazendo benefícios cognitivos e intelectuais ao leitor.

De modo semelhante ao anterior, este texto responde à pergunta da proposta de redação, assumindo que a internet, por meio das redes sociais, contribui para a capacidade de leitura dos brasileiros. O autor justifica sua opinião ao apresentar, de modo organizado, alguns fatos da vida cotidiana, como nos dois parágrafos iniciais. O texto é articulado, apresentando repertório diversificado de recursos coesivos e bom domínio dos recursos linguísticos, mas com mais inadequações do que o texto anterior.

O nível 3, por ser um nível intermediário, reúne redações com características diversas, que totalizaram 88 textos de acordo com nossa avaliação. A maioria dos tex-tos avaliados nesse nível apresenta uma argumentação superficial, não assumindo um ponto de vista claro, como no exemplo exposto a seguir:

Quadro 6 - Texto de nível 3

Assim como é exposto em diversos episódios da série Black Mirror, a tecnologia pode, sim, representar perigos. Mas será o uso da internet e redes sociais prejudiciais por si próprio?

As redes sociais, atualmente, apresentam diversos meios de troca de informações, seja por bate-papos, páginas ou grupos. Obviamente, há a possibilidade de que se passe horas incontáveis rolando as páginas do “feed” de notícias ou trocando mensagens cheias de abreviações. Entretanto, as mesmas redes sociais apresentam a (criação) possibilidade de criação de grupos de estudos e possuem páginas com enfoque na literatura e cultura em geral, as quais vêm tomando espaço no ambiente virtual e representam um atrativo incentivo à leitura.

Não se pode adotar uma visão maniqueísta ao debater o assunto, pois as redes sociais são apenas meios de transporte de informações que nós mesmos produzimos e consumimos. Seu valor benéfico é delimitado por nós.

O texto que exemplifica o nível 3 responde parcialmente à pergunta da pro-posta de redação, uma vez que não assume um ponto de vista claro e o defende com algumas inconsistências. No segundo parágrafo, o autor parece apresentar um contra-ponto do uso das redes sociais (de um lado, trocar mensagens cheias de abreviações; de outro, incentivo à leitura), mas não esclarece de que modo isso contribui ou não para a capacidade de leitura dos brasileiros. O autor justifica sua opinião de maneira limitada, visto que, ainda que ele contextualize informações já no início do texto, ao mencionar os episódios de uma série, tais argumentos são pouco organizados e não contribuem para que ele sustente seu posicionamento. Ainda que o texto seja mais bem articulado do que está previsto para o nível 3 e faça uso de repertório diversificado de recursos coesivos, isto não é suficiente para que ele seja melhor avaliado. Além disso, algumas escolhas vocabulares são inadequadas, a exemplo do contraste de formalidade entre “rolando as páginas do ‘feed’” e “adotar uma visão maniqueísta”.

De modo geral, os 162 textos avaliados como nível 2 apresentam problemas se-melhantes aos de nível 3, mas com inadequações mais frequentes. Assim como o texto que exemplifica este nível, a maioria deles trata do uso de redes sociais e de leitura,

argumentando de modo insuficiente e/ou apresentando problemas de articulação que comprometem a realização das ações solicitadas:

Quadro 7 - Texto de nível 2

Os livros, foram substituidos pelas telas. Os grandes romances, por mensagens em redes sociais. O mun-do digital é o grande meio de leitura mun-dos jovens atualmente e vem trazenmun-do certa insegurança para a sociedade. Segundo pesquisas, nunca se leu tanto como nos dias de hoje. As redes sociais remetem uma leitura constante, de frases à textos. Além disso, a internet leva muito mais conhecimento, através de um maior e mais rapido acesso a informações.

Porém o uso inadequado de certas “feramentas online”, acaba trazendo uma maior dificuldade de interpretação.

Segundo (dados) os dados expostos, a Secretaria da Educação deveria, investir em um ensino aonde o aparelho eletronico traga beneficios para a leitura.

O texto exemplificado acima responde parcialmente à proposta de redação, pois não assume um ponto de vista claro, defendendo-o de forma inconsistente e contra-ditória: enquanto o segundo parágrafo parece defender que a internet contribui para a capacidade de leitura dos brasileiros, o terceiro aponta para o oposto; o parágrafo final, por sua vez, demonstra uma tentativa de “solução” para a questão discutida, mas de modo desconectado com o restante do texto. Desse modo, a opinião do autor é jus-tificada de maneira limitada, pois são apresentadas informações, fatos e argumentos desorganizados. Além disso, há muitas inadequações na articulação entre as partes do texto, que apresenta um repertório de recursos coesivos limitados e demonstra pouco domínio dos recursos linguísticos apropriados, apresentando inadequações variadas.

O nível 1 concentra o maior número de textos avaliados no processo seletivo, a saber, 195. Os descritores deste nível previam textos que tangenciassem a pergunta da proposta de redação, o que foi determinante para a recorrência de textos avaliados neste nível. Muitos candidatos argumentaram apenas sobre o uso da internet e de re-des sociais e/ou sobre os reflexos da tecnologia na escrita, que estaria se tornando mais “informal”, “cheia de gírias e abreviaturas”, de modo que textos que nem sequer men-cionavam a capacidade de leitura foram avaliados neste nível. O quadro 8 apresenta um exemplo típico de texto do nível 1:

Quadro 8 - Texto de nível 1

Dados do Pisa mostraram uma estagnação no conhecimento dos adolescentes brasileiros entre os anos de 2009 e 2015, onde o uso da internet se tornou mais frequente. Visando a situação demonstrada, podemos constatar que o uso da internet poderia estar prejudicando jovens brasileiros, porém o principal problema são as plataformas sociais onde não é exigido o português correto e o compartilhamento de informações enganosa também é presente. A internet, de fato, é prejudicial quando usada de forma indevida, porém não é a única cul-pada nos problemas apresentados, a escola também deve fazer seu papel estimulando os alunos a procurarem informações e tornarem isso divertido e não apenas uma obrigação.

Este texto se aproxima de um texto dissertativo, mas tangencia a pergunta da proposta de redação; apesar de abordar o conhecimento dos jovens e os conteúdos que circulam na internet, ele não assume um ponto de vista acerca da relação entre o uso das redes sociais e a capacidade de leitura dos brasileiros. Assim, o autor também não justifica sua opinião de maneira consistente para sustentar seu posicionamento, visto que apresenta informações, fatos e argumentos pouco relacionados ao tema. Há muitos problemas de coesão ao longo do texto, como o uso de pontuação e de conectivos. O texto apresenta inadequações menos frequentes e variadas do que o texto de exemplo do nível 2, mas isso não é suficiente para que ele seja mais bem avaliado, visto que tan-gencia à pergunta da proposta de redação.

Por fim, 35 textos foram avaliados como de nível 0. Dentre as diversas possibili-dades previstas nos parâmetros, destaca-se que cerca de um terço dos textos avaliados nesse nível ultrapassaram o número de linhas previstas; por outro lado, não se regis-trou nenhum texto com número insuficiente de linhas. Entre os textos avaliados nesse nível, também estão aqueles que apresentam problemas de adequação ao tipo disserta-tivo e ao tema proposto, tal como o exemplo abaixo:

Quadro 9 - Texto de nível 0

O descabido e desenfreado uso da internet e redes sociais vem diariamente contribuindo para o “embur-recimento” do povo como um todo, e não só os jovens como se imagina.

A prova incontestável disto, nos foi dada recentimente quando uma das “gigantes” de notícias do mundo, The New York Times, teve que se retratar de anos de falsas notícias dadas por um “correspondente” brasileiro que não passa de um perfil falso na rede!

Convenhamos, culpar a era digital por tais erros e situações me parece um tanto quanto medíocre! Que tal desenvolvermos senso crítico e voltamos a era do olho no olho ao invés do olho na tela?

Este texto se distancia do que é esperado pela proposta em diferentes critérios, visto que, dado seu caráter crítico e abstrato, não se configura como dissertativo e foge totalmente do tema proposto. Por isso, não é possível identificar um ponto de vista e a defesa de uma opinião sobre a relação entre o uso das redes sociais e a capacidade de leitura. Além disso, as partes do texto são desarticuladas, com diversas inadequações coesivas e linguísticas.

Considerações finais

A proposta de avaliação de textos apresentada neste artigo contribuiu para a validade e a confiabilidade da avaliação das redações do processo seletivo de um curso

ções claras, bem como parâmetros de avaliação para este instrumento. A média geral das notas aponta para a alta exigência do processo avaliativo, o que não traz prejuízos ao contexto do curso pré-vestibular, pois os critérios de avaliação foram previamente estabelecidos considerando-se o instrumento de avaliação, e posteriormente aplicados a todos os candidatos. Além disso, não havia uma nota de corte para aprovação na redação, isto é, o processo seletivo classificava os candidatos de acordo com a concor-rência com os demais, não exigindo um desempenho mínimo na redação. Desse modo, o instrumento e os parâmetros de avaliação propostos satisfizeram as necessidades do contexto em questão, possibilitando uma seleção de alunos para o curso pré-vestibular que considerasse o desempenho dos candidatos em uma prova de redação.

Ainda que este artigo não verse sobre a atuação dos avaliadores durante o even-to de correção, cabe registrar que, dadas as condições práticas da avaliação, cada texeven-to foi lido por um único corretor apenas. Por outro lado, como a correção aconteceu presencialmente, foi possível realizar leituras e análises conjuntas de textos ao longo do processo de correção, principalmente quando o nível de um texto suscitava dúvidas para aquele que o avaliava. Para aumentar a confiabilidade do processo seletivo, seria importante que cada texto fosse avaliado por pelo menos dois avaliadores, havendo um terceiro para o caso de discrepância de notas atribuídas. Nesse sentido, pesquisas futuras sobre treinamento dos avaliadores e sobre o uso dos parâmetros de avaliação também poderiam fornecer subsídios para um processo de avaliação mais confiável. Além disso, outra alteração importante diz respeito à alteração de condições práticas (número de avaliadores e tempo disponibilizado para a avaliação), que permitam uma maior extensão do texto solicitado pelo instrumento de avaliação, visto que candidatos e avaliadores não estão habituados, respectivamente, à escrita e à correção de textos dissertativos com até 15 linhas, o que pode ter refletido no desempenho dos candida-tos, bem como no nível de exigência da correção.

As limitações deste estudo, contudo, não invalidam a avaliação realizada, visto que, dentro dos recursos disponíveis, elaborou-se um instrumento com parâmetros de avaliação padronizados. Por conseguinte, esta proposta pode fornecer subsídios para práticas de avaliação a serem realizadas futuramente no processo seletivo do curso pré--vestibular aqui referido. Este estudo também tem implicações para outros contextos de ensino-aprendizagem de línguas, fomentando a realização de avaliações de texto mais bem informadas. Por fim, reitera-se que as escolhas relativas a um determinado teste dependem sempre dos propósitos da avaliação que se quer realizar, bem como das condições práticas do contexto onde ela vai ser operacionalizada.

Referências

ALDERSON, Charles J.; WALL, Dianne. Does washback exist?. Applied Linguistics, v. 14, n. 2, p. 115-129, 1983.

BACHMAN, Lyle. F. Some reflections on task-based language performance assessment. Language

Test-ing, Londres, v. 19, n. 4, p. 453–476, 2002.

BACHMAN, Lyle. F.; PALMER, Adrian S. Language testing in practice: Designing and developing useful language tests. Oxford: Oxford University Press, 1996.

BRASIL. Redação no Enem 2017 - Cartilha do Participante. Brasília: Ministério da Educação, 2017. CHAPELLE, Carol A. Validity in language assessment. Annual Review of Applied Linguistics, Cam-bridge, v. 19, n. 1, p. 254-272, 1999.

DILLI, Camila; SCHOFFEN, Juliana Roquele; SCHLATTER, Margarete. Parâmetros para a avaliação de produção escrita orientados pela noção de gênero do discurso. In: SCHOFFEN, Juliana Roquele; KUN-RATH, Simone Paula; ANDRIGHETTI, Graziela Hoerbe; SANTOS, Letícia Grubert dos. (orgs.).

Portu-guês como língua adicional: reflexões para a prática docente. Porto Alegre: Bem Brasil, 2013. p. 169-197.

GUEDES, Paulo Coimbra; FISCHER, Luís Augusto; SIMÕES, Luciene Juliano. O paradigma de ava-liação da redação na UFRGS. In: PAIVA, Maria da Graça G.; BRUGALLI, Marlene (orgs.). Avaava-liação: novas tendências, novos paradigmas. Porto Alegre: Mercado Aberto, 2000. p. 79-103.

LUCKESI, Cipriano C. Avaliação da aprendizagem: componente do ato pedagógico. São Paulo: Cortez, 2011.

SCARAMUCCI, Matilde V. R. Vestibular e ensino de língua estrangeira (inglês) em uma escola públi-ca. Trabalhos em Linguística Aplicada, Campinas, v. 34, n. 1, p. 7-20, 1999.

_______. Efeito retroativo da avaliação no ensino/aprendizagem de línguas: o estado da arte. Trabalhos em

Linguística Aplicada, Campinas, v. 43, n. 2, p. 203-226, 2004.

_______. Validade e consequências sociais das avaliações em contextos de ensino de línguas. Linguarum

Arena, Porto, v. 2, p. 103-120, 2011.

SHOHAMY, Elana. Language Policy: Hidden agendas and new approaches. London: Routledge, 2006. SILVA, Eduardo C. H.; SILVA, Bárbara V. G. Entre o ensino médio e o superior: as escolhas profis-sionais dos jovens de um cursinho pré-vestibular popular de Porto Alegre, Rio Grande do Sul. Revista

Educação Popular, Uberlândia, v. 15, n. 2, p. 35-48, jul./dez. 2016.

SIRIANNI, Gabrielle Rodrigues. Descrição dos níveis de proficiência em tarefa de leitura e escrita a partir de

produções textuais de alunos do curso Preparatório Celpe-Bras. Trabalho de Conclusão de Curso

(Licencia-tura em Letras) - Universidade Federal do Rio Grande do Sul, Porto Alegre, 2016.