Trabalhos publicados sobre o Celpe-Bras

No contexto do exame Celpe-Bras, algumas pesquisas vêm sendo realizadas em relação à avaliação oral. Por exemplo, Schoffen (2003) analisou 12 entrevistas de examinandos falantes de espanhol com o intuito de descrever detalhadamente o desempenho deles nas interações face a face do exame Celpe-Bras, apontando características da sua proficiência. A pesquisadora procurou, também, saber de que maneira a grade de avaliação do exame contempla tais características. Os resultados do estudo revelaram que para os examinandos hispano-falantes, “algumas categorias são mais importantes do que outras na definição do nível de certificação atribuído aos candidatos” (SCHOFFEN, 2003, p. 91). A autora também propôs uma interpretação para os diferentes níveis de proficiência dos examinandos falantes de espanhol.

Em 2009, a pesquisadora supracitada, em sua tese de doutorado, analisou “as grades de avaliação escrita do exame Celpe-Bras para verificar a validade do exame em relação ao construto que se propõe a testar e apontar caminhos para o aumento dessa validade”. (SCHOFFEN, 2009, p. 28). Schoffen procurou verificar a noção de proficiência operacionalizada na parte escrita do exame a partir de análises de tarefas e grades de avaliação do exame aplicado em 2006/1, além de textos produzidos pelos examinandos em resposta a essas tarefas. Na conclusão do trabalho, a pesquisadora propôs novos parâmetros de avaliação, que segundo ela

[...] são capazes de avaliar a proficiência em português como língua estrangeira de forma a contribuir para a validade da operacionalização do construto de “uso da linguagem” (levando em conta o contexto, o propósito e o(s) interlocutor(es) envolvido(s) na interação com o texto, conforme explicitado no Manual do Exame) (SCHOFFEN, 2009, p. 164).

Fortes (2009) buscou, a partir dos princípios teórico-metodológicos da Análise da Conversa Etnometodológica, uma compreensão de proficiência oral em língua adicional a partir da perspectiva de dois participantes da interação face a face do exame Celpe-Bras, selecionados para sua análise. Um dos participantes obteve nota máxima em todos os critérios de avaliação das grades analítica e holística e outro que obteve nota máxima nos critérios de compreensão oral, competência interacional e fluência e nota um nos critérios de léxico, gramática e pronúncia. A partir desta análise, a pesquisadora procurou propor um entendimento de proficiência e de parâmetros de avaliação de proficiência oral que fossem

válidos e confiáveis para o uso da linguagem para ação no mundo – visão de linguagem proposta pelo exame Celpe-Bras.

Em relação aos trabalhos que focalizam a atuação dos examinadores da Parte Oral do exame Celpe-Bras - a Interação Face a Face, destacamos Bottura (2014), que em sua dissertação buscou analisar a atuação, atitudes e papeis desempenhados por entrevistadores nas interações face a face do exame Celpe-Bras, a partir da análise dos áudios das interações referentes à aplicação do exame do segundo semestre de 2012 de um Posto Aplicador brasileiro. A pesquisadora buscou colher evidências sobre a validade e confiabilidade do exame, no que se refere à proficiência oral, tendo em vista a influência dos entrevistadores no desempenho dos examinandos. Na conclusão do trabalho, Bottura chama-nos a atenção para a necessidade de pesquisas com enfoque na formação dos examinadores “dada à complexidade e influência configuradas na interação entrevistador-examinando” (BOTTURA, 2014, p. 130).

Sakamori (2006) analisa a atuação dos entrevistadores na interação face a face do Celpe-Bras, tanto em relação aos procedimentos do exame quanto em relação aos diferentes estilos apresentados. A pesquisadora analisou entrevistas de exames realizados no ano de 2004. Os resultados do estudo mostraram que “nem todos os entrevistadores seguiram rigorosamente os procedimentos do exame” (SAKAMORI, 2006, p. 119) e que houve variações em relação à atuação dos entrevistadores, de acordo com seus estilos, considerados colaborativos e/ou não colaborativos, conforme o quadro 7 a seguir:

QUADRO 7: Elementos caracterizadores de estilos colaborativos e não-colaborativos dos entrevistadores Elementos caracterizadores de estilos

colaborativos Elementos caracterizadores de estilos não colaborativos Entrevistador, além de perguntador, faz

comentários, deixando a interação menos assimétrica

Entrevistador age apenas como

perguntador, sem envolvimento com o candidato

Faz perguntas claras e diretas Faz perguntas longas e confusas Não interrompe a interação para pedir

esclarecimento de vocabulário

Interrompe a interação para

esclarecimento de vocabulário (atitude mais condizente com a de professor e não de avaliador)

Explica, de forma direta, uma expressão não entendida para candidato com nível mais baixo de proficiência

Explica, de forma indireta (por meio de sugestões), uma expressão não entendida para candidato com nível mais alto de proficiência

Faz perguntas adicionais para candidatos que têm dificuldades em interagir

Faz perguntas adicionais para candidatos que não têm dificuldades em interagir Faz perguntas que não induzam às

respostas que os entrevistadores querem

Faz perguntas que induzam às respostas que os entrevistadores querem ouvir

ouvir

Faz perguntas com o intuito de provocar

reflexão no candidato Faz perguntas com o intuito de impor uma opinião ao candidato Faz retomadas para esclarecimentos sobre

o que o candidato disse Faz retomadas desnecessárias sobre algo que o candidato já disse Reconhece quando o candidato não quer

responder à pergunta e muda de tópico

Insiste para que o candidato responda à pergunta

Consegue manter a interação independente de qual seja o nível do candidato

Não consegue manter a interação em relação a candidatos com nível de proficiência mais baixo

Fonte: Sakamori (2006, p. 108-109)

Optamos por trazer a tabela elaborada por Sakamori (2006) por julgarmos que sua análise em relação aos estilos dos entrevistadores colaborativos e não colaborativos, além de relevante para a área de avaliação de exames de proficiência oral, será relevante na análise dos áudios das interações deste estudo.

Outro estudo que nos auxiliará na análise das interações é o de Furtoso (2011). A pesquisadora identificou três estratégias utilizadas pelos Avaliadores-Interlocutores durante a condução da interação face a face com base nos Elementos Provocadores e no Roteiro de Interação Face a Face. São elas: alteração na ordem das perguntas, desdobramento e reformulação, conforme tabela abaixo:

QUADRO 8: Resumo das Estratégias dos entrevistadores apresentadas por Furtoso (2011) ESTRATÉGIAS DOS ENTREVISTADORES

Alteração na ordem das perguntas Estratégia necessária para que a conversa faça sentido, sempre levando em conta as respostas dos examinandos.

Desdobramento das perguntas propostas no Roteiro

Estratégia utilizada em função das respostas breves do examinando

Reformulação das perguntas Estratégia utilizada quando há falta de compreensão por parte do examinando ou para não repetir a pergunta do Roteiro. Fonte: Furtoso (2011)

Segundo Furtoso (2011) o entrevistador tem que ser capaz de utilizar essas estratégias quando necessário, “objetivando-se, sempre, manter o fluxo significativo da interação” (FURTOSO, 2011, p. 228).

Alguns estudos focaram especificamente os Elementos Provocadores. Dentre eles podemos destacar Duarte, Oliveira e Miranda (2014), que fazem uma classificação dos Elementos Provocadores quanto aos Gêneros Textuais, procurando verificar se há algum gênero preponderante. Após classificarem os EPs de 2011 a 2013 (primeira edição), as autoras perceberam que o tipo de EP mais recorrente não pertencia a nenhum gênero textual, mas ao que elas denominaram de “Fragmentos de Reportagem”, ou seja, elementos compostos por uma manchete, algumas imagens e um trecho de reportagem. Segundo as autoras, foi constatado que os Gêneros Textuais não estão em foco na Interação Face a Face do exame, porém não se pode excluir “o estudo através dos mesmos nos cursos preparatórios para o exame” (DUARTE; OLIVEIRA; MIRANDA, 2014, p. 110).

Ponciano e Longordo (2014), no artigo intitulado “Representações da cultura brasileira nos Elementos Provocadores do Celpe-Bras de 2013”, buscaram analisar “os aspectos culturais nas relações imagem e texto nos Elementos Provocadores do Celpe-Bras, 2013/1” (PONCIANO; LONGORDO, 2014, p. 69). As autoras investigaram quais temas continham aspectos da cultura brasileira e como, ou se, esses elementos culturais eram apresentados ao examinando na interação face a face e “compartilhados na comunicação”.

De acordo com as autoras, foi constatado que apenas 25% dos EPs continham aspectos culturais para serem explorados na interação, e que apenas quatro, de um total de vinte, apresentaram algum elemento da cultura brasileira. Assim, elas propõem uma reflexão sobre as escolhas dos EPs que fazem parte da interação face a face do Celpe-Bras, pois acreditam haver mais espaço para que os aspectos culturais sejam explorados, “o que estaria em consonância com a proposta do exame, de natureza comunicativa e com entendimento de que língua e cultura são indissociáveis” (PONCIANO e LONGORDO, 2014, p. 86)

Ferreira (2012; 2014) procurou em sua análise de 16 EPs e respectivos roteiros das aplicações da primeira edição do exame de 2004, 2007 e 2010, levantar os aspectos das habilidades de leitura que poderiam estar presentes nos roteiros de perguntas utilizados na interação face a face do exame Celpe-Bras.

Outros estudos realizados sobre o Celpe-Bras analisaram os EPs e sua influência na Interação. Por exemplo, Costa (2014), no artigo intitulado “A composição das imagens dos elementos provocadores e a interação na parte oral do Celpe-Bras”, busca refletir “sobre como os diferentes modos semióticos que constituem os textos do exame podem facilitar ou dificultar a leitura do material usado como subsídio para as discussões para avaliação da oralidade dos candidatos” (COSTA, 2014, p.88). O autor procura analisar as

imagens (EPs) de forma a questionar a compreensão delas por parte dos examinandos que são indivíduos provenientes de várias partes do mundo. Pelo fato de o significado de todo texto ser construído na interação texto-leitor, Costa conclui que “o modo de ler textos” pode ser diferente entre pessoas de origens diferentes, por trazerem consigo um conhecimento prévio e cultural do seu meio.

Embora o objetivo principal do nosso trabalho não seja o mesmo, a partir das percepções que traremos dos examinandos sobre os EPs, será possível avançar um pouco mais nos motivos causadores das diferenças de compreensão dos EPs apresentadas por diferentes examinandos por meio dos questionários e também por meio da análise dos áudios das interações.

Cândido (2015) analisou os elementos provocadores da primeira edição de 2014 e seus respectivos roteiros de interação face a face e a atuação de cinco avaliadores- interlocutores no uso de dois EPs durante as interações. A pesquisadora realizou uma análise preliminar dos EPs selecionados para o estudo e constatou diferenças na extensão dos textos escritos e no conteúdo desses elementos. Para Cândido, a extensão dos textos verbais presentes nos EPs pode representar níveis diferentes de dificuldade e consequentemente contribuir para que as avaliações para auferir a proficiência oral dos examinandos sejam distintas. “Um texto longo pode funcionar como um dificultador para examinandos com níveis de proficiência mais baixos e prejudicar seu desempenho” (CÂNDIDO, 2015, p. 95). Segundo a pesquisadora, os examinandos passam muito tempo lendo o EP, antes e durante a interação. Este fato deve-se, também, devido à natureza das perguntas contidas no Roteiro de Interação Face a Face. Perguntas com referência expressa ao texto limitam a “liberdade” de expressão do examinando que se sente na obrigação de retornar ao texto para responder, uma vez que “reconhece que a sua compreensão escrita está sendo avaliada e que o examinador- interlocutor conhece a resposta certa” (CÂNDIDO, 2015, p. 95).

No entanto, Cândido afirma que o mesmo EP (EP com texto longo) propiciou boa interação com outro examinando, devido a mudanças realizadas pelo examinador nas perguntas contidas no Roteiro, o que demonstra que a atuação do examinador é fundamental para a avaliação.

As análises das interações mostraram que os examinadores conduzem a avaliação oral de maneiras distintas, proporcionando diferentes oportunidades aos examinandos e, dessa forma, podendo interferir na validade e confiabilidade do exame.

A pesquisadora conclui seu estudo dizendo que “as orientações para os elaboradores do Celpe-Bras devem ser revistas, de modo a produzirem EPs com maior equilíbrio entre texto verbal e imagem” (CANDIDO, 2015, p. 99) e que as orientações para os examinadores devem ser mais detalhadas a fim de evitar diferentes interpretações e funcionar mais efetivamente na condução da interação.

Assim como Cândido (2015), nosso objetivo é também analisar os EPs, porém sob escopo distinto. Nosso propósito é analisar os EPs a partir das percepções dos examinandos e avaliadores e triangular esses dados com os áudios das interações, com o intuito de refletir sobre os fatores presentes nos EPs que contribuem (ou não) para o desempenho dos examinandos. Contudo, julgamos que a análise feita por Cândido (2015) contribuirá para a análise dos dados deste trabalho.

No presente capítulo foram apresentados os trabalhos referentes à avaliação oral do Celpe-Bras, sendo que alguns deles com propósitos bem diferentes do qual estamos propondo neste trabalho. No entanto, conforme explicitado, alguns desses estudos nos ajudam a ter maior compreensão sobre a interação no contexto de avaliação de línguas e, dessa forma, contribuem para a análise dos dados deste trabalho. Como se pôde observar também, são poucos os trabalhos que se referem aos Elementos Provocadores e seu papel na Interação, o que nos leva a considerar a necessidade de mais pesquisas na área, dada sua importância e a relevância que o Exame vem adquirindo ao longo dos anos.

Após apresentar a fundamentação teórica que embasa este trabalho, passamos para o Capítulo 2, no qual apresentaremos a metodologia utilizada neste estudo.