Discussão dos dados sobre as interações resultantes do EP 9

A análise das interações decorrentes dos EPs 1 e 9 evidenciam que o EP 9 proporcionou mais oportunidades de desenvolvimento da produção oral dos examinandos

quando comparado com o EP 1. Além de necessitarem de poucos segundos para ler o EP 9 no início da interação, os examinandos não tiveram sua produção oral interrompida para buscar informações no texto escrito. As perguntas do RI permitiram que discorressem sobre suas opiniões pois, mesmo com perguntas com referência ao EP, os examinandos conseguiam criar hipóteses sobre o quadrinho (como aconteceu como o examinando da interação 4, por exemplo), diferente do EP 1, no qual os menos proficientes tinham que retornar à leitura.

O EP 9 exige conhecimento prévio do examinando, que, para compreender o quadrinho, deve conhecer como funcionam as relações de amizade nas redes sociais. Porém, se não entender o quadrinho, o examinador-interlocutor pode auxiliá-lo, explicando o que não foi bem compreendido, como o fez o examinador-interlocutor F, o que configura como apoio colaborativo (SAKAMORI, 2006).

Sobre a atuação dos examinadores-interlocutores, observamos que o estilo do examinador D e do examinador A parecem bastante semelhantes no que diz respeito a seguir as perguntas sugeridas no RI. No entanto, a produção do examinando 17, submetido ao EP 9 e conduzido pelo examinador-interlocutor D foi qualitativamente superior à produção do examinando 2, pois não houve momentos de silêncio e o examinando teve liberdade para expressar sua opinião em todos os momentos da interação, uma vez que não foi exigido nenhum tipo de conhecimento específico.

Observamos também que a pergunta fechada, por ser positiva em alguns contextos, como na interação 4, foi introduzida como mudança de insumo, a fim de fornecer explicações para o examinando. Assim, a pergunta fechada pode auxiliar o examinando ao oferecer insumos quando este apresenta dificuldades de compreensão, oral ou escrita. Os dados evidenciam que, quando conhece o assunto e entende do que se trata, o examinando consegue dar continuidade à conversa de maneira mais produtiva do que se o examinador-interlocutor tivesse ignorado o seu não entendimento sobre o conteúdo do EP. Desse modo, o assunto do EP também é uma variável a ser considerada nesse contexto.

CONSIDERAÇÕES FINAIS

Este estudo teve como objetivo analisar a atuação do examinador-interlocutor no uso dos EPs que subsidiam as conversas com os examinandos durante a parte oral do exame Celpe-Bras. Uma análise preliminar dos EPs selecionados para o estudo revelou diferenças na extensão dos textos escritos e no conteúdo desses elementos. Partindo do referencial teórico abordado no capítulo II e da análise dos dados apresentada no capítulo III, procuramos responder às perguntas que nos colocamos no capítulo I desta dissertação:

a. A extensão dos textos verbais dos EPs pode representar níveis diferentes de dificuldade, criando condições distintas para a avaliação da proficiência oral dos examinandos?

Com base na análise das interações, a resposta é sim. Um texto longo pode funcionar como um dificultador para examinandos com níveis de proficiência mais baixos e prejudicar seu desempenho. Isso é o que acontece quando observamos as interações 1 e 2, nas quais os examinandos 2 e 6 passam um longo período lendo o EP, antes e durante a interação, a fim de responder a perguntas cuja resposta está localizada no texto.

Isso também é decorrente da natureza das perguntas contidas no RI, que são diferentes nos dois EPs analisados. O EP 1 contém três perguntas com referência expressa ao texto, e estas, ao apresentarem apenas uma resposta correta, restringem a produção oral dos examinandos, que reconhecem que a sua compreensão escrita está sendo avaliada e que o examinador-interlocutor conhece a resposta correta. Por esse motivo, os examinandos não têm oportunidade de se expressarem livremente diante de perguntas desse tipo, uma vez que devem responder apenas com base nas informações presentes no texto.

No entanto, o mesmo EP, que consideramos não satisfatório, propiciou boa interação (interação 3) devido a mudanças introduzidas pelo examinador-interlocutor C, fornecendo evidências de que há possibilidade de desenvolvimento de boas interações mesmo quando o EP e seu respectivo RI não forem bem elaborados, demonstrando que a atuação do examinador-interlocutor é fundamental para que a avaliação oral seja válida e confiável.

As interações resultantes do EP 9, em contrapartida, conseguiram desenvolver de maneira mais efetiva as perguntas abertas e de opinião que lhes foram propostas, sem longos

momentos de silêncio pelos examinandos, mesmo quando o examinador-interlocutor segue linearmente as perguntas propostas no RI. Desse modo, o ambiente comunicativo decorrente do EP 9 é mais verossímil com situações de interação social quando comparado com o EP 1. Esse resultado traz evidências de que o EP 9 e seu respectivo RI proporcionaram maior liberdade da expressão oral do examinando, impactando em seu desempenho durante a avaliação oral.

Fazemos a ressalva de que EPs com texto verbal de menor extensão não são, necessariamente, menos complexos. Mesmo que um EP não contenha textos verbais, o construto do exame pode ser ameaçado, devido à importância da materialidade linguística.

Acreditamos que os EPs devam apresentar condições de avaliação semelhantes, de maneira que possam mobilizar nos examinandos as competências que buscam avaliar e, assim, evitar variações na maneira como a interação é conduzida. Além disso, a necessidade de capacitações mais frequentes para os examinadores, cujas atuações podem ser distintas, como observaremos na resposta à segunda pergunta de pesquisa.

b. De que forma diferentes examinadores-interlocutores lidam com um mesmo EP e com seu respectivo RI em interações com examinandos nos níveis elementar ou sem certificação, intermediário e intermediário superior?

As análises das interações mostraram que os examinadores-interlocutores selecionados para investigação conduzem a avaliação oral de maneiras distintas, proporcionando diferentes oportunidades aos examinandos.

O examinador-interlocutor A não consegue introduzir mudanças nas perguntas sugeridas no RI e não faz as adaptações orientadas nos manuais do exame, a fim de deixar a conversa mais fluida e mais próxima a interações típicas do contexto social. Ao seguir a ordem do roteiro, o avaliador-interlocutor A não lida bem com as perguntas não respondidas ou mal compreendidas pelo examinando com quem interage e não consegue fazer adaptações às perguntas do EP a fim de conferir maior fluidez à conversa e torná-la mais próxima de interações externas ao contexto avaliativo ao EP, deixando a interação artificial e distante do que se deseja avaliar no exame Celpe-Bras. Essa atuação do examinador-interlocutor A teve impacto para o desempenho oral do examinando, que interrompe sua fala e volta à leitura do EP para conferir as informações do texto verbal.

O examinador-interlocutor B promove algumas adaptações ao RI, mas não consegue fazer com que as características do EP 1 que consideramos negativas sejam minimizadas, pois mesmo alterando o insumo quando percebe a dificuldade do examinando, não altera a natureza das perguntas expositivas relacionadas ao texto. O examinando, temeroso por responder a essas perguntas incorretamente, lê o EP durante o desenvolvimento da conversa, aproximando a maior parte da avaliação a situações de interação semelhantes às do contexto escolar, com fins didáticos, e que têm por objetivo verificar a compreensão do aluno. Com atuação diferente das duas relatadas anteriormente, o examinador-interlocutor C faz várias mudanças na ordem das perguntas do RI de acordo com o fluxo da conversa, passa rapidamente pelas perguntas iniciais ligadas ao texto e muda a natureza da primeira pergunta do RI, transformando-a de expositiva para referencial. Essa atitude proporciona um ambiente mais favorável ao examinando, que não precisou tecer respostas que se baseavam no texto escrito e teve a oportunidade de falar livremente sobre suas ideias e opiniões, criando uma interação com características de situações reais de comunicação. Desse modo, podemos concluir que o examinador-interlocutor C consegue lidar bem com o EP 1, de modo a amenizar as características que consideramos problemáticas nesse elemento e em seu respectivo RI. A mesma atuação aparece na segunda interação conduzida pelo examinador-interlocutor C, só que alimentada pelo EP 9. Mesmo não seguindo o RI em vários momentos da interação, o examinador-interlocutor consegue estabelecer uma conversa muito semelhante a uma comunicação social externa ao contexto avaliativo, o que é o propósito do exame Celpe-Bras.

O examinador-interlocutor D segue a ordem das perguntas do RI durante a interação 6, mas apresenta habilidades de excluir as que o examinando responde no decorrer da conversa e incluir outras, conforme o fluxo da interação. Tais atitudes ajudam a aumentar a confiabilidade e a validade do exame. A conversa que se estabelece nessa interação é bastante fluida e passível de acontecer em situações de comunicação em contexto não avaliativo, fazendo com que a validade da avaliação oral do exame Celpe-Bras não seja ameaçada.

O examinador-interlocutor F apresentou atuação satisfatória – auxiliou seu interlocutor na compreensão do EP, conferindo ambiente mais propício para o desenvolvimento da interação, o que também pode ser observado por meio dos desdobramentos e confirmações realizadas ao longo de toda a conversa, conferindo verossimilhança à interação.

Também não podemos deixar de considerar que o assunto dos EPs é mais uma variável a ser observada nas análises das interações, pois impactaram no desenvolvimento da produção oral dos examinandos. O mesmo ocorre com o nível de proficiência do examinando, que pode auxiliar ou prejudicar o desenvolvimento de sua fala.

Por meio da análise dos EPs, RIs, guias e manuais do exame Celpe-Bras e das interações investigadas, podemos depreender as dificuldades, os desafios e a responsabilidade de ser examinador de uma avaliação oral de alta relevância como o exame de proficiência brasileiro, pois para estar em conformidade com o uso da linguagem para desempenho de ações no mundo, como especificam os manuais sobre a concepção do exame, tecemos algumas ações que julgamos importantes o examinador-interlocutor levar em consideração durante a avaliação oral:

(1) estar atento às respostas do examinando para que não as repita ao longo da conversa, confundindo seu interlocutor ou até mesmo desestabilizando-o, uma vez que pode achar que sua resposta anterior não foi bem sucedida;

(2) formular perguntas a partir do EP e do RI, sem ficar preso a elas, a fim de dar continuidade e fluidez à conversa e deixá-la o mais semelhante possível a uma situação de comunicação real. Contudo, é importante não se desviar demais do conteúdo das perguntas contidas no roteiro, pois isso pode acarretar em diminuição da confiabilidade do exame;

(3) reformular as questões do roteiro, que é escrito, de modo a fazer perguntas condizentes com a linguagem oral, evitando, assim, uma interação artificializada;

(4) ser claro em suas perguntas e intervenções, de modo a não fazer perguntas longas e confusas;

(5) controlar o tempo da entrevista e de cada uma de suas etapas e sustentá-la, mesmo quando o examinando apresenta um nível de proficiência baixo ou não contribui para o desenvolvimento da interação;

(6) estar atento às produções linguísticas do examinando, pois deverá avaliá-lo de maneira global, através de uma grade holística.

Quando as perguntas do RI são rigidamente seguidas, o exame pode não ser representativo de uma situação de uso real da língua; por outro lado, se as perguntas e o estilo dos avaliadores-interlocutores são distintos, aumentam as possibilidades de diferenças de oportunidades para os examinandos. Tais dificuldades nos remetem a aspectos fundamentais dos exames de proficiência, que são a validade e a confiabilidade, conceitos que vêm sendo cada vez mais estudados por pesquisadores da área de avaliação. Como vimos nas interações analisadas, diferentes atuações dos examinadores-interlocutores criam oportunidades diferentes para os examinandos, que podem ser prejudicados na avaliação.

Por meio das análises empreendidas neste trabalho, sugerimos que as orientações para os elaboradores do Celpe-Bras devem ser revistas, de modo a produzirem EPs com maior equilíbrio entre texto verbal e imagem e que mobilizem questões da mesma natureza, evitando diferenças de insumo para os examinandos. Aliado a isso, acreditamos que os documentos do exame devem fornecer orientações mais detalhadas sobre a atuação do examinador-interlocutor, a fim de não possibilitarem aberturas que possam gerar mais de uma interpretação e, assim, funcionar mais efetivamente na preparação dos examinadores. Além disso, capacitações constantes para que a validade e a confiabilidade do exame não sejam ameaçadas, uma vez que podem alinhar o trabalho da equipe, tornando suas atuações mais semelhantes entre si e não criar condições diferentes para o desempenho dos examinandos. O posto aplicador analisado neste trabalho é um centro de referência de aplicação da avaliação oral do exame Celpe-Bras, sendo, assim, representativo de todos os postos aplicadores. Isso demonstra que, mesmo que o examinadores-interlocutores tenham muita experiência na aplicação do exame, é preciso investimento em capacitações, visto as dificuldades que são inerentes à avaliação de proficiência oral.

REFERÊNCIAS BIBLIOGRÁFICAS

AKHODI, M; MALAYERI, F.A.; SAMAD, A.A. Assessing Speaking: Manipulating the facet of the length of prompt in an Oral Profiency Interview setting. Iranian EFL Journal. v. 6, n. 3, p. 89-108. December, 2010.

AMARAL, D. A perspectiva dos examinadores sobre o uso da grade de avaliação oral do IELTS. Dissertação de Mestrado em Linguística Aplicada. Universidade Federal do Rio Grande do Sul, Porto Alegre, 2011.

AMARANTE, M. F. S. Ideologia neoliberal no discurso da avaliação: a excelência e o

avesso da excelência. Tese de Doutorado. Universidade Estadual de Campinas, Campinas, São

Paulo, 1998.

BACHMAN, L.F.; PALMER, A.S. Language testing in practice. Oxford: Oxford University Press, 1996.

BOTTURA, E. B. Exame Celpe-Bras: uma investigação sobre o papel do entrevistador na interação face a face. Dissertação de Mestrado em Linguística. Universidade Federal de São Carlos, São Carlos, 2014.

BRASIL. Universidade Federal do Rio Grande do Sul (UFRGS). Acervo de provas e documentos públicos do Celpe-Bras. Disponível em: http://www.ufrgs.br/acervocelpebras. BRASIL. Ministério da Educação. Manual do Aplicador. Brasília, DF, 2011a.

BRASIL. Ministério da Educação. Manual do Examinando. Brasília, DF, 2011b.

BRASIL. Ministério da Educação. Guia do Participante. Brasília, DF, 2013a.

BRASIL. Ministério da Educação. Guia de capacitação para examinadores da parte oral do exame Celpe-Bras. Brasília, DF, 2013b.

BROWN, A. Interviewer variation and the co-construction of speaking proficiency. Language Testing, v. 20, n. 1, p. 1-25, Jan. 2003.

BROWN, A. HILL, K. Interview style and candidate performance in the IELTS Oral Interview. S. Wood (Ed.) IELTS Research Reports I. Sidney: ELICOS, 1998.

CHAPELLE, C. A. Validity in language assessment. Annual Review of Applied Linguistics, v. 19, p. 245-272, 1999.

CHIZZOTTI, A. Pesquisa qualitativa em ciências humanas e sociais. Petrópolis: Vozes, 2006.

CLARK, H. Language in use. In: CLARK, H. Using Language. Cambridge: Cambridge University Press, 1996.

COTA, A. A. Inter-ação, representação e identificação do Brasil em textos escritos do exame Celpe-Bras. Dissertação de Mestrado em Linguística. Universidade de Brasília: 2013. COURA-SOBRINHO, J. The face to face interaction to evaluate the oral Portuguese language proficiency. In: Singapore 40th Annual Conference (2014) International Association for Educational Assessesment, 2014, Cingapura. Proceedings of the 40th Annual Conference (2014) International Association for Educational 1 Assesssment, 2014.

DINIZ, L. R. A. Mercado de línguas: A instrumentalização brasileira do português como língua estrangeira. Dissertação de Mestrado em Linguística. Universidade Estadual de Campinas, Campinas, 2008.

FERREIRA, L. M. L. Habilidades de leitura na proposta de interação face a face no exame Celpe-Bras. Dissertação de Mestrado em Linguística Aplicada. Universidade Federal de Minas Gerais, Belo Horizonte, 2012.

FORTES, M. S. Uma compreensão etnometodológica do trabalho de fazer ser membro na fala-em-interação de entrevista de proficiência oral em português como língua adicional. Tese de Doutorado em Linguística Aplicada. Universidade Federal do Rio Grande do Sul: 2009.

FULCHER. G. Testing second language speaking. Harlow: Pearson-Longman, 2003.

FURTOSO, V. B. Avaliação de proficiência em português para falantes de outras línguas: relação com ensino e aprendizagem. In: MENDES, E. (Org). Diálogos interculturais: ensino e formação em português língua estrangeira, Campinas, Pontes Editores, 2011a. p. 207-236. GODOY, A. S. Pesquisa qualitativa: Tipos fundamentais. Revista de Administração de

Empresas, v. 35, n. 3, p. 20-29, 1995.

GOMES, M. S. A complexidade de tarefas de leitura e produção escrita no exame Celpe- Bras. Dissertação de Mestrado em Linguística Aplicada. Universidade Federal do Rio Grande do Sul: 2009.

HUGHES, A. A testing for language teachers. Cambridge (MA): Cambridge University Press, 1989.

LAZARATON, A. Interlocutor support in oral proficiency interviews. The case of CASE. Language Testing, Vol. 13, No. 2, p. 151-172, Jul. 1996.

LI, W. Validity considerations in designing an oral test. Journal of Language Teaching and Research, v. 2, n. 1, p. 267-269, jan 2011.

LYNCH, T. Communication in the language classroom. Oxford: Oxford University Press, 1996.

LUOMA, S. Assessing speaking. Cambridge: Cambridge University Press, 2004.

MACHADO, V. S. J. Avaliação de proficiência linguística de pilotos: o discurso do candidato e sua influência no comportamento e julgamento do examinador. Dissertação de

mestrado em Linguística Aplicada. Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2010.

MARCUSCHI, L. A. Assimetria, Poder e Adequação na Interação Verbal. In: INVESTIGAÇÕES, Recife, p. 80-93, 1995.

MARCUSCHI, L. A. Aspetos da oralidade descuidados, mas relevantes para o ensino de português como segunda língua. In: GÄRTNER, E. & M. J. HERHUT, N. SOMMER (ed.), Contribuições para a Didáctica do Português Língua Estrangeira. Frankfurt am Main: T.F.M., p. 15-40, 2003a.

MARCUSCHI, L. A. Análise da conversação. São Paulo: Ática, 2003b.

MARCUSCHI, L.A. Da Fala Para a Escrita: Atividades de Retextualização. São Paulo: Cortez, 2010.

MCNAMARA, T. Language testing. Oxford: Oxford University Press, 2000.

MOITA LOPES, L.P. Linguística Aplicada e vida contemporânea: problematização dos construtos que têm orientado a pesquisa.In: MOITA LOPES (Org.). Por uma linguística aplicada INdisciplinar. São Paulo: Parábola editorial, 2006. p. 85-107.

MOITA LOPES, L. P da. Pesquisa Interpretativista em Linguística Aplicada: a linguagem como condição e solução. D.E.L.T.A.., v. 10, n. 2, p. 329-338, 1994.

NIEDERAUER, M. Competência interacional: critério para avaliação da produção oral em língua adicional. Trab. Ling. Aplic., v. 53, n. 2, jul./dez. 2014.

RODRIGUES, M. S. A. O exame Celpe-Bras: Reflexões teóricas para o professor de português para falantes de outras línguas. Dissertação de Mestrado em Linguística Aplicada. Universidade Estadual de Campinas, Campinas, 2006.

SAKAMORI, L. A atuação do entrevistador na interação face a face do exame CELPE- Bras. Dissertação de Mestrado em Linguística Aplicada. Universidade Estadual de Campinas, Campinas, Campinas, 2006.

SÁ-SILVA, J.R.; ALMEIDA, C.D.; GUINDANI, J.F. Pesquisa documental: Pistas teóricas e metodológicas. Revista Brasileira de História e Ciências Sociais. Ano I, número I, 2009. S/p.

SCARAMUCCI, M. R. V. Avaliação: mecanismo propulsor de mudanças no ensino/aprendizagem de língua estrangeira. Revista Contexturas. São Paulo, APLIESP, 1999a.

SCARAMUCCI, M. R. V. Celpe-Bras: um exame comunicativo. In: CUNHA, M.; SANTOS, P. Ensino e pesquisa em Português para Estrangeiros. Brasília: Editora da Universidade de Brasília, 1999b.

SCARAMUCCI, M. V. R. Proficiência em língua estrangeira: considerações terminológicas e conceituais. Trabalhos em Linguística Aplicada, 36. Campinas: Unicamp, p. 11-22, 2010.

SCARAMUCCI, M. V. R. O exame Celpe-Bras em contexto hispanofalante: percepções de professores e candidatos. In: WIEDEMANN, L.; SCARAMUCCI, M. V. R. (orgs). Português para falantes de espanhol – ensino e aquisição. Campinas: Pontes Editores, 2008.

SCARAMUCCI, M. V. R. Avaliação da leitura em inglês como língua estrangeira e validade de construto. Calidoscópio. São Leopoldo/RS v. 7, n. 1, p. 30-48, 2009.

SCARAMUCCI, M. V. R. Validade e consequências sociais das avaliações em contextos de ensino de línguas. Linguarum Arena, v. 2, p. 121-137, 2011.

SCHLATTER, M. O sistema de avaliação Celpe-Bras: características, implementação e perspectivas. Anais do Congresso Internacional de Política Linguística na América do Sul - Língua(s) e povos: unidade e diversidade. João Pessoa: Idéia, p. 171-175, 2005.

SCHOFFEN, J. R. Gêneros do discurso e parâmetros de avaliação de proficiência em português como língua estrangeira no exame Celpe-Bras. Tese de Doutorado em Linguística Aplicada. Universidade Federal do Rio Grande do Sul, 2009.

SCHOFFEN, J. R. Avaliação de proficiência oral em língua estrangeira: descrição dos níveis de candidatos falantes de espanhol no exame Celpe-Bras. Dissertação de Mestrado em Linguística Aplicada. Universidade Federal do Rio Grande do Sul: 2003.

SHOHAMY, E. Language policy: hidden agendas and new approaches. Reino Unido: Routledge, 2006.

TROUCHE, L. M. G. Análise da interlocução em elementos provocadores do exame oral Celpe-Bras. Disponível: http://www.filologia.org.br/xviii_cnlf/completo/An%C3%A1l ise%20da%20interlocu%C3%A7%C3%A3o%20em%20elementos%20provocadores%20- %20LYGIA.pdf. Acesso em 15 de abril de 2015.

TSUI, A. B. M. Classroom interaction. London: Penguin, 1995.

VIGIA-DIAS, L. (1995). Um olhar sobre eventos de avaliação de linguagem oral em aula de língua estrangeira (inglês): abordagem de ensino x avaliação de aprendizagem. Dissertação de Mestrado em Linguística Aplicada. Universidade Estadual de Campinas, Campinas, São Paulo.

ANEXOS

ANEXO 1: Normas para transcrição das interações face a face baseadas em Marcuschi (2003)

OCORRÊNCIAS SINAIS

Falas simultâneas: quando dois falantes iniciam

ao mesmo tempo um turno [[

Sobreposição de vozes: quando a concomitância de falas não se dá no início do turno, mas a partir

de um certo ponto

[

Sobreposições localizadas: quando a sobreposição ocorre num dado ponto do turno e

não forma novo turno

[ ]

Pausas: pausas e silêncios são indicados entre parênteses, por segundos. Pausas menores que

um segundo são indicadas pelo sinal +

( )

Dúvidas e suposições: quando não entendemos