Eixo 3 As tecnologias como foco de avaliação/eficiência

No tema “Práticas sociais de Ensino e de aprendizagem no contexto digital” classifiquei pesquisas que avaliam a eficiência do uso de tecnologias. Nessas pesquisas a avaliação e a eficiência do uso de tais recursos nos processos de ensino e de aprendizagem de línguas são investigadas. Foram classificados nesse tema 25 artigos, os quais são:

De acordo com Felix (2008), há diferença entre os significados dos itens lexicais “Eficiência” (effectiveness) e Avaliação (Evaluation). Para a autora, quando um estudo investiga a eficiência, concentram-se em identificar o efeito de uso de certa tecnologia, ou seja, de verificar em que medida tal tecnologia produziu um resultado a partir de parâmetros pré-estabelecidos para o uso.

Para Felix (2008), a eficiência tem a ver com “o poder de produzir efeitos ou resultados pretendidos” em uma pesquisa. Nesse caso, a autora (ibidem) sugere que há uma forte relação entre a intervenção feita por uma tecnologia e os padrões de efeito pré-estabelecidos. Por isso, alguns estudos procuram determinar o “tamanho do efeito” (effect size), tendo por base medidas padronizadas que indicam a diferença ou variação para os experimentos e para grupos controles que dependem de variáveis ao final da investigação.

Os Exemplos 22, 23 e 24 ilustram pesquisas em que se investigam a eficiência do uso de ambientes virtuais, softwares e recursos multimídias na aquisição da linguagem. Nesses estudos, além de descrever tais recursos, os pesquisadores têm a preocupação em avaliar o efeito que o uso dessas ferramentas tem na aprendizagem de língua inglesa quando esta é mediada por tecnologias digitais.

Estudos que focalizam os tecnologias com foco na avaliação/eficiência

#4,#10,#19,#24,#26,#35,#40,#45,#46,#47,#49,#53,#60,#63,#74,#79,#80,#85, #90,#91,#98,#108,#115,#116 e 120.

Capítulo 4 – A Agenda de Pesquisa em CALL Exemplo 22

This project, which involves the collaboration of EFL educators and computer engineers in Taiwan, employs an approach of establishing a web-based environment to support

EFL students in tertiary levels in developing both types of competencies. This paper

describes the rationale underlying the design of the environment, the process of

developing the website, and the preliminary findings of the effectiveness of the project. [A#19_ReCALL]

Exemplo 23

This presents findings on the efficacy of an online learning environment developed to

foster EFL students’ intercultural competence via reading articles on topics of their own culture and communicating their responses with speakers of another culture

(…)The research focus of this study then is to investigate responses from the students

toward the design of the project and in particular their intercultural competence as demonstrated in the discussions with their epals in the US based on the reading of articles about their native culture. This study also explores the efficacy of using two corpora-based e-referencing tools for reading and writing English. How the availability of the tools affected the students’ English language learning and intercultural communication is examined as well. [A#35_LLT]

Exemplo 24

This study was designed to examine the effects that digital stories have in improving

the understanding of spoken English by six-year-old Spanish young learners.

[A#40_LLT]

Os participantes têm papel importante também nessas pesquisas, pois são eles que, na maioria das vezes, testam os protótipos de cursos/softwares propostos para mensurar o efeito ou identificar a influência que tais tecnologias têm na aprendizagem quando os alunos expressam suas opiniões por meio de questionários, entrevistas, etc.

Exemplo 25

In this paper, the use of the internet-based Writing Resource for the Innovative Teaching of English (iWRITE), a prototype online resource developed at a major Midwestern research university, is investigated in terms of its effects on student attitudes, grammatical awareness, and the linguistic accuracy of their writing. [A#85_CALICO]

Exemplo 26

A more pressing question, accordingly, is probably not whether AWE (Automated Writing Evaluation) should be used but how this new technology can be used to achieve more desirable learning outcomes while avoiding potential harms that may result from limitations inherent in the technology. The present study, therefore, employed a naturalistic classroom-based approach to explore how an AWE program was implemented in three EFL college writing classes and how student perceptions of the effectiveness of AWE use were affected by different pedagogical practices. [A#45_LLT]

Avaliar a eficiência de uma ferramenta ou software é interessante porque os dados obtidos dessa análise podem informar futuros usuários sobre o uso de tais ferramentas que podem vir a ajudar acelerar o processo de aprendizagem de outros alunos. Entre os subtópicos discutidos nas pesquisas temos, ainda pesquisas que investigam a importância da usabilidade de sites para a implementação e design de materiais didáticos online (#90); a eficiência de sistemas digitais que identifiquem o

desenvolvimento da colaboração quando atividades são mediadas por telefonia móvel (#49).

Pesquisas com foco na avaliação geralmente investigam softwares ou materiais didáticos digitais propostos para o ensino de línguas. Nesse caso, o software é analisado com vista a evidenciar em que medida ele é válido para o ensino de línguas. Isso é o que acontece no Exemplo 24 em que as pesquisadoras apresentam a avaliação de um software a partir da visão do designer, do professor e do aluno.

Exemplo 27

This study offers an example of a context-based evaluation by operationalizing criteria

for CALL evaluation and administering the instruments to three groups of stakeholders: the people who developed the content for the CALL materials, the teacher, and the students.

(…)In this study, we were interested in evaluating the overall appropriateness of CALL

materials. We adopted a case study approach which use empirical data to address the

following question: How appropriate are CALL materials for a group a learners in a particular context? This approach is not altogether different from experimental methods.

The material used in this study was an ESL CALL series called Longman English Online.1 In total this CALL courseware consisted of four levels LEO 1, LEO 2, LEO 3, and LEO 4; in this study, we used LEO 3. The LEO courseware is delivered via an authoring system that

was created for Pearson Longman ELT by a group of instructional designers, programmers, and graphic artists. [A#108_CALICO]

No artigo #4 (Exemplo 28), a pesquisa é sobre a avaliação de um software de autoria, para verificar em que medida tal software pode ser válido para a elaboração de material didático digital. Avaliar softwares de autoria pode ser uma maneira de auxiliar professores da área de línguas a conhecer os recursos encontrados em tais ferramentas disponíveis para a elaboração de material didático digital.

Exemplo 28

This paper describes some of the pedagogical and technical issues involved in adopting a hybrid approach to CALL materials development. It illustrates some of these issues with reference to a vocational CALL project, LANCAM, which took such a hybrid approach (abstract)

(…) In this paper I consider some of the issues involved in choosing an authoring tool and delivery system to develop CALL materials, in the light of my own experiences developing e- learning materials for a vocational language training project. I will first of all provide some background to the CALL project and discuss some of the development issues that were addressed in adopting a hybrid approach to delivery. I will then describe some of the main features of Dreamweaver/Coursebuilder and evaluate the use of such a commercially available web development tool for CALL authoring. It is hoped that the discussion will be of interest to CALL materials developers and to others involved in evaluating authoring software for language learning purposes. [A#4_ReCALL]

Os outros estudos classificados dentro desta subtema enfatizam outras tecnologias exploradas em sala de aula ou usadas para avaliar a aprendizagem por meio de testagem. Alguns estudos focalizam os testes computadorizados de Língua

Capítulo 4 – A Agenda de Pesquisa em CALL

Inglesa que são oferecidos para certificação do conhecimento de línguas, tais como TOEFL IBT, CBT, etc. Em alguns estudos, os pesquisadores estão preocupados em avaliar tais testes e verificar em que medida tais recursos realmente avaliam e mensuram efetivamente o conhecimento dos alunos que se submetem a tais testes. Na sequência, destacamos estudos que foram classificados dentro do Eixo Pedagogia Online.