Multimodalidade

O advento das novas tecnologias possibilitou o surgimento dos novos gêneros comunicativos que se realizam no ambiente virtual como resultados das interações que se estabelecem nas diversas redes sociais. Esses gêneros reúnem mais de um modo semiótico, ou modo significativo, tais como imagem estática, imagem em movimento, sons, textos, e, por isso, são chamados de multimodais. Embora o interesse pelo estudo da multimodalidade tenha sido fomentado a partir da necessidade de compreender os sistemas de comunicação eletrônica e digital atuais, uma vez que as teorias da linguagem mais utilizadas, até então, não davam conta de explicá-los devido à sua complexidade, ela não se restringe aos gêneros digitais. Em uma situação de interação cara a cara, por exemplo, além do modo fala, os modos expressões corporais, expressões faciais coocorrem.

Carvalho (2016), afirma que “para nos expressarmos em qualquer situação de interação, lançamos mão de vários modos pertencentes a um ou mais sistemas semióticos ou sistemas de construção de sentidos.” (p. 31). Os sistemas semióticos aos quais ela se refere são o linguístico, o visual, o áudio, o gestual e o espacial. Carvalho (2016) exemplifica cada um desses sistemas:

O sistema linguístico pode realizar-se através da fala e da escrita, por exemplo. O sistema visual através de imagens estáticas e imagens em movimento. O sistema áudio através da música, dos efeitos sonoros, do silêncio, dentre outros. O sistema gestual pode realizar-se através dos movimentos do corpo e das expressões faciais. O sistema espacial realiza-se através da arquitetura do espaço, da disposição de elementos dentro de uma estrutura espacial. Cada um desses modos, por sua vez constitui-se de um conjunto de recursos semióticos. (p.32)

Segundo Leeuwen (2005), os recursos semióticos “são as ações, materiais e artefatos que usamos para fins comunicativos, juntamente com as formas pelas quais essas ações, materiais e artefatos podem ser organizados.” (p. 3). Assim, o modo escrita é constituído por recursos tais como fonte, cores, layout, ícones, dentre outros. Esses são aspectos extremamente importantes se considerarmos os textos multimodais, tais como os memes, gêneros textuais frequentemente utilizados pelos alunos fora de sala de aula, sendo importante assim entender como esses artefatos semióticos funcionam e como se pode tirar vantagens das traduções pedagógicas desse tipo de texto.

Mas, enfim, o que é multimodalidade? Como bem definem Vieira e Silvestre (2015) “Multimodalidade é a designação para definir a combinação desses diferentes modos semióticos na construção do artefato ou evento comunicativo” (p.8). Carvalho (2016) define multimodalidade como a “convergência dinâmica de modos e recursos semióticos na qual ambos contribuem para a construção do significado” (p.34).

A multimodalidade se baseia na Semiótica Social que, por sua vez, estuda a linguagem relacionada às práticas sociais (LIMA, RODRIGUES, 2014) e busca estudar e explicar os diferentes modos significativos que ocorrem nessas práticas. A terminologia da palavra multimodalidade é explicada por Kress et al (2005, p.2), segundo o qual Mode (modo, modalidade) se refere a todos os recursos culturalmente moldados que produzem significados, tais como texto, imagem, sons, etc., e Multi se refere ao fato de que todas as modalidades nunca ocorrem por elas mesmas, sozinhas, mas sempre acompanhadas das demais.

Segundo a pesquisadora Carey Jewitt (2014) a multimodalidade se baseia em três pressupostos teóricos. O primeiro deles afirma que o texto verbal é parte de um conjunto multimodal e que todos os modos contribuem igualmente para a construção do significado. Assim, a autora defende que todos os modos envolvidos em um conjunto multimodal precisam ser estudados levando-se em consideração as escolhas disponíveis aos comunicadores, o potencial de significado dos recursos e o propósito pelo qual foram utilizados.

O segundo pressuposto, de acordo com Jewitt, diz respeito ao fato de que cada modo é utilizado para realizar um trabalho comunicativo distinto, baseado em uma função social

específica e de acordo com um contexto determinado. A maneira como um determinado modo cumpre sua função social dentro de diferentes comunidades é histórica, social e culturalmente determinada.

O terceiro pressuposto está diretamente conectado ao anterior e afirma que a interação entre os diferentes modos é importante para a construção do significado. Ou seja, o significado do todo comunicativo se dá pelo entrelaçamento dos significados produzidos pelos diferentes modos envolvidos isoladamente.

Assim, a relevância da teoria da multimodalidade está na necessidade de considerar igualmente todos os modos e recursos presentes em uma determinada situação comunicativa, reconhecendo a importância de cada um na construção do significado. Uma perspectiva multimodal fornece ao aluno uma visão mais ampla acerca dos significados expressos por um determinado gênero textual, bem como o capacita para expressar significados por meio dos diversos modos disponíveis. De acordo com Cárcamo (2016):

(...) no final do século XX, com os crescentes estudos no campo da aprendizagem cognitiva, tornou-se indiscutível que diferentes formas de representação ou ação influenciam a atenção humana, a interação, a percepção, a interpretação e a construção de significados. Além disso, foi demonstrado que o uso de diferentes modos melhora a percepção do aluno em seu próprio processo de aprendizagem; os alunos são mais conscientes e ativos em relação à linguagem. (p.137)10

Ou seja, a multimodalidade, além de contribuir para o processo de aprendizagem dos alunos, contribui para um ambiente mais motivador e estimulante no qual o aluno se torna mais ativo e envolvido com seu próprio aprendizado. Com relação à contribuição da multimodalidade para a aquisição de vocabulário, destacamos Mayer (2003) que, ao tratar do efeito multimídia, afirma que os alunos aprendem muito mais a partir da combinação de imagens e palavras do que a partir de palavras isoladas. Esse fato somado às afirmações de Cárcamo sobre o uso de diferentes modos no contexto de ensino motivou a escolha do gênero meme em nossa pesquisa.

10 _{at the end of the 20th century with the increasing research studies in the cognitive learning field, it became indisputable} that different ways of representation or action influence human attention, interaction, perception, interpretation, and construction of meanings. In addition, it has been demonstrated that using different modes improves the student’s perception on his or her own learning process; learners are more conscious and active towards the language.