Semiótica Social e Multimodalidade

O preâmbulo da questão das metáforas multimodais se encontra na definição do conceito de (multi)modalidade. Ao lado da linguagem verbal, falada ou escrita, coexistem outras formas de representação simbólica, indicial e icônica com as quais damos sentido ao mundo. Ao falarmos, por exemplo, aplicamos inúmeros sinais gestuais com o corpo. Esses sinais são espontâneos e intuitivos e colaboram tanto para a realização do que se pretende comunicar, quanto para a “apreensão” do que foi comunicado. Assim, em outras palavras, os interlocutores apoiam-se em gestos corporais tanto para produzir sentidos, como para interpretá-los. Quando lemos um texto escrito, por sua vez, não raramente “lemos” também imagens nas mais diversas formas, como fotografias, ilustrações, desenhos, gráficos, logotipos e assim por diante.

A relação entre imagem estática e símbolos escritos não é recente. Desde os nossos primórdios enquanto espécie, quando as técnicas para a comunicação começam a se estabelecer, nossos ancestrais já esboçavam traços e imagens nas paredes de pedra. A representação imagética do mundo é um fato, então, remoto. Com o advento do alfabeto e das convenções da escrita, a imagem não perdeu o seu uso, mas especializou-se para outros gêneros e outros propósitos comunicativos. A escrita alcança status de formalidade e de poder. Quem é letrado pertence a uma casta específica e abastada e tem o direito de ler leis, estatutos, compêndios comerciais, registros financeiros e livros sagrados, como a Bíblia, por exemplo. Desse modo, a escrita se institucionaliza e se especifica para a realização de atividades formais e convencionais, mas, é claro, não se restringe a esses cenários e nem se estabelece de modo independente de outras modalidades semióticas.

Palavra escrita e imagem se desenvolvem lado a lado na História da humanidade, mesmo que, em determinados momentos, uma ou outra tenha adquirido poder social e tenha sido legitimada em práticas discursivas institucionalizadas. De qualquer modo, não se pode negar que as imagens sempre estiveram presentes em textos escritos, basta lembrar-nos de cartas de navegação e de descrições botânicas de séculos anteriores.

Contudo, as últimas décadas são especialmente relevantes para a relação entre imagem e palavra. A profissionalização da publicidade, o advento da TV, o surgimento da Internet e todas as consequências que essa inovação gerou para o nosso cotidiano testemunham em favor de textos cada vez mais híbridos, ou seja, realizados, ao mesmo tempo, por palavras escritas e imagens e por outras relações semióticas.

A compreensão de textos híbridos não pode ser dada pela eliminação de uma ou de outra modalidade que os compunham, ou seja, não podemos negar que as diferentes linguagens envolvidas na realização textual colaboram para a produção da mensagem e para a sua compreensão. Se escolhermos separar as imagens da parte escrita, o resultado será um texto amputado, cujo sentido, caso ainda seja construído, será apenas uma fração de sua totalidade.

A Semiótica Social (Kress e Van Leeuwen, 2001; Kress, 2010; Van Leeuwen, 2005; Jewitt, 2009; entre outros) oferece um lastro teórico capaz de explicar a utilização de diferentes semioses para a comunicação humana e capaz de mostrar como variados textos são realizados simultaneamente por mais de uma modalidade, ou seja, capaz de analisar textos multimodais. Segundo Kress (2010, p. 55)24_{, “a} semiótica social está interessada nos sentidos, em todas as suas formas, e os sentidos emergem em ambientes e interações sociais, assim, o social é tanto a fonte, como o produtor de sentidos”.

Segundo Kress (2010), a Semiótica Social investiga o sentido a partir de três perspectivas:

a) A perspectiva geral: diz respeito à semiose, isto é, à ativa produção de sentidos nas interações sociais; diz respeito às representações e aos meios de comunicação; b) A perspectiva da multimodalidade: se preocupa com questões comuns a todos os modos semióticos e com as relações entre eles;

c) A perspectiva de modos semióticos específicos: lida com as especificidades de cada modalidade semiótica.

Kress (2010) adverte que, na prática, as três perspectivas dificilmente podem ser separadas, embora, para propósitos analíticos, pode ser útil o seu isolamento.

24 _{Tradução nossa, conforme o original: “Social-semiotic theory is interested in meaning, in all its}

forms. Meaning arises in social environments and in social interactions. That makes the social into the source, the origin and the generator of meaning”, Kress (2010, p. 55).

Assim, podemos compreender que, com o desenvolvimento da Semiótica Social, desenvolve-se também a noção de multimodalidade. Kress e Van Leeuwen (2001, p. 20)25 _{definem a multimodalidade como “o uso de múltiplas modalidades} semióticas na realização de um produto ou evento semiótico”. Segundo Jewitt (2009), o desafio da multimodalidade é ampliar a compreensão que nós temos sobre a linguagem verbal e sobre o sentido para o conjunto das demais modalidades que são empregadas na nossa cultura, como a imagem, a música, o gestual e assim por diante. Na perspectiva da multimodalidade, os diferentes modos semióticos são realizados por meio de recursos semióticos, isto é, os recursos que um sujeito utiliza numa interação. Assim, o modo e os recursos utilizados moldam a comunicação e os sentidos. A multimodalidade está interessada na análise dos vários modos que empregamos nas nossas interações, sem, contudo, desprezar a linguagem verbal. Como explica Jewitt (2009), a multimodalidade observa através da linguagem verbal para explorar os demais modos semióticos.

Embora a quantidade de textos multimodais que lemos e produzimos seja enorme, a maior parte dos estudos a propósito da metáfora se debruça sobre a sua realização verbal apenas. Portanto, o intuito deste trabalho é preencher uma fração desta lacuna, no que diz respeito aos estudos em língua portuguesa. Para tanto, partimos de investigações já iniciadas, como os estudos de Forceville (1996, 2008 e 2009) sobre a questão das metáforas pictóricas e multimodais, que detalharemos a seguir.