Multimodalidade

Como afirmam Kress e van Leeuwen (2001: 1), durante muitos anos, na cultura ocidental houve uma preferência pela monomodalidade nos vários campos do saber ou das artes. Na escrita, os géneros mais valorizados pela elite cultural eram publicados em densas páginas a preto e branco sem qualquer ilustração, cor ou apontamento gráfico; na pintura, a maioria dos quadros era pintado a óleo sobre tela, e, de um modo geral, a criatividade intelectual e artística tinha os seus espaços bem definidos.

Recentemente, como afirmam os autores (ibidem), a monomodalidade foi dando lugar a uma multiplicidade e variedade de modos como cores, imagens, grafismos, materiais e dinâmicas que revolucionaram a forma de representar o mundo, e que, por outro lado, também deixaram de ocupar espaços tão delimitados como anteriormente. Encontramos brochuras universitárias repletas de cores e sofisticado layout, obras de arte feitas de tachos e panelas, espectáculos que misturam música, teatro e cinema e atravessam as fronteiras das diversas formas de expressão artística, há anúncios publicitários que parecem propaganda política e propaganda política que soa a anúncio publicitário. Os géneros, as técnicas e os modos de significação multiplicam-se e misturam-se e, com eles, cresce a necessidade de novos instrumentos de compreensão.

Se é verdade que a língua é de certa forma transversal a todos os modos de expressão, também sabemos que o estudo da língua só por si é insuficiente para conhecer o complexo exercício da comunicação na sociedade contemporânea. Como afirmam Hodge e Kress (1988: i):

Meaning resides so strongly and pervasively in other systems of meaning, in a multiplicity of visual, aural, behavioural and other codes, that a concentration on words alone is not enough. Hence we were led, inevitably, to our second premise, namely that no single code can be successfully studied or fully understood in isolation.

Como nos foi dado observar na curta viagem que fizemos sobre o mundo da semiótica, o desejo de conhecer os diferentes modos de significação para além da palavra escrita levou vários autores a percorrer o caminho que tinha sido aberto por Saussure na busca de uma ciência semiológica. Mas, como sabemos, as implicações envolvidas no processo de transferência de significados entre diversos modos semióticos não são óbvias, e, nesse sentido, como afirma Chandler (2002), as opiniões entre estudiosos parecem divergir:

The differences between media lead Emile Benveniste to argue that the 'first principle' of semiotic systems is that they are not 'synonymous': 'we are not able to say "the same thing"' in systems based on different units (in Innis 1986, 235) in contrast to Hjelmslev, who asserted that 'in practice, language is a semiotic into which all other semiotics may be translated' (cited in Genosko 1994, 62).

Norman Fairclough, por seu lado, refere igualmente a importância das diferenças entre as tecnologias e os canais utilizados pelos diferentes meios de comunicação e as implicações que essas diferenças trazem à produção dos significados. Por exemplo, o facto de a imprensa utilizar um canal visual, linguagem escrita e recorrer a tecnologias de reprodução gráfica faz com que adquira um potencial de significado totalmente diverso da rádio, que utiliza um canal oral, linguagem oral e recorre a técnicas de gravação e transmissão radiofónica. Nas palavras de Fairclough (1995: 38-39, citado em Chandler, 2002):

For instance, print is in an important sense less personal than radio or television. Radio begins to allow individuality and personality to be foregrounded through transmitting individual qualities of voice. Television takes the process much further by making people visually available, and not in the frozen modality of newspaper photographs, but in movement and action.

Chandler (2002) reconhece que a experiência humana é multissensorial e que cada modo de representação está sujeito aos constrangimentos e implicações do meio que utiliza. Por seu lado, cada meio é também constrangido pelo canal que utiliza. A título de exemplo, o autor afirma que mesmo no contexto da linguagem humana, por vezes, é difícil encontrar palavras para representar certas experiências, como por exemplo, o cheiro ou o tacto. Nas palavras do autor (ibidem): “different media and genres provide different frameworks for representing experience, facilitating some forms of expression and inhibiting others”. Ora, o conceito de multimodalidade nasce desta necessidade de estender o desejo de compreensão dos significados para além do campo verbal, o que passa por analisar os recursos semióticos para além do modo verbal, bem como as relações que se estabelecem

entre eles. Consequentemente, uma análise multimodal terá como objectivo estudar não só as particularidades de cada modo semiótico, como as relações que estes establecem com o modo verbal e a forma como essas combinações criam um todo significativo dentro de determinada cultura.

Apesar das dificuldades inerentes, Kress e van Leeuwen (2001: 1-2) referem o desejo sustentado pela maioria das escolas semióticas em criar um enquadramento teórico universal, aplicável à interpretação de todos os modos semióticos. O que os autores se propõem fazer em Multimodal Discourse (2001: 2-5) é, precisamente, delinear uma teoria semiótica que seja única e capaz de descrever todas as formas de significação, ou seja, criar uma teoria semiótica multimodal. Neste projecto, a questão deixa de ser qual o meio ou o canal utilizado por determinado modo semiótico (ou nas suas palavras, o elemento técnico), mas os princípios que são comuns a todos eles. Como afirmam os autores (2001: 2):

In the age of digitisation, the different modes have technically become the same at some level of representation, and they can be operated by one multi-skilled person, using one interface, one mode of physical manipulation, so that she or he can ask, at every point: ‘Shall I express this with sound or music?’, ‘Shall I say this visually or verbally?’, and so on.

Kress e van Leeuwen dão o exemplo de um conceito introduzido na sua Gramática do Design Visual (1996) designado “enquadramento” (framing), o qual ilustraremos em mais pormenor no próximo subcapítulo, e que serve basicamente para indicar as descontinuidades de uma imagem através de linhas de separação entre os objectos representados. Kress e van Leeuwen explicam de que forma o conceito de “enquadramento” pode ser aplicado a outros modos, tais como ao layout de um jornal ou a espaços físicos como um escritório, um restaurante ou um comboio, bem como às pausas de um discurso oral, à música ou aos movimentos dos actores. São conceitos como o de enquadramento, susceptíveis de aplicação a uma variedade de modos semióticos que formariam a base teórica de uma teoria multimodal. Essa teoria passa por procurar os princípios semióticos comuns que são realizados de formas diferentes pelos diferentes modos semióticos.

Na verdade, como afirma Jewitt (2009: 1), o facto de a comunicação ser multimodal não é novidade, visto que as pessoas sempre utilizaram modos não-verbais para comunicar. Se

Kress e van Leeuwen definem multimodalidade como “o uso de diversos modos semióticos na produção de um produto ou evento semiótico”36

(2001: 20, citados em Jewitt, ibidem), então, talvez a novidade resida nas possibilidades que as modernas tecnologias oferecem hoje em dia para a reconfiguração dos modos semióticos de uma forma que não acontecia há uns anos atrás.

Kress (2010: 5) aponta a globalização como um dos factores inevitavelmente responsáveis pela transformação do mundo da comunicação, na medida em que tornou possível que as características de um lugar possam estar presentes e activas noutro lugar, tanto do ponto de vista económico como cultural e tecnológico. No fundo, a globalização veio a possibilitar o confronto entre os factores tradicionais e locais com os factores externos e ambos são transformados durante o processo. Para o autor, o interesse pela multimodalidade na última década, deve-se ao facto de o mundo da comunicação ter mudado profundamente e de os efeitos dessa mudança serem sentidos a todos os níveis. Nas palavras do autor (2010: 6):

The semiotic effects are recognizable in many domains and at various levels: at the level of media and the dissemination of messages — most markedly in the shift from the book to the screen; at the level of semiotic production in the shift from the older technologies of print to digital, electronic means; and in representation, in the shift from the dominance of the mode of writing to the mode of image, as well as others.

As rápidas transformações tecnológicas e a globalização são então responsáveis pela passagem da monomodalidade à multimodalidade e, como é natural, foram acontecendo primeiro no dia-a-dia e só mais tarde chegaram à academia (Kress, 2001: 6). No entanto, como afirma Jewitt (2009: 2), a multimodalidade não é uma teoria, mas sim um “campo de aplicação” que abarca uma variedade de disciplinas e perspectivas teóricas susceptíveis de explorar diversos aspectos do universo multimodal. Nesse sentido, nas últimas décadas, o conceito de multimodalidade tem desencadeado um série de publicações e promovido uma reflexão sobre o papel dos diferentes sistemas semióticos na comunicação, de tal forma que se tornou um conceito indispensável à interpretação dos significados produzidos nos mais diversos textos e contextos.

Alguns dos trabalhos mencionados por Unsworth (2008: 5) incluem pesquisas em áreas tão diversas como a gramática do visual (Kress & van Leeuwen, 1996, 2006) música e som (van Leeuwen, 1999), texto fílmico (van Leeuwen, 1991, 1996), obras de arte (O’Toole,

36

1994), semiótica do espaço (O’Toole, 2004; Ravelli, 2004), ou ainda a semiótica das cores (Kress & van Leeuwen, 2002; van Leeuwen, 2010), tipografia (van Leeuwen, 2006), gestos e movimentos (Martinec, 2000) ou o olhar (Lancaster, 2001; Bezemer, 2008).

Por outro lado, o conceito de multimodalidade e a crescente opção por textos de natureza multimodal para utilização na sala de aula, levou igualmente a uma preocupação com os contextos educacionais, preocupação essa que deu origem ao conceito de multiliteracias. Em 1994, um grupo de dez linguistas que ficou conhecido como “The New London Group”, entre os quais Gunther Kress, reuniu-se nos Estados Unidos para discutir a forma como a pedagogia da literacia deveria abarcar as rápidas transformações da literacia devido à globalização e ao rápido avanço da tecnologia e da diversidade cultural e social. Desta reunião resultou a publicação de um texto intulado “A Pedagogy of Multiliteracies: Designing Social Futures” (1996), no qual os autores propõem uma pedagogia do design (New London Group, 1996: 10), que passa por ensinar diversas representações de significado, nomeadamente, linguística, visual, audio, espacial e gestual.

Relativamente ao contexto da aula de ISL ou ILE, Knox (2008: 140) refere que, apesar de o conceito de multimodalidade ser relativamente recente, há muitos anos que os professores de língua entenderam intuitivamente a noção de multimodalidade e o integraram na sua prática pedagógica, principalmente e, em parte, devido ao desenvolvimento das abordagens comunicativas. Nas palavras do autor (ibidem):

In interviews, resumes and even letters of application, meaning is made not only linguistically, but multimodally, and language teachers have historically incorporated this reality into their pedagogical practices. Classroom presentations, language for guiding tourists, creative writing and the imagic use of words in poetry, the use of headings and figures in academic writing — all involve language interacting with other modalities (e.g. posture, gesture, eye contact, image, layout), something recognized and taught in many languge classrooms for many years.

No entanto, esta realidade não elimina a necessidade de um conhecimento cada vez mais profundo dos textos multimodais, bem como a necessidade do desenvolvimento da literacia numa perspectiva das multiliteracias, o que leva Knox (2008: 154) a afirmar que, apesar da adopção e adaptação das abordagens multimodais na aula de ILE não exigir uma “revolução” das práticas pedagógicas, esta requer uma evolução das práticas comunicativas que os aprendentes de língua já conhecem.

Neste sentido, como afirma Machin (2010: x), o conceito de multimodalidade tem sido particularmente útil nas disciplinas de tradição linguística que até há pouco negligenciavam o estudo dos aspectos visuais. Os contextos educativos inserem-se neste grupo, pois se a análise das imagens tem sido estudada noutras disciplinas como história de arte ou estudos de cultura (Machin, ibidem), noutras disciplinas como a aula de ILE, o uso de imagens não beneficia ainda de uma orientação consciente e sistemática por forma a contribuir efectivamente para o desenvolvimento linguístico e crítico dos estudantes. Apesar de o objectivo da Gramática do Design Visual de Kress e van Leeuwen (2006) não ser exclusivamente pedagógico, essa é uma das inúmeras possibilidades oferecidas pelos autores e que, desde o início deste projecto, nos serviram de inspiração para a nossa proposta de ensino. No próximo subcapítulo procuramos então explicar em que consiste a gramática do design visual (GDV) e de que forma a aplicámos à elaboração da unidade didáctica que consta do Anexo A1.