A multimodalidade, segundo Hartmut Stöckl (2004:09), está “ganhando terreno acadêmico” atualmente, no que ele chama de uma ‘descoberta tardia do óbvio’, tendo em vista que ela indica um fenômeno tão antigo quanto a própria representação e que é fundamental para a compreensão de todas as formas de comunicação.
Para o autor, o fenômeno multimodal refere-se “aos artefatos e processos comunicativos que combinam vários sistemas de signos (modos) e cujas produção e recepção recorrem a comunicadores para inter-relacionar, semântica e formalmente, todos os repertórios de signo apresentados”. (Stöckl, 2004:09). A multimodalidade, como pontua Jewitt (2009), descreve justamente as abordagens que compreendem a comunicação e a representação como sendo não só relacionadas à língua, mas como relacionadas a toda série de formas comunicacionais que as pessoas usam (como gesto, postura, imagem etc.) e à relação entre elas. Nessa perspectiva, também se situam Kress e van Leeuwen (2006), para quem não nos comunicamos apenas por um modo11, pela língua, por exemplo, mas multimodalmente por meio das combinações das imagens, do som, da escrita, da fala etc. Segundo Kress (2009: 54), essa é a rota trilhada pela semiótica social para a representação multimodal, na medida em que a língua não é considerada dominante ou central, capaz de expressar todos os significados, mas apenas um modo entre outros para produção de sentido. Dessa forma, uma abordagem multimodal e semiótica social “começa a partir da posição que comunicação visual, gesto e ação têm evoluído através de seus usos sociais em sistemas semióticos articulados ou parcialmente articulados da mesma maneira que a linguagem.” (KRESS et al., 2001: 44)
Kress e van Leeuwen (2006: 19) tomam como base a ideia de que língua e comunicação visual podem, ambas, ser realizadas pelos ‘mesmos’ sistemas de sentido fundamentais que constituem nossa cultura, mas cada uma constrói sentidos diferentemente, por meio de suas próprias formas. Por exemplo, segundo os autores, apenas através da língua é possível usar orações que indicam processos mentais (como “eu acredito...”, para usar o
11
Mais adiante trataremos desse conceito, dentro da perspectiva multimodal que adotamos, mas de antemão adiantamos que para algo ser considerado um modo é preciso que haja “um senso cultural compartilhado do conjunto de recursos e de como estes podem ser organizados para realizar sentidos.” (JEWITT 2009, 22)
exemplo utilizado por eles), ao passo que, só por meio de imagens, é possível conferir superioridade a uma pessoa, através da perspectiva12 (com uma angulação vertical). Da mesma forma, na escrita, é possível enfatizar algum termo com o uso do negrito, enquanto, na fala, pode-se recorrer à entonação. Para dar “ênfase”, neste caso, cada modo dispõe de característicos específicos.
Os autores também defendem que as formas da língua e da comunicação visual vão desenvolvendo-se em resposta às mudanças sociais e expressam sentidos pertencentes às culturas de uma dada sociedade. Quanto a isso, os autores chamam atenção para as possibilidades e limitações de sentido em cada caso, o que significa que nem tudo que pode ser realizado pela língua, também pode ser realizado pelas imagens, e vice-versa. Essa preocupação também aparece no artigo intitulado Multimodality, Multimedia, and Genre (2003:39), em que Kress interroga se “há sentidos sociais que podem ser realizados no modo da imagem, mas não podem ser realizados no modo da fala ou da escrita” e, mais especificamente, reformula a questão: “como as imagens representam relações e interações sociais?”. Para o autor, toda representação e toda comunicação deve ser carregada por sentidos sociais, além de ser ‘genericamente moldada’ (realizada em gêneros), uma vez que ‘sentido’ é “inevitável e necessariamente realizado diferentemente em diferentes modos”. Além disso, conforme explicam Kress et al (2001), todos os modos de comunicação desenvolvem-se e alteram-se segundo as demandas sociais; assim, novos são criados e modos existentes são modificados.
Atentando para esses aspectos da representação e da comunicação, Jewitt (2009) afirma que há quatro suposições teóricas interconectadas que sustentam a multimodalidade:
a) a língua é parte de um conjunto multimodal;
b) cada modo em um conjunto multimodal é realizado por meio de trabalhos comunicativos diferentes;
c) os sentidos são orquestrados pelas pessoas através da seleção e da configuração dos modos; e
d) os sentidos dos signos formados a partir de recursos semióticos multimodais são, assim como a fala, sociais.
12
“o desenho artístico a perspectiva pode ser definida como um recurso gráfico que utiliza o efeito visual de linhas convergentes para criar a ilusão de tridimensionalidade do espaço e das formas quando estas são representadas sobre uma superfície plana como a do papel de desenho.” (Disponível em: http://www.sobrearte.com.br/desenho/perspectiva/index.php)
Quanto à primeira premissa, a autora afirma que a multiplicidade de modos apresenta um potencial para contribuir igualmente para o sentido, ao contrário de outras perspectivas teóricas que encaram a língua como o modo mais significativo da comunicação, em especial nos contextos de ensino e aprendizagem. Em perspectivas como essas, gestos e imagens, por exemplo, são considerados como instrumentos, respectivamente, para a fala e para a escrita, modificando ou reforçando o que é dito. São vistos como “não-verbais”, “paralinguísticos”. No entanto, conforme ressalta Jewitt (2009), em uma perspectiva pautada pela multimodalidade, a língua é um modo, dentre outros em um conjunto multimodal.
No que tange o segundo pressuposto, a multimodalidade leva em conta que os modos têm sido emoldurados pelos usos históricos, sociais e culturais para a realização de funções sociais. Dessa forma, todas as ações comunicativas são constituídas pelo social e cada modo, tanto o imagético quanto outros não-linguísticos, assumem papéis específicos em contextos específicos. Esses papéis, reforça Jewitt (2009), “não são fixados, mas articulados e situados”. Pela terceira afirmação, quanto à seleção e à configuração dos recursos semióticos como decisivas para a produção de sentidos, a autora parte da ideia de que a interação entre os modos também é significante, já que os diversos modos envolvidos no evento comunicativo combinam-se para representar o sentido da mensagem, mas não o fazem necessariamente de maneira uniforme. Assim, dois modos podem ser complementares ou contraditórios. A investigação multimodal, assevera Jewitt (2009), preocupa-se com a interação dos modos tanto para observar o trabalho específico deles quanto para analisar como interagem e contribuem com outros conjuntos multimodais.
Quanto à quarta premissa, a autora afirma que os sentidos tomam forma segundo as normas e regras operadas no momento da produção de sentidos, baseadas nos propósitos e interesses do produtor, em um dado contexto social. Portanto, os sentidos são selecionados, adaptados e reconfigurados através dos processos de leitura e interpretação do recurso semiótico. Conforme pontua a estudiosa, “a teorização dos recursos intersemióticos é um aspecto-chave da multimodalidade”, afirmação que dialoga com o conceito de coesão multimodal (van Leeuwen, 2005), que diz respeito aos diferentes tipos de recursos semióticos que são integrados para formar um texto multimodal e eventos comunicativos, por meio do ritmo, da composição, da vinculação de informação e do diálogo.
Jewitt (2009) ainda destaca cinco conceitos-centrais para análises multimodais que estão em mudança: modo, recurso semiótico, affordance modal/potencial de sentido, materialidade e metafunções. Para a autora, o modo é entendido, na perspectiva de uma semiótica social, como o “resultado de uma modelagem cultural de um material” (2009:21), o
que está em sintonia com o que afirma Kress (2009), segundo o qual, o modo é um recurso para a produção de sentido dado culturalmente e moldado socialmente. Dessa forma, esse autor explica que, partindo-se de uma abordagem socialmente orientada, se uma determinada comunidade utiliza cor ou fonte com regularidade, consistência e com suposições compartilhadas acerca da produção dos significados, então, tem-se um modo.
A respeito dos recursos semióticos, Jewitt afirma ser uma noção central para multimodalidade, assim como van Leeuwen (2005) que conclui ser essa a expressão-chave de uma semiótica social. Conforme pontua este autor (2005:08), os recursos semióticos carregam (por serem realizados socialmente) as “regularidades discerníveis das ocasiões e dos eventos sociais” e, portanto, também uma certa estabilidade13 (variável de acordo com as mudanças sociais). Essa noção é proveniente do trabalho de Halliday, segundo o qual a gramática de uma língua é formada, não por regras a serem seguidas para que seja possível construir sentenças corretas, mas por recursos que permitam a produção de significados (Halliday 1978 apud van Leeuwen, 2005). Van Leeuwen (2005:285) descreve recursos semióticos da seguinte maneira:
“as ações e artefatos que usamos para comunicar, sejam eles produzidos fisiologicamente – com nosso aparato vocal; com os músculos que nós usamos para criar expressões faciais e gestos, etc. – seja por meio da tecnologia – com caneta, tinta e papel; com hardware e software do computador; com tecidos, tesouras e máquinas de costura, etc.”
O autor ainda lembra que os recursos semióticos apresentam um potencial de sentido, baseados em seus usos passados, e um conjunto de affordances14, baseados em seus usos possíveis, que são ‘atualizados’ em contextos sociais concretos de uso. Com uma sutil diferença quanto ao foco, Kress (1993 apud Jewitt 2009:24) usa “affordance modal” para se referir ao que “é possível expressar e representar facilmente com um modo”. Em síntese, affordance nos termos de Kress e potencial de sentido de um modo de van Leeuwen dizem respeito a como um modo tem sido usado para significar, em dado contexto.
Kress (2009) ainda destaca a importância da materialidade de um modo, que diz respeito ao efeito do modo em relação à fisiologia da recepção física, corpórea, e à produção
13
Os modos e recursos semióticos apresentam uma relativa estabilidade, em função das convenções retóricas, estabelecidas sócio-historicamente, que conferem variados status – como de confiabilidade – ao serem utilizadas. Mais adiante traremos dessas convenções retóricas e de sua natureza inerentemente social, a partir das considerações de Kostelnick e Hasset (2003).
14
Termo originado do trabalho de Gibson (1977), sobre a percepção cognitiva. Indiscriminadamente, também é referido, no presente estudo, como “possibilidades”.
de sentidos. Segundo o autor, cada modo apresenta seu canal fisiológico de recepção sensorial e é capaz, em tese, de ser desenvolvido culturalmente, como é o caso do Braille. Essa consideração, pondera o autor, apresenta implicações, uma vez que possibilidades de sentido do som, por exemplo, diferem das da visão ou do toque.
No que se refere ao quinto termo-chave listado por Jewitt (2009) – metafunção –, fortemente associado à Gramática de Design Visual, proposta de Kress e van Leeuwen (2006), levemos em conta o próximo tópico.