4.2 Os letramentos multissemióticos
4.2.1 A Semiótica Social de Kress
60 Em uma das etapas da investigação (ver 5.2), pedimos, para vários estudantes, pôsteres acadêmicos apresentados em congressos. Desses textos, recebemos, em nossa caixa de e-mail, um e-pôster em Prezi. Fazendo comparações dele com o pôster, chegamos à conclusão que duas diferenças entre esses gêneros estão no suporte e na mídia. O pôster é produzido em mídias digitais e apresentado na impressa, com semioses visuais- verbais; enquanto o e-pôster é feito na mídia eletrônica e apresentada em mídia televisiva ou eletrônica, com semioses verbo-visuais-sonoras. No caso do e-pôster coletado, havia uma série de imagens impressas e gravações da pesquisadora, com o conteúdo da pesquisa, que variava de acordo com as lâminas do Prezi. Nesses casos, constatamos empiricamente que o “impresso permite imagens estáticas e escritas, mas não sons e imagens em movimento” (ROJO, 2013a, p. 29).
75
Tradicionalmente investigada nas pesquisas em Semiótica, Linguística, Linguística Aplicada e Didática das Línguas, a Semiótica Social, de Gunther Kress e Theo Van Leeuwen (2006), é uma das teorias que podem ser utilizadas para analisar as regulações das dimensões visuais do pôster, já que o seu objeto é descrever e analisar todos os signos em todos os modos, bem como as inter-relações deles em um texto, com foco na representação (KRESS, 2010). Um de seus conceitos mais famosos, o “de modo”, é compreendido como um:
conjunto de recursos, incluindo imagem, olhar, gestos, movimento, música, fala e efeito sonoro61, regularmente organizados para a construção do sentido. Compreende-se geralmente os modos como o efeito do trabalho da cultura na transformação de material em recursos servindo para a representação. Esses recursos apresentam regularidades devido a esse trabalho cultural e devido à maior ou menor frequência com que são usados na (inter)ação social. Essas regularidades são o que tem sido tradicionalmente denominado de “gramática” (JEWITT; KRESS, 2003, p. 1- 2)62.
De acordo com Kress (2010), a Semiótica Social analisa o significado desses modos a partir de três perspectivas: a) a da semiose, isto é, da construção de sentidos na interação social, b) a da multimodalidade, focando-se em questões como o que há de comum entre os modos e as relações entre eles e c) a dos modos específicos, descrevendo formas e significados próprios de um dado, como as suas potencialidades materiais (a escrita, por exemplo, tem recursos gráficos como fonte, espaço, cor, borda, negrito, dimensão, enquanto a imagem não admite essas affordances), a história de sua formação e/ou a sua proveniência cultural. A Semiótica Social analisa e descreve os modos de igual significância na representação e comunicação. Dias e Oliveira (2016) os sintetizam na figura 3:
61 Kress (2010), em outra obra, apresenta os seguintes exemplos para o conceito de modo: imagem, escrita, layout, música, gesto, fala, imagem em movimento, trilha sonora e objetos 3D.
62 Do original “mode is used to refer to a regularised organised set of resources for meaning-making, including image, gaze, gesture, movement, music, speech and sound-effect. Modes are broadly understood to be the effect of the work of culture in shaping material into resources for representation. These resources display regularities due to that cultural work, and due to their more or less frequente use in social inter(action). These regularities are what have been called ‘grammars’ traditionally”.
76
Figura 3 – Códigos ou modos semióticos
Fonte: Dias e Oliveira (2016). Utilizamos, assim, o adjetivo “multimodal” para “nomear textos constituídos por combinação de recursos de escrita (fonte, tipografia), som (palavras faladas, músicas), imagens (desenhos, fotos reais), gestos, movimentos, expressões faciais etc.” (DIONISIO; VASCONCELOS, 2013, p. 21). O postulado básico dessa teoria é que “todos os gêneros textuais escritos são multimodais” (DIONISIO, 2007, p. 185), já que a comunicação humana é multimodal (KRESS, 2010) e combina mais de um modo de representação. Se todo gênero é multimodal, um pôster acadêmico também o é, já que combina modos da linguagem (escrita), visual (imagem estática, cores, tipografia, caixa de textos, marca d’água) e modo espaço (leiaute e colunas).
Kress e Van Leeuwen (2005[1996]) partem do princípio de que “muitos dos conceitos já existentes para a análise das estruturas linguístico-textuais [são] passíveis de serem transpostos para a análise dos textos visuais” (DIONISIO; VASCONCELOS, 2013, p. 30). Para eles, se há certas regularidades nos modos/semioses orais/escritos, é possível estendê-las para outros modos/semioses, como o visual. Essa hipótese é feita utilizando os conceitos de metafunção de linguagem (textual, ideacional e interpessoal) de Halliday63, da
Gramática Sistêmico-Funcional. Em 1996, Kress e Van Leeuwen (2005) seguem essa ideia à risca e resolvem criar uma gramática para tratar dessas equivalências, denominada de
63 Presentes em frases como: “Para usar os termos de Halliday, semióticas frequentemente exercem tanto a ‘função ideacional’, a função que representa ‘o mundo em volta e dentro de nós’ e a função ‘interpessoal’, a função de interações e relações sociais. Todas as entidades de mensagens – textos – também estão presentes em um ‘mundo textual’ coerente, que Halliday chama de função textual” (KRESS; VAN LEUWEEN, 2005, p. 15).
77
Gramática do Design Visual. Mozzaquatro (2014), no quadro 10, sintetiza e compara essas duas gramáticas:
Quadro 10- Correspondência entre as categorias da Gramática Sistêmico Funcional e da Gramática do Design Visual
METAFUNÇÃO GRAMÁTICA SISTÉMICO-FUNCIONAL GRAMÁTICA VISUAL Ideacional/ Representacional Processos (Materiais/Mentais/Relacionais/ Existenciais/Comportamentais) Participantes Circunstâncias Processos (Conceitual/Narrativo), Participantes Interativos e Representados,
Circunstâncias Interpessoal/
Interacional
Sujeito/Predicado/Finito/Oferta ou demanda de bens e serviços ou
informação/ Modalidade / Modulação
Contato, Distância Social, Atitude, Poder e Modalidade
Textual/
Composicional Tema/Rema Valor da informação, saliência, moldura. Fonte: Mozzaquatro (2014, p. 22). Dessas três metafunções, interessará a composicional/textual. Kress e Van Leeuwen (2005 [1995]), baseados na categoria “Valor da Informação”, estabelecem o seguinte mapa de organização espacial:
Figura 4 – Mapa de organização espacial
Fonte: Kress e Van Leeuwen (2005 [1996], p. 197). Explicando rapidamente o esquema baseado na categoria clássica de Tema (Dado) - Rema (Novo) de Halliday, os autores definem que, no centro de uma página, deveria existir “o núcleo da informação”, enquanto, nas margens, deveriam aparecer informações mais periféricas, como o dado, do lado esquerdo, e o novo, do lado direito. Mozzaquatro (2014), mesmo que indiretamente, expõe a fragilidade dessa teoria, com base na análise de pôsteres,
78
quando relata que só conseguiu aplicá-la em três (37,5%) de oito pôsteres coletados64. A
própria literatura sobre o gênero revela problemas com a operacionalização da teoria em categorias de análise e a sua possível transposição didática.
Esses problemas ocorrem porque a comparação entre ambas as gramáticas só é possível se partirmos do pressuposto de que construímos significados em outros modos/semioses da mesma maneira como fazemos com a semiose verbal: classificando. Rojo (2013a) afirma que essa ideia é falsa em sua origem porque, de acordo com Lemke (2010), além de construirmos significados classificando (como nas modalidades escrita/oral com a semiose verbal) (modo tipológico), também atribuímos significados por meio de variações de graus em diversos tipos ou contínuos de diferenças (modo topológico65), como fazemos na
percepção visual e na gesticulação (modos visuais e gestuais, respectivamente).
Perante os problemas na possível transposição da análise da modalidade verbal para as outras, Van Leeuwen (2005, p. 3), em uma publicação mais recente, toma a seguinte decisão:
[...] eu estendi essa ideia para a “gramática” de outros modos semióticos e defino os recursos semióticos como as ações e os artefatos que usamos para comunicar, quer sejam produzidos fisiologicamente – com o nosso aparelho fonatório; com os músculos que usamos para realizar expressões faciais e gestos etc. – quer sejam produzidos por meio de tecnologias – com caneta, tinta e papel; com hardware e software computacionais, com tecidos, tesouras e máquinas de costuras etc. Tradicionalmente, foram chamados de signos66.
Mesmo que, nessa publicação, ainda considere a existência de uma gramática para outros modos semióticos, quando afirma, na introdução de seu livro, que “estendeu essa ideia
64 Em outros gêneros, esse problema continua: Vieira (2015, p. 69) relata uma possível inconsistência no uso dessas informações por agência de publicidades, “sendo frequente a presença de anúncios que fazem exatamente o contrário”.
65 Lemke (2010, p. 464) expõe: “Estou começando a acreditar que construímos significados fundamentalmente de duas formas complementares: (1) classificando as coisas em categorias mutuamente exclusivas e (2) distinguindo variações de graus (ao invés de variação de tipo) ao longo de vários contínuos de diferença. A língua opera principalmente no primeiro, que chamo de tipológico. A percepção visual e a gesticulação espacial (desenhar, dançar) operam mais no segundo, a forma topológica. Como já argumentei, a construção real do significado geralmente envolve combinações de diferentes modalidades semióticas e também combinações bastante gerais destes dois modos. A semântica das palavras na língua é principalmente categorial ou tipológica em seus princípios, mas as distinções visuais significantes na escrita manuscrita (por exemplo, letras mais escuras ou um pouco mais grossas) ou na caligrafia, ou os efeitos acústicos da fala, um pouco mais alto ou forte, fazem sentido em um espectro contínuo de possibilidades, 'topologicamente”'.
66 Do original: “I extend this idea to the ‘grammar’ of other semiotic modes, and define semiotic resources as the actions and artefacts we use to communicate, whether they are produced physiologically – with our vocal apparatus; with the muscles we use to create facial expressions and gestures, etc. – or by means of technologies – with pen, ink and paper; with computer hardware and software; with fabrics, scissors and sewing machines, etc. Traditionally they were called ‘signs’.
79
de gramática”, e que um dos objetivos da Semiótica Social é de possibilitar “comparação” e “contraste” entre os modos semióticos, o que poderá fazer o semioticista social considerar, novamente, a construção de significados de igual maneira entre diferentes modos. Vamos manter, nesta dissertação, a noção de modos e de recursos semióticos, mas sem adotar a extensão de uma “gramática” para outras semioses. Em outra obra mais recente, o próprio Kress (2010) prefere deixar de usar o termo “gramática” para falar de “recursos”, já que esses não são nem fixos nem rígidos, mas constantemente (re)feitos na interação social, que lhes atribui uma estabilidade relativa.