A comunicação existe para que as pessoas transmitam sentidos e significados. A multimodalidade é uma forma de comunicação que utiliza diversos recursos ou modos semióticos (Kress e Van Leeuwen, 1996; Gomes e Azevedo, 2012). Nesse sentido, todo texto é multimodal e, por assim dizer, existe em camadas. Em concordância, Chartier (2001) afirma que o texto não existe fora do suporte que lhe confere legibilidade” (p. 219) e deve ser considerado em sua característica textual e gráfica (Ribeiro, 2013).
Assim a forma como o leitor acessa o texto é essencial para a compreensão do mesmo. A escolha do modo a ser utilizada dependerá de quem o produz e com que objetivo o faz. Cada código dentro da amalgama textual acrescenta informações relevantes e pesos diferentes para compor o significado final do texto (Kress, 2003). Ou seja, a finalidade não é somente estética, o conteúdo imagético irá contribui para a construção do texto em um grau elevado de iconicidade. O que torna indissociáveis as partes modais do conteúdo apresentado (Gomes & Azevedo, 2012).
Kress (2003) afirma que o conceito de modo/modalidade pode ser compreendido como um recurso utilizado para fazer/construir significado através dos diversos sentidos (visão, audição, tato, paladar e olfato). O leitor é envolvido de forma sinestésica a um texto que possui
carga social, regularidade e materialidade. Para o autor, estamos vivenciando um período de dominância da tela, na qual o lugar da imagem é privilegiado e determina a organização semiótica da informação – formando uma justaposição crescente da escrita com a imagem.
Dentro desse cenário, recursos como infográficos são uma opção composicional bastante utilizada. Trata-se da combinação de imagem e palavra em estreita conexão. Conteúdos científicos e explicações sobre tragédias (naturais ou não como o tsunami ou um acidente de avião) têm recorrido a processos discursivos verbo-visuais, como os infográficos, para expor informações (Ribeiro, 2013). O formato exige um pensamento visual no qual o sujeito deve editar o conteúdo ciente do recurso a ser utilizado e do momento certo de recorrer a expressão visual (Teixeira, 2010). Em associação a LSF, o infográfico expressa movimentos retóricos, ligados ao contexto de cultura, de explicar, narrar ou mostrar (Ribeiro, 2013).
Além dos modos semióticos de linguagem (oral e escrita) e visuais (imagens, cores e movimentos), há três outros códigos: o espaço, o gestual e o auditivo. O primeiro é composto por informações do layout e pela organização dos objetos no espaço. O segundo envolve as expressões faciais e a linguagem corporal. O terceiro envolve a utilização de músicas e efeitos sonoros. Cada camada dentro da multimodalidade terá sua função sendo impossível ranquear/hierarquizar sua importância (Cope & Kalantzis, 2009). Mesmo um texto acadêmico, marcado pelo uso de palavras em detrimento de imagens, é considerado multimodal em seu layout e no arranjo do conteúdo (Ribeiro, 2013).
Kress e Van Leeuwen (1996) construíram, a partir de seus estudos, uma gramática visual baseada na noção de que existe uma construção sociocultural que determina quais lógicas de apresentação serão esperadas para determinado contexto. A combinação visual corporifica o nosso ‘senso de correlação/coerência’ e contribuiu para a construção do significado. Para Kress qualquer recurso semiótico deve atender, ao menos potencialmente, há três metafunções presentes na Gramática Sistêmico Funcional originada do parâmetro contextual campo, sintonia e modo teorizados na LSF de Halliday (1985, 1994), ver Figura 2.
A primeira é a função ideacional que representa padrões de experiência no mundo, ou seja, específica os papéis dos participantes na oração e codifica as coisas e eventos. Essa função permite a construção da realidade na relação entre as experiências pessoais e o contexto e se realiza no sistema de transitividade (relacionado ao aspecto reflexivo do significado) presente na categoria campo, subvariável domínio experiencial do contexto de situação da LSF.
Tabela 1. Visão Geral da Gramática do Design Visual
GSF GDV Categorias Subcategorias Realização
IDE AC IONAL FUNÇ Ã O DE R E P R E SENT A Ç ÃO Representações Narrativas Presença de: Participantes Vetores Pano de Fundo (tempo e espaço do evento) Processos de ação
Transacional: dois participantes e um vetor (unidirecional ou bidirecional)
Não transacional: um participante e um vetor
Processos de Reação: Vetor é a linha do olhar
Transacional: quando o objeto do olhar pode ser visto
Não-transacional: o objeto para o qual o vetor aponta não aparece
Processos Mentais Presença de um balão de pensamento associado a um participante.
Processos Verbais Utilização de balões de fala. Representações
Conceituais
(foco nos participantes) Características: agrupamentos por categorias Relação parte/todo na apresentação Ausência de vetores; e Plano de fundo sem
destaque
Processos Classificatórios
Arranjo simétrico dos participantes, destaque para uma categoria em comum (explicita – com legenda – ou implícita) com características transitórias ou permanentes
Processos Analíticos
Representação com foco em partes de uma imagem ou mostrá-la como um todo com efeitos sobre o leitor. A interpretação necessita de contextualização. Processos
Simbólicos
Acréscimo de efeitos na imagem (cor, tamanho) carregados de simbolismo.
INT E R PESSO AL FUNÇ Ã O DE I NT E R A Ç ÃO Contato (participantes e leitor) Demanda
Projeção de uma relação pessoa pela representação do participante com olhar de requisição direto para o leitor criando uma demanda (compaixão, apelo sexual ou medo).
Oferta
Projeção de uma relação impessoal, dada pela ausência de contato direto com o leitor e presença de exposição do participante para observação.
Distância Social (proximidade do leitor)
Íntima/Pessoal Plano fechado Vínculo Social Plano médio Impessoal Plano aberto Atitude/ Perspectiva
(ângulo entre o corpo captado na imagem e o leitor – eixo vertical)
Envolvimento Ângulo frontal (participante e leitor de frente um para o outro)
Destaque Ângulo oblíquo (participante posicionado de lado)
Poder
(ângulo entre o corpo na imagem e o leitor – eixo horizontal)
Visão de Poder Ângulo alto (vertical) ou ponto de vista superior
Igualdade Nível dos olhos Poder do
participante
Ângulo baixo, poder do participante em relação ao leitor T E XT UAL FUNÇ Ã O DE C OM POSI Ç Ã O Valor da Informação (valor conferido ao participante em função da disposição na página)
Esquerda e direita Diagramação indicativa de informação dada (esquerda) ou nova (direita)
Topo e base
Diagramação indicativa de informação ideal e genérica (topo) ou real e específica e descreve os aspectos concretos do item superior (base/inferior)
Centro e margem
Diagramação indicativa de informação principal (centro) ou complementar e acessória (margem)
Enquadramento (molduras e suas conexões com o texto)
Saliência (recursos que chamam atenção para pontos ou participantes – tamanho, cor, contraste e plano)
A segunda função é a interpessoalidade que expressa as relações sociais entre os participantes no processo de comunicação, codificando as relações de troca entre sujeito e predicador. Sua realização está no sistema do modo ou modalidade, no qual são desenvolvidas as escolhas interacionais de aproximação ou afastamento do autor e do leitor. Está presente no parâmetro contextual sintonia do contexto de situação da LSF. A terceira função é a textualidade expressa na estrutura e no formato do texto. Insere-se no sistema de informação, ou tema, que organiza a linguagem em uma rede de relações lógicas com significado. Modela- se a partir dos parâmetros contextuais de situação presente na categoria modo da LSF. Nas palavras de Halliday (1985), a oração “é ao mesmo tempo a representação de uma experiência, uma troca interativa e uma mensagem’’. As três funções compõem a Gramática Sistêmico Funcional (GSF).
As três funções sistêmico funcionais combinam-se na Gramática do Design Visual (GDV) conforme Tabela 1. A função representacional na GDV, baseada na metafunção
ideacional da GSF, constrói visualmente as experiências e circunstâncias dos participantes.
Subdivide-se em estruturas narrativas (presença de participantes, vetores e pano de fundo – tempo e espaço do evento) ou em estruturas conceituais (foco nos participantes com agrupamentos por categorias, relação parte/todo na apresentação, ausência de vetores e plano de fundo sem destaque, nesse caso, interpretação necessita de contextualização).
Como demonstrado na Tabela 1, a função de interação surge da metafunção
interpessoal da GSF e aborda a relação entre os participantes do texto/imagem e o leitor. Nela
os recursos visuais estabelecem relações de demanda, de oferta, de distância social ou vínculo social, envolvimento, visão de poder. A função de composição originada na metafunção textual da GSF implica na análise dos significados presentes na distribuição da informação e na ênfase dada a determinados recursos gráficos. As categorias da composição são valor da Informação (disposição na página), enquadramento e saliência (recursos que chamam atenção como tamanho, cor, contraste e plano) [Kress & Van Leeuwen, 1996, Nascimento, Bezerra & Herbele, 2011, Carlo, 2014].