TÓPICO 3 – ENGINES E PLATAFORMAS DE PUBLICAÇÃO
Preparado para ampliar seus conhecimentos? Respire e vamos em frente! Procure um ambiente que facilite a concentração, assim absorverá melhor as informações.
CHAMADA
UNIDADE 3
1 INTRODUÇÃO
O termo “multimodalidade” surgiu a partir dos estudos da linguística aplicada, que trata não apenas do texto, mas das estratégias textuais-discursivas usadas em sua construção. As interfaces gráficas trazem em suas características próprias de multimídias vários recursos (texto, imagens, vídeos, animações, sons) que a qualifica como multimodal. No entanto, correntes de pesquisas do tema preferem chamar de interfaces multimodais apenas aquelas que usam dispositi-vos de entrada menos convencionais.
O fato é que as interfaces multimodais estão se popularizando cada vez mais e cabe ao designer de games buscar as melhores estratégias para a sua utili-zação, com o intuito de fortalecer a jogabilidade e agregar valor ao produto. Por-tanto, agora, você conhecerá o conceito de interfaces multimodais e os exemplos de dispositivos que auxiliam essas múltiplas interações.
Também estudará como a indústria de jogos se beneficia dessas tecnologias e conhecerá exemplos bem-sucedidos no mercado, o que lhe proporcionará um supor-te supor-teórico para a tomada decisão sobre quando e como usar as insupor-terfaces multimodais.
TÓPICO 1 —
INTERFACES MULTIMODAIS EM JOGOS DIGITAIS
2 O QUE SÃO INTERFACES MULTIMODAIS?
Embora a linguagem falada seja a prática mais comum quando queremos nos comunicar, ela não é a única. Usamos também gestos, sinais, imagens e de-mais recursos. A essa pluralidade de meios comunicacionais, chamamos de mul-timodal, ou seja, o que agrega diversos modos e recursos semióticos (construção de signos), independentemente do meio.
Segundo Van Leeuwen (2011), o termo “multimodal” surgiu em meados da década de 1920, quando psicólogos tentavam explicar a reação das pessoas em re-lação a diferentes sentidos (percepção sensorial), passando pelas escolas de Praga, Paris e Estados Unidos. No entanto, foi o britânico Michael Halliday que passou a adotar o termo “multimodalidade” nos estudos da linguística aplicada e da educa-ção. O termo passou, então, a ser empregado “[...] ao uso integrado de diferentes recursos comunicativos, tais como linguagem (texto verbal), imagens, sons e mú-sica em textos multimodais e eventos comunicativos” (LEEUWEN, 2011, p. 668).
UNIDADE 3 — INTERFACES E PLATAFORMAS
A aposta pela produção de recursos caracterizados como multimodais exi-ge do desenvolvedor uma articulação com os meios que a tecnologia disponibiliza.
Essa interação deve ser feita de maneira harmoniosa tanto com os múltiplos meios como com o usuário final, que passa de simples espectador de “sistemas” estáveis, para indivíduos recriadores e transformadores de processos representacionais.
Deve-se frisar, no entanto, que todos os elementos de uma interface mul-timodal devem ser coesos ao objetivo do recurso, evitando que se tenha um uso exagerado de elementos que desvie a atenção e o afaste da compreensão. Para isso, é importante que não haja anteposição aos elementos tecnológicos em de-trimento da finalidade principal. Assim, as tecnologias devem ser mediadoras da comunicação e não imposições injustificáveis.
A tecnologia possibilitou as mudanças que favorecem a estabilização des-sa linguagem heterogênea e do trabalho dos designers gráficos, agentes ativos da construção de significados, que têm a expertise de combinar palavras, imagens, vídeos, sons, tratando essas múltiplas semioses de forma coerente, popularizan-do seu uso, que tende a ser popularizan-dominante.
Nesse cenário de mídias expressivas, carregadas de discursos e de cons-trução de sentidos, os jogos digitais proporcionam um meio propício para susci-tar posturas críticas e alinhar-se na condição potencializadora de “textos” híbri-dos, mediadores de interações e construções de subjetividades.
3 INTERAÇÕES HOMEM-MÁQUINA
O ciclo básico de interação homem-máquina é a “solicitação” de entrada feita pelo usuário e a “resposta” dada pelo sistema, no caso, jogo digital. Essa inte-ração é fruto de vários estudos e abrange modalidades diversas. Enquanto alguns estudos focam nos resultados de saída, outros focam nas modalidades de entrada.
Nesse contexto, Bernsen (2008) define sistemas multimodais como sistemas que utilizam pelo menos duas modalidades diferentes para entrada e/ou saída.
Nessa definição, a maioria dos sistemas atuais poderia ser considerada multimodal, levando em consideração que grande parte dela usa, minimamente, o mouse e o teclado. Exemplos de sistemas unimodais seriam os de reconheci-mento de voz e/ou os de reconhecireconheci-mento de gestos, caso somente esse tipo de interação fosse possível para cada sistema. Por meio dessa lógica, o termo multi-modal poderia ser empregado para conceituar as GUI (Graphical User Interfaces).
De fato, a interface GUI introduziu diversos objetos gráficos com possi-bilidades de interação com o mouse, teclado, microfone, scanners e saídas como impressora, monitor de vídeo etc. No entanto, muitos estudiosos afirmam que os sistemas multimodais são diferentes de GUIs padrões. Oviatt, Sears e Jacko (2008) defendem que as interfaces multimodais representam um novo paradigma de interação, sendo diferentes das interfaces convencionais, tendo como foco o reconhecimento de formas naturais de linguagem e o comportamento humano.
TÓPICO 1 — INTERFACES MULTIMODAIS EM JOGOS DIGITAIS
Uma outra característica dos sistemas multimodais é a capacidade de aprendizagem de máquina, essa característica permite, por exemplo, o cimento de voz, o reconhecimento facial, a análise de expressão facial, o reconhe-cimento de gestos ou o rastreamento ocular. Ainda, é possível, por exemplo, que um sistema perceba os estados afetivos, e, sabendo das emoções do usuário, um computador possa se tornar um tutor.
As modalidades de saída disponíveis são: sonoras (fala, ícones auditivos, ear-cons), visuais (menus, ícones, animações), háptica (variações de intensidade, frequên-cia e ritmo de toques) e aromas-ícones olfativos (KAYE, 2004). Como modalidades de entrada existem: os visuais (gestos de mãos/dedos/ corpo e direção do olhar), as háp-ticas (botões, teclado, mouse e toque de dedos) e a fala. Veja mais detalhes a seguir.
• Modalidades visuais: gestos das mãos, movimentos do corpo e até a direção do olhar são controlados por meio de câmeras associadas ao sistema e utilizados como forma de interação em diversas aplicações. Segundo Schapira e Sharma (2001), os gestos da mão podem ser: Point and Wait (sobre a opção desejada, o usuário deve manter o cursor estático por um tempo para acionar ação), point and shake (sobre a opção desejada, o usuário sacode a mão rapidamente) e point and speak (a opção selecionada é acionada com um comando de voz). A direção do olhar é mais usada por pessoas que têm dificuldades motoras; esse recurso consiste em navegar pelas opções por meio do movimento dos olhos, porém a opção de selecionar precisa ser feita com um botão auxiliar (a opção de piscar, por exemplo, poderia resultar em disparo de seleções indesejadas).
• Modalidades hápticas: compreendem os dispositivos mais populares, como mouse, teclado, joysticks, touch screen.
• Modalidades acústicas: pelo caráter natural da fala, geralmente os sistemas multimodais acrescentam modalidades acústicas em suas interfaces e são muito usadas em dispositivos móveis que não possuem um teclado para en-trada rápida de dados.
Existem propriedades que introduzem características únicas aos sistemas multimodais. Entre elas, segundo Coutaz et al. (1995), estão:
• complementaridade – uso em conjunto de modalidades dentro de um tempo para realizar uma ação;
• atribuição – quando uma única modalidade pode desempenhar a ação;
• redundância – tanto uma modalidade quanto outra pode ser empregada em um contexto de tempo para realizar a mesma ação;
• equivalência – tanto uma modalidade quanto outra pode ser empregada para realizar a mesma ação, não impondo nenhuma relação temporal.
Quando se obtém a naturalidade na interação, a experiência do usuário é facilitada, dando a ele o poder de escolha diante da modalidade que se deseja usar. Apesar disso, a disponibilidade de uma maior quantidade de modalidades torna o desenvolvimento do sistema mais complexo, e, em alguns casos, não é
UNIDADE 3 — INTERFACES E PLATAFORMAS
possível simular a naturalidade pretendida. É preciso, portanto, que a real ne-cessidade do desenvolvimento de estruturas multimodais seja avaliada, e, caso opte-se por desenvolvê-las, busque-se sempre a perfeição para que a interação não seja comprometida.
4 JOGOS DIGITAIS
Os videogames fazem parte de uma “cultura participatória”, que ultra-passa a questão da “interatividade” do meio eletrônico e inclui interpretação, reconfiguração e construção (RAESSENS, 2005). Assim como o texto que traz ele-mentos verbais, visuais e procedimentais, o jogo e suas regras também é constitu-tivamente dialógico, já que possibilita discursos diversos que o compõem como objeto de linguagem e design.
Para além do discurso, os jogos digitais possibilitam formas de interação diversas com os sistemas. É fundamental que as formas de interação evoluam com a tecnologia para prover uma melhor experiência ao usuário em ambien-tes diferenambien-tes. Formas de interação que se aproximem mais do natural podem proporcionar maior eficiência e satisfação na execução da tarefa. Os meios que proporcionam múltiplas formas de interação são, também, objeto de estudos das interfaces multimodais, sobretudo, em jogos digitais.
O discurso integrativo possibilitado pelos jogos digitais é inquestionável.
As múltiplas formas de interação com o visual, textual, sonoro e demais recursos midiáticos são notórios. Por conta disso, as pesquisas no campo das interfaces multimodais para jogos se concentram muito mais no estudo de interações de entrada e saída que facilitam a interação homem-máquina, do que na semiótica da linguagem. Nesse sentido, Raskin (2000) defende que a interface do usuário estabelece os dispositivos com os quais o usuário deve interagir, como um sis-tema computacional (monitor, teclado, mouse etc.) e como o sissis-tema convida e responde às interações desse usuário.
Faz-se, portanto, necessário o estudo dos dispositivos de interface e os esti-los de interação. Os dispositivos de interface são partes dos sistemas computacio-nais que possibilitam que o usuário entre em contato físico, perceptivo e conceitual com a aplicação. Os estilos de interação englobam as ações possíveis e suas inter-pretações de acordo com as respostas desses sistemas. As evoluções nesses pontos auxiliam tanto o entretenimento como possibilitam pesquisas nas quais os jogos digitais são mediadores de experimentos em vários campos da ciência.
A integração proposta pelas interfaces multimodais é possível graças à interrelação com as diversas formas de significar, tais como o texto verbal escrito, as imagens, o som, entre outras formas, sendo que cada forma apresenta um sig-nificado de acordo com a sua limitação (KRESS; VAN LEEUWEN, 2006). Os jogos digitais são exemplos de tecnologias que usam esses modos semióticos em suas composições com um rico potencial para exploração.
TÓPICO 1 — INTERFACES MULTIMODAIS EM JOGOS DIGITAIS
Com o conceito de multimodalidade fundamentado, o entendimento de como vários meios podem trabalhar de forma conjunta a proporcionar coerência de discurso visual e linguístico, sabendo do poder semiótico e de interação dos jogos digitais, cabe aos designers de jogos digitais entenderem como as interfaces multimodais podem melhorar a experiência dos jogadores, impulsionando uma gama de possibilidades que abrangem múltiplos sentidos humanos.
5 INTERFACES MULTIMODAIS E A EXPERIÊNCIA DO USUÁRIO
A riqueza multimodal é, implicitamente, uma característica presente nas interfaces dos jogos digitais. Em sua maioria, as interfaces dos jogos são consti-tuídas de uma extensa variedade de recursos semióticos. Esses signos facilitam a imersão no jogo, prendendo a atenção por seus elementos estéticos e desafian-do com metamensagens que, quandesafian-do entendidas pelos jogadesafian-dores, proporcionam uma experiência excepcional. Segundo Nöth e Santaella (2017, p. 7):
Numa primeira definição, podemos dizer que a semiótica é a ciência dos sistemas e dos processos sígnicos na cultura e na natureza. Ela es-tuda as formas, os tipos, os sistemas de signos e os efeitos do uso dos signos, sinais, indícios, sintomas ou símbolos. Os processos em que os signos desenvolvem o seu potencial são processos de significação, comunicação e interpretação.
O signo é, portanto, algo que representa alguma coisa que chamamos de objeto. Entretanto, só se constitui signo aquilo que produz sentido e faz com que outra coisa venha à mente como consequência dele. Nomes, por exemplo, são sig-nos. Pois, quando falamos o nome “joystick”, logo o relacionamos com o objeto que esse nome representa. Ainda, quando fazemos um desenho de uma árvore, esta-mos criando uma representação gráfica abstrata para um objeto real da natureza.
Os signos têm uma característica de relação triádica, pois, nessa relação, encontramos o objeto, o signo que o representa e o intérprete – indivíduo que faz a associação do objeto com o signo. Dito isso, a semiótica é a ciência que estuda os signos e as interfaces gráficas são composições visuais recheadas de signos.
6 PAPEL DO DESIGNER NA CONSTRUÇÃO DAS INTERFACES MULTIMODAIS
O designer de jogos precisa adotar uma postura de produtor de signos.
Para isso, é preciso considerar os aspectos culturais, sociais e psicológicos de acordo com o contexto no qual desenvolvedores e usuários estejam inseridos.
Nesse sentido, dois aspectos são levados em conta para a escolha das intenções comunicativas: os significados composicionais e os aspectos interacionais.
UNIDADE 3 — INTERFACES E PLATAFORMAS
Na escolha compositiva, é preciso que se pense no letramento visual, defi-nido por Barbosa (2017, p. 101) como “[...] a capacidade de ler, entender, interpre-tar e utilizar informações visuais em eventos comunicativos, o que também inclui integrar texto e imagem nesses eventos”. Para a escolha dos componentes com-positivos é preciso conhecer os elementos que formam o alfabeto visual (ponto, linha, forma, cor, textura, perspectiva, movimento, tom, dimensão, direção), as técnicas providas da junção desses elementos, embasadas pelas teorias da forma, de Gestalt, e, ainda, os fatores históricos, sociais, psicológicos, estéticos, culturais.
A teoria de Gestalt é caracterizada por um movimento da psicologia que estuda a forma, norteado pelo princípio de que a junção dos signos tem poder de significado maior do que o entendimento desses elementos visuais vistos de for-ma isolada. Portanto, quando juntamos dois ou for-mais elementos visuais podemos reforçar uma representação semiótica usando técnicas que valorizem a percepção visual. Todos esses aspectos são importantes de se considerar para que se tome decisões compositivas assertivas. Uma boa composição visual facilita a comuni-cação e, consequentemente, a interação com as interfaces do jogo.
O papel do designer quanto à composição é criar caminhos para que se tenha condições de explorar no visual possibilidades de interações coesas. Dessa forma, ele não se limita apenas em comunicar, mas cria uma dinâmica que lida com a multiplicidade de linguagens e fortalece o entendimento consciente desses meios.
Os games evidenciam a constante evolução das tecnologias digitais, seja por meio da qualidade gráfica, das animações e de efeitos (sonoro/visuais), bem como a forma pela qual o jogador é convidado a jogar (TONÉIS, 2012).
Toda interface gráfica é uma forma lúdica de representação dos signos e da junção de múltiplas linguagens.
Uma particularidade que difere uma interface gráfica convencional de uma interface para jogos digitais é a inserção de signos de controle, ou seja, elementos que simbolizam os pontos, vidas, energia, mapas, munições, dentre outras informações.
Esse tipo de interface é conhecido como HUD (Heads-UP Display), como po-demos ver na Figura 1, são interfaces que fornecem informações durante a interação.
TÓPICO 1 — INTERFACES MULTIMODAIS EM JOGOS DIGITAIS
FIGURA 1 – INTERFACE GRÁFICA HUD.
FONTE: <https://bit.ly/3AOfvBS>. Acesso em: 29 jun. 2021.
No entanto, o foco da nossa discussão, quando colocamos as interfaces mul-timodais de jogos como assunto principal, são as possibilidades interacionais para além das associações imagéticas possíveis dentro das vias comunicativas da interface.
Cabe, portanto, a discussão sobre as múltiplas formas de comunicação do usuário com os sistemas jogáveis. Além disso, é papel do designer fazer uso das tecnologias que permitem as interações por múltiplos sentidos e desenvolvi-mento focado nesses avanços tecnológicos. Assim, essa interação com um sistema jogável só é possível por conta das interfaces físicas.
7 INTERFACES FÍSICAS DE INTERAÇÃO
Qualquer comando de entrada que o jogo permite é considerado interface fí-sica. O joystick, comumente chamado de controle, é o mais conhecido. Mesmo nesse dispositivo mais simples existe uma preocupação com o usuário quando se pensa na ergonomia, por exemplo, já que ele se preocupa em aplicar teorias, princípios e méto-dos a fim de aperfeiçoar a usabilidade do produto e de facilitar a interação com o jogo.
Até então, houve muitas evoluções nos jogos digitais, tanto na interface gráfica (principalmente na melhora dos gráficos), como nas interfaces físicas, que mostram uma intenção de fugir do uso convencional dos joysticks e buscam uma interação que torne outras partes do corpo jogáveis, brincando com diferentes ações do corpo e sentidos.
Dentre as interfaces físicas inovadoras destacam-se:
• controles do wii e seus adaptadores;
• capturas ópticas (kinect);
• guitarras, equipamentos de música para os jogos de Guitar Hero;
• tapetes de dança;
• óculos de realidade virtual;
• volantes e pedais para jogos de corrida;
UNIDADE 3 — INTERFACES E PLATAFORMAS
• controle de captura de movimento (myo, kai);
• dispositivos vestíveis (werables);
• hologramas.
Esses dispositivos de entrada ajudam na integração do jogador com o jogo. Assim, para além da interação, é necessário que esses dispositivos físicos se integrem com os elementos visuais que devem ser construídos com base nos conceitos imagéticos apontados pela narrativa e pelo enredo do jogo. Portanto, reforça-se que a tecnologia não deve se sobrepor ao objetivo geral do jogo.
As interfaces multimodais podem ser usadas em todas as categorias dos games, no entanto, pesquisadores viram nas possibilidades interativas um óti-mo suporte para o desenvolvimento de jogos conhecidos coóti-mo Serious Games, software/hardware interativos, desenvolvidos para transmitir um conteúdo que difere do entretenimento.
Nesses conteúdos, os mais diversos temas podem ser abordados, dentre os mais comuns estão: exploração científica, defesa, saúde, gestão, planejamento urbano, engenharia e política; e são desenvolvidos por meio dos princípios do desenho de jogo interativo, com o objetivo de transmitir um conteúdo de caráter educativo ao utilizador.
As tecnologias Wearables, ou vestíveis, fazem parte do conceito da Internet das Coisas. O termo se popularizou em sensores que estimulam as atividades físicas, mas algumas experiências já surgem também no campo dos jogos digitais. Um exemplo é o BCON, um sensor de movimento de alta precisão que você pode acionar com base nos movimentos dos pés. Nele, você pode fazer mais de 1.000 movimentos por segundo e o dispositivo irá rastreá-los. O dispositivo apresenta feedback tátil, como uma pequena vibra-ção acionada quando uma tecla é pressionada (BCON, 2018).
NOTA
Outra categoria de jogos fortemente embasada em entrada multimodal são as implementações de realidade virtual. Isso porque o multimodal permite o uso de voz, gestos e é a categoria de jogos mais próxima da simulação dos sentidos.
O entendimento das múltiplas possibilidades que as interfaces multimo-dais proporcionam é fundamental para que o designer de jogos tome uma deci-são assertiva sobre qual modalidade explorar.
O nível hierárquico organizacional da interface é definido pelas escolhas compositivas e pelo modo de interação, portanto, essa decisão deve ser feita ain-da no “rascunho” do projeto. Ainain-da, o entendimento de multimoain-dal contempla tanto a composição gráfica como a interatividade.
TÓPICO 1 — INTERFACES MULTIMODAIS EM JOGOS DIGITAIS
O conceito de multimodal vai além da quantidade de modos de interação, diz respeito às possibilidades de naturalização, no caso dos jogos, da jogabilidade.
Quando existir a possibilidade de agregação de valor ao game player é interessante que se pense em formas múltiplas de entrada. Entretanto, muitas vezes, é preferível que se use apenas a modalidade háptica. Essa é uma escolha importante que o designer de jogos deve tomar.
As limitações tecnológicas ainda não permitem o ápice de interação que se imagina, porém, dada a velocidade em que os meios se desenvolvem, não é utopia prever que se tenha uma naturalização total por meio das interfaces mul-timodais em breve.
Já há interfaces que permitem ao gamer se inserir completamente em um jogo e o mercado de games já aposta nessa evolução.
A próxima seção mostrará exemplos de jogos que fazem uso de interfaces multimodais e como essas interfaces valorizam o jogo, tornando-o único.
Embora ainda não existam aplicações práticas para o uso de hologramas em jogos digitais, os estudos da holografia são as promessas futuras para as inovações tecnoló-gicas no campo da interação. Por enquanto, os amantes da tecnologia podem se contentar com os eventos de e-Sports, que usam projeções em seus palcos para trazer uma experiên-cia de imersão virtual em esportes eletrônicos por meio das telas holográficas planas, que
Embora ainda não existam aplicações práticas para o uso de hologramas em jogos digitais, os estudos da holografia são as promessas futuras para as inovações tecnoló-gicas no campo da interação. Por enquanto, os amantes da tecnologia podem se contentar com os eventos de e-Sports, que usam projeções em seus palcos para trazer uma experiên-cia de imersão virtual em esportes eletrônicos por meio das telas holográficas planas, que