2.2 Interfaces multitoque
2.2.1 reacTable
O reacTable [JKGB05] é um instrumento musical electro-acústico, multi-utilizador, com uma interface tangível com multitoque na superfície de uma mesa interactiva. Desen- volvido pelo Music Technology Group (MTG)5, da Universidade Pompeu Fabra, em
Barcelona, é um instrumento musical colaborativo, interessante, de fácil aprendizagem e adequado para qualquer tipo de músico, do mais inexperiente ao mais experiente. O que torna o reacTable num instrumento bastante interessante, é o facto de incluir uma tecnologia transparente ao utilizador, inovadora e permitir que um número flexível de utilizadores usufrua ou abandone o instrumento sem qualquer anúncio prévio, ou sem que isso interfira com o funcionamento directo do sistema.
Construído com base numa mesa redonda, transparente, o sistema reacTable apre- senta uma configuração baseada na técnica Rear Diffused Illumination, apresentada an- teriormente na secção 2.1.1. Contém uma câmara por baixo da superfície de interac- ção que captura continuamente todas as acções efectuadas na superfície de interacção. Contém ainda um projector que desenha animações dinâmicas na superfície de inte- racção, de modo a promover um feedback visual para cada acção, bem como a represen- tação visual do estado actual do sintetizador, como se verifica na figura 2.126.
A arquitectura do reacTable, esquematizada na figura 2.11, é composta por quatro componentes fundamentais: um componente de visão, um sintetizador de áudio, um sintetizador visual e um gestor de conexões.
Componente de Visão: Componente responsável pelo motor de visão, encarregue de
detectar todas as interacções efectuadas na superfície. Para tal, foi necessária a implementação de um sistema de tracking rápido e robusto que permitisse aten- der às necessidades inerentes a um instrumento musical expressivo, como o re- acTable. Surge então o sistema reacTIVision [KB07] como componente de visão do reacTable, apresentado anteriormente na secção 2.1.2.
5http://mtg.upf.edu/ 6http://www.reactable.com/
2. TRABALHO RELACIONADO 2.2. Interfaces multitoque
Figura 2.11: Arquitectura do reacTable [JKGB05]
Sintetizador de Áudio: Componente responsável pela síntese de áudio que tira par-
tido da existência de todos os tipos de objectos de alto nível (ritmos sofisticados, geradores de melodias, ou quantizadores) e dos vários tipos de algoritmos e téc- nicas de síntese e processamento de som.
Sintetizador Visual: Componente responsável pela síntese de imagens, de forma a
permitir um feedback visual de todas as interacções efectuadas pelos utilizadores. Implementado de forma semelhante ao componente de síntese de áudio, é apre- sentado como um sintetizador visual completo. Recebe mensagens provenientes do componente gestor de conexões que contém os dados sobre os estados e os pa- râmetros dos objectos, de forma a que este os possa desenhar nas suas posições correctas, com as linhas que os conectam. No entanto, para ser um sintetizador capaz de reproduzir uma informação visual completa, este mantém uma conexão adicional com o sintetizador de áudio, de forma a obter as informações precisas sobre os fluxos de dados no sintetizador.
Gestor de Conexões: Componente responsável pela gestão central de conexões entre
os restantes componentes, servindo como elo de ligação entre o componente de visão e os dois sintetizadores existentes. Para tal, recebe mensagens OSC [WFM03] provenientes do componente de visão, que contém as informações referentes aos objectos existentes na superfície de interacção. Uma vez que essas informações indicam o tipo de objecto, a sua posição e a sua orientação, cabe ao componente de gestão calcular e construir a rede actual de conexões entre os objectos, de acordo com um conjunto de regras simples. Ao contrário de outras linguagens de
programação visual, as ligações entre os objectos são efectuadas de forma auto- mática, uma vez que cada objecto contém um número de diferentes conectores de entrada e saída, para além de que cada objecto verifica se na sua vizinhança existe algum objecto que contenha portos de ligação disponíveis e compatíveis. As liga- ções existentes entre os objectos, bem como os parâmetros adicionais, referentes a cada objecto, são enviados para os diferentes sintetizadores, que constroem di- namicamente as redes resultantes e decidem como tratar toda a informação nos respectivos processos de síntese.
Figura 2.12: Imagem da superfície do reacTable [JKGB05]
Em termos de funcionalidade, como já referido anteriormente, o reacTable foi con- cebido para um vasto leque de utilizadores, através de um desenho o mais simples possível mas, ao mesmo tempo, musicalmente poderoso no que diz respeito a um instrumento musical. Tal como a maioria dos instrumentos musicais, no reacTable as mãos também desempenham um papel importante, dado que estas manipulam os objectos tangíveis e são tratadas como super objectos, uma vez que podem cortar ou silenciar uma sequência de áudio, com um dedo ou recorrendo a um gesto ao estilo de "karaté", como se uma barreira interrompesse a sequência. Outras das caracterís- ticas apontadas em [JKGB05], está no facto do reacTable suportar um número flexível de utilizadores em simultâneo, sem qualquer tipo de regras predefinidas, permitindo comportamentos colaborativos por parte dos utilizadores, podendo estes trabalhar em threadsde áudio independentes, ou partilhar o controlo das threads de áudio. De acres- centar que o sistema permite ainda a possibilidade de ligação remota a outra mesa, partilhando o mesmo espaço virtual. Desta forma, os objectos físicos de cada mesa são
2. TRABALHO RELACIONADO 2.2. Interfaces multitoque projectos nas restantes, permitindo interacções entre objectos de mesas distintas, o que origina um cenário verdadeiramente colaborativo.