Livro de realidade aumentada para crianças portadoras de necessidades especiais
(LIRA-ESPEC)
Autores
Claudio Kirner
Tereza Goncalves Kirner Tania Rossi Garbin Carlos Alberto Dainese
Apoio Financeiro
Fap
1. Introdução
O livro vem sendo usado, ao longo do tempo, como um elemento importante no processo educacional, propiciando, ao aluno, um elevado grau de autonomia na sua aprendizagem (AKAGUI e KIRNER, 2004). No entanto, apesar de contar com textos e ilustrações impressas, muitas vezes o livro não gera motivação suficiente para o aprendizado, principalmente nos casos de portadores de necessidades especiais, em função das dificuldades de sua utilização.
Com o advento da realidade aumentada (AZUMA, 1997, AZUMA et al., 2001, KIRNER e TORI, 2006), com o apoio do computador, um ambiente físico pode receber objetos virtuais tridimensionais estáticos e animados, possíveis de serem manipulados diretamente pelo usuário, sem a necessidade de conhecer o ambiente computacional, além de não necessitar do uso de dispositivos especiais. Um ambiente apropriado para isto pode ser formado por um computador com uma webcam, apoiado por pequenas placas retangulares de papel com molduras desenhadas (chamadas marcadores), a serem manipuladas pelo usuário. Com um software de desenvolvimento de aplicações de realidade aumentada, devidamente ajustado e configurado, basta o usuário colocar uma placa de papel (marcador) no campo de visão da webcam para ver, no monitor, sua mão segurando a placa e sobre ela um objeto virtual estático ou animado. Como o objeto virtual fica atrelado à placa, a movimentação da mão do usuário, levando a placa, leva também o objeto virtual, fazendo com que haja manipulação do objeto virtual pelo usuário, de acordo com a figura 1. Um software bastante popular, aberto e gratuito, que permite o desenvolvimento de aplicações de realidade aumentada, é o ARToolKit (Billinghurst,2006) que está sendo usado neste trabalho.
Com base nesse ambiente, pode-se imprimir molduras retangulares (marcadores) diretamente nas páginas de um livro, que passa a conter textos, ilustrações e “marcadores” impressos. Esse livro continua sendo usado de maneira tradicional, mas, ao ser levado a um ambiente computacional devidamente configurado, suas páginas podem ser colocadas no campo de visão da webcam, sendo mostradas no monitor com ilustrações virtuais adicionais estáticas ou animadas, capazes de serem manipuladas pelo leitor. A aproximação do livro à webcam faz com que as ilustrações virtuais fiquem maiores, correspondendo ao “zoom”, sem que o usuário precise emitir nenhum comando ao computador. As translações e rotações do livro permitem uma inspeção completa das ilustrações virtuais, através de manipulações naturais. Isto faz desse livro, um Livro Interativo com Realidade Aumentada.
Existem algumas experiências internacionais, envolvendo livros com realidade aumentada, sendo a mais conhecida relacionada com o projeto “MagicBook” (Billinghurst, Kato e Poupyrev, 2001 ) Esse projeto utiliza uma espécie de capacete com microcâmera acoplada apontada para a frente do capacete, propiciando uma visão direta, uma vez que colocado na altura dos olhos, o capacete mostra um vídeo capturado pela microcâmera - o usuário enxerga através dela. Esta técnica permite que o computador identifique as placas marcadoras do livro e coloque os objetos virtuais nos seus devidos lugares, projetando a cena de vídeo misturada no capacete, conforme a figura 2.
2. Objetivos
Em função da importância e dos impactos do Livro Interativo com Realidade Aumentada na aprendizagem, resolveu-se potencializar, ao máximo, sua utilização em ambientes computacionais. Para isto, concebeu-se várias funcionalidades, envolvendo alguns sentidos das pessoas, como visão, audição e tato. Dentre essas funcionalidades estão: ampliação do efeito visual do livro; acionamento de som associado às ilustrações e páginas do livro; e, em alguns casos, sensibilidade a marcas em relevo nas páginas e a formatos de placas de papel (marcadores).
Assim, o trabalho visa desenvolver um livro tradicional, incrementado com características capazes de potencializar os sentidos, ao ser colocado no campo de visão de uma webcam ligada a um computador. Em decorrência desse comportamento do livro, estão sendo desenvolvidas aplicações interativas voltadas para a aprendizagem de crianças portadoras de necessidades especiais, através de estímulos visuais, sonoros e táteis.
O objetivo principal do trabalho é, portanto, o desenvolvimento de um ambiente computacional que, associado a características simples adicionadas a livros tradicionais, permita a sua utilização para melhorar a percepção e motivação de crianças portadoras de necessidades especiais, influenciando positivamente a sua aprendizagem.
3. Desenvolvimento
O ambiente de realidade aumentada baseado no software ARToolKit apresenta duas características básicas:
a) envolve hardware comum, consistindo de um computador e uma webcam;
b) exige conhecimentos de programação de computadores para a alteração e incremento das funcionalidades do software.
Assim, o desenvolvimento do trabalho consistiu em desenvolver funcionalidades adicionais ao software (KAWASHIMA, 2001, SANTIN, 2004), incluindo:
- acionamento de som, ao introduzir-se uma placa marcadora no campo de visão da webcam, ao mesmo tempo em que aparece, no monitor, o objeto virtual atrelado à placa;
- troca de um objeto virtual e som por outros, sobre o mesmo marcador, usando uma outra placa marcadora especial (placa de controle) para acionamento das mudanças, quando é colocada no campo de visão da webcam (figura 3);
- cópia e movimentação do objeto virtual, a partir de uma placa marcadora especial (pá de cópia), permitindo a colocação da cópia do objeto virtual em outro lugar no espaço da página ou fora dela;
- transporte de um objeto virtual de um local a outro, a partir de uma placa marcadora especial (pá de transporte);
- apagamento de objetos virtuais, a partir de uma placa marcadora especial, a partir de uma placa marcadora especial (placa apagadora ou borracha);
- salvamento da configuração de objetos virtuais de uma página do livro ou de uma prancheta virtual colocada próxima ao livro, a partir de uma placa marcadora especial (placa de salvamento);
- recuperação da configuração de uma página ou de uma prancheta virtual, a partir de uma placa marcadora especial (placa de leitura de configuração).
Além disso, estão sendo estudadas formas de interação mais apropriadas para as funcionalidades do software para uso com o Livro interativo com Realidade Aumentada, incluindo acionamento por: aproximação, tempo, inclinação e oclusão de placas marcadoras especiais.
Com essas funcionalidades, incorporadas ao software ARToolKit por programadores, estão sendo criadas versões desse software para o desenvolvimento de aplicações por usuários não programadores, capazes de gerar ou capturar objetos virtuais e sons, usando software de autoria ou a própria Internet, e conhecer uma estrutura de arquivos, cuja configuração, através da edição de texto, possa gerar aplicações específicas (OLIVEIRA e KIRNER, 2006).
Dentre essas aplicações, tem-se:
- contador de histórias com efeitos visuais e sonoros;
- autoria de mundos virtuais, a partir do Livro Interativo com Realidade Aumentada, usado como biblioteca ou catálogo de objetos virtuais;
- jogos espaciais e quebra-cabeças;
- sistemas de aprendizagem de línguas nativas e estrangeiras com visão de objetos e textos, além da audição de sons e locuções;
- livros com reforços visuais e sonoros para melhorar a motivação do usuário;
- livros sonoros com controle pelo usuário, a partir de livros visuais tradicionais.
Cabe salientar que os portadores de deficiências auditivas terão o aspecto visual incrementado, enquanto os portadores de deficiência visual usarão os sons e eventualmente o tato, uma vez que os livros poderão conter algumas marcas em relevo e placas marcadoras especiais com formatos diferentes, ao mesmo tempo em que mantenham textos e ilustrações impressos de forma tradicional.
Portanto, o trabalho está sendo desenvolvido em várias fases:
a) fase de adaptação do software ARToolKit para incorporar novas funcionalidades necessárias ao Livro Interativo com Realidade Aumentada (essa fase depende de programadores);
b) fase de desenvolvimento de versões ajustadas do software para desenvolvimento de aplicações por parte de usuários não programadores (essa fase depende de programadores);
c) desenvolvimento de aplicações diversas do Livro Interativo com Realidade Aumentada por usuários não programadores (essa fase não depende de programadores);
d) adaptação do ambiente computacional para ativação e uso do Livro por pessoas leigas (essa fase depende de programadores);
Como o trabalho encontra-se em desenvolvimento, as atividades das três primeiras fases já foram realizadas, faltando complementá-las com o uso de temas infantis. A quarta fase, a ser desenvolvida, permitirá a distribuição do software para uso, sem a necessidade de instalações ou procedimentos especiais.
4. Resultados
Como resultados parciais, já foram desenvolvidas e incorporadas várias funcionalidades e formas de interação no software ARToolKit, bem como várias aplicações por usuários não programadores.
Entre as aplicações desenvolvidas, pode-se citar:
- Livro Interativo sem placa de controle, de forma que cada página do livro mostra os objetos virtuais e emite os sons associados com cada placa impressa;
- Livro Interativo com placa de controle, de forma que uma página do livro pode mostrar, um a um, vários objetos virtuais com seus sons associados, ao colocar-se e retirar-se a placa de controle do campo de visão
da webcam;
- Livro Interativo com prancheta virtual de autoria, que permite a cópia de ilustrações virtuais tridimensionais e montagem de um mundo virtual sobre uma prancheta, com possibilidade de salvamento e restauração.
Com esses vários tipos de Livros Interativos, estão sendo desenvolvidas aplicações, envolvendo aprendizagem de línguas, jogos espaciais e quebra-cabeças, estudo de ciências, e abordagem de temas infantis, voltadas à participação isolada e/ou em conjunto de portadores de necessidades especiais e não portadores.
Como o trabalho ainda está em desenvolvimento, não foram feitos testes de usabilidade das aplicações.
5. Considerações Finais
O trabalho está gerando um ambiente computacional simples propício para o uso do Livro Interativo com Realidade Aumentada, por crianças portadoras de necessidades especiais. Além disso, o sistema está sendo estruturado para facilitar a geração de aplicações e conteúdos por professores não programadores, na medida em que podem usar bibliotecas de objetos virtuais e sons, criar seus próprios recursos (modelagens 3D, ruídos, músicas, locuções, etc) e configurar aplicações, usando editores de texto para gerar demonstrações, dirigir estudos, e atribuir tarefas aos alunos.
A autonomia de uso do livro, por parte dos alunos, é preservada tanto na forma tradicional, quanto em ambientes computacionais, potencializando seu conteúdo, ao mostrar imagens, emitir sons e lançar desafios para os alunos. Além disso, o Livro Interativo pode ser usado por vários usuários ao mesmo tempo, propiciando oportunidade de colaboração (Billinghurst e Kato, 1999) e de socialização de crianças portadoras de necessidades especiais e não portadoras. A potencialização de vários sentidos, ao mesmo tempo, pode ser usada para integrar portadores com necessidades especiais diferentes.
Com a evolução do trabalho, serão desenvolvidas e testadas aplicações mais robustas, sendo todo o sistema estruturado para minimizar a dependência de conhecimentos especiais tanto dos professores, quanto dos alunos – a interação deverá ocorrer sem a necessidade das interfaces visuais e nem de dispositivos especiais.
Referências Bibliográficas
Akagui, D., Kirner, C. LIRA - Livro Interativo com Realidade Aumentada. Proc. of VII Symposium on Virtual Reality, SP, outubro de 2004.
Azuma, R. A Survey of Augmented Reality, Presence: Teleoperators and Virtual Environments. v .6, n.4, , p. 355-385, August 1997.
Azuma, R. et al. Recent Advances in Augmented Reality. IEEE Computer Graphics and Applications, v.21, n.6, p. 34-47, 2001.
Billinghurst, M., Kato, H. Collaborative Mixed Reality. Proc. of the International Symposium on Mixed Reality, ISMR\'99, Springer -Verlag, p. 261-284, 1999.
Billinghurst, M., Kato, H., I. Poupyrev, I. The MagicBook - Moving Seamlessly between Reality and
Virtuality. IEEE Computer Graphics & Applications, v. 21, n.3, p. 6-8, 2001.
Kawashima, T. et. al. Magic Paddle: A Tangible Augmented Reality Interface for Object Manipulation. Proc. of ISMR2001, p. 194-195, 2001.
Kirner, C., Tori, R. Fundamentos de Realidade Aumentada. In: Tori, R., Kirner, C., Siscoutto, R. ed. Fundamentos e Tecnologia de Realidade Virtual e Aumentada, Porto Alegre, SBC, 2006, p. 20-37.
OLIVEIRA, F.C., KIRNER, C. Novas Formas de Interação utilizando Realidade Aumentada através do Software ARToolKit. Anais do III Workshop de Realidade Aumentada, Rio de Janeiro, CERV/SBC, setembro de 2006, p. 1-4.
Santin, R. et al. Ações Interativas em Ambientes de Realidade Aumentada com ARToolKit. Proc. of VII Symposium on Virtual Reality, São Paulo, SBC, outubro de 2004, p.161-170.
