Livro Inclusivo e Interativo de
Lançamento Oblí quo com Realidade
Aumentada
Raryel C. Souza, Claudio Kirner
DMC – Depto. de Matemática e Computação
UNIFEI – Universidade Federal de Itajubá
{raryel.costa, ckirner}@gmail.com
1 Visão geral
O ensino de conceitos básicos de lançamento oblíquo, por envolver principalmente conceitos visuais e gráficos, carece de meios de ensino alternativos que ofereçam mais clareza ao aluno que possui algum tipo de deficiência visual, meios de ensino que explorem melhor outros sentidos como o tato e a audição.
O objetivo da aplicação é oferecer uma forma alternativa, interativa, online e de baixo custo, para que deficientes visuais possam estudar alguns dos conceitos básicos de lançamento oblíquo, usando o sentido do tato e da audição. A ideia é que a aplicação possa ser usada tanto professores (como ferramentas auxiliar nas aulas) como alunos (para revisar os conceitos em casa através das explicações em áudio).
A aplicação foi desenvolvida através da ferramenta de autoria FLARAS (Flash Augmented Reality Authoring System). Mais informações sobre essa ferramenta podem ser obtidas em: http://www.ckirner.com/flaras.
2 Preparação para uso da aplicação
2.1 Requisitos de Hardware
Webcam devidamente instalada e configurada. Webcams de baixa qualidade implicam em maior instabilidade na detecção dos marcadores e desempenho inferior das aplicações.
Para melhores resultados de desempenho é recomendável ter uma placa de vídeo 3D recente, bem como processadores de dois ou mais núcleos.
2.2 Requisitos de Software
Sistema operacional: Windows, Linux ou Mac OS.
2.3 Outros requisitos
Para usar a aplicação é necessário imprimir o livro em PDF e o marcador de interação, disponíveis no site da aplicação. Para melhores resultados é altamente recomendável que eles sejam impressos num papel de gramatura maior, e, no caso do marcador de interação, que ele também seja colado
sobre um tipo de papel mais firme, como papelão, papel-paraná ou cartolina.
Ao imprimir as páginas do livro e o marcador de interação, isso deve ser feito na mesma impressora
e com o mesmo software de visualização de PDF, caso contrário, dependendo das configurações da
impressora e/ou do software o tamanho do lado do quadrado preto dos marcadores pode ser diferente (verifique com uma régua), o que impossibilitará a interação (a aplicação não vai responder corretamente aos comandos).
Para maior facilidade de uso do marcador de interação, o que é essencial no caso do usuário deficiente visual, deve-se colar um palito na parte de trás do marcador de interação, coincidindo a ponta do palito com o centro da esfera de interação (ver Figura 1). Para fazer o ajuste basta executar a aplicação (ver próxima seção), colocar o marcador de interação no campo de visão da webcam e fixar o palito, por exemplo com fita adesiva, na posição adequada.
Figura 1 - Ponta do palito coincidindo com o centro da esfera de interação
Um requisito importante para as aplicações de realidade aumentada em geral são condições
adequadas de luminosidade do ambiente. Caso o ambiente seja muito escuro, muito luminoso, ou a
direção da luz seja muito inadequada pode ser que a aplicação funcione de forma muito ruim e instável (elementos virtuais aparecem e desaparecem de forma quase intermitente). Nesses casos, o que se pode fazer é tentar alterar o posicionamento da webcam com relação à direção da luz, ou alterar as condições de luminosidade até que se obtenha uma estabilidade razoável.
2.4 Preparação das páginas do livro com elementos em alto-relevo
Antes que a aplicação possa ser utilizada por um usuário deficiente visual é necessário fazer com que os elementos mais importantes da página fiquem em alto-relevo. Há diversas formas possíveis de fazê-lo, a seguir é dada uma sugestão de baixo custo e de fácil elaboração, usando apenas coisas facilmente encontradas em papelarias.
Pontos de interação (círculos vermelhos): cola colorida vermelha. Usar cola colorida sobre o
círculo até formar uma pequena elevação.
Projeções do projétil (círculos azuis): cola colorida azul. Semelhante ao que foi feito para os
pontos de interação, só que usando bem menos cola, deixando apenas uma elevação bem pontual de cola, de forma que o usuário deficiente visual não confunda os dois elementos facilmente.
Quadriculados das ilustrações: contact preto (papel adesivo). Para cada ilustração serão
necessárias 6 tiras de 18cm x 0,25cm (linhas horizontais), e 13 tiras de 7,5cm x 0,25cm (linhas verticais).
Trajetória de movimento do projétil: pedaços de barbante. Fixá-los na página usando cola,
recomenda-se o uso de cola de isopor (transparente), por oferecer uma fixação mais resistente.
Vetores indicativos da velocidade do projétil em um ponto: cobrir a imagem do vetor na
página impressa com cola colorida.
3 Instruções de uso
Primeiramente, o usuário escolhe uma página do livro físico, por exemplo, a página 4, e no site da aplicação acessa o link correspondente à página física escolhida. Ou então, no caso de execução off-line, o usuário baixa o pacote completo da aplicação off-off-line, abre a página index.html no pacote descompactado e clica no link correspondente à página física escolhida.
O usuário deverá então autorizar o Adobe Flash Player a acessar a webcam na janela de confirmação que aparecerá. Em seguida basta colocar a página do livro no campo de visão da webcam (é
essencial que o marcador da página do livro esteja completamente dentro do campo de visão da webcam e que não esteja obstruído pelos dedos). Deverá aparecer uma “tampa” branca sobre o
marcador e algumas esferas acinzentadas sobre os círculos vermelhos da página, tal como na Figura 3.
Devido a um problema antigo do Adobe Flash Player no Linux em algumas distribuições pode acontecer do botão “Permitir” na tela de autorização de acesso à câmera não ser clicável. Nesses casos é necessário seguir os procedimentos indicados na seção 4.3.
Figura 3 - Página original e visualização inicial com realidade aumentada
As instruções de uso são basicamente as mesmas para todas as páginas do livro. A interação ocorre através dos pontos de interação (os círculos vermelhos nas páginas) e suas contrapartes virtuais (esferas virtuais sobre os círculos vermelhos). O conteúdo de um ponto de interação pode consistir de apenas uma narração em áudio ou de uma sequência de múltiplas narrações em áudio.
Para interagir com um ponto o usuário tem duas opções: interação via marcador ou interação via mouse. No caso do usuário deficiente visual a forma mais adequada de interação é via marcador, para os demais usuários a interação via mouse a melhor opção.
3.1 Interação via marcador
Para usar essa forma de interação é necessário ter preparado o marcador de interação, como explicado na seção 2.3). Caso não se tenha colado um palito atrás do marcador isso tornará a interação muito menos amigável. Nesse caso, o usuário terá de fazer com que a esfera amarela do marcador de interação colida com a esfera virtual vermelha que aparece sobre os círculos vermelhos das páginas.
No caso específico dessa aplicação, o primeiro passo é a inicialização, feita pressionando “Ctrl+A” (as esferas acinzentadas ficarão vermelhas). Em seguida é necessário colocar o marcador de interação no modo de operação adequado, pressionando “Ctrl+M”. Ao fazê-lo o rótulo da tampa do marcador muda de “I” (inspection) para “CF” (control forward).
Em seguida, o usuário pode finalmente interagir com os pontos da aplicação, tocando a ponta do palito em um dos círculos vermelhos (o que fará com que a esfera virtual amarela do marcador toque na esfera virtual vermelha do ponto) e afastando o marcador. Ao fazê-lo será dado um feedback sonoro e será tocada a primeira narração associada ao ponto Um exemplo dessa forma de interação é mostrado na Figura 4.
Figura 4 - Exemplo de interação via marcador em um ponto
Ao interagir com um ponto será dado um feedback sonoro e será tocada a primeira narração associada ao ponto. Caso haja mais narrações o usuário será informado através da narração que dirá algo como “para ouvir mais use novamente o mouse/marcador de interação nesse ponto”. Nesse caso, basta tocar novamente o círculo desejado com a ponta do palito do marcador para ir para a próxima narração.
Caso o usuário queira ouvir novamente uma narração, basta trocar o modo do marcador de interação pressionando “Ctrl+M” (o rótulo da tampa do marcador de interação será trocado de “CF” para “I”). Em seguida, basta tocar o círculo da página com a ponta do palito e afastar o marcador (desaparecerá a esfera vermelha e aparecerá uma esfera cinza). Deve-se repetir essa última operação de tocar o círculo da página com a ponta do palito (será tocada novamente a última narração). Para continuar avançando entre as narrações é necessário trocar o modo de operação com “Ctrl+M” (o rótulo da tampa do marcador de interação será trocado de “I” para “CF”).
Caso o usuário queira voltar para a narração anterior, basta pressionar “Ctrl+C”, para colocar o marcador no “modo de retrocesso” (o rótulo da tampa do marcador passará de “CF” para “CC”) e usar o marcador no ponto, como explicado acima. Para colocar o marcador de volta no “modo de
avanço”, basta pressionar novamente “Ctrl+C” (o rótulo da tampa do marcador passará de “CC” para “CF” novamente).
Para que a interação funcione é essencial que o marcador de interação esteja sendo devidamente
detectado. Isso ocorre quando ele está completamente visível dentro do campo de visão da
webcam, não esteja sendo obstruído pelos dedos e esteja aparecendo a “tampa” sobre ele, juntamente com a esfera de interação amarela, tal como na figura abaixo. Um exemplo de tentativa de interação com o marcador não sendo devidamente detectado é mostrado na Figura 5.
Figura 5 - Tentativa de interação com o marcador não sendo devidamente detectado
3.1.1 Resumo
1. Pressionar “Ctrl+A” para inicializar a aplicação.
2. Pressionar “Ctrl+M” para colocar o marcador de interação no modo CF.
3. Tocar a ponta do palito em um dos círculos vermelhos para navegar entre as narrações. 4. Em qualquer momento é possível trocar o modo de operação do marcador de interação,
entre avanço e retrocesso. Para isso, basta pressionar “Ctrl+C”.
5. Em qualquer momento também é possível repetir a última narração. Para isso é necessário pressionar “Ctrl+M”, tocar com a ponta do palito o círculo vermelho, afastar o marcador e tocar novamente com a ponta do palito o círculo vermelho. Depois de repetida a narração o usuário deve pressionar novamente “Ctrl+M” para deixar o marcador no modo de operação “CF”, para poder interagir corretamente com os outros pontos da aplicação.
3.2 Interação via mouse
1. Pressionar “Ctrl+A” para inicializar a aplicação.
2. Clicar em uma das esferas vermelhas com o botão esquerdo do mouse e ouvir a narração associada.
3. Para retroceder para a narração anterior, basta clicar em uma das esferas vermelhas com o botão direito do mouse.
4. Para ouvir novamente a narração atual basta clicar na esfera vermelha mantendo pressionado o botão “Ctrl” e clicar com o botão esquerdo do mouse na esfera cinza que aparecerá no lugar da esfera vermelha anterior.
4 Problemas/perguntas frequentes
4.1 Seleção da webcam
Em computadores com mais de uma webcam, normalmente, a configuração padrão do Adobe Flash Player é usar a webcam externa (USB). Entretanto, caso nenhuma webcam abra, ou você queira
trocar a webcam usada na captura, basta clicar com o botão direito do mouse sobre a tela de autorização do Adobe Flash Player que aparecerá ao carregar a aplicação ou sobre a própria tela da aplicação com a webcam já autorizada e selecionar “Settings”, tal como na Figura 6.
Figura 6 - Alteração da webcam de captura - parte 1
Após abrir a janela de configurações deve-se ir para a aba com o desenho de uma webcam (seta de baixo), e, na caixa de seleção (seta de cima), selecionar a webcam desejada, tal como na Figura 7.
Figura 7 - Alteração da webcam de captura - parte 2
4.2 Comandos de teclado não funcionando
Caso se clique com o mouse em algum dos menus do navegador enquanto a aplicação está sendo executada, os comandos de teclado da aplicação deixarão de funcionar. Nesse caso, para que eles voltem a funcionar normalmente basta clicar uma vez com o botão esquerdo do mouse sobre a área da aplicação, indicada pelo retângulo vermelho na Figura 8.
Outra causa possível para os comandos de teclado não funcionarem é o uso do navegador Internet Explorer, que apresenta incompatibilidades com a aplicação. Para usar a aplicação recomenda-se o uso do navegador Mozilla Firefox ou Google Chrome.
Figura 8 - Área da aplicação no navegador
4.3 Execução no Linux
Devido a um bug antigo do Adobe Flash Player para Linux, em algumas distribuições do Linux pode ser que, ao aparecer a janela de autorização do acesso a webcam, o botão “Permitir” não seja clicável, impossibilitando o uso da aplicação.
Entretanto, há uma solução para esse problema, tanto no caso da execução online como na execução off-line.
4.3.1 Execução Online no Linux
1. Clicar com o botão direito sobre a janela de autorização > “Global Settings”.
Figura 9 - Solução alternativa para o bug do Flash no Linux - Passo 1
Figura 10 - Solução alternativa para o bug do Flash no Linux - Passo 2
3. Clicar no Botão “Add”, digitar o domínio do site em que está a aplicação (Ex: se a aplicação estiver na página www.realidadevirtual.com.br/aplicacaoFlaras.html, o domínio é
www.realidadevirtual.com.br). Selecionar “Allow” na caixa de opções e clicar em “Add”.
Figura 11- Solução alternativa para o bug do Flash no Linux - Passo 3
4. Bastará fechar e recarregar a página da aplicação. A webcam será liberada automaticamente, sem o aparecimento da janela de autorização.
4.3.2 Execução Off-line no Linux
No caso da execução off-line não é possível usar o procedimento descrito na seção 4.3.1. O procedimento adequado nesses casos é o seguinte:
1. Acessar o site Adobe Flash Player Support Center e na seção “Linux”, clicar em “Download the Linux Flash Player 11.1 Projector (TAR.GZ)” ou versão mais recente disponível.
2. Extrair o arquivo compactado em qualquer pasta que julgue adequada. Marcar a permissão de execução do arquivo “flashplayer” no terminal:
chmod +x flashplayer e executando o arquivo: ./flashplayer
3. No local em que foi extraído o pacote da aplicação para uso off-line, juntamente com o arquivo index.html há uma subpasta para cada página do livro. Dentro de cada uma delas há um arquivo chamado flash-viewer-local-running.swf.
4. Acessar o menu “File > Open” no Flash Projector, que está em execução, e selecione para abrir o arquivo flaras-viewer-local-running.swf que está dentro da pasta correspondente à página física desejada. A aplicação funcionará então sem problemas no Linux no modo off-line.
