Implementação de um Dispositivo de
Rastreamento Óptico com 6 Graus de Liberdade
para Interação com Aplicações de Realidade
Virtual
Manuel Eduardo Loaiza Fernández
Orientador: Prof. Marcelo Gattass
Co - Orientador: Prof. Alberto Barbosa Raposo
Motivação
Tem se dispositivos de
entrada usados para permitir ao usuário uma interação com um cenário virtual.
Os dispositivos estão baseados em diferentes tecnologias: sonoras, magnéticas, mecânicas, ópticas, inerciais e híbridas.
Motivação
Procura se um dispositivo que permita melhorar a
flexibilidade em referência
aos movimentos naturais que o usuário quisera fazer.
Propõe se vários dispositivos de interação que pelo alto
custo foram confinados a laboratórios de pesquisa
especializada com alto nível de investimento.
Objetivo
Construção e implementação de um dispositivo
experimental de rastreamento óptico orientado a extrair os seis graus de liberdade da movimentação feita por um conjunto de marcadores esféricos.
A partir da extração dos seis graus de liberdade,
adaptar o dispositivo experimental para emitir eventos que são interpretados pelo sistema como sinais para controlar objetos ou navegar dentro de aplicações desktop 3D de realidade virtual.
O dispositivo proposto surja como uma nova opção de
dispositivo de interação que é fácil de montar e tem um baixo custo de construção.
Dispositivos de Rastreamento
Dispositivos de rastreamento
baseados em diferentes
tecnologias como:
Magnéticos. Mecânicos. Sonoros. Inerciais. Ópticos. Híbridos.Rastreamento Óptico
O funcionamento se baseia na captura pelas câmeras dos emissores de luz ou objetos revestidos de material retrorreflexivo ou padrões planares pre-definidos que, após a aplicação de técnicas de visão computacional sobre as imagens capturadas, dão como resultado a posição e orientação dos objetos rastreados no
Rastreamento Óptico
Tem se duas configurações:
1. A fonte de luz, ou os marcadores
retrorreflexivos, estão localizados no objeto rastreado e as câmeras estão posicionadas no espaço de
rastreamento (Outside-in).
2. Os marcadores estão dispersas no
espaço de rastreamento definindo eixos 2D, no teto ou nas paredes, e as câmeras ficam no objeto
O Dispositivo de Rastreamento
Óptico Proposto
Descrição dos
componentes e
características físicas do
dispositivo.
Descrição da
implementação do
processo de rastreamento
óptico.
Extração dos 6 graus de
liberdade do rastreamento
dos marcadores.
Equipamento Utilizado
Os componentes são:
3 câmeras web.
Uma caixa de madeira, pintada
de cor preta, com dimensões de 0.5×0.5×0.5 m.
Um suporte móvel de alumínio,
que serve de base para as câmeras web.
Duas lâmpadas, colocadas nos
extremos laterais da caixa de madeira.
Bolas de isopor branco
Características Físicas em Comum
Uma área física bem definida, onde fica concentrado o
campo de visão das câmeras e onde se faz o rastreamento dos marcadores definidos.
Um conjunto de câmeras, que são colocadas a uma altura moderada da área de rastreamento para não atrapalhar a movimentação que o usuário possa fazer dentro desse espaço.
Um conjunto de marcadores, que na maioria das vezes são esféricos, e que serão os alvos no processo de rastreamento.
Processo de Rastreamento
Captura e processamento da imagem de
vídeo.
Extração de marcadores.
Calibração das câmeras web.
Correlação de marcadores.
Reconstrução 3D dos marcadores.
O processo de rastreamento óptico é
composto por vários subprocessos, cujos
tópicos chave são:
Captura das Imagens
O primeiro passo é a captura das imagens de
vídeo dos dispositivos.
1 2
Processamento das Imagens
Aplicação de filtros
sobre as imagens
com a finalidade de
deixar só a
informação relevante
para nossa
implementação.
Gray Scale e Gaussiano ThresholdReconhecimento de Áreas
de Interesse
A partir das coordenadas dos pixels que formam o contorno das áreas
circulares, se calcula a media aritmética como sendo o centro delas. Este será o ponto de referência utilizado.
Calibração das Câmeras
O objetivo é encontrar uma medida de relacionamento entre o mundo 3D, ou seja, o espaço físico que é visto pela câmera, e o plano da imagem 2D que nós vemos na tela do computador visualizando o espaço físico
Padrão para Calibração
Se calibrara as câmeras a partir dos pontos de
referência.
Usando o reconhecimento das áreas de interesse
propomos nosso padrão de calibração.
Método de Calibração
Após a captura dos pontos do nosso
padrão, cada câmera será calibrada
utilizando este mesmo conjunto de pontos
de referência.
Matriz Parâmetros Extrínsecos
Como resultado da calibração conseguimos calcular a matriz de rotação “R” e o vetor de translação “T” que nos permitem levar coordenadas do mundo a
coordenadas do espaço da câmera (Parâmetros extrínsecos).
1
1
0
0
0
1
9 8 7 6 5 4 3 2 1 w w w w z y x c c c cz
y
x
P
t
r
r
r
t
r
r
r
t
r
r
r
Z
Y
X
P
Matriz Parâmetros Intrínsecos
Esta matriz permite levar pontos do espaço da câmera a coordenadas na imagem.
Os parâmetros intrínsecos são : distancia focal ‘f ‘, Centro da imagem em pixels Ox e Oy,tamanho efetivo em mm. do pixel dx e dy.
c c c c y y x xZ
Y
X
P
O
f
O
f
w
v
u
p
1
0
0
0
0
Resultado da Calibração
O resultado foi testado projetando os eixos
ortogonais do mundo sobre na mesmas
Detecção de Marcadores
Aqui aplicaremos os
filtros sobre as
imagens para extrair
a informação que
precisamos sobre os
marcadores.
Se utilizou a extração
de contornos para a
detecção dos
marcadores.
Correlação dos Marcadores
Uma vez detectados os marcadores , se fará a
correlação dos mesmos entre as 3 imagens
capturadas.
Se utilizara a geometria epipolar para
implementação desta etapa.
Múltipla Correlação
Um caso mais complexo é quando temos mais
de um marcador nas imagens das câmeras web,
e com isto temos que fazer uma correlação entre
os “n” marcadores detectados nas câmeras.
Precisa ter uma ferramenta de correlação :
Uso da Geometria Epipolar, uso das matrizes fundamentais.
Objetivo de uso
da Geometria Epipolar
A geometria epipolar nos permite ter uma
ferramenta com as seguintes vantagens:
Individualizar a correspondência entre os
marcadores que aparecem nas 3 imagens de
vídeo.
Reduzir o campo de busca dos marcadores
Fundamental
Se precisou capturar uma amostra de pontos.
Esta amostra foi testada entre 3000 a 8000.
O método utilizado para o calculo foi o Algoritmo
de RANSAC.
A Matriz Fundamental
O calculo da matriz fundamental duas a duas
câmeras. Ela permitira relacionar a geometria
projetiva intrínseca de duas vistas capturadas
desde diferentes câmeras.
0
1 Pivo
DirF
p
p
T ˆ0
2 Pivo
EsqF
p
p
T ˆEstratégia de Correlação
A estratégia se baseia em eleger uma das 3
câmeras como sendo a câmera pivô.
A partir da câmera de pivô se identificará os
marcadores que serão a base da correlação com
as outras imagens de vídeo.
Estratégia de Correlação
Usando as matrizes fundamentais achadas entre a
câmera pivô e as outras câmeras, se projeta o ponto de referência, achado para cada marcador da câmera pivô, sobre a imagem das câmeras subordinadas a câmera pivô, esta projeção se visualiza como uma linha
Resultado da Estratégia
de Correlação
Este resultado é o caso ideal, mas temos casos
especiais onde a correlação não é tão notória.
Casos Especiais de Correlação
Caso onde dois marcadores caem sobre uma
mesma linha.
Casos Especiais de Correlação
Caso onde tem oclusão e dois marcadores se
visualizam como um único marcador.
Possíveis Soluções: Casos
Especiais
Para o primeiro caso, a solução é considerar todos os marcadores que caem numa mesma linha epipolar como candidatos momentâneos e na etapa de reconstrução 3D fazer o descarte dos que estejam errados.
Para a segundo caso, uma opção foi descartar a
informação da câmera que apresenta o caso de oclusão, e só trabalhar com a informação das câmeras restantes. Em caso a câmera pivô seja a que apresenta o caso de oclusão, se escolhe outra câmera onde se tenham
identificado o número de marcadores rastreados e se considera ela como pivô.
Reconstrução 3D dos Marcadores
A partir da correlação dos marcadores , se
utilizará esta informação para obter a posição
3D de cada marcador.
Reconstrução
A reconstrução será feita em relação as
coordenadas de câmera da Câmera Pivô.
) ( ˆ R2 P T2 Ppivo r l
r Ol xcl ycl zcl Or xcr ycr zcr Pl pl pr Pr R1 T1 Ppivô T2 R2 ypivô xpivô zpivô Opivô ) ( ˆ R1 P T1 Ppivo l o pivˆ O Método de Reconstrução
O método de reconstrução se baseia em criar um sistema de equações, duas a duas câmeras, com a seguinte informação: T l l l cl T R cr T R w
p
p
Xc
Yc
Zc
p
[ ] [] 1
O Método de Reconstrução
Então temos duas equações que representam o mesmo ponto 3D em coordenadas da câmera da esquerda expressado da seguinte forma:
T l l l l T l l l l l u w v w P Xc Yc Zc w 1
T l l l r T r r r r r u w v w P Xc Yc Zc w 1Onde Pl é a matriz que leva um ponto em coordenadas da câmera da esquerda para
coordenadas do plano da imagem da esquerda (Matriz de parâmetros extrínsecos).
E Pr é a matriz que levaria primeiro um ponto em
coordenadas da câmera da esquerda e logo levar este ponto para coordenadas na imagem de direita.
O Método de Reconstrução
Com este artifício podemos achar a coordenada do ponto 3D da câmera esquerda que é o dado comum e desconhecido nestas duas equações, assim podemos chegar a: 1 4 4 3 3 2 1 1 x l l l x r r r r r r r r Zc Yc Xc P P P w v w u w 1 4 4 3 3 2 1 1 x l l l x l l l l l l l l Zc Yc Xc P P P w v w u w
Onde resolvendo para cada fila podemos criar a seguinte sistema equações expresso como um sistema Ax = 0 : 4 4 3 2 3 1 3 2 3 1 4 4 x r r r r l l l l x p v p p u p p v p p u p B r r l l 0 1 Zc Yc Xc B T 4x1 l l l 4 x 4
Resultado da Reconstrução
O resultado da reconstrução será o valor da
coordenada 3D de cada marcador expresso no sistema de coordenadas da câmera Pivô, a qual pode ser
transformada em coordenadas 3D do mundo em milímetros.
Características do grupo de marcadores
Após a reconstrução é importante definir as características físicas que definam o grupo de marcadores como um objeto só, isto nos permitira depois procurar esta forma entre as possíveis reconstrução em casos especiais.
Uma característica usada é conhecer a distancia entre os marcadores em milímetros.
Casos Especiais
Como se definiu na etapa de correlação, no caso onde se tem marcadores que caem sobre uma mesma linha epipolar traz como conseqüência a reconstrução de marcadores errados.
Casos Especiais
É assim que se utilizará as características do grupos de marcadores para descartar os marcadores errados.
Casos Especiais
Como resultado teremos só um conjunto de
marcadores com as posições 3D corretas e que cumpre com as características físicas definidas para o grupo de marcadores.
Extração dos 6 Graus de Liberdade
Com a identificação e reconstrução do grupo de
marcadores como um objeto único, podemos
começar o processo de extração dos 6 graus
de liberdade.
3 Graus de liberdade, da interpretação de
movimentos de translação dentro do volume da caixa.
3 Graus de liberdade, da interpretação de
movimentos de rotação como giros que faz o plano triangular definido pelos marcadores.
Analogia com um dispositivo
conhecido
Um dispositivo que também utiliza a extração dos 6 graus de liberdade para emitir eventos é o
conhecido
As translações e rotações se capturam a partir da
movimentação de um
elemento base desde uma posição inicial pre-definida.
Extração das Translações
Para interpretar as sinais de translação se definiu a uma posição inicial dentro da espaço de rastreamento do mundo e dependendo da translação se emitem
deltas de translação no eixo correspondente:
Extração das Rotações
Para interpretar as sinais de rotação se definiu também uma posição inicial para a qual se define um quaternio inicial.
Em cada instante se calcula o quaternio que representa a posição atual dos marcadores.
A diferença entre estes quaternios será utilizada como nosso deltas de rotação.
Resultado da Extração das Rotações
Para testar a correta identificação dos quaternios que reapresentam a rotação do conjunto de marcadores, inicialmente se
inseriu nas imagens de vídeo um objeto virtual que
acompanha os
movimentos de nosso marcadores.
Aplicações de Teste
PINTOR 3D
BRAÇO ROBÔ VIRTUAL
Aplicações de Teste
Conclusões
Mostrar que é possível construir um dispositivo de rastreamento óptico barato e composto de hardware comum, como são as câmeras web.
Mostrar a adaptabilidade que o dispositivo pode ter para comportar-se como um dispositivo de entrada, ao qual é possível adicionar e relacionar diferentes tipos de
eventos.
O funcionamento do dispositivo foi orientado mais a um contexto qualitativo e de valorização da adaptação do usuário às novas características de interação que o dispositivo lhe oferece.
Trabalhos Futuros
Melhorar o hardware como usar câmeras de maior resolução e campo de visão.
Incrementar o número de padrões definidos pelos
marcadores a serem rastreados dentro de um mesmo espaço de rastreamento e talvez utilizar as duas mãos do usuário para a interação.
Testar novos algoritmos para cada etapa do processo de rastreamento.
Estudar e analisar que tipo de técnicas de interação 3D podem se utilizar com nosso dispositivo.
