Detecção de Marcadores para Realidade Aumentada em FPGA

(1)

Detecc¸˜ao de Marcadores para Realidade Aumentada em FPGA

Bernardo F. Reis, Jo˜ao Marcelo X. N. Teixeira, Veronica Teichrieb and Judith Kelner Grupo de Pesquisa em Realidade Virtual e Multim´ıdia

Centro de Inform´atica, Universidade Federal de Pernambuco Recife, Pernambuco, Brasil

Email:{bfrs, jmxnt, vt, jk}@cin.ufpe.br

Resumo—O uso de FPGAs no desenvolvimento de sistemas de Realidade Aumentada apresenta-se oportuno ao suprir a demanda por poder de processamento e mobilidade que estas aplicações possuem. Para registrar o mundo real e o virtual, algumas dessas aplicações utilizam marcadores fiduciais. Tais marcadores são identificados e suas posições obtidas pelo sistema, a fim de compor corretamente a mistura entre os dois mundos. Este trabalho apresenta um módulo implementado em FPGA para detecção de marcadores ID-based como parte de um framework embarcado de desenvolvimento de aplicações de Realidade Aumentada. Os resultados comprovaram que o tempo de execução do módulo implementado é mais do que duas vezes menor do que a abordagem em software, para uma imagem de 320x240 pixels.

Palavras-chave-realidade aumentada; sistemas embarcados; reconhecimento de padr˜oes;

I. INTRODUC¸ ˜AO

Aplicac¸˜oes de Realidade Aumentada (RA) requerem bas-tante poder de processamento, tanto para renderizar os obje-tos virtuais na cena, quanto para registrar1 _{o mundo virtual}

com o mundo real [1]. Este requisito se alia à necessidade de mobilidade do sistema, a qual aumenta a sensação de imersão do usuário final. Uma solução para combinar estas duas caracter´ısticas é o uso de dispositivos embarcados no desenvolvimento de sistemas de RA. O desenvolvimento do ARCam [2] [3], um framework embarcado para desen-volvimento de aplicações de RA, justifica-se devido ao fato dos FPGAs (Field Programmable Gate Arrays) mostrarem-se bastante eficazes e conmostrarem-seguirem satisfazer os requisitos listados anteriormente.

Este framework foi concebido para prover a progra-madores e projetistas todas as funcionalidades essenciais ao desenvolvimento de aplicações de RA com marcadores. Uma dessas funcionalidades é a detecção de marcadores, foco deste trabalho.

Sistemas de RA com marcadores utilizam marcadores fiduciais para identificar a posição onde os objetos virtuais serão renderizados. Estes marcadores contêm um padrão de imagem que deve ser identificado unicamente no am-biente [4]. O sistema de marcadores escolhido foi o sistema de marcadores simples utilizado no ARToolkitPlus [5], o

1_{O conceito de registro diz respeito à relação espacial 3D entre os objetos}

do ambiente real e os objetos virtuais sobrepostos à cena com o intuito de manter a consistência das informações exibidas ao usuário.

qual por ser projetado para dispositivos móveis, possui uma detecção pouco custosa computacionalmente para um total de 512 marcadores diferentes.

O processo de detecção deste tipo de marcadores, chamado ID-based, requer a leitura do padrão binário con-tido dentro de suas bordas, o que implica na remoção da distorção de perspectiva presente na imagem [6]. Esta distorção existe caso o plano do marcador não seja o mesmo plano da tela. Neste caso, é preciso encontrar entre os dois planos em questão um mapeamento, comumente chamado de homografia. Uma abordagem para encontrar a homografia utiliza o mapeamento entre 4 pontos não colineares em ambos os planos, facilmente obtidos ao se usar os vértices do marcador encontrado na imagem. Uma vez tendo sido removida a distorção de perspectiva, o padrão pode então ser lido e identificado corretamente por um algoritmo espec´ıfico. Este trabalho foca no desenvolvimento e validação de um módulo em hardware para detecção de marcadores ID-based, o qual é responsável por realizar todas as etapas de processamento descritas anteriormente.

II. TRABALHOS RELACIONADOS

Não é conhecida nenhuma implementação de um sistema flex´ıvel de RA feita puramente em hardware. Contudo, existem algumas aplicações desenvolvidas em FPGA que utilizam princ´ıpios de RA, sem utilizar marcadores fiduciais, como [7], [8] e [9].

Piekarski et al. [7] propõem uma aplicação de RA de baixo consumo usando FPGAs e tendo bolas coloridas como marcadores. A imagem do mundo real é obtida e processada usando um FPGA. As coordenadas dos marcadores são calculadas e enviadas para um computador que renderiza a imagem virtual. As imagens virtual e real são combinadas e a sa´ıda é mostrada em um HMD (Head Mounted Display). Toledo et al. [8] implementam uma aplicação de RA para pessoas com deficiência visual em FPGA. Nenhum marcador é utilizado, uma vez que o sistema só precisa sobrepor informações de contorno da imagem do mundo real. As informações de contorno são extra´ıdas da imagem usando redes neurais.

Luk et al. [9] apresentam um framework para RA baseado em uma combinação de hardware e software, para fazer composição de v´ıdeo, extração de imagens e rastreamento

(2)

de objetos. O hardware utilizado é um FPGA que atua como um sistema reconfigurável, podendo ter diferentes funcionalidades em tempo de execução, mesmo que não haja espaço no FPGA para todos os módulos ao mesmo tempo.

III. Framework ARCAM

Este trabalho faz parte de um framework embarcado de desenvolvimento de aplicações de RA em FPGA, chamado ARCam, cujo objetivo é prover um plataforma completa que facilite a construção de soluções de RA na forma de hard-ware dedicado, diferindo da abordagem h´ıbrida hardware-softwareconvencional.

O ARCam incorpora um FPGA com aproximadamente sessenta mil elementos lógicos (LEs), um sensor de imagem e um display VGA. O FPGA é conectado ao sensor e realiza todo o processamento de imagem, isto é, implementa os algoritmos de visão computacional necessários para realizar RA e apresentar o v´ıdeo resultante no display.

Figura 1. Diagrama de blocos do framework ARCam.

A arquitetura do ARCam é apresentada na Figura 1. O bloco Video-IN converte a entrada de v´ıdeo analógica para o formato digital RGB. O sensor de imagem opera a 30 fps (frames per second). A unidade de processamento é um FPGA Stratix II da Altera. O bloco Video-OUT converte do formato digital RGB para uma sa´ıda de v´ıdeo analógica para monitores VGA. A interface VGA é um conversor de v´ıdeo D/A triplo 3 × 8 bits operando a 180 megapixels por segundo.

A infraestrutura básica da arquitetura do ARCam é repre-sentada pelos seguintes componentes, cujo uso é necessário para toda aplicação de RA desenvolvida:

• Controle I2C do sensor de imagem: este bloco utiliza o protocolo I2C para controlar as funções necessárias da câmera, incluindo controle de exposição, balanço de branco, matriz de cor, saturação de cor, controle de ganho, entre outros.

• Interface de decodificação de v´ıdeo: recebe os sinais do sensor de imagem e controla o armazenamento das imagens adquiridas na memória de cor. A sa´ıda do sensor de imagem é basicamente composta de três sinais elétricos: sincronismo vertical, horizontal e de pixel. Eles informam respectivamente quando um frame acaba, quando uma linha acaba e quando um pixel está dispon´ıvel no barramento.

• Mem´oria de cor: armazena uma imagem 320 × 240 do

mundo real no formato RGB.

• Memórias intermediárias: armazenam imagens tem-porárias do processamento de algoritmos de RA. O número de memórias intermediárias e seus tamanhos dependem do algoritmo utilizado.

• Mem´oria de RA: armazena a imagem resultante do processamento dos algoritmos de RA.

• Pipelinede RA: implementa os procedimentos de RA. Este módulo corresponde à aplicação do usuário e é desenvolvido dependendo da funcionalidade desejada.

• Seletor real/virtual: baseado na mem´oria de RA, este m´odulo funciona como um multiplexador e decide qual valor vai ser enviado para o bloco Video-OUT.

• Interface de codificac¸˜ao de v´ıdeo: envia sinais digitais

RGB e sinais de controle VGA para o bloco Video-OUT. A sa´ıda do sistema ´e VGA, para que a placa possa ser conectada tanto em um HMD, quanto em um monitor de v´ıdeo convencional.

A plataforma ARCam oferece um modelo de design baseado em uma biblioteca de componentes que permite aos desenvolvedores acessar cada componente para executar uma funcionalidade espec´ıfica. Estes componentes podem então ser combinados para compor uma aplicação de RA com o comportamento desejado.

Diversos componentes de processamento de imagem foram implementados para compor a infraestrutura do ARCam, tais como: binarização, escala de cinza, label-ing, filtro de média, detecção de contorno, convolução genérica, estimativa de centróide, detecção de quadrados e renderização de objetos 3D em wireframe, além do módulo implementado neste trabalho.

IV. METODOLOGIA DE DETECC¸ ˜AO DE MARCADORES

A criação de um cenário de RA requer que uma série de passos seja realizada, desde a captura da imagem pela câmera até a apresentação do resultado final no display. Estes passos formam o pipeline de RA, mostrado na Figura 2.

Este trabalho tem como objetivo completar o pipeline de RA implementado no framework ARCam, no que diz respeito à fase de identificação de marcadores.

A. Realidade aumentada com marcadores

Um dos pontos cruciais para se trabalhar com RA com marcadores envolve a identificação dos padrões embutidos nos marcadores utilizados. Para identificá-los, é necessário

(3)

Figura 2. Pipelinede RA.

aplicar uma s´erie de procedimentos na imagem de entrada capturada pela cˆamera.

O primeiro procedimento aplicado é a binarização da imagem, que corresponde à transformação da imagem co-lorida em uma imagem em preto e branco, suficiente para a detecção dos marcadores escolhidos. Esse procedimento diminui a quantidade de memória necessária no armazena-mento da imagem a ser analisada. Na fase de binarização da imagem aplica-se um limiar no valor da intensidade de cada pixel: caso a intensidade do pixel ultrapasse o limiar, então o pixel é considerado branco; caso contrário, o pixel é considerado preto.

Após transformar a imagem em preto e branco, é necessário identificar as bordas contidas na imagem, que podem ser definidas quando a intensidade dos pixels de uma região varia bruscamente. Na identificação das bordas é aplicado o método Zero Crossing de segunda derivada, implementado utilizando uma máscara de convolução dis-creta [2]. Tendo obtido todas as bordas, é poss´ıvel ve-rificar a existência de retângulos na imagem, analisando quais delas formam contornos fechados e executando uma classificação poligonal em cada contorno encontrado [10]. Esta classificação poligonal é realizada através da análise dos ângulos entre os vértices do contorno.

Como resultado da verificação da existência de retângulos, obtém-se os vértices dos retângulos encontrados. Estes retângulos, contudo, não pertencem necessariamente ao plano da tela. Logo, a leitura do padrão do marcador não pode ser feita somente com a imagem do jeito que foi capturada. É preciso transformar a imagem para que o marcador esteja no plano da tela. Neste momento, aplica-se a correção da distorção de perspectiva.

B. Correção da distorção de perspectiva

O retângulo encontrado na imagem de entrada é na verdade um quadrado com uma distorção de perspectiva, que aparece quando o plano da tela não é paralelo ao plano do marcador, como mostrado na Figura 3.

Figura 3. Correção da distorção de perspectiva.

A distorção de perspectiva pode ser modelada de acordo com a transformação projetiva apresentada na equação 1, onde p e p0 são vetores representando pontos em 3 di-mensões no plano da tela e H é uma matriz homogênea não-singular.

p0= Hp (1)

Descobrindo a matriz H, é poss´ıvel levar o retângulo no plano do marcador a um quadrado de referência no plano da tela, e dessa forma, efetuar a leitura correta do padrão. Uma das maneiras de descobrir a matriz H é encontrar a correspondência entre 4 pontos nos 2 planos, o que é bastante simples, já que os vértices do retângulo foram descobertos previamente na classificação poligonal. Com a correspondência desses 4 pontos, é poss´ıvel extrair 8 equações, conforme descrito no par de equações 2. Nas equações a seguir, os elementos da matriz H são expres-sos na forma hij. (x0, y0) representam as coordenadas na

(4)

tela.

x0(h31x + h32y + h33) = h11x + h12y + h13

y0(h31x + h32y + h33) = h21x + h22y + h23 (2)

Assumindo que h33= 1 e com as 8 equac¸˜oes obtidas a partir

de 2, é poss´ıvel montar o seguinte sistema linear apresentado na equação 3:              x0 y0 1 0 0 0 −x0x00 −y0x00 x1 y1 1 0 0 0 −x1x01 −y1x01 x2 y2 1 0 0 0 −x2x02 −y2x02 x3 y3 1 0 0 0 −x3x03 −y3x03 0 0 0 x0 y0 1 −x0y00 −y0y00 0 0 0 x1 y1 1 −x1y10 −y1y01 0 0 0 x2 y2 1 −x2y20 −y2y02 0 0 0 x3 y3 1 −x3y30 −y3y03              ∗            h11 h12 h13 h21 h22 h23 h31 h32            =              x00 x01 x02 x03 y0₀ y0₁ y0₂ y0₃              (3)

O que realmente importa na matriz H é a relação entre seus elementos, logo este sistema linear é suficiente para resolver o problema da correção da distorção de perspectiva em função de um fator de escala. Para simplificar o problema de resolução do sistema linear da equação 3, escolhe-se os valores das coordenadas do quadrado na tela (x, y), que são valores fixos, de maneira a eliminar o máximo de termos do sistema. A forma mais simples de fazer isso é mapear o quadrado de referência conforme a Figura 4.

Figura 4. Coordenadas do quadrado no plano da tela.

Usando estes valores para o quadrado de referência do plano da tela, o sistema linear é reduzido a um pequeno conjunto de equações facilmente solucionável. Por fim, o fator de escala da matriz H é definido, restringindo ||H|| = 1 (a norma de H como sendo unitária). Maiores detalhes sobre como a correção da distorção de perspectiva funciona no framework ARCam podem ser encontrados em [6]. C. Detecção de padrões

Na leitura do padrão do marcador, varre-se o quadrado de referência, vertical e horizontalmente, aplicando a matriz de transformação projetiva. Tal procedimento permite recuperar o código embutido no marcador. Como a imagem de leitura já se encontra binarizada, cada ponto já recebe seu valor binário correspondente: 0 se preto, 1 se branco.

Apesar da correção da distorção de perspectiva facilitar a leitura correta do marcador, ainda existe um erro associado à homografia, devido a fatores como a precisão dos cálculos executados e a precisão da identificação dos vértices do

marcador. Uma forma de diminuir esse erro é capturando mais de um ponto para cada bit do padrão. O padrão do marcador simples do ARToolkitPlus, apresentado na Figura 5, representa um código de 36 bits em formato de uma malha 6×6, onde um valor de 9 bits é repetido 4 vezes e codificado com uma máscara XOR [5].

Figura 5. Exemplos de marcadores do ARToolkitPlus.

Capturando na imagem nove pontos para cada bit, isto é, uma malha de 18 × 18 pontos, a precisão da detecção aumenta. O valor final de cada bit é definido pela média dos valores dos nove pontos correspondentes. Este procedimento é conhecido por subsampling.

Quando o padrão for lido do marcador, é então poss´ıvel aplicar um algoritmo espec´ıfico para decodificar o código de 9 bits correspondente a cada marcador. Este algoritmo remove a codificação originada pela aplicação da máscara XOR durante a criação do padrão do marcador.

V. IMPLEMENTAC¸ ˜AO

Neste trabalho foi implementado um módulo de detecção de marcadores para o framework ARCam em um FPGA Stratix II EP2S60F1020C4 da Altera, utilizando o kit de desenvolvimento para DSP DK-DSP-2S60N do mesmo fa-bricante (ilustrado na Figura 6).

Figura 6. Ambiente de desenvolvimento do ARCam.

Este módulo consiste de três submódulos: o primeiro submódulo calcula a homografia entre os dois quadrados (o do plano da imagem e o de referência, no plano da tela); o segundo acessa os pixels da memória que armazena a ima-gem em preto e branco e realiza o subsampling; o terceiro executa o algoritmo de reconhecimento do código de 36 bits

(5)

do marcador. Estes m´odulos foram completamente imple-mentados utilizando a linguagem VHDL (Very-High-Speed Integrated Circuits Hardware Description Language) [11].

O primeiro submódulo é responsável por todo o cálculo da álgebra envolvida no processo de descobrir a homografia. Os cálculos foram realizados com aritmética de ponto fixo no formato Q23.24, a fim de acelerar a execução do submódulo, sob pena de uma pequena perda de precisão que pouco influi na fidelidade dos resultados obtidos. Os cálculos foram implementados utilizando as funções MegaCore daR

Altera [12] de multiplicação, divisão e raiz quadrada, sendo quatro multiplicadores funcionando em paralelo.

O segundo submódulo aplica a matriz de homografia encontrada aos pontos do quadrado de referência e armazena o valor dos pixels da imagem na memória. O quadrado de referência possui uma resolução de 18 × 18 pixels, con-forme informado na seção 3.3, com o objetivo de aumentar a precisão da detecção. Em seguida, o procedimento de subsampling é executado. Na aplicação da homografia são utilizados dois multiplicadores de 32 bits em paralelo e um divisor de mesma precisão. Estes módulos aritméticos estão no formato Q15.16. A memória utilizada para armazenar a imagem em preto e branco foi implementada utilizando blocos de memória M4K dispon´ıveis no FPGA.

O terceiro submódulo executa o algoritmo que detecta o código de 9 bits codificado no padrão de 36 bits do marcador. O algoritmo verifica o padrão para as quatro rotações poss´ıveis (0o_{, 90}o_{, 180}o_{e 270}o_{) e retorna o código}

se alguma das rotações apresentar n´ıvel de precisão acima de um limiar. Apesar da biblioteca ARToolKitPlus usar um limiar de valor igual a 0.5, verificou-se neste trabalho que os resultados apresentaram-se melhores com um limiar de valor igual a 0.7. Este algoritmo é essencialmente seqüencial, contudo sua execução leva apenas poucos ciclos de clock.

VI. RESULTADOS

Para apresentar os resultados obtidos com a implementação dos módulos de detecção de marcadores em FPGA, foi feita uma comparação entre o tempo de execução do algoritmo em software e em hardware. Somente um tamanho de imagem foi utilizado, 320 × 240 pixels, por causa de uma limitação do sensor de imagem acoplado ao FPGA utilizado no trabalho, o sensor CMOS OV7620 da Omnivison. A Figura 7 ilustra a detecção de marcadores sendo utilizada no framework ARCam.

A biblioteca de RA ARToolkitPlus [5] foi usada como modelo de referência para execução em software. O ambi-ente de execução consistia de uma CPU AMD Athlon 64 X2 Dual-Core de 1.9 GHz e 1 GB de memória DDR2.

Para a implementação em FPGA utilizou-se uma freqüência de clock de 25 MHz, devido a restrições de freqüência de execução impostas principalmente pelos módulos aritméticos de divisão. A quantidade de ciclos

Figura 7. Detecc¸˜ao de marcadores sendo executada em FPGA.

de clock necessários à execução de cada submódulo foi calculada e é mostrada na Tabela I.

Tabela I

TEMPO DE EXECUC¸ ˜AO DOS SUBMODULOS EM CICLOS DE´ clock. Ciclos de clock

C´alculo da Homografia 112

Subsampling 8535

Detecção do Padrão 235

O submódulo que executa o subsampling leva considera-velmente mais tempo do que os outros submódulos, pois ele aplica a matriz de homografia em cada ponto do quadrado. Uma vez que esse procedimento foi implementado de forma seqüencial, é extremamente custoso em comparação às ou-tras etapas do algoritmo. Ainda é poss´ıvel reduzir esse custo, tomando vantagem da caracter´ıstica intr´ınseca de paralelismo da plataforma FPGA.

A comparação dos resultados da execução total do módulo de detecção nas duas plataformas mostrou que a execução em FPGA é mais do que duas vezes mais rápida do que a execução em software, como mostra o gráfico na Figura 8.

Figura 8. Gráfico comparativo entre implementações em FPGA e software.

VII. CONCLUSOES˜

Um módulo de detecção de marcadores ID-based para um framework de RA embarcado foi apresentado e validado comparativamente a uma abordagem em software. Os resul-tados comprovaram que o tempo de execução do módulo

(6)

implementado neste trabalho ´e mais do que duas vezes menor do que a abordagem em software, para uma imagem de mesma dimens˜ao (nos testes foram utilizadas imagens de 320 × 240 pixels).

Este módulo completa o framework de RA embarcado ARCam, mostrando que é poss´ıvel desenvolver aplicações de RA em dispositivos embarcados, uma plataforma bastante apropriada às necessidades inerentes de RA de poder de processamento e mobilidade.

Como trabalhos futuros, pretende-se implementar uma interface para memória externa, de forma a possibilitar o processamento de imagens de dimensões maiores, estu-dar a solução mais eficiente de paralelizar a execução do subsampling, e analisar a viabilidade de construção de um frameworkde RA sem marcadores, que utiliza caracter´ısticas do próprio ambiente para o rastreamento.

VIII. AGRADECIMENTOS

Os autores gostariam de agradecer ao MCT e ao CNPq, por financiarem esta pesquisa (processo 507194/2004-7).

REFERENCES

[1] M. Haller, M. Billinghurst, and B. Thomas, Emerging tech-nologies of augmented reality : interfaces and design / Michael Haller, Mark Billinghurst, and Bruce Thomas, ed-itors. Idea Group Pub., Hershey PA :, 2007.

[2] G. F. Guimar˜aes, J. P. S. M. Lima, J. M. X. N. Teixeira, G. D. Silva, V. Teichrieb, and J. Kelner, “Fpga infrastructure for the development of augmented reality applications,” in SBCCI ’07: Proceedings of the 20th annual conference on Integrated circuits and systems design. New York, NY, USA: ACM, 2007, pp. 336–341.

[3] J. Lima, G. Guimar˜aes, G. Dias, J. Teixeira, E. Xavier, V. Teichrieb, and J. Kelner, “Arcam: an fpga-based augmented reality framework,” in Proceedings of Symposium on Virtual and Augmented Reality, 2007, pp. 106–115.

[4] R. Azuma, “A survey of augmented reality,” 1995. [Online]. Available: citeseer.ist.psu.edu/azuma95survey.html

[5] D. Wagner and D. Schmalstieg, “Artoolkitplus for pose track-ing on mobile devices,” in CVWW 2007, 2007, pp. 6–8. [6] B. F. Reis, J. M. X. N. Teixeira, V. Teichrieb, and J.

Kel-ner, “Perspective correction implementation for embedded (marker-based) augmented reality,” in Proceedings of Work-shop de Realidade Virtual e Aumentada, 2008.

[7] W. Piekarski, R. Smith, G. Wigley, B. Thomas, and D. Kear-ney, “Mobile hand tracking using fpgas for low powered augmented reality,” in ISWC ’04: Proceedings of the Eighth International Symposium on Wearable Computers. Washing-ton, DC, USA: IEEE Computer Society, 2004, pp. 190–191. [8] E. Toledo, J. Martinez, E. Garrigos, and J. Ferrandez, “Fpga implementation of an augmented reality application for vi-sually impaired people,” in Field Programmable Logic and Applications, 2005. International Conference on, Aug. 2005, pp. 723–724.

[9] L. L. Rice, W. Luk, T. K. Lee, J. R. Rice, N. Shirazi, and P. Y. K. Cheung, “Reconfigurable computing for augmented reality,” in In 7th IEEE Symposium on Field-Programmable Custom Computing Machines, 1999, pp. 136–145.

[10] L. Xu, T. Paila, W. Hansmann, and M. Frank, “Intel open source computer vision library, version 3.1,” in Proc. of the 26th Annual Conference on Local Computer Networks, LCN’01, 2003.

[11] P. J. Ashenden, The Designer’s Guide to VHDL, Volume 3, Third Edition (Systems on Silicon) (Systems on Silicon). San Francisco, CA, USA: Morgan Kaufmann Publishers Inc., 2008.

[12] “Altera megacore R functions,” July 2009. [Online]. Available: http://www.altera.com/literature/lit-ip.jsp