Visão Omnidirecional para

(1)

Universidade Federal da Bahia

Programa de Pós-gradua¸cão em Engenharia Elétrica

Projeto

Vis˜

ao Omnidirecional para

Rob´

otica M´

ovel

Projeto de pesquisa submetido ao Programa de Pós-gradua¸cão em Engenharia Elétrica para fim de credenciamento junto a seu

corpo docente

(2)

1 Objetivos

• Implantar e consolidar competência cient´ıfica e tecnológica em visão computacional (omnidirecional) para robótica móvel, visando capacitar equipes de robôs móveis a realiza¸cão de tarefas cooperativas em ambientes dinâmicos.

1.1 Metas

As seguintes metas espec´ıficas estão previstas para o objetivo proposto: 1. Modelagem e implanta¸cão de um sistema de visão omnidirecional

catadióptrico (sistema de lentes e câmera) em robôs móveis.

2. Implementa¸cão de técnicas e algoritmos de processamento de imagens para tratamento das imagens adquiridas pelo sistema de visão omnidirecional.

3. Constru¸cão de robôs móveis omnidirecionais para realiza¸cão autônoma de tarefas.

4. Consolida¸cão da área de Visão Computacional junto ao Programa de Pós-gradua¸cão em Engenharia Elétrica da Universidade Federal da Bahia.

5. Contribuir para a melhoria do conteúdo tecnológico do ensino, mais especificamente Processamento de Imagens, Visão Computacional e Engenharia Elétrica, em n´ıvel de gradua¸cão e pós-gradua¸cão.

6. Gera¸cão de relatório técnico parcial 7. Gera¸cão de relatório final.

8. Apresenta¸c˜ao de resultados Finais.

2 Justificativa

Robôs móveis são baseados em tarefas. Assim, para avaliar um sistema artificial deve-se aplicá-lo a uma tarefa espec´ıfica. A tarefa a ser abordada neste projeto é o processamento de imagens adquiridas por um sistema de

(3)

visão embarcado em robôs móveis, para competi¸cões de futebol[1]. Em trabalhos recentes [2]-[6], foi proposta uma arquitetura de um sistema de sensoriamento remoto baseado em fusão de dados de uma câmera CMOS e sensores de distância infra-vermelhos, embarcados em um robô móvel. Robôs móveis foram concebidos pelo Grupo de Pesquisa em Inteligência Artificial da UFBA, como plataformas experimentais de arquitetura aberta, que utiliza o futebol de robôs, segundo as condi¸cões de contorno da liga de robôs de pequeno porte da RoboCup Federation, RoboCup F-180, onde são comumente utilizados. Estes vêm sendo utilizados como laboratório para pesquisas desenvolvidas nas áreas de Robótica e Inteligência Artificial desde 1996.

A arquitetura citada anteriormente foi constru´ıda com a finalidade de determinar e localizar objetos num campo de futebol, a saber: os robôs do time de futebol, os robôs do time de futebol adversário e a bola. Em [2]-[6] propôs-se ainda, uma arquitetura de software para o sistema de visão do robô móvel, a fim de tratar a percep¸cão e o controle deste último. No módulo de percep¸cão foi empregado uma máquina de aprendizado determin´ıstico chamada SVM (do inglês, Support Vector Machine) [7]. Este método de aprendizado supervisionado para classifica¸cão de dados, incorpora dois estágios - treinamento e predi¸cão -, e foi utilizado para classificar objetos em imagens capturadas pelo sistema de visão montado - robôs e bola.

Nesta etapa de classifica¸cão, o reconhecimento dos objetos foi feito por informa¸cão de cor. Uma câmera CMUCAM2 foi utilizada, a qual oferece a funcionalidade de rastreamento de cores. No módulo de controle foi adotado processamento de imagens Fuzzy [8], para decidir quais dados dos sensores e se estes seriam combinados com dados da câmera, para garantir a precisão de informa¸cão dos objetos para o robô. Uma etapa importante no design do projeto é o da calibra¸cão da câmera, rela¸cão entre coordenadas da cena 3D visualizada e coordenadas da câmera. A localiza¸cão dos objetos é dada por coordenadas polares (θ, d). Uma técnica de regressão por SVM [7, 9] foi utilizada duas vezes, uma para determinar o ângulo θ e outra para determinar a distância d relativa ao centro de massa dos robôs.

Robôs, em geral, são constru´ıdos com diferentes tipos de atuadores de locomo¸cão - rodas, pernas, etc -, porém, sensores visuais são, na maioria das vezes, compostos de câmeras de sensor CCD comuns.

(4)

Um sistema de vis˜ao omnidirecional catadi´optrico (SVOC)1 _{- ´}_{e um}

sistema composto de uma câmera de v´ıdeo convencional e um espelho convexo com campo de visão de 360o -, viabilizando uma visualiza¸cão mais ampla do ambiente, onde o robô está inserido. Tal sistema é de rápida implementa¸cão [10], e possui uma motiva¸cão biológica por trás, uma vez que se pode identificar este sistema de visão em alguns organismos primitivos e insetos[11].

No contexto do futebol de robôs, o trabalho [14] traz uma equipe de robôs onde apenas um deles é dotado de um SVOC, o robô servo2.

Sistemas do tipo SVOC são mais eficientes que aqueles convencionais e que os sistemas baseados em lentes olho de peixe[10], devido ao mapeamento do ambiente que este proporciona. Alguns modelos da geometria de câmeras de um sistema SVOC são: parabólico, el´ıptico, hiperbólico, cônico e esférico. SVOC’s baseados em espelhos parabólicos, el´ıpticos e hiperbólicos são denominados de sistemas panorâmicos3centrais, por possuirem a propriedade de um ponto de vista simples4_. _{Sistemas baseados em espelhos cˆ}_onicos

e esféricos são denominados não-centrais. Apesar da ausência da citada propriedade para os espelhos cônico e esférico, tais sistemas são também eficientes, a depender da tarefa que se queira executar [18]-[20].

Em [11, 12] pode ser encontrada uma unifica¸cão das três primeiras geometrias acima num modelo mais geral, o da geometria da proje¸cão estereográfica. Uma discussão sobre a geometria da visão omnidirecional é importante para a escolha do design do SVOC a ser implantado [13]. Outro fato importante é que no processo de calibra¸cão da câmera basta utilizar apenas duas retas da imagem[11].

Neste trabalho pretende-se construir um sistema de visão SVOC, de baixo custo, munido da geometria de uma superf´ıcie esférica, embarcado em 6 (seis) robôs móveis, para abordar o problema de deteçcão e localiza¸cão de robôs no campo de futebol. Neste caso, o espelho será substitu´ıdo por uma esfera de a¸co oca, superando o primeiro problema encontrado na constru¸cão do sistema - o alto custo do processo de usinagem para gera¸cão dos espelhos convexos.

1_{sistema ´}_{optico combinando elementos reflexivos (cat´}_{optricos - espelhos) e refrativos}

(di´optricos - lentes).

2_robˆ_{o l´ıder com um sistema SVOC embarcado que emite sinais de comunicade r´}_adio

para distribuir tarefas

3_{Sistemas panorˆ}_{amicos podem ser obtidos por cˆ}_{ameras em rota¸}_c˜_{ao e por cˆ}_ameras

omnidirecionais

(5)

O sistema SVOC implantado em cada robô permitirá que eles tenham um amplo campo de visão, auxiliando na percep¸cão do ambiente e facilitando a movimenta¸cão dos robôs ao longo do campo de futebol. Uma sequência de opera¸cões de processamento das imagens omnidirecionais serão realizadas para a determina¸cão e localiza¸cão dos robôs.

3 Colaboradores

Este projeto contará além da participa¸cão de alunos de Trabalho Final de Gradua¸cão em Engenharia Elétrica e de Computa¸cão e de alunos do Programa de Pós-gradua¸cão em Engenharia Elétrica, com a colabora¸cão do Professor Augusto Cesar Pinto Loureiro da Costa, lotado no Depto. de Engenharia Elétrica, cujas atividades cient´ıficas possuem interesses comuns aos do candidato. O Prof. Augusto, inclusive, foi supervisor de duas bolsas de pesquisa do candidato - Desenvolvimento Tecnólogico e Regional 2 e de Pós-Doutorado I -, concedidas pela FAPESB.

São previstas também a intera¸cão de alunos do curso de Matemática, envolvidos em projetos de inicia¸cão cient´ıfica em Matemática Aplicada, supervisionados pelo candidato.

Atualmente o aluno de projeto final do curso de gradua¸cão em Ciência da Computa¸cão da UFBA, Daniel Vitor de Oliveira Rodrigues, está empenhado no processo de adapta¸cão de uma técnica para deteçcão das linhas do campo de futebol, aos trabalhos [2]-[3].

4 Metodologia e Estrat´

egia de A¸

c˜

ao

A metodologia do presente projeto consistirá de etapas, que poderão acontecer simultaneamente durante a execu¸cão do projeto. A primeira delas ´

e a constru¸cão do sistema de visão omnidirecional proposto; a segunda, o desenvolvimento em termos de software de visão computacional para o sistema de visão omnidirecional, e por último a divulga¸cão dos resultados de pesquisa em congressos e periódicos internacionais.

Abaixo segue a lista de tarefas a serem executadas ao longo de todo o processo:

(6)

2. Testes com o sistema de vis˜ao [2];

3. Adapta¸cão da técnica de deteçcão das linhas do campo de futebol proposta por [27]-[28];

4. Adapta¸cão da técnica de calibra¸cão automática de câmera proposta por [27]-[28];

5. Montagem dos protótipos dos sistemas de visão omnidirecional - o trabalho [26] será utilizado como referência, pois aborda o emprego de espelhos de tipo esférico;

6. Adequa¸cão do campo de futebol de robôs da categoria F-180 da RoboCup Federation às dimensões atuais;

7. Calibra¸c˜ao do sistema de vis˜ao omnidirecional constru´ıdo;

8. Implementa¸c˜ao de rotinas de processamento de imagens omnidirecionais;

9. Reavalia¸cão do processos de deteçcão das linhas do campo de futebol e de calibra¸cão automática da câmera, para o novo sistema de visão; 10. Testes com simulador de ambiente do jogo de futebol;

11. Adapta¸cão do sistema constru´ıdo aos robôs móveis (stargate kit); 12. Embarque dos sistemas de visão em robôs móveis;

13. Testes com robˆos m´oveis no campo de futebol;

14. Escrita e submissão de artigos cient´ıficos à congressos e periódicos internacionais.

15. Participa¸c˜oes nas RoboCup 2010/2011 nas categorias F − 180; 16. Participa¸c˜oes nos SIBGRAPI 2010/2011;

17. Publica¸cão de resultados e divulga¸cão de relatórios parciais; 18. Divulga¸cão de relatório final

(7)

5 Cronograma de Atividades

O cronograma está organizado na tabela 1, conforme as etapas previstas na Metodologia e Estratégia de A¸cão.

6 Resultados e impactos esperados

Os principais impactos esperados do projeto s˜ao:

• Forma¸cão de um grupo de pesquisa em Visão Computacional para Robótica, envolvendo professores do Programa de Pós-gradua¸cão em Engenharia Elétrica da Universidade Federal da Bahia.

• Fortalecimento da linha de pesquisa de Sistemas Robóticos ao Programa de Pós-gradua¸cão em Engenharia Elétrica da Universidade Federal da Bahia.

• Desenvolvimento de resultados teóricos e experimentais a respeito dos diferentes aspectos envolvidos na constru¸cão de sistemas de visão embarcados. Resultados estes a serem divulgados através de publica¸cões cient´ıficas e disserta¸cões de mestrado do Programa acima citado.

• Desenvolvimento de ferramentas computacionais para processamento de imagens provenientes de sistemas de vis˜ao omnidirecionais.

• Capacita¸cão de profissionais em n´ıvel de mestrado em Engenharia Elétrica, que sejam aptos a trabalhar com sistemas de visão artificial para robótica móvel.

• Publica¸cão dos resultados obtidos em congressos internacionais, nacionais e periódicos indexados de reconhecida relevância pelo Qualys da CAPES.

(8)

Tabela 1: Cronograma de Atividades/Mˆes Meses 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 Maio/2009 X X X Junho/2009 X X Julho/2009 X Agosto/2009 X Setembro/2009 X Outubro/2009 X Novembro/2009 X Dezembro/2009 X Janeiro/2010 X Fevereiro/2010 X Mar¸co/2010 X X X Abril/2010 X Maio/2010 X Junho/2010 X X Julho/2010 X X Agosto/2010 X Setembro/2010 X Outubro/2010 X X Novembro/2010 X Dezembro/2010 X Janeiro/2011 X Fevereiro/2011 X Mar¸co/2011 X Abril/2011 X X

(9)

Referˆ

encias

[1] [http://small-size.informatik.uni-bremen.de/rules:main] (2007)

[2] L. R. Oliveira, A. L. da Costa and L. Schnitman, A Comprehensive Framework for Perception in Robotic Soccer, Book chapter to appear in: Robotic Soccer. Publisher: International Journal of Advanced Robotic Systems, Austria (2007).

[3] L. R. Oliveira, Uma Abordagem para Visão Artificial em Robótica Móvel Baseada em Fusão de Sensores, Disserta¸cão de mestrado em Mecatrônica, Universidade Federal da Bahia - UFBA (2005).

[4] L. R. Oliveira, A. L da COSTA, L. Schnitman, J. F. Souza, An Architecture of Sensor Fusion for Spatial Location of Objects in Mobile Robotics, Encontro Português de Inteligência Artificial, EPIA2005, 2005, Covilhã (EPIA 2005 LNAI 3808, Berlin Heidelberg, Springer-Verlag, 2005, v. 3808, p. 462–473) (2005)

[5] L. R. Oliveira e A. L. da Costa, Visão Computacional: Uma Abordagem para Robótica Móvel Baseada em Fusão de Sensores , I Encontro de Robótica Inteligente, 2004, Salvador (XXIV Congresso da Sociedade Brasileira de Computa¸cão - SBC’2004, Salvador), Sociedade Brasileira de Computa¸cão, v. 01 (2004).

[6] L. R. Oliveira, A. L. da COSTA, L. Schnitman, Arquitetura de Visão Artificial: Aplica¸cão em Robótica Móvel Baseada em Fusão de Sensores, VII Brasilian Symposium on Inteligent Automation and II Latin America IEEE Robotics Symposium (SBAI/IEEE-LARS), 2005, São Luis (VII Brasilian Symposium on Inteligent Automation and II Latin America IEEE Robotics Symposium (SBAI/IEEE-LARS), São Luis, SBA/IEEE, 2005. v. 1. p. 1–8) (2005).

[7] V. Vapnik, The Nature of Statistical Learning Theory, Springer-Verlag (1995).

[8] T. Takagi, M. Sugeno, Fuzzy Identification of Systems and Its Applications to Modelling and Control, Transactions on Systems, Man and Cybernetics, v. 28, p. 15-33, IEEE (1985).

(10)

[9] N. Cristianini, J. Shawe-Taylor, An Introduction to Support Vector Machine and Other Kernel-based Learning Algorithms, Cambridge University Press (2003).

[10] S. K. Nayar, Omnidirectional Vision, The 8th _{International Symposium}

of Robotics Research, Hayama, Japan (1997).

[11] K. Daniidis and C. Geyer, Omnidirectional Vision: Theory and Algorithms, 15th _{International Conference on Pattern Recognition}

(ICPR’00) - Volume 1, p. 1089–1096 (2000).

[12] C. Geyer and K. Daniidis, Catadioptric Projective Geometry, International Journal of Computer Vision, 43:223–243 (2001).

[13] S. K. Nayar and S. Baker, Catadioptric Image Formation, Proceedings of the 1997 DARPA Image Understanding Workshop (1997).

[14] C. C. Gava, R. F. Vassalo, T. F. Bastos Filho, R. Carelli, Nonlinear Control Techniques and Omnidirectional Vision for Team Formation on Cooperative Robotics, IEEE International Conference on Robotics and Automation - ICRA’07, Roma, Italy (2007).

[15] F. G. Pereira, C. C. Gava, R. F. Vassalo, M. Sarcinelli Filho, Calibra¸cão de Sistemas Catadióptricos e Detecda Pose de Robôs Móveis por Segmentade Imagens Omnidirecionais, SBAI/IEEE-LARS 2005, São Luis, MA (2005).

[16] R. F. Vassalo, L. F. Encarna¸c˜ao, J. Santos-Victor and H. J. Schneebeli, Bird’s Eye View Remapping and Path Following Based on Omnidirectional Vision, CBA 2004 - XV Congresso Brasileiro de Autom ˜A¡tica, Gramado (2004).

[17] F. Roberti, R. F. Vassalo, R. Carelli, T. F. Bastos Filho, Estrategia de Sensado y Control para Aplicaciones en Robótica Móvil Mediante un Sistema de Visión Omnidireccional, IV Jornadas Argentinas de Robótica, 2006, Córdoba, Memórias de Las IV Jornadas Argentinas de Robótica (2006).

[18] S. Baker and S. K. Nayar, Single Viewpoint of Catadioptric Cameras, Benosman, R. and Kang, S. B., editors, Panoramic Vision: Sensors,

(11)

Theory and Applications, Monographs in Computer Science, chapter 4, pp. 39–72. Springer-Verlag, New York (2001).

[19] J. A. Gaspar, Omnidirectional Vision for Mobile Robot Navigation, Tese de Doutorado em Enga _Electrot´_{ecnica e de Computadores, Universidade}

T´ecnica de Lisboa, Instituto Superior T´ecnico (2002).

[20] J. A. Gaspar and J. Santos-Victor, Visual Path Following with a Catadioptric Panoramic Camera, Int. Symp. Intelligent Robotic Systems, Coimbra, Portugal, pp. 139–147 (1999).

[21] J. R. A. Torre˜ao and M. Amaral, Signal Differentiation Through a Green’s Function Approach, Pattern recognition Letters 23, pp. 1755– 1759 (2002).

[22] J. R. A. Torre˜ao and M. Amaral, Efficient, recursively implemented differential operator, with application to edge detection, Pattern recognition Letters 27, pp. 987–995 (2006).

[23] P. E. Ferreira Júnior, Fun¸cões de Green de Equa¸cões de Casamento para S´ıntese de Movimento, Tese de Doutorado, IMPA - Instituto Nacional de Matemática Pura e Aplicada, Fevereiro (2007).

[24] P. E. Ferreira J´unior, J. R. A. Torre˜ao, P. C. P. Carvalho and M. B. Vieira, Motion Synthesis Through 1D Affine Matching, Pattern Analysis and Applications, v. 11, pp. 45–58 (2008).

[25] P. E. Ferreira J´unior, J. R. A. Torre˜ao, P. C. P. Carvalho, Data-based Motion Simulation Through a Green’s Function Approach, Proc. of XVII SIBGRAPI, pp. 193–199 (2004).

[26] V. Grassi Jr., Sistema de Visão Omnidirecional Aplicado no Controle de Robôs Móveis, Disserta¸cão de mestrado em EngaMecânica - USP (2002). [27] F. Szenberg, P. Carvalho, M. Gattass, Automatic Camera Calibration for Image Sequences of a Football Match, Lecture Notes In Computer Science, Vol. 2013, Proceedings of the Second International Conference on Advances in Pattern Recognition, pp. 301–310 (2001).

[28] F. Szenberg, P. Carvalho, M. Gattass, Image-based Modeling Using a Two-step Camera Calibration Method, Proceedings of the International

(12)

Symposium on Computer Graphics, Image Processing, and Vision, pp. 388–395 (1998).