USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Março 2015
1
Aula 12
USP - ICMC - SSC – LRM (Lab. de Robótica Móvel)
SSC 0714 (RMA) - 1o. Semestre 2015
Disciplina de
Robôs Móveis Autônomos
SSC-0714
Prof. Fernando Santos Osório
Email: fosorio [at] { icmc. usp. br , gmail. com }
PAE: Diogo Correa e Rafael Berri (Doutorandos LRM)
Web:
http://www.icmc.usp.br/~fosorio/
Wiki ICMC:
http://wiki.icmc.usp.br/index.php/SSC-714
Maio 2015
2
Visão Computacional e Robótica Móvel:
1. Introdução ao Processamento de Imagens
Mapa de Pixels, Amostragem, Quantização, Iluminação,
Histograma, Espaço de Cores, Ferramentas de P.I.
2. Segmentação & Classificação de Imagens
Detecção de Cores e Segmentação por Cor
Navegação baseada em Marcas Visuais: Aplicações
Reconhecimento de Gestos, Reconhecimento de Objetos
4. Registro de Imagens
Baseado em Correlação de Pixels (NCC)
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2012
3
Aula 03: Visão Computacional
INTRODUÇÃO:
Conceitos Básicos
Visão Computacional e Robótica Móvel:
Introdução ao Processamento de Imagens
Mapa de Pixels, Amostragem, Quantização, Iluminação,
Histograma, Espaço de Cores, Ferramentas de P.I.
Maio 2012 4
Tarefas Robóticas:
• Localização
• Mapa / Mapeamento
• Planejamento de Trajetória
• Navegação
Navegação Robótica:
Navegação por pontos de referência
Mapa Local de Navegabilidade
Way-Point ~ Trajetória
+ Desvio de Obstáculos +
Seguimento de Trajetória
Mapa Global (Trajeto/Way-Point)
Desvio de Obstáculos (Reativo)
ROS
Player –Stage
Gazebo
OpenCV
PCL
===========
Willow Garage
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
5
Visão Computacional e Robótica Móvel
1. Processamento de Imagens
Mapa de Pixels = Bitmap
Amostragem:
Resolução X-Y
Quantização:
Bits por Pixel
B&W = 1 bit/pixel
Gray Scale (níveis de cinza)= 8 bits/pixel
Palette (falsas cores) = 8 bits/pixel
TrueColor RGB = 24 bits/pixel
RGB + Alfa (Transparência) = 32 bits/pixel
Multi-espectral = N Canais de cor
Maio 2010
6
Imagens em Tons de Cinza
Lena.bmp
- Histograma
- Brilho
- Contraste
- Formato das Imagens:
BMP, GIF, JPG,
PBM, PGM, PPM,
PNG, ...
Compactação:
- LossLess
- Lossy
http://en.wikipedia.org/wiki/Lenna
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
7
Visão Computacional e Robótica Móvel
1. Processamento de Imagens
Imagens Coloridas: Falsas Cores (Palette)
Maio 2010
8
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
9
Visão Computacional e Robótica Móvel
1. Processamento de Imagens
Imagens Coloridas: Espaço de Cores – RGB, YCM, HSV, ...
Brightness, Contrast
Gamma Correction, Saturation
Filters, Convolution,
Maio 2010
10
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
11
Visão Computacional e Robótica Móvel
1. Processamento de Imagens
Imagens Coloridas: Espaço de Cores – HSV
H = HUE = MATIZ
S = SATURATION
V = VALUE
Maio 2010
12
Imagens Coloridas: Espaço de Cores – HSV, HSL, Lab, ...
http://jqframework.com/jqcp/
HSV
L a*b*
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
13
Visão Computacional e Robótica Móvel
1. Processamento de Imagens
Imagens Coloridas: Calibrando as Cores
What you see is not always what you really want to see!
GRETAG MACBETH PATTERN => US$ 90,- !!!
CALIBRAGEM DE CORES...
http://en.wikipedia.org/wiki/ColorChecker
Maio 2012
14
PROCESSAMENTO DE IMAGENS:
Segmentação / Classificação – Cor & Textura
Segmentação & Classificação de Imagens
Detecção de Cores e Segmentação por Cor
Mapas Locais de Navegabilidade
Navegação baseada em Marcas Visuais: Aplicações
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
15
Visão Computacional e Robótica Móvel
1. Processamento de Imagens
Ferramentas para o processamentos de Imagens:
Apenas alguns exemplos...
* IrfanView: Simples, rápido, limitado
[Windows, Free]
* ImageJ: Simples, rápido como o IrfanView
[Linux, Windows (em Java)]
* Gimp: Completo, Inúmeras Opções
[Linux, Windows, Open Source]
* MatLab: Ferramenta Profissional
[Linux, Windows, Proprietary]
Maio 2010
16
Identificando uma cor alvo em uma imagem...
CONTROLE SERVO - VISUAL
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
17
Visão Computacional e Robótica Móvel
2. Segmentação de Imagens por Cor
Identificando uma cor alvo em uma imagem...
Pico:
210
Faixa
200 - 217
Pico:
225
Faixa
213 - 235
Como identificar uma cor?
Pelo valor RGB do Pixel?
CALIBRAR OU NÃO CALIBRAR EIS A QUESTÃO!
Maio 2010
18
Identificando uma cor alvo em uma imagem...
CALIBRAR: Modelos Estatísticos
Modelo VRML
Do Espaço de Cores RGB De um Padrão (Bitmap)
Cada ponto representa a cor de um determinado pixel no espaço RGB (agrupados em 5 clusters)
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
19
Visão Computacional e Robótica Móvel
2. Segmentação de Imagens por Cor
Identificando uma cor alvo em uma imagem...
OPENCV
Segmentação no Espaço RGB: Preto => Vermelho
Maio 2010 20
Aplicações:
Auto-Localização
Visual Servoing
Follow-me (Comboio)
Lane Follow (Seguir marcação)
Target Tracking
Robot Soccer
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
21
Visão Computacional e Robótica Móvel
2. Segmentação de Imagens por Cor
Processamento por Histograma de Cores/Tons
Aplicações:
Patologia Veterinária
MORAES, Lucas B. ; OSÓRIO, Fernando S. , SALLE, Carlos Tadeu Pippi et all. Evaluation of follicular lymphoid depletion in the Bursa of Fabricius: an alternative methodology using digital image analysis and artificial neural networks. Pesquisa Veterinária Brasileira , v. 30, p. 340-344, 2010
Set. 2009
22
* Conceitos
Referências:
Autor
Gonzalez, Rafael C / Rafael C. Gonzalez, Richard E. Woods
Título
Digital image processing
Edição
3rd ed
Editora
Upper Saddle River, N.J; Harlow :
Pearson/Prentice Hall, 2008
Visão Computacional: 2D
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Set. 2009
23
2.1 Rastreando Elementos da Cena (Target Tracking)
* Aplicações: Target (set) Point, Follow Line, Follow Me
Target Point - Ajustar a trajetória em relação a um ponto de referência
Set. 2009
24
* Aplicações: Target (set) Point, Follow Line, Follow Me
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Set. 2009
25
2.1 Rastreando Elementos da Cena (Target Tracking)
* Aplicações: Target (set) Point, Follow Line, Follow Me
Target Point - Ajustar a trajetória em relação a um ponto de referência
Controle de Malha Fechada:
Set Point x Posição Atual => Erro de Posição
Ajuste: Controlador P
Controlador PD
Controlador PID
http://en.wikipedia.org/wiki/Control_theory
http://en.wikipedia.org/wiki/PID_controller
Set. 2009
26
* Aplicações: Target (set) Point, Follow Line, Follow Me
Follow Line - Seguir uma marcação de pista
Objetivos:
-Seguir a marcação
central da pista
-Típica aplicação
em robótica...
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Set. 2009
27
2.1 Rastreando Elementos da Cena (Target Tracking)
* Aplicações: Target (set) Point, Follow Line, Follow Me
Follow Line - Seguir uma marcação de pista
Objetivos:
- Se manter no
centro da pista
- Direção Alvo
Set. 2009
28
* Aplicações: Target (set) Point, Follow Line, Follow Me
Follow Me - Acompanhar um outro robô (com marcação visual)
http://wiki.icmc.usp.br/index.php/Material_SSC0715_2011(fosorio)
http://wiki.icmc.usp.br/index.php/Material_SSC0715(fosorio)
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Set. 2009
29
2.1 Rastreando Elementos da Cena (Target Tracking)
* Técnica: Fluxo Ótico
Visão Computacional e Robótica Móvel
Imagem Original
Set. 2009
30
* Aplicações: Segmentação do Plano e Detecção de Obstáculos
Função disponível junto ao Robô SRV
Detection/Segmentation (4) High-level processing (5)
Image acquisition (1) Pre-processing (2) Feature extraction (3)
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Set. 2009
31
2.2 Detecção de Bordas (Edge Detection/Tracking)
* Aplicações: Segmentação do Plano e Detecção de Obstáculos
Função disponível junto ao Robô SRV
Ubuntu, C language, OpenCV, SFML, Robot
Frame by frame Input parameters Blur convolution + Gaussian filter Laplacian convolution Binarization + Erosion Image split in columns andreading Noise reduction
Edge draft detection
Floor identification
Distances calculation
FINAL PROJECT (TCC)
Autonomous navigation of a robot with computer vision
Author: Ignacio Magallón Hernández
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Purpose: Noise reduction
cvSmooth, 5 param.
2.2 Detecção de Bordas (Edge Detection/Tracking)
Visão Computacional e Robótica Móvel
Purpose: Edge primary detection
cvLaplace, 3 param.
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Purpose: Floor Identification
cvThreshold, 5 param.
cvErode, 4 param
Ignacio Magallón Hernández
2.2 Detecção de Bordas (Edge Detection/Tracking)
Distances Calculation: Split into 20 columns
Distances vector.
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Robot navigation
Always move forward
Smart direction change
Assumptions / Requirements
Visão Computacional e Robótica Móvel
Set. 2009
38
* Aplicações: Segmentação do Plano e Detecção de Obstáculos
Desenvolvimento de um Módulo Robusto para Extração de Bordas
Uso de Algoritmos de Processamento de Imagens e de Otimização (AGs)
Robótica Inteligente: Uso de Visão Computacional para o
Controle e Navegação de Robôs Móveis Autônomos
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
39
Visão Computacional e Robótica Móvel
3. Classificação de Imagens: EXEMPLOS GERAIS
Reconhecimento de Elementos na Imagem
- Reconhecimento de Padrões (Sinalização)
- Reconhecimento de Gestos (Interface)
- Segmentação: Mapas Locais de Navegabilidade
Uso de Técnicas de Reconhecimento de Padrões
- Técnicas estatísticas
- Redes Neurais Artificiais
Segmentação de Imagens,
Classificação de Padrões
- Placas de Carro
- Objetos (cor: assinatura)
- Detecção de cor-de-pele
- Imagens de Satélite...
Abr. 2009
40 Dissertação de Mestrado: Fernando Santos Osório - UFRGS - PPGCC [1990]
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Abr. 2009
41
Aplicações de Redes Neurais Artificiais:
Reconhecimento de Padrões / Classificação / Aproximação Fçs
Original Filtro Convencional Filtro Neural
Abr. 2009
42
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Abr. 2009
43
Aplicações de Redes Neurais Artificiais:
Reconhecimento de Padrões
Bender/Osório 2003, Bittencourt/Osório 2002
Ponfac Sistemas de Visão
Abr. 2009
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Abr. 2009
45
Reconhecimento em Tempo Real:
Imagens – Postura das Mãos
Matlab
Aquisição,
procesamento
e medidas
Treinamento
RNA
[SNNS/C++]
Classificador
RNA
[C++]
Aplicação
de multidões
de humanos
virtuais [C++]
= Sockets e
Memória
Compartilhada
Integração: Aquisição das Imagens, Classificação, Ações
Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais
Nelson F. Souza Jr. et al. – IX Symposium on Virtual and Augmented Reality SVR’2007
Abr. 2009
46
1 Reconhecimento de Posturas
2 Extração de Atributos
3 Aprendizado e Classificação Neural (ANN)
4 Resultados: Rede Neural
Posturas escolhidas para utilização no experimento
•
5 dedos (mão aberta)
•
0 dedos (mão fechada)
•
1 dedo (indicador)
•
1 dedo (polegar)
•
2 dedos (v – vitória)
•
1 dedo (mínimo)
Aquisição das imagens:
- Aquisição das imagens a partir da Webcam
- Pré-processamento das imagens no MATLAB
- A limiarização e segmentação das imagens
- Extração das referência (métricas/atributos)
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Abr. 2009
47
Reconhecimento em Tempo Real:
Imagens – Postura das Mãos
1 Reconhecimento de Posturas
2 Extração de Atributos
3 Aprendizado e Classificação Neural (ANN)
4 Resultados: Rede Neural
Abr. 2009
48
1 Reconhecimento de Posturas
2 Extração de Atributos
3 Aprendizado e Classificação Neural (ANN)
4 Resultados: Rede Neural
Extração de Atributos (feições):
Procedimentos que, aplicados a uma
imagem retornam um valor numérico
capaz de diferenciar os tipos de imagens
- Histograma Vertical
- Histograma Horizontal
- Densidade de P/B
- Alternância de P/B
- Bounding Box
Aquisição das imagens:
- Aquisição das imagens a partir da Webcam
- Pré-processamento das imagens no MATLAB
- A limiarização e segmentação das imagens
- Extração das referência (métricas/atributos)
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Abr. 2009
49
Reconhecimento em Tempo Real:
Postura das Mãos
1 Reconhecimento de Posturas
2 Extração de Atributos
3 Aprendizado e Classificação Neural (ANN)
4 Resultados: Rede Neural
Extração de Atributos (feições):
Procedimentos que, aplicados a uma
imagem retornam um valor numérico
capaz de diferenciar os tipos de imagens
- Histograma Vertical
- Histograma Horizontal
- Densidade de P/B
- Alternância de P/B
- Bounding Box
Aquisição das imagens:
- Aquisição das imagens a partir da Webcam
- Pré-processamento das imagens no MATLAB
- A limiarização e segmentação das imagens
- Extração das referência (métricas/atributos)
Histograma
Horizontal
Visão Computacional e Robótica Móvel
Extração de Atributos (feições):
Procedimentos que, aplicados a uma
imagem retornam um valor numérico
capaz de diferenciar os tipos de imagens
- Histograma Vertical
- Histograma Horizontal
- Densidade de P/B
- Alternância de P/B
- Bounding Box
Aquisição das imagens:
- Aquisição das imagens a partir da Webcam
- Pré-processamento das imagens no MATLAB
- A limiarização e segmentação das imagens
- Extração das referência (métricas/atributos)
Abr. 2009
50
1 Reconhecimento de Posturas
2 Extração de Atributos
3 Aprendizado e Classificação Neural (ANN)
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Abr. 2009
51
Reconhecimento em Tempo Real:
Imagens – Postura das Mãos
1 Reconhecimento de Posturas
2 Extração de Atributos
3 Aprendizado e Classificação Neural (ANN)
4 Resultados: Rede Neural
Entradas adotadas: Atributos das imagens
10 projeções verticais
10 projeções horizontais
Dimensões da largura e altura do bounding box
Base de treinamento e teste/validação do classificador:
22 entradas e 1 saída (a sua respectiva classe (1 dentre as 6 posturas)
600 exemplos (imagens) - 420 de treino (70%) e 180 de validação (30%)
70 exemplos de cada classe = 70 x 6 = 420 exemplos na base de treino
Rede Neural: 22-22-6 (22 Input, 22 Hidden, 6 Output)
Aprendizado: RProp (Resilent Propagation ~ BackProp acelerado)
Abr. 2009
52
1 Reconhecimento de Posturas
2 Extração de Atributos
3 Aprendizado e Classificação Neural (ANN)
4 Resultados: Rede Neural
Taxa média de acertos - aprendizado : 99,95%
Taxa média de erro - abaixo de 0,05%.
Taxa de acertos (treino/teste):
muito próxima a 100%
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Abr. 2009
53
Reconhecimento em Tempo Real:
Imagens – Postura das Mãos
1 Reconhecimento de Posturas
2 Extração de Atributos
3 Aprendizado e Classificação Neural (ANN)
4 Resultados: Rede Neural
Taxa média de acertos - aprendizado : 99,95%
Taxa média de erro - abaixo de 0,05%.
Taxa de acertos (treino/teste):
muito próxima a 100%
Abr. 2009
54
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Abr. 2009
55
ARToolKit:
Reconhecimento de Padrões – Marcas Fiduciais
Visão Computacional e Robótica Móvel
Maio 2010
56
Reconhecimento de Imagem / CBIR
Bases de Dados
> COIL - Columbia Object Image Library
> ALOI - Amsterdam Library of Object Images
http://www.cs.cmu.edu/~cil/v-images.html
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
57
Visão Computacional e Robótica Móvel
3. Classificação de Imagens: ROBÓTICA
Classificação do Espaço de Percepção
- Navegável
- Não Navegável
Segmentação:
Maio 2010
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
59
Maio 2010
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
61
Maio 2010
62
Sistema de Desvio de Obstáculos
e navegação por visão
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
63
Visão Computacional e Robótica Móvel
VÍDEOS - Camera Monocular
Sistema de
Desvio de Obstáculos e
Navegação por Visão
+
Maio 2010
64
Sistema de Desvio de Obstáculos
e navegação por visão
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2010
65
Visão Computacional e Robótica Móvel
4. Registro de Imagens
Comparação Pixel-a-Pixel
Correlação de Imagens
> NCC: Normalized Cross-Correlation => MATLAB
Extração de Atributos (Features)
Imagem Atual
Próxima Imagem
Imagem capturada
pelo robô
NCC
(match)
Imagem Atual
Próxima Imagem
Imagem capturada
pelo robô
NCC
(match)
Navegação baseada em Imagens Monocromáticas [Jones et al. 1997]
Algoritmo: NCC – Normalized Cross-Correlation
Maio 2010
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
[Righes 2004, 2005] ICR: Imagem Capturada Pelo Robô
Navegação Visual:
NCC – Normalized Cross-Correlation
[Matsumoto et al. 1996]Matlab Code
IR: Imagem de ReferênciaVisão Computacional e Robótica Móvel
Maio 2010
[Righes 04]
Maio 2010
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Using Omnidirectional Cameras
Visão Computacional e Robótica Móvel
Navegação Visual:
NCC – Normalized Cross-Correlation
Maio 2010
SIFT : http://www.cs.ubc.ca/~lowe/keypoints/ Matthew Brown http://www.cs.ubc.ca/~mbrown/
AutoStitch: http://www.cs.ubc.ca/~mbrown/autostitch/autostitch.html Panoramas: http://osorio.wait4.org/oldsite/vr/panorama/list.html
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Mobile Robot Localization
and Mapping with Uncertainty
using Scale-Invariant
Visual Landmarks
Stephen Se,
David Lowe,
Jim Little
(UBC, CA)
Algoritmo:
SIFT
Reference
Int. Journal of Robotics Research
Vol. 21, No. 8, August 2002,
pp. 735-758,
OpenCV
Visão Computacional e Robótica Móvel
Correlação entre
imagem de satélite
e imagem aérea
(helicóptero)
Resultados
não foram bons !
Mas...
Maio 2010
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Referencial
Correlação entre imagens
do helicóptero
(cruzamento da rota)
Sistema de Visãopara Veículos Aéreos Não Tripulados
Visão Computacional e Robótica Móvel
Navegação Visual:
SIFT
Maio 2010
Referêncial e
Deslocamento
Correlação entre imagens
do helicóptero
(cruzamento da rota)
Sistema de Visãopara Veículos Aéreos Não Tripulados
Maio 2010
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Referêncial e
Deslocamento
Correlação entre imagens
do helicóptero
(cruzamento da rota)
Sistema de Visãopara Veículos Aéreos Não Tripulados
Visão Computacional e Robótica Móvel
Navegação Visual:
SIFT
Maio 2010
Abordagem Multi-Escala
Descritor Local =
Assinatura do pixel!
Maio 2013
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Auto-Localização Autônoma de
Robôs Móveis por Visão Computacional
Baseada em Pontos de Referência
Desenvolvimento de Robôs Táticos para Ambientes Internos
Localização Global: Onde
estou?
Leandro Coutro, 2012
Visão Computacional e Robótica Móvel
SIFT
Maio 2013
Auto-Localização Autônoma de Robôs Móveis por
Visão Computacional baseada em Pontos de Referência
Localização
Topológica
Mapa
Topológico
Navegação
Topológica
SIFT
Maio 2013 78USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Auto-Localização Autônoma de Robôs Móveis por
Visão Computacional baseada em Pontos de Referência
Localização:
Pontos de Referência
Algoritmo de Base:
SIFT
Algoritmo Otimizado:
SURF
Heurísticas de Otimização
Matches:
Identificação da “provável”
localização do robô
Visão Computacional e Robótica Móvel
Maio 2013
Maio 2013
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Auto-Localização Autônoma de Robôs Móveis por
Visão Computacional baseada em Pontos de Referência
Localização:
Cena do Robô x Trajetória
Matches:
Identificação da “provável”
localização do robô
Visão Computacional e Robótica Móvel
Maio 2013
Maio 2013
82
- Segmentação por Cor
- Reconhecimento e Classificação de Padrões
- Registro de Imagens:
> Correlação
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Navegação Topológica e Detecção de Intrusos: Sales, D.O.; Osório, F.S.; Wolf, D.F.
Topological Autonomous Navigation for Mobile Robots in Indoor Environments using ANN and FSM. In: CBSEC – Conf. Brasileira de Sistemas Embarcados Críticos, São Carlos.2011.
Maio 2013
83
Visão Computacional e Robótica Móvel
Agosto 2013
84
Kinect (Sensor do Xbox 360 da Microsoft)
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2013
85
Referências: Planejamento e Navegação
Referências – Processamento de Imagens:
>> Ferramentas
* OpenCV
* MATLAB
* ARToolKit
>> Algoritmos
* Segmentação por Cor & Extração de Bordas
* Detecção de Elementos na Cena, Rastreamento de Elementos da Cena
* Reconhecimento de Padrões: RNA
* NCC
* SIFT
>> Bases de Imagens
* COIL
Maio 2013
86
• Mapas de navegabilidade + Redes Neurais Artificiais
Alberto Hata, Jefferson de Souza, Patrick Shinzato
• Visão e Navegação com Câmera Estéreo (mapa de disparidade)
Caio Mendes, Vitor Utino, Rafael Klaser
• Auto-Localização baseada em Imagens
Leandro Couto
• Navegação Topológica por imagens 2D e 3D (mapa de profundidade)
Daniel Sales
• Robôs de Segurança: mapa de profundidade + câmera térmica
Diogo Correa
• Odometria Visual: André Toshio
• Detecção de Pedestres: Francisco de Alencar
• Classificação de Nuvens de Pontos 3D: Danilo Habermann
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Maio 2013
87
Referências: Planejamento e Navegação
Referências – Trabalhos citados nesta Apresentação:
usuário “usp” / ”guest”
• Detecção de Bordas para Navegação (robô SRV) [TCC]
http://osorio.wait4.org/publications/TCCs/Monografia%20Ignacio%20Magallon.pdf
• Detecção de Bordas para Navegação (com AG) [IC]
http://osorio.wait4.org/publications/2012/MNR-Artigo-MatheusCompri-2012.pdf
http://osorio.wait4.org/publications/2012/LARS-SBR2012-Mauricio-Dias.pdf
• Filtros de Processamento de Imagem Neurais [IC]
http://osorio.wait4.org/publications/Bitencourt-Osorio-Sibigrapi2000.pdf
http://osorio.wait4.org/publications/Bittencourt-Osorio-SIC-Book2002.pdf
• Reconhecimento de pele visando reconhecimento de gestos [IC]
http://osorio.wait4.org/publications/Bittencourt-Seminco2002.pdf
• Reconhecimento de posturas com as mãos [MSc]
http://osorio.wait4.org/publications/2007/Nelson-et-al-SVR2007.pdf
• Classificação de Imagens Coloridas [MSc]
http://osorio.wait4.org/publications/Mestrados/Dissertacao-Tulio-Bender.pdf
• Reconhecimento de Áreas Navegáveis e Não Navegáveis em Imagens
http://osorio.wait4.org/publications/2011/CBSEC2011_Shinzato_submission_27.pdf
http://osorio.wait4.org/publications/2011/SAC2011-p1376-souza.pdf
Maio 2013
88
http://osorio.wait4.org/publications/TCCs/righes-tc.pdf
• Auto-Localização usando SIFT e SURF [MSc]
http://osorio.wait4.org/publications/Mestrados/Dissertacao-LeandroCouto.pdf
• Navegação Topológica usando Imagens [MSc]
http://osorio.wait4.org/publications/Mestrados/Dissertacao_DanielOlivaSales.pdf
• Reconhecimento de Padrões em Imagens por Histograma (patologias) [Dout]
http://osorio.wait4.org/publications/2010/PN_Pesq-Vet-Bras2010-a10v30n4.pdf
• Rastreamento de faixas em ruas (lane follow) [Pesq]
http://osorio.wait4.org/publications/Jung-et-al-JAI2005.pdf
http://www.inf.ufrgs.br/~crjung/research.htm
• Fluxo Ótico no OpenCV: LK-Demo [OpenCV]
http://en.wikipedia.org/wiki/Lucas%E2%80%93Kanade_method
http://robots.stanford.edu/cs223b05/notes/CS%20223-B%20T1%20stavens_opencv_optical_flow.pdf
• Segmentação por Cor [Aula]
http://wiki.icmc.usp.br/index.php/Aula03_SSC0715_2012(fosorio)
http://osorio.wait4.org/SSC0715/2012/Aula03/
USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos
Prof. Fernando Osório
Março 2015
89