Disciplina de. Robôs Móveis Autônomos SSC-0714

(1)

USP – ICMC - SSC0714 - Turma 2013/1 Robôs Móveis Autônomos

Prof. Fernando Osório / D. Sales / V. Utino

Maio 2013

1

Aula 10

Disciplina de

Robôs Móveis Autônomos

SSC-0714

USP - ICMC - SSC – LRM (Lab. de Robótica Móvel)

SSC 0714 (RMA) - 1o. Semestre 2013

Prof. Fernando Santos Osório

Email: fosorio [at] { icmc. usp. br , gmail. com }

Estagiário PAE: Daniel Sales e Vitor Utino (LRM)

Web: http://www.icmc.usp.br/~fosorio/

Wiki ICMC: http://wiki.icmc.usp.br/index.php/SSC-714

(2)

Maio 2012

2

Visão Computacional e Robótica Móvel:

1. Introdução ao Processamento de Imagens

Mapa de Pixels, Amostragem, Quantização, Iluminação,

Histograma, Espaço de Cores, Ferramentas de P.I.

2. Segmentação & Classificação de Imagens

Detecção de Cores e Segmentação por Cor

Navegação baseada em Marcas Visuais: Aplicações

Reconhecimento de Gestos, Reconhecimento de Objetos

4. Registro de Imagens

Baseado em Correlação de Pixels (NCC)

(3)

Maio 2012

3

Aula 03: Visão Computacional

INTRODUÇÃO:

Conceitos Básicos

Visão Computacional e Robótica Móvel:

Introdução ao Processamento de Imagens

Mapa de Pixels, Amostragem, Quantização, Iluminação,

Histograma, Espaço de Cores, Ferramentas de P.I.

(4)

Maio 2012 4

Tarefas Robóticas:

• Localização

• Mapa / Mapeamento

• Planejamento de Trajetória

• Navegação

Navegação Robótica:

 Navegação por pontos de referência

Mapa Local de Navegabilidade

Way-Point ~ Trajetória

+ Desvio de Obstáculos +

 Seguimento de Trajetória

Mapa Global (Trajeto/Way-Point)

 Desvio de Obstáculos (Reativo)

ROS

Player –Stage

Gazebo

OpenCV

PCL

===========

Willow Garage

(5)

Maio 2010

5

Visão Computacional e Robótica Móvel

1. Processamento de Imagens

Mapa de Pixels = Bitmap

Amostragem:

Resolução X-Y

Quantização:

Bits por Pixel

B&W = 1 bit/pixel

Gray Scale (níveis de cinza)= 8 bits/pixel

Palette (falsas cores) = 8 bits/pixel

TrueColor RGB = 24 bits/pixel

RGB + Alfa (Transparência) = 32 bits/pixel

Multi-espectral = N Canais de cor

(6)

Maio 2010

6

Imagens em Tons de Cinza

Lena.bmp

- Histograma

- Brilho

- Contraste

- Formato das Imagens:

BMP, GIF, JPG,

PBM, PGM, PPM,

PNG, ...

Compactação:

- LossLess

- Lossy

(7)

Maio 2010

7

Visão Computacional e Robótica Móvel

1. Processamento de Imagens

(8)

Maio 2010

8

(9)

Maio 2010

9

Visão Computacional e Robótica Móvel

1. Processamento de Imagens

Imagens Coloridas: Espaço de Cores – RGB, YCM, HSV, ...

Brightness, Contrast

Gamma Correction, Saturation

Filters, Convolution,

(10)

Maio 2010

10

(11)

Maio 2010

11

Visão Computacional e Robótica Móvel

1. Processamento de Imagens

Imagens Coloridas: Espaço de Cores – HSV

H = HUE = MATIZ

S = SATURATION

V = VALUE

(12)

Maio 2010

12

Imagens Coloridas: Espaço de Cores – HSV, HSL, Lab, ...

http://jqframework.com/jqcp/

HSV

(13)

Maio 2010

13

Visão Computacional e Robótica Móvel

1. Processamento de Imagens

Imagens Coloridas: Calibrando as Cores

What you see is not always what you really want to see!

GRETAG MACBETH PATTERN => US$ 90,- !!!

(14)

Maio 2012

14

PROCESSAMENTO DE IMAGENS:

Segmentação / Classificação – Cor & Textura

Segmentação & Classificação de Imagens

Detecção de Cores e Segmentação por Cor

Mapas Locais de Navegabilidade

Navegação baseada em Marcas Visuais: Aplicações

(15)

Maio 2010

15

Visão Computacional e Robótica Móvel

1. Processamento de Imagens

Ferramentas para o processamentos de Imagens:

Apenas alguns exemplos...

* IrfanView: Simples, rápido, limitado [Windows, Free]

* ImageJ: Simples, rápido como o IrfanView

[Linux, Windows]

* Gimp: Completo, Inúmeras Opções

[Linux, Windows, Open Source]

* MatLab: Ferramenta Profissional

[Linux, Windows, Proprietary]

* OpenCV: Ferramenta Profissional

[Linux, Windows, Open Source]

(16)

Maio 2010

16

Identificando uma cor alvo em uma imagem...

CONTROLE SERVO - VISUAL

(17)

Maio 2010

17

Visão Computacional e Robótica Móvel

2. Segmentação de Imagens por Cor

Identificando uma cor alvo em uma imagem...

Pico:

210 Faixa

200 - 217

Pico:

225 Faixa

213 - 235

Como identificar uma cor?

Pelo valor RGB do Pixel?

CALIBRAR OU NÃO CALIBRAR EIS A QUESTÃO!

(18)

Maio 2010

18

Identificando uma cor alvo em uma imagem...

CALIBRAR: Modelos Estatísticos

Modelo VRML

Do Espaço de Cores RGB De um Padrão (Bitmap)

Cada ponto representa a cor de um determinado pixel no espaço RGB (agrupados em 5 clusters)

(19)

Maio 2010

19

Visão Computacional e Robótica Móvel

2. Segmentação de Imagens por Cor

Identificando uma cor alvo em uma imagem...

OPENCV

Segmentação no Espaço RGB: Preto => Vermelho

(20)

Maio 2010

20

Identificando uma cor alvo em uma imagem...

Aplicações:

 Auto-Localização

 Visual Servoing

 Follow-me (Comboio)

 Lane Follow (Seguir marcação)

 Target Tracking

 Robot Soccer

(21)

Maio 2010

21

Visão Computacional e Robótica Móvel

2. Segmentação de Imagens por Cor

Processamento por Histograma de Cores/Tons

Aplicações:

 Patologia Veterinária

MORAES, Lucas B. ; OSÓRIO, Fernando S. , SALLE, Carlos Tadeu Pippi et all. Evaluation of follicular lymphoid depletion in the Bursa of Fabricius: an alternative methodology using digital image analysis and artificial neural networks. Pesquisa Veterinária Brasileira, v. 30, p. 340-344, 2010

(22)

Set. 2009

22

* Conceitos

Referências:

Autor

Gonzalez, Rafael C / Rafael C. Gonzalez, Richard E. Woods

Título

Digital image processing

Edição 3rd ed

Editora Upper Saddle River, N.J; Harlow :

Pearson/Prentice Hall, 2008

Visão Computacional: 2D

(23)

Set. 2009

23

2.1 Rastreando Elementos da Cena (Target Tracking)

* Aplicações: Target (set) Point, Follow Line, Follow Me

Target Point - Ajustar a trajetória em relação a um ponto de referência

(24)

Set. 2009

24

* Aplicações: Target (set) Point, Follow Line, Follow Me

(25)

Set. 2009

25

2.1 Rastreando Elementos da Cena (Target Tracking)

* Aplicações: Target (set) Point, Follow Line, Follow Me

Target Point - Ajustar a trajetória em relação a um ponto de referência

Controle de Malha Fechada:

Set Point x Posição Atual => Erro de Posição

Ajuste: Controlador P

Controlador PD

Controlador PID

http://en.wikipedia.org/wiki/Control_theory

http://en.wikipedia.org/wiki/PID_controller

(26)

Set. 2009

26

* Aplicações: Target (set) Point, Follow Line, Follow Me

Follow Line - Seguir uma marcação de pista

Objetivos:

-Seguir a marcação

central da pista

-Típica aplicação

em robótica...

(27)

Set. 2009

27

2.1 Rastreando Elementos da Cena (Target Tracking)

* Aplicações: Target (set) Point, Follow Line, Follow Me

Follow Line - Seguir uma marcação de pista

_Objetivos:

- Se manter no

centro da pista

- Direção Alvo

(28)

Set. 2009

28

* Aplicações: Target (set) Point, Follow Line, Follow Me

Follow Me - Acompanhar um outro robô (com marcação visual)

http://wiki.icmc.usp.br/index.php/Material_SSC0715_2011(fosorio)

http://wiki.icmc.usp.br/index.php/Material_SSC0715(fosorio)

(29)

Set. 2009

29

2.1 Rastreando Elementos da Cena (Target Tracking)

* Técnica: Fluxo Ótico

Visão Computacional e Robótica Móvel

Imagem Original

(30)

Set. 2009

30

* Aplicações: Segmentação do Plano e Detecção de Obstáculos

Função disponível junto ao Robô SRV

Detection/Segmentation (4) High-level processing (5)

Image acquisition (1) Pre-processing (2) Feature extraction (3)

(31)

Set. 2009

31

2.2 Detecção de Bordas (Edge Detection/Tracking)

* Aplicações: Segmentação do Plano e Detecção de Obstáculos

Função disponível junto ao Robô SRV

(32)



Ubuntu, C language, OpenCV, SFML, Robot

Frame by frame Input parameters Blur convolution + Gaussian filter Laplacian convolution Binarization + Erosion Image split in columns and

reading Noise reduction

Edge draft detection

Floor identification

Distances calculation

FINAL PROJECT (TCC)

Autonomous navigation of a robot with computer vision

Author: Ignacio Magallón Hernández

(33)



Purpose: Noise reduction



cvSmooth, 5 param.

2.2 Detecção de Bordas (Edge Detection/Tracking)

Visão Computacional e Robótica Móvel

(34)



Purpose: Edge primary detection



cvLaplace, 3 param.

(35)



Purpose: Floor Identification



cvThreshold, 5 param.



cvErode, 4 param

Ignacio Magallón Hernández

2.2 Detecção de Bordas (Edge Detection/Tracking)

(36)



Distances Calculation: Split into 20 columns



Distances vector.

(37)

Robot navigation



Always move forward



Smart direction change



Assumptions / Requirements

Visão Computacional e Robótica Móvel

(38)

Set. 2009

38

* Aplicações: Segmentação do Plano e Detecção de Obstáculos

Desenvolvimento de um Módulo Robusto para Extração de Bordas

Uso de Algoritmos de Processamento de Imagens e de Otimização (AGs)

Robótica Inteligente: Uso de Visão Computacional para o

Controle e Navegação de Robôs Móveis Autônomos

(39)

Maio 2010

39

Visão Computacional e Robótica Móvel

3. Classificação de Imagens: EXEMPLOS GERAIS

Reconhecimento de Elementos na Imagem

- Reconhecimento de Padrões (Sinalização)

- Reconhecimento de Gestos (Interface)

- Segmentação: Mapas Locais de Navegabilidade

Uso de Técnicas de Reconhecimento de Padrões

- Técnicas estatísticas

- Redes Neurais Artificiais

Segmentação de Imagens,

Classificação de Padrões

- Placas de Carro

- Objetos (cor: assinatura)

- Detecção de cor-de-pele

- Imagens de Satélite...

(40)

Abr. 2009

40 Dissertação de Mestrado: Fernando Santos Osório - UFRGS - PPGCC [1990]

(41)

Abr. 2009

41

Aplicações de Redes Neurais Artificiais:

Reconhecimento de Padrões / Classificação / Aproximação Fçs

Original Filtro Convencional Filtro Neural

(42)

Abr. 2009

42

(43)

Abr. 2009

43

Aplicações de Redes Neurais Artificiais:

Reconhecimento de Padrões

Bender/Osório 2003, Bittencourt/Osório 2002

Ponfac Sistemas de Visão

(44)

Abr. 2009

(45)

Abr. 2009

45

Reconhecimento em Tempo Real:

Imagens – Postura das Mãos

Matlab

Aquisição,

procesamento

e medidas

Treinamento

RNA

[SNNS/C++]

Classificador

RNA

[C++]

Aplicação

de multidões

de humanos

virtuais [C++]

= Sockets e

Memória

Compartilhada

Integração: Aquisição das Imagens, Classificação, Ações

Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais

Nelson F. Souza Jr. et al. – IX Symposium on Virtual and Augmented Reality SVR’2007

(46)

Abr. 2009

46

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

Posturas escolhidas para utilização no experimento

•

5 dedos (mão aberta)

•

0 dedos (mão fechada)

•

1 dedo (indicador)

•

1 dedo (polegar)

•

2 dedos (v – vitória)

•

1 dedo (mínimo)

Aquisição das imagens:

- Aquisição das imagens a partir da Webcam

- Pré-processamento das imagens no MATLAB

- A limiarização e segmentação das imagens

- Extração das referência (métricas/atributos)

(47)

Abr. 2009

47

Reconhecimento em Tempo Real:

Imagens – Postura das Mãos

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

(48)

Abr. 2009

48

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

Extração de Atributos (feições):

Procedimentos que, aplicados a uma

imagem retornam um valor numérico

capaz de diferenciar os tipos de imagens

- Histograma Vertical

- Histograma Horizontal

- Densidade de P/B

- Alternância de P/B

- Bounding Box

Aquisição das imagens:

- Aquisição das imagens a partir da Webcam

- Pré-processamento das imagens no MATLAB

- A limiarização e segmentação das imagens

- Extração das referência (métricas/atributos)

(49)

Abr. 2009

49

Reconhecimento em Tempo Real:

Postura das Mãos

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

Extração de Atributos (feições):

Procedimentos que, aplicados a uma

imagem retornam um valor numérico

capaz de diferenciar os tipos de imagens

- Histograma Vertical

- Histograma Horizontal

- Densidade de P/B

- Alternância de P/B

- Bounding Box

Aquisição das imagens:

- Aquisição das imagens a partir da Webcam

- Pré-processamento das imagens no MATLAB

- A limiarização e segmentação das imagens

- Extração das referência (métricas/atributos)

Histograma

Horizontal

(50)

Extração de Atributos (feições):

Procedimentos que, aplicados a uma

imagem retornam um valor numérico

capaz de diferenciar os tipos de imagens

- Histograma Vertical

- Histograma Horizontal

- Densidade de P/B

- Alternância de P/B

- Bounding Box

Aquisição das imagens:

- Aquisição das imagens a partir da Webcam

- Pré-processamento das imagens no MATLAB

- A limiarização e segmentação das imagens

- Extração das referência (métricas/atributos)

Abr. 2009

50

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

(51)

Abr. 2009

51

Reconhecimento em Tempo Real:

Imagens – Postura das Mãos

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

Entradas adotadas: Atributos das imagens

10 projeções verticais

10 projeções horizontais

Dimensões da largura e altura do bounding box

Base de treinamento e teste/validação do classificador:

22 entradas e 1 saída (a sua respectiva classe (1 dentre as 6 posturas)

600 exemplos (imagens) - 420 de treino (70%) e 180 de validação (30%)

70 exemplos de cada classe = 70 x 6 = 420 exemplos na base de treino

Rede Neural: 22-22-6 (22 Input, 22 Hidden, 6 Output)

Aprendizado: RProp (Resilent Propagation ~ BackProp acelerado)

(52)

Abr. 2009

52

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

Taxa média de acertos - aprendizado : 99,95%

Taxa média de erro - abaixo de 0,05%.

Taxa de acertos (treino/teste):

muito próxima a 100%

(53)

Abr. 2009

53

Reconhecimento em Tempo Real:

Imagens – Postura das Mãos

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

Taxa média de acertos - aprendizado : 99,95%

Taxa média de erro - abaixo de 0,05%.

Taxa de acertos (treino/teste):

muito próxima a 100%

(54)

Abr. 2009

54

(55)

Abr. 2009

55

ARToolKit:

Reconhecimento de Padrões – Marcas Fiduciais

Visão Computacional e Robótica Móvel

(56)

Maio 2010

56

Reconhecimento de Imagem / CBIR

Bases de Dados

> COIL - Columbia Object Image Library

> ALOI - Amsterdam Library of Object Images

(57)

Maio 2010

57

Visão Computacional e Robótica Móvel

3. Classificação de Imagens: ROBÓTICA

Classificação do Espaço de Percepção

- Navegável

- Não Navegável

Segmentação:

 Mapas Locais de Navegabilidade

(58)

Maio 2010

(59)

Maio 2010

59

(60)

Maio 2010

(61)

Maio 2010

61

(62)

Maio 2010

62

Sistema de Desvio de Obstáculos

e navegação por visão

(63)

Maio 2010

63

Visão Computacional e Robótica Móvel

VÍDEOS - Camera Monocular

Sistema de

Desvio de Obstáculos e

Navegação por Visão

+

(64)

Maio 2010

64

Sistema de Desvio de Obstáculos

e navegação por visão

(65)

Maio 2010

65

Visão Computacional e Robótica Móvel

4. Registro de Imagens

Comparação Pixel-a-Pixel

Correlação de Imagens

> NCC: Normalized Cross-Correlation => MATLAB

Extração de Atributos (Features)

(66)

Imagem Atual

Próxima Imagem

Base de Imagens: Seqüência de Deslocamentos

Imagem capturada

pelo robô

NCC

(match)

Imagem Atual

Próxima Imagem

Base de Imagens: Seqüência de Deslocamentos

Imagem capturada

pelo robô

NCC

(match)

Navegação baseada em Imagens Monocromáticas [Jones et al. 1997]

Algoritmo: NCC – Normalized Cross-Correlation

Maio 2010

(67)

[Righes 2004, 2005] ICR: Imagem Capturada Pelo Robô

Navegação Visual:

NCC – Normalized Cross-Correlation

[Matsumoto et al. 1996]

Matlab Code

IR: Imagem de Referência

Visão Computacional e Robótica Móvel

Maio 2010

(68)

[Righes 04]

Maio 2010

(69)

Using Omnidirectional Cameras

Visão Computacional e Robótica Móvel

Navegação Visual:

NCC – Normalized Cross-Correlation

Maio 2010

(70)

SIFT : http://www.cs.ubc.ca/~lowe/keypoints/ Matthew Brown http://www.cs.ubc.ca/~mbrown/

AutoStitch: http://www.cs.ubc.ca/~mbrown/autostitch/autostitch.html Panoramas: http://osorio.wait4.org/oldsite/vr/panorama/list.html

(71)

Mobile Robot Localization

and Mapping with Uncertainty

using Scale-Invariant

Visual Landmarks

Stephen Se,

David Lowe,

Jim Little

(UBC, CA)

Algoritmo:

SIFT

Reference

Int. Journal of Robotics Research

Vol. 21, No. 8, August 2002,

pp. 735-758,

OpenCV

Visão Computacional e Robótica Móvel

(72)

Correlação entre

imagem de satélite

e imagem aérea

(helicóptero)

Resultados

não foram bons !

Mas...

Maio 2010

(73)

Referencial

Correlação entre imagens

do helicóptero

(cruzamento da rota)

Sistema de Visão

para Veículos Aéreos Não Tripulados

Visão Computacional e Robótica Móvel

Navegação Visual:

SIFT

Maio 2010

(74)

Referêncial e

Deslocamento

Correlação entre imagens

do helicóptero

(cruzamento da rota)

Sistema de Visão

Maio 2010

(75)

Referêncial e

Deslocamento

Correlação entre imagens

do helicóptero

(cruzamento da rota)

Sistema de Visão

Visão Computacional e Robótica Móvel

Navegação Visual:

SIFT

Maio 2010

(76)

Abordagem Multi-Escala

Descritor Local =

Assinatura do pixel!

Maio 2013

(77)

Auto-Localização Autônoma de

Robôs Móveis por Visão Computacional

Baseada em Pontos de Referência

Desenvolvimento de Robôs Táticos para Ambientes Internos

Localização Global: Onde

estou?

Leandro Coutro, 2012

Visão Computacional e Robótica Móvel

SIFT

Maio 2013

(78)

Auto-Localização Autônoma de Robôs Móveis por

Visão Computacional baseada em Pontos de Referência

Localização

Topológica

Mapa

Topológico

Navegação

Topológica

SIFT

Maio 2013 78

(79)

Auto-Localização Autônoma de Robôs Móveis por

Visão Computacional baseada em Pontos de Referência

Localização:

Pontos de Referência

Algoritmo de Base:

SIFT

Algoritmo Otimizado:

SURF

Heurísticas de Otimização

Matches:

Identificação da “provável”

localização do robô

Visão Computacional e Robótica Móvel

Maio 2013

(80)

Maio 2013

(81)

Auto-Localização Autônoma de Robôs Móveis por

Visão Computacional baseada em Pontos de Referência

Localização:

Cena do Robô x Trajetória

Matches:

Identificação da “provável”

localização do robô

Visão Computacional e Robótica Móvel

Maio 2013

(82)

Maio 2013

82

- Segmentação por Cor

- Reconhecimento e Classificação de Padrões

- Registro de Imagens:

> Correlação

(83)

Navegação Topológica e Detecção de Intrusos: Sales, D.O.; Osório, F.S.; Wolf, D.F.

Topological Autonomous Navigation for Mobile Robots in Indoor Environments using ANN and FSM. In: CBSEC – Conf. Brasileira de Sistemas Embarcados Críticos, São Carlos.2011.

Maio 2013

83

Visão Computacional e Robótica Móvel

Detecção de Intrusos: Câmera Térmica

(84)

Agosto 2013

84

Kinect (Sensor do Xbox 360 da Microsoft)

(85)

Maio 2013

85

Referências: Planejamento e Navegação

Referências – Processamento de Imagens:

>> Ferramentas

* OpenCV

* MATLAB

* ARToolKit

>> Algoritmos

* Segmentação por Cor & Extração de Bordas

* Detecção de Elementos na Cena, Rastreamento de Elementos da Cena

* Reconhecimento de Padrões: RNA

* NCC

* SIFT

>> Bases de Imagens

* COIL

(86)

Maio 2013

86

• Mapas de navegabilidade + Redes Neurais Artificiais

Alberto Hata, Jefferson de Souza, Patrick Shinzato

• Visão e Navegação com Câmera Estéreo (mapa de disparidade)

Caio Mendes, Vitor Utino, Rafael Klaser

• Auto-Localização baseada em Imagens

Leandro Couto

• Navegação Topológica por imagens 2D e 3D (mapa de profundidade)

Daniel Sales

• Robôs de Segurança: mapa de profundidade + câmera térmica

Diogo Correa

• Odometria Visual: André Toshio

• Detecção de Pedestres: Francisco de Alencar

• Classificação de Nuvens de Pontos 3D: Danilo Habermann

(87)

Maio 2013

87