• Nenhum resultado encontrado

Disciplina de. Robôs Móveis Autônomos SSC-0714

N/A
N/A
Protected

Academic year: 2021

Share "Disciplina de. Robôs Móveis Autônomos SSC-0714"

Copied!
89
0
0

Texto

(1)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Março 2015

1

Aula 12

USP - ICMC - SSC – LRM (Lab. de Robótica Móvel)

SSC 0714 (RMA) - 1o. Semestre 2015

Disciplina de

Robôs Móveis Autônomos

SSC-0714

Prof. Fernando Santos Osório

Email: fosorio [at] { icmc. usp. br , gmail. com }

PAE: Diogo Correa e Rafael Berri (Doutorandos LRM)

Web:

http://www.icmc.usp.br/~fosorio/

Wiki ICMC:

http://wiki.icmc.usp.br/index.php/SSC-714

(2)

Maio 2015

2

Visão Computacional e Robótica Móvel:

1. Introdução ao Processamento de Imagens

Mapa de Pixels, Amostragem, Quantização, Iluminação,

Histograma, Espaço de Cores, Ferramentas de P.I.

2. Segmentação & Classificação de Imagens

Detecção de Cores e Segmentação por Cor

Navegação baseada em Marcas Visuais: Aplicações

Reconhecimento de Gestos, Reconhecimento de Objetos

4. Registro de Imagens

Baseado em Correlação de Pixels (NCC)

(3)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2012

3

Aula 03: Visão Computacional

INTRODUÇÃO:

Conceitos Básicos

Visão Computacional e Robótica Móvel:

Introdução ao Processamento de Imagens

Mapa de Pixels, Amostragem, Quantização, Iluminação,

Histograma, Espaço de Cores, Ferramentas de P.I.

(4)

Maio 2012 4

Tarefas Robóticas:

• Localização

• Mapa / Mapeamento

• Planejamento de Trajetória

• Navegação

Navegação Robótica:

 Navegação por pontos de referência

Mapa Local de Navegabilidade

Way-Point ~ Trajetória

+ Desvio de Obstáculos +

 Seguimento de Trajetória

Mapa Global (Trajeto/Way-Point)

 Desvio de Obstáculos (Reativo)

ROS

Player –Stage

Gazebo

OpenCV

PCL

===========

Willow Garage

(5)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

5

Visão Computacional e Robótica Móvel

1. Processamento de Imagens

Mapa de Pixels = Bitmap

Amostragem:

Resolução X-Y

Quantização:

Bits por Pixel

B&W = 1 bit/pixel

Gray Scale (níveis de cinza)= 8 bits/pixel

Palette (falsas cores) = 8 bits/pixel

TrueColor RGB = 24 bits/pixel

RGB + Alfa (Transparência) = 32 bits/pixel

Multi-espectral = N Canais de cor

(6)

Maio 2010

6

Imagens em Tons de Cinza

Lena.bmp

- Histograma

- Brilho

- Contraste

- Formato das Imagens:

BMP, GIF, JPG,

PBM, PGM, PPM,

PNG, ...

Compactação:

- LossLess

- Lossy

http://en.wikipedia.org/wiki/Lenna

(7)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

7

Visão Computacional e Robótica Móvel

1. Processamento de Imagens

Imagens Coloridas: Falsas Cores (Palette)

(8)

Maio 2010

8

(9)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

9

Visão Computacional e Robótica Móvel

1. Processamento de Imagens

Imagens Coloridas: Espaço de Cores – RGB, YCM, HSV, ...

Brightness, Contrast

Gamma Correction, Saturation

Filters, Convolution,

(10)

Maio 2010

10

(11)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

11

Visão Computacional e Robótica Móvel

1. Processamento de Imagens

Imagens Coloridas: Espaço de Cores – HSV

H = HUE = MATIZ

S = SATURATION

V = VALUE

(12)

Maio 2010

12

Imagens Coloridas: Espaço de Cores – HSV, HSL, Lab, ...

http://jqframework.com/jqcp/

HSV

L a*b*

(13)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

13

Visão Computacional e Robótica Móvel

1. Processamento de Imagens

Imagens Coloridas: Calibrando as Cores

What you see is not always what you really want to see!

GRETAG MACBETH PATTERN => US$ 90,- !!!

CALIBRAGEM DE CORES...

http://en.wikipedia.org/wiki/ColorChecker

(14)

Maio 2012

14

PROCESSAMENTO DE IMAGENS:

Segmentação / Classificação – Cor & Textura

Segmentação & Classificação de Imagens

Detecção de Cores e Segmentação por Cor

Mapas Locais de Navegabilidade

Navegação baseada em Marcas Visuais: Aplicações

(15)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

15

Visão Computacional e Robótica Móvel

1. Processamento de Imagens

Ferramentas para o processamentos de Imagens:

Apenas alguns exemplos...

* IrfanView: Simples, rápido, limitado

[Windows, Free]

* ImageJ: Simples, rápido como o IrfanView

[Linux, Windows (em Java)]

* Gimp: Completo, Inúmeras Opções

[Linux, Windows, Open Source]

* MatLab: Ferramenta Profissional

[Linux, Windows, Proprietary]

(16)

Maio 2010

16

Identificando uma cor alvo em uma imagem...

CONTROLE SERVO - VISUAL

(17)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

17

Visão Computacional e Robótica Móvel

2. Segmentação de Imagens por Cor

Identificando uma cor alvo em uma imagem...

Pico:

210

Faixa

200 - 217

Pico:

225

Faixa

213 - 235

Como identificar uma cor?

Pelo valor RGB do Pixel?

CALIBRAR OU NÃO CALIBRAR EIS A QUESTÃO!

(18)

Maio 2010

18

Identificando uma cor alvo em uma imagem...

CALIBRAR: Modelos Estatísticos

Modelo VRML

Do Espaço de Cores RGB De um Padrão (Bitmap)

Cada ponto representa a cor de um determinado pixel no espaço RGB (agrupados em 5 clusters)

(19)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

19

Visão Computacional e Robótica Móvel

2. Segmentação de Imagens por Cor

Identificando uma cor alvo em uma imagem...

OPENCV

Segmentação no Espaço RGB: Preto => Vermelho

(20)

Maio 2010 20

Aplicações:

 Auto-Localização

 Visual Servoing

 Follow-me (Comboio)

 Lane Follow (Seguir marcação)

 Target Tracking

 Robot Soccer

(21)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

21

Visão Computacional e Robótica Móvel

2. Segmentação de Imagens por Cor

Processamento por Histograma de Cores/Tons

Aplicações:

 Patologia Veterinária

MORAES, Lucas B. ; OSÓRIO, Fernando S. , SALLE, Carlos Tadeu Pippi et all. Evaluation of follicular lymphoid depletion in the Bursa of Fabricius: an alternative methodology using digital image analysis and artificial neural networks. Pesquisa Veterinária Brasileira , v. 30, p. 340-344, 2010

(22)

Set. 2009

22

* Conceitos

Referências:

Autor

Gonzalez, Rafael C / Rafael C. Gonzalez, Richard E. Woods

Título

Digital image processing

Edição

3rd ed

Editora

Upper Saddle River, N.J; Harlow :

Pearson/Prentice Hall, 2008

Visão Computacional: 2D

(23)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Set. 2009

23

2.1 Rastreando Elementos da Cena (Target Tracking)

* Aplicações: Target (set) Point, Follow Line, Follow Me

Target Point - Ajustar a trajetória em relação a um ponto de referência

(24)

Set. 2009

24

* Aplicações: Target (set) Point, Follow Line, Follow Me

(25)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Set. 2009

25

2.1 Rastreando Elementos da Cena (Target Tracking)

* Aplicações: Target (set) Point, Follow Line, Follow Me

Target Point - Ajustar a trajetória em relação a um ponto de referência

Controle de Malha Fechada:

Set Point x Posição Atual => Erro de Posição

Ajuste: Controlador P

Controlador PD

Controlador PID

http://en.wikipedia.org/wiki/Control_theory

http://en.wikipedia.org/wiki/PID_controller

(26)

Set. 2009

26

* Aplicações: Target (set) Point, Follow Line, Follow Me

Follow Line - Seguir uma marcação de pista

Objetivos:

-Seguir a marcação

central da pista

-Típica aplicação

em robótica...

(27)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Set. 2009

27

2.1 Rastreando Elementos da Cena (Target Tracking)

* Aplicações: Target (set) Point, Follow Line, Follow Me

Follow Line - Seguir uma marcação de pista

Objetivos:

- Se manter no

centro da pista

- Direção Alvo

(28)

Set. 2009

28

* Aplicações: Target (set) Point, Follow Line, Follow Me

Follow Me - Acompanhar um outro robô (com marcação visual)

http://wiki.icmc.usp.br/index.php/Material_SSC0715_2011(fosorio)

http://wiki.icmc.usp.br/index.php/Material_SSC0715(fosorio)

(29)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Set. 2009

29

2.1 Rastreando Elementos da Cena (Target Tracking)

* Técnica: Fluxo Ótico

Visão Computacional e Robótica Móvel

Imagem Original

(30)

Set. 2009

30

* Aplicações: Segmentação do Plano e Detecção de Obstáculos

Função disponível junto ao Robô SRV

Detection/Segmentation (4) High-level processing (5)

Image acquisition (1) Pre-processing (2) Feature extraction (3)

(31)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Set. 2009

31

2.2 Detecção de Bordas (Edge Detection/Tracking)

* Aplicações: Segmentação do Plano e Detecção de Obstáculos

Função disponível junto ao Robô SRV

(32)

Ubuntu, C language, OpenCV, SFML, Robot

Frame by frame Input parameters Blur convolution + Gaussian filter Laplacian convolution Binarization + Erosion Image split in columns and

reading Noise reduction

Edge draft detection

Floor identification

Distances calculation

FINAL PROJECT (TCC)

Autonomous navigation of a robot with computer vision

Author: Ignacio Magallón Hernández

(33)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Purpose: Noise reduction

cvSmooth, 5 param.

2.2 Detecção de Bordas (Edge Detection/Tracking)

Visão Computacional e Robótica Móvel

(34)

Purpose: Edge primary detection

cvLaplace, 3 param.

(35)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Purpose: Floor Identification

cvThreshold, 5 param.

cvErode, 4 param

Ignacio Magallón Hernández

2.2 Detecção de Bordas (Edge Detection/Tracking)

(36)

Distances Calculation: Split into 20 columns

Distances vector.

(37)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Robot navigation

Always move forward

Smart direction change

Assumptions / Requirements

Visão Computacional e Robótica Móvel

(38)

Set. 2009

38

* Aplicações: Segmentação do Plano e Detecção de Obstáculos

Desenvolvimento de um Módulo Robusto para Extração de Bordas

Uso de Algoritmos de Processamento de Imagens e de Otimização (AGs)

Robótica Inteligente: Uso de Visão Computacional para o

Controle e Navegação de Robôs Móveis Autônomos

(39)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

39

Visão Computacional e Robótica Móvel

3. Classificação de Imagens: EXEMPLOS GERAIS

Reconhecimento de Elementos na Imagem

- Reconhecimento de Padrões (Sinalização)

- Reconhecimento de Gestos (Interface)

- Segmentação: Mapas Locais de Navegabilidade

Uso de Técnicas de Reconhecimento de Padrões

- Técnicas estatísticas

- Redes Neurais Artificiais

Segmentação de Imagens,

Classificação de Padrões

- Placas de Carro

- Objetos (cor: assinatura)

- Detecção de cor-de-pele

- Imagens de Satélite...

(40)

Abr. 2009

40 Dissertação de Mestrado: Fernando Santos Osório - UFRGS - PPGCC [1990]

(41)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Abr. 2009

41

Aplicações de Redes Neurais Artificiais:

Reconhecimento de Padrões / Classificação / Aproximação Fçs

Original Filtro Convencional Filtro Neural

(42)

Abr. 2009

42

(43)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Abr. 2009

43

Aplicações de Redes Neurais Artificiais:

Reconhecimento de Padrões

Bender/Osório 2003, Bittencourt/Osório 2002

Ponfac Sistemas de Visão

(44)

Abr. 2009

(45)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Abr. 2009

45

Reconhecimento em Tempo Real:

Imagens – Postura das Mãos

Matlab

Aquisição,

procesamento

e medidas

Treinamento

RNA

[SNNS/C++]

Classificador

RNA

[C++]

Aplicação

de multidões

de humanos

virtuais [C++]

= Sockets e

Memória

Compartilhada

Integração: Aquisição das Imagens, Classificação, Ações

Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais

Nelson F. Souza Jr. et al. – IX Symposium on Virtual and Augmented Reality SVR’2007

(46)

Abr. 2009

46

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

Posturas escolhidas para utilização no experimento

5 dedos (mão aberta)

0 dedos (mão fechada)

1 dedo (indicador)

1 dedo (polegar)

2 dedos (v – vitória)

1 dedo (mínimo)

Aquisição das imagens:

- Aquisição das imagens a partir da Webcam

- Pré-processamento das imagens no MATLAB

- A limiarização e segmentação das imagens

- Extração das referência (métricas/atributos)

(47)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Abr. 2009

47

Reconhecimento em Tempo Real:

Imagens – Postura das Mãos

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

(48)

Abr. 2009

48

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

Extração de Atributos (feições):

Procedimentos que, aplicados a uma

imagem retornam um valor numérico

capaz de diferenciar os tipos de imagens

- Histograma Vertical

- Histograma Horizontal

- Densidade de P/B

- Alternância de P/B

- Bounding Box

Aquisição das imagens:

- Aquisição das imagens a partir da Webcam

- Pré-processamento das imagens no MATLAB

- A limiarização e segmentação das imagens

- Extração das referência (métricas/atributos)

(49)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Abr. 2009

49

Reconhecimento em Tempo Real:

Postura das Mãos

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

Extração de Atributos (feições):

Procedimentos que, aplicados a uma

imagem retornam um valor numérico

capaz de diferenciar os tipos de imagens

- Histograma Vertical

- Histograma Horizontal

- Densidade de P/B

- Alternância de P/B

- Bounding Box

Aquisição das imagens:

- Aquisição das imagens a partir da Webcam

- Pré-processamento das imagens no MATLAB

- A limiarização e segmentação das imagens

- Extração das referência (métricas/atributos)

Histograma

Horizontal

Visão Computacional e Robótica Móvel

(50)

Extração de Atributos (feições):

Procedimentos que, aplicados a uma

imagem retornam um valor numérico

capaz de diferenciar os tipos de imagens

- Histograma Vertical

- Histograma Horizontal

- Densidade de P/B

- Alternância de P/B

- Bounding Box

Aquisição das imagens:

- Aquisição das imagens a partir da Webcam

- Pré-processamento das imagens no MATLAB

- A limiarização e segmentação das imagens

- Extração das referência (métricas/atributos)

Abr. 2009

50

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

(51)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Abr. 2009

51

Reconhecimento em Tempo Real:

Imagens – Postura das Mãos

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

Entradas adotadas: Atributos das imagens

10 projeções verticais

10 projeções horizontais

Dimensões da largura e altura do bounding box

Base de treinamento e teste/validação do classificador:

22 entradas e 1 saída (a sua respectiva classe (1 dentre as 6 posturas)

600 exemplos (imagens) - 420 de treino (70%) e 180 de validação (30%)

70 exemplos de cada classe = 70 x 6 = 420 exemplos na base de treino

Rede Neural: 22-22-6 (22 Input, 22 Hidden, 6 Output)

Aprendizado: RProp (Resilent Propagation ~ BackProp acelerado)

(52)

Abr. 2009

52

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

Taxa média de acertos - aprendizado : 99,95%

Taxa média de erro - abaixo de 0,05%.

Taxa de acertos (treino/teste):

muito próxima a 100%

(53)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Abr. 2009

53

Reconhecimento em Tempo Real:

Imagens – Postura das Mãos

1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação Neural (ANN)

4 Resultados: Rede Neural

Taxa média de acertos - aprendizado : 99,95%

Taxa média de erro - abaixo de 0,05%.

Taxa de acertos (treino/teste):

muito próxima a 100%

(54)

Abr. 2009

54

(55)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Abr. 2009

55

ARToolKit:

Reconhecimento de Padrões – Marcas Fiduciais

Visão Computacional e Robótica Móvel

(56)

Maio 2010

56

Reconhecimento de Imagem / CBIR

Bases de Dados

> COIL - Columbia Object Image Library

> ALOI - Amsterdam Library of Object Images

http://www.cs.cmu.edu/~cil/v-images.html

(57)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

57

Visão Computacional e Robótica Móvel

3. Classificação de Imagens: ROBÓTICA

Classificação do Espaço de Percepção

- Navegável

- Não Navegável

Segmentação:

(58)

Maio 2010

(59)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

59

(60)

Maio 2010

(61)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

61

(62)

Maio 2010

62

Sistema de Desvio de Obstáculos

e navegação por visão

(63)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

63

Visão Computacional e Robótica Móvel

VÍDEOS - Camera Monocular

Sistema de

Desvio de Obstáculos e

Navegação por Visão

+

(64)

Maio 2010

64

Sistema de Desvio de Obstáculos

e navegação por visão

(65)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2010

65

Visão Computacional e Robótica Móvel

4. Registro de Imagens

Comparação Pixel-a-Pixel

Correlação de Imagens

> NCC: Normalized Cross-Correlation => MATLAB

Extração de Atributos (Features)

(66)

Imagem Atual

Próxima Imagem

Imagem capturada

pelo robô

NCC

(match)

Imagem Atual

Próxima Imagem

Imagem capturada

pelo robô

NCC

(match)

Navegação baseada em Imagens Monocromáticas [Jones et al. 1997]

Algoritmo: NCC – Normalized Cross-Correlation

Maio 2010

(67)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

[Righes 2004, 2005] ICR: Imagem Capturada Pelo Robô

Navegação Visual:

NCC – Normalized Cross-Correlation

[Matsumoto et al. 1996]

Matlab Code

IR: Imagem de Referência

Visão Computacional e Robótica Móvel

Maio 2010

(68)

[Righes 04]

Maio 2010

(69)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Using Omnidirectional Cameras

Visão Computacional e Robótica Móvel

Navegação Visual:

NCC – Normalized Cross-Correlation

Maio 2010

(70)

SIFT : http://www.cs.ubc.ca/~lowe/keypoints/ Matthew Brown http://www.cs.ubc.ca/~mbrown/

AutoStitch: http://www.cs.ubc.ca/~mbrown/autostitch/autostitch.html Panoramas: http://osorio.wait4.org/oldsite/vr/panorama/list.html

(71)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Mobile Robot Localization

and Mapping with Uncertainty

using Scale-Invariant

Visual Landmarks

Stephen Se,

David Lowe,

Jim Little

(UBC, CA)

Algoritmo:

SIFT

Reference

Int. Journal of Robotics Research

Vol. 21, No. 8, August 2002,

pp. 735-758,

OpenCV

Visão Computacional e Robótica Móvel

(72)

Correlação entre

imagem de satélite

e imagem aérea

(helicóptero)

Resultados

não foram bons !

Mas...

Maio 2010

(73)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Referencial

Correlação entre imagens

do helicóptero

(cruzamento da rota)

Sistema de Visão

para Veículos Aéreos Não Tripulados

Visão Computacional e Robótica Móvel

Navegação Visual:

SIFT

Maio 2010

(74)

Referêncial e

Deslocamento

Correlação entre imagens

do helicóptero

(cruzamento da rota)

Sistema de Visão

para Veículos Aéreos Não Tripulados

Maio 2010

(75)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Referêncial e

Deslocamento

Correlação entre imagens

do helicóptero

(cruzamento da rota)

Sistema de Visão

para Veículos Aéreos Não Tripulados

Visão Computacional e Robótica Móvel

Navegação Visual:

SIFT

Maio 2010

(76)

Abordagem Multi-Escala

Descritor Local =

Assinatura do pixel!

Maio 2013

(77)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Auto-Localização Autônoma de

Robôs Móveis por Visão Computacional

Baseada em Pontos de Referência

Desenvolvimento de Robôs Táticos para Ambientes Internos

Localização Global: Onde

estou?

Leandro Coutro, 2012

Visão Computacional e Robótica Móvel

SIFT

Maio 2013

(78)

Auto-Localização Autônoma de Robôs Móveis por

Visão Computacional baseada em Pontos de Referência

Localização

Topológica

Mapa

Topológico

Navegação

Topológica

SIFT

Maio 2013 78

(79)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Auto-Localização Autônoma de Robôs Móveis por

Visão Computacional baseada em Pontos de Referência

Localização:

Pontos de Referência

Algoritmo de Base:

SIFT

Algoritmo Otimizado:

SURF

Heurísticas de Otimização

Matches:

Identificação da “provável”

localização do robô

Visão Computacional e Robótica Móvel

Maio 2013

(80)

Maio 2013

(81)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Auto-Localização Autônoma de Robôs Móveis por

Visão Computacional baseada em Pontos de Referência

Localização:

Cena do Robô x Trajetória

Matches:

Identificação da “provável”

localização do robô

Visão Computacional e Robótica Móvel

Maio 2013

(82)

Maio 2013

82

- Segmentação por Cor

- Reconhecimento e Classificação de Padrões

- Registro de Imagens:

> Correlação

(83)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Navegação Topológica e Detecção de Intrusos: Sales, D.O.; Osório, F.S.; Wolf, D.F.

Topological Autonomous Navigation for Mobile Robots in Indoor Environments using ANN and FSM. In: CBSEC – Conf. Brasileira de Sistemas Embarcados Críticos, São Carlos.2011.

Maio 2013

83

Visão Computacional e Robótica Móvel

(84)

Agosto 2013

84

Kinect (Sensor do Xbox 360 da Microsoft)

(85)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2013

85

Referências: Planejamento e Navegação

Referências – Processamento de Imagens:

>> Ferramentas

* OpenCV

* MATLAB

* ARToolKit

>> Algoritmos

* Segmentação por Cor & Extração de Bordas

* Detecção de Elementos na Cena, Rastreamento de Elementos da Cena

* Reconhecimento de Padrões: RNA

* NCC

* SIFT

>> Bases de Imagens

* COIL

(86)

Maio 2013

86

• Mapas de navegabilidade + Redes Neurais Artificiais

Alberto Hata, Jefferson de Souza, Patrick Shinzato

• Visão e Navegação com Câmera Estéreo (mapa de disparidade)

Caio Mendes, Vitor Utino, Rafael Klaser

• Auto-Localização baseada em Imagens

Leandro Couto

• Navegação Topológica por imagens 2D e 3D (mapa de profundidade)

Daniel Sales

• Robôs de Segurança: mapa de profundidade + câmera térmica

Diogo Correa

• Odometria Visual: André Toshio

• Detecção de Pedestres: Francisco de Alencar

• Classificação de Nuvens de Pontos 3D: Danilo Habermann

(87)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Maio 2013

87

Referências: Planejamento e Navegação

Referências – Trabalhos citados nesta Apresentação:

usuário “usp” / ”guest”

• Detecção de Bordas para Navegação (robô SRV) [TCC]

http://osorio.wait4.org/publications/TCCs/Monografia%20Ignacio%20Magallon.pdf

• Detecção de Bordas para Navegação (com AG) [IC]

http://osorio.wait4.org/publications/2012/MNR-Artigo-MatheusCompri-2012.pdf

http://osorio.wait4.org/publications/2012/LARS-SBR2012-Mauricio-Dias.pdf

• Filtros de Processamento de Imagem Neurais [IC]

http://osorio.wait4.org/publications/Bitencourt-Osorio-Sibigrapi2000.pdf

http://osorio.wait4.org/publications/Bittencourt-Osorio-SIC-Book2002.pdf

• Reconhecimento de pele visando reconhecimento de gestos [IC]

http://osorio.wait4.org/publications/Bittencourt-Seminco2002.pdf

• Reconhecimento de posturas com as mãos [MSc]

http://osorio.wait4.org/publications/2007/Nelson-et-al-SVR2007.pdf

• Classificação de Imagens Coloridas [MSc]

http://osorio.wait4.org/publications/Mestrados/Dissertacao-Tulio-Bender.pdf

• Reconhecimento de Áreas Navegáveis e Não Navegáveis em Imagens

http://osorio.wait4.org/publications/2011/CBSEC2011_Shinzato_submission_27.pdf

http://osorio.wait4.org/publications/2011/SAC2011-p1376-souza.pdf

(88)

Maio 2013

88

http://osorio.wait4.org/publications/TCCs/righes-tc.pdf

• Auto-Localização usando SIFT e SURF [MSc]

http://osorio.wait4.org/publications/Mestrados/Dissertacao-LeandroCouto.pdf

• Navegação Topológica usando Imagens [MSc]

http://osorio.wait4.org/publications/Mestrados/Dissertacao_DanielOlivaSales.pdf

• Reconhecimento de Padrões em Imagens por Histograma (patologias) [Dout]

http://osorio.wait4.org/publications/2010/PN_Pesq-Vet-Bras2010-a10v30n4.pdf

• Rastreamento de faixas em ruas (lane follow) [Pesq]

http://osorio.wait4.org/publications/Jung-et-al-JAI2005.pdf

http://www.inf.ufrgs.br/~crjung/research.htm

• Fluxo Ótico no OpenCV: LK-Demo [OpenCV]

http://en.wikipedia.org/wiki/Lucas%E2%80%93Kanade_method

http://robots.stanford.edu/cs223b05/notes/CS%20223-B%20T1%20stavens_opencv_optical_flow.pdf

• Segmentação por Cor [Aula]

http://wiki.icmc.usp.br/index.php/Aula03_SSC0715_2012(fosorio)

http://osorio.wait4.org/SSC0715/2012/Aula03/

(89)

USP – ICMC - SSC0714 - Turma 2015/1 Robôs Móveis Autônomos

Prof. Fernando Osório

Março 2015

89

INFORMAÇÕES SOBRE A DISCIPLINA

USP - Universidade de São Paulo - São Carlos, SP

ICMC - Instituto de Ciências Matemáticas e de Computação

SSC - Departamento de Sistemas de Computação

Prof. Fernando Santos OSÓRIO - Laboratório LRM

PAE SSC 0712 e 0714: Diogo Correa e Rafael Berri (Doutorados – LRM)

Web institucional: Http://www.icmc.usp.br/ssc/

Página pessoal: Http://www.icmc.usp.br/~fosorio/

E-mail: fosorio [at] { icmc.usp.br, gmail.com }

Disciplina de Robôs Móveis Autônomos

Web Disciplinas: Http://www.icmc.usp.br/~fosorio/

Wiki ICMC: http://wiki.icmc.usp.br/index.php/SSC-714

> Programa, Material de Aulas, Critérios de Avaliação,

> Material de Apoio, Trabalhos Práticos

Referências

Documentos relacionados

tecnológicos e hoje dispõe, de um portal completo onde o  associado e o visitante obtém todas as informações sobre associado e o visitante obtém todas as informações

•Não deformar o prato de alumínio que está localizado no interior da tampa, caso isso ocorra, a panela funcionará de modo anormal, não cozinhando o alimento e liberando vapor

ACES do Dão-Lafões, visando a avaliação do acesso, na ótica da Portaria n.º 87/2015, de 23 de março, que publicitou os Tempos Máximos de Resposta (TMR)

1.1. Garante o pagamento antecipado do capital segurado contratado para a cobertura de Morte, mediante o pagamento de prêmio específico, que possibilite aos beneficiários,

- Coleta da impressão digital, do dedo indicador da mão direita do beneficiário (padrão). - Se o beneficiário não possuir o dedo indicador da mão direita, cadastrar então o dedo

O Painel de Riscos da ASF tem uma periodicidade trimestral e, seguindo as boas práticas das autoridades de supervisão europeias, reflete a evolução de um conjunto de indicadores,

5.2 A Política de Isenção Associativa adotada pelo IBCCRIM será aplicada de forma individualizada para cada GEA Estadual e do Distrito Federal e corresponderá a

blicação nos termos do disposto no artigo 86º-A do Código do Notariado, aditado pelo Decreto-Lei nº 45/2014, de 20 de Agosto, B.O. nº 50 – 1ª Série, que no dia vinte e dois