Desenvolvimento de um Sistema de Visão Global para uma Frota de Mini-Robôs Móveis

(1)

Universidade Federal do Rio Grande do Norte

Centro de Tecnologia

Departamento de Engenharia El´etrica

Disserta¸c˜

ao de Mestrado

“Desenvolvimento de um Sistema de Vis˜

ao Global

para uma Frota de Mini-Robˆ

os M´

oveis”

AUTOR: Kelson Rˆomulo Teixeira Aires

ORIENTADOR: Pablo Javier Alsina

CO-ORIENTADOR: Adelardo Adelino Dantas de Medeiros

Natal/RN - Brasil

(2)

Desenvolvimento de um Sistema de Vis

˜

a

_{o Global}

para uma Frota de Mini-Rob

ˆ

o

_{s M}

´

o

_veis

Kelson Rˆomulo Teixeira Aires

Aprovada, em 28 de Mar¸co de 2001, pela Comiss˜ao Examinadora

for-mada pelos seguintes membros:

Prof. Jo˜ao Marques de Carvalho, Dr. - UFPB

Prof. Adri˜ao Duarte D´oria Neto, Dr. - UFRN

Prof. Adelardo Adelino Dantas de Medeiros, Dr. - UFRN

Prof. Pablo Javier Alsina, Dr. - UFRN (Orientador)

NATAL, RN - BRASIL

(3)

Universidade Federal do Rio Grande do Norte

Centro de Tecnologia

Departamento de Engenharia El´etrica

Kelson Rˆ

omulo Teixeira Aires

Desenvolvimento de um Sistema de Vis˜

ao Global

para uma Frota de Mini-Robˆ

os M´

oveis

Disserta¸c˜ao submetida ao Programa de

Pós-Gradua¸cão em Engenharia Elétrica do

Cen-tro de Tecnologia da Universidade Federal do

Rio Grande do Norte, como parte dos

requi-sitos necess´arios para obten¸c˜ao do grau de

Mestre em Ciˆencias (M.Sc.) em Engenharia

El´etrica.

ORIENTADOR: Prof D.Sc. Pablo Javier Alsina

CO-ORIENTADOR: Prof D.Sc. Adelardo Adelino Dantas de Medeiros

Natal/RN - Brasil

(4)

“O que sabemos ´e uma gota, o

que ignoramos ´e um oceano.”

(5)

Agradecimentos

Ao final dessa árdua tarefa, não poderia deixar de agradecer àqueles que, de

alguma forma, contribu´ıram para o sucesso desse trabalho.

Aos amigos e orientadores, Prof. Dr. Pablo Javier Alsina e Prof. Dr. Adelardo

Adelino Dantas de Medeiros, pelo apoio e inesgot´avel dedica¸c˜ao ao trabalho.

Ao Prof. Dr. Jo˜ao Marques de Carvalho, por participar da banca examinadora.

Aos Profs. Maitelli, Celso e Agostinho, por suas grandes sugest˜oes e por tornarem

o ambiente de trabalho mais divertido e prazeroso.

Aos amigos Frederico, Rodrigo, Diogo e Carlos, dentre outros, pelas sugest˜oes,

discussões, momentos de descontra¸cão, enfim, por tudo que fizemos juntos. `

A CAPES, pelo suporte ﬁnanceiro.

Aos meus pais, Antonio e Concei¸c˜ao, e aos meus irm˜aos, Lidianne, Fenelon e

Olivan, pelo apoio moral e ﬁnanceiro e, principalmente, por sempre acreditarem em

mim. Eu não estaria aqui se não fosse por vocês.

Finalmente, a Deus, pois sem Ele nada existiria.

A todos vocˆes, e muitos outros que aqui n˜ao foram mencionados, o meu eterno

(6)

Lista de Algoritmos

(7)

Conte´

udo

Resumo xiii

Abstract xv

Introdu¸c˜ao 1

Motiva¸c˜ao . . . 1

Objetivos . . . 3

Objetivo geral . . . 3

Objetivos espec´ıﬁcos . . . 3

Crit´erios de desempenho do sistema de vis˜ao . . . 3

Justiﬁcativa . . . 4

Organiza¸c˜ao do trabalho . . . 4

1 O Futebol de Robˆos 7 1.1 Introdu¸c˜ao . . . 7

1.2 Hist´orico da Categoria MiroSot . . . 7

1.3 Objetivos . . . 10

1.4 Hardware . . . 10

1.4.1 O campo de jogo e a bola . . . 12

1.4.2 Robˆos . . . 12

1.4.3 Atribui¸c˜ao de cores . . . 14

1.4.4 Sistema de aquisi¸c˜ao e processamento de imagens . . . 14

(8)

1.5 Software . . . 15

1.6 Conclus˜oes . . . 16

2 O Sistema de Vis˜ao 19 2.1 Introdu¸c˜ao . . . 19

2.2 Modelos de Cores . . . 20

2.2.1 Modelo RGB . . . 20

2.2.2 Modelo HSL . . . 22

2.2.3 Escolha do Modelo de Cor . . . 22

2.3 Arquitetura do Sistema de Vis˜ao Proposto . . . 24

2.3.1 Aquisi¸c˜ao de imagens . . . 25

2.3.2 Calibra¸c˜ao . . . 26

2.3.3 Processamento das Imagens . . . 28

3 T´ecnicas Existentes 29 3.1 Introdu¸c˜ao . . . 29

3.2 Calibra¸cão e Classifica¸cão . . . 29

3.2.1 Sub-espa¸co de cores . . . 29

3.2.2 Menor distˆancia . . . 30

3.2.3 Sele¸c˜ao com o mouse . . . 30

3.3 Localiza¸c˜ao dos Objetos . . . 31

3.3.1 Centr´oide do quadrado . . . 31

3.3.2 Momentos e Eixos Principais . . . 32

3.3.3 Centr´oide do c´ırculo . . . 34

4 Calibra¸c˜ao: O Algoritmo K-Means 37 4.1 Introdu¸c˜ao . . . 37

4.2 Limiar e Histograma . . . 38

(9)

4.4 Calibra¸c˜ao do Sistema . . . 41

5 Localiza¸cão e Identifica¸cão 45 5.1 Introdu¸cão . . . 45

5.2 R´otulos . . . 45

5.3 Algoritmo de Localiza¸cão e Identifica¸cão . . . 46

6 Resultados Experimentais 51 6.1 Introdu¸c˜ao . . . 51

6.2 Parˆametros e Ajustes . . . 51

6.3 Calibra¸c˜ao . . . 53

6.4 Localiza¸c˜ao . . . 57

Conclus˜ao 63 Coment´arios Gerais . . . 63

Trabalhos Futuros . . . 65

Considera¸c˜oes Finais . . . 66

A Regras MiroSot 67 A.1 O Campo e a Bola . . . 67

A.1.1 Dimens˜oes do campo . . . 67

A.1.2 Marcas no campo . . . 67

A.1.3 O gol . . . 67

A.1.4 A linha e a ´area do gol . . . 68

A.1.5 A bola . . . 68

A.1.6 Localiza¸c˜ao do campo . . . 68

A.1.7 Condi¸c˜oes de ilumina¸c˜ao . . . 68

(10)

A.2.1 Sobre o sistema . . . 68

A.2.2 Os robˆos . . . 68

A.2.3 Substitui¸c˜oes . . . 69

A.2.4 Pedido de tempo . . . 70

A.3 Transmiss˜ao de Informa¸c˜oes . . . 70

A.4 O Sistema de Vis˜ao . . . 70

A.5 Dura¸c˜ao do Jogo . . . 70

A.6 In´ıcio do Jogo . . . 71

A.7 M´etodo de Marca¸c˜ao de Pontos . . . 71

A.7.1 O vencedor . . . 71

A.7.2 A prorroga¸c˜ao . . . 71

A.8 Faltas . . . 72

A.9 Interrup¸c˜oes do Jogo . . . 72

A.10 Chute Livre . . . 73

A.11 Pˆenalti . . . 73

A.12 Chute a Gol . . . 73

A.13 Bola Livre . . . 74

(11)

Lista de Figuras

1.1 Diagrama funcional do sistema utilizado no futebol de robˆos. . . 11

1.2 Esquema de uma partida de futebol de robˆos. . . 11

1.3 Imagem do campo de jogo. . . 13

1.4 Estrutura de ilumina¸c˜ao do campo. . . 13

1.5 Mini-robˆos. . . 14

1.6 Alguns tipos de r´otulos usados nos robˆos. . . 15

1.7 PC’s utilizados para execu¸c˜ao dos programas e controle dos robˆos. . . 16

1.8 Diagrama de blocos simpliﬁcado que demonstra a ordem de execu¸c˜ao dos diversos programas envolvidos no projeto. . . 17

2.1 Modelo de cor RGB. . . 21

2.2 Vendo o cubo de cores RGB (a) ao longo da diagonal principal, seus limites externos formam um hex´agono (b). . . 23

2.3 Cone Hexagonal Duplo - Modelo HSL. . . 23

2.4 Diagrama simpliﬁcado de um sistema de vis˜ao. . . 25

2.5 Esquema de aquisi¸c˜ao de imagens de uma partida de futebol de robˆos. 26 2.6 Exemplo de imagem representada no modelo RGB. . . 27

2.7 Exemplo de imagem representada no modelo HSL. . . 27

3.1 Robô do time GUARAN Á. Cálculo da posi¸cão e orienta¸cão. . . 32

3.2 Posi¸cão e orienta¸cão baseada no cálculo do momento angular. . . 33

3.3 C´alculo do centro do r´otulo circular. . . 35

(12)

4.1 Histograma de dois tipos b´asicos de imagens. . . 39

4.2 AlgoritmoK-means. Movimento dos centros. . . 42

4.3 Detalhe de uma imagem RGB ap´os ter sido calibrada com o algoritmo K-means. . . 44

5.1 R´otulos utilizados nos mini-robˆos. . . 47

5.2 C´alculo do centr´oide de um c´ırculo. . . 48

5.3 Localiza¸c˜ao do robˆo. . . 49

5.4 Orienta¸c˜ao do robˆo. . . 49

6.1 Diversas calibra¸c˜oes realizadas com diferentes valores de N e K. . . . 54

6.2 Imagem do campo no modelo HSL ap´os calibra¸c˜ao. . . 55

6.3 Imagem do campo no modelo RGB ap´os calibra¸c˜ao. . . 55

6.4 Gráfico representativo dos grupos de cor de uma imagem após cali-bra¸cão. Os pontos pretos representam os centros de cada grupo. . . . 58

6.5 Gráfico da posi¸cão e orienta¸cão do robô amarelo-ciano. . . 59

6.6 Gráfico da posi¸cão e orienta¸cão do robô amarelo-verde. . . 60

6.7 Gráfico da posi¸cão e orienta¸cão do robô azul-rosa. . . 60

6.8 Gráfico da posi¸cão da bola. . . 61

(13)

Lista de Tabelas

5.1 Rela¸c˜ao de cores usadas nos robˆos. . . 46

6.1 Parˆametros referentes `a imagem a ser adquirida. . . 52

6.2 Parâmetros necessários ao sistema de visão. . . 52

6.3 Rela¸c˜ao de centros fornecidos pela calibra¸c˜ao do sistema. . . 56

6.4 Centros escolhidos ap´os a calibra¸c˜ao do sistema. . . 57

6.5 Dados de localiza¸c˜ao dos robˆos e da bola. . . 59

6.6 Dados de localiza¸c˜ao dos robˆos e da bola. . . 61

(14)

Resumo

A navega¸cão baseada em realimenta¸cão visual para robôs, trabalhando em um

ambiente fechado, pode ser obtida instalando-se uma cˆamera em cada robˆo

(sis-tema de visão local). Esta solu¸cão, entretanto, requer uma câmera e capacidade de

processamento embarcado para cada robˆo. Quando poss´ıvel, um sistema de vis˜ao

global ´e uma solu¸c˜ao barata para este problema. Neste caso, uma ou uma pequena

quantidade de cˆameras, cobrindo todo o espa¸co de trabalho, pode ser compartilhada

pelos robˆos, diminuindo o custo de uma grande quantidade de cˆameras e ohardware

de processamento necess´ario a um sistema de vis˜ao local. Este trabalho apresenta

a implementa¸c˜ao e os resultados experimentais de um sistema de vis˜ao global para

uma frota de mini-robˆos m´oveis, utilizando como plataforma de testes uma partida

de futebol entre robˆos.

O sistema de vis˜ao proposto consiste de uma cˆamera, uma placa digitalizadora de

imagens e um computador (PC) para o processamento das imagens. O PC ´e

respon-sável pelo controle dos robôs, baseado em realimenta¸cão visual, enviando comandos

aos robôs através de um transmissor de rádio. Com o objetivo de possibilitar ao

sistema reconhecer unicamente cada robˆo, eles possuem r´otulos em seu topo,

con-sistindo de dois c´ırculos coloridos. Algoritmos de processamento de imagem foram

desenvolvidos para o cômputo eficiente, em tempo real, da posi¸cão (robô e bola) e

orienta¸c˜ao (robˆo) dos objetos em campo.

Um grande problema encontrado foi rotular a cor, em tempo real, cada ponto

colorido da imagem, em condi¸c˜oes de varia¸c˜ao de luminosidade. Para resolver este

(15)

aglomera¸cão K-means, foi implementado. Este método garante que pixels similares sejam agrupados ao redor de uma única classe de cor.

Os resultados experimentais obtidos mostram que a posi¸c˜ao e a orienta¸c˜ao de

cada robô pode ser obtida com uma precisão de poucos mil´ımetros. A atualiza¸cão

das informa¸cões de posi¸cão e orienta¸cão foi realizada em tempo real, analisando 30

(16)

Abstract

Navigation based on visual feedback for robots, working in a closed environment,

can be obtained settling a camera in each robot (local vision system). However, this

solution requests a camera and capacity of local processing for each robot. When

possible, a global vision system is a cheapest solution for this problem. In this case,

one or a little amount of cameras, covering all the workspace, can be shared by

the entire team of robots, saving the cost of a great amount of cameras and the

associated processing hardware needed in a local vision system. This work presents

the implementation and experimental results of a global vision system for mobile

mini-robots, using robot soccer as test platform.

The proposed vision system consists of a camera, a frame grabber and a computer

(PC) for image processing. The PC is responsible for the team motion control, based

on the visual feedback, sending commands to the robots through a radio link. In

order for the system to be able to unequivocally recognize each robot, each one has a

label on its top, consisting of two colored circles. Image processing algorithms were

developed for the eﬃcient computation, in real time, of all objects position (robot

and ball) and orientation (robot).

A great problem found was to label the color, in real time, of each colored point

of the image, in time-varying illumination conditions. To overcome this problem,

an automatic camera calibration, based on clustering K-means algorithm, was

im-plemented. This method guarantees that similar pixels will be clustered around a

unique color class.

(17)

each robot can be obtained with a precision of few millimeters. The updating of the

(18)

Introdu¸

c˜

ao

Motiva¸

c˜

ao

O termoRobótica foi introduzido por Isaac Asimov, um grande escritor de fiçcão cient´ıfica, como uma forma de simbolizar a ciência dedicada ao estudo dos robôs.

A palavra robˆo surgiu do aportuguesamento da pron´uncia francesa para o termo

robot, que, por sua vez, é derivado da palavra eslava robota, que significa trabalho executivo [Medeiros, 1998]. Desde então, pesquisadores sonham com a possibilidade

de desenvolver m´aquinas autˆonomas capazes de executar tarefas complexas.

O surgimento daInteligência Artificial fez com que os pesquisadores come¸cassem a pensar na possibilidade de dotar máquinas com a capacidade de tomar decisões,

mais ou menos complexas, de modo a adaptar-se às varia¸cões no ambiente, não

previstas pelo projetista. Em outras palavras, incorporar um certo grau de

“inteli-gência” às mesmas. Come¸cavam a surgir os Sistemas Robóticos Autônomos. Uma importante propriedade destes sistemas é o fato deles poderem interagir, de maneira

inteligente, com o ambiente de trabalho, ou seja, “sentir” o que acontece em sua

volta e atuar no mesmo, de acordo com a informa¸c˜ao sentida. Para isso, diversos

sensores podem ser instalados no robˆo, de forma a permitir a aquisi¸c˜ao dos mais

variados tipos de dados.

Com o objetivo de tornar os robˆos cada vez mais autˆonomos, pesquisadores

co-me¸caram a pensar em formas de desenvolver sistemas sensoriais capazes de fornecer

maiores quantidades poss´ıveis de informa¸c˜oes ´uteis sobre o mundo ao seu redor.

(19)

ar-tificial. Com isto, surgiu a Visão Computacional, que é a área da ciência dedicada a desenvolver teorias e técnicas voltadas à extra¸cão e processamento de informa¸cões

´

uteis contidas em imagens. A vis˜ao pode ser encarada como mais um dos diversos

sensores que podem ser acoplados a um sistema rob´otico, permitindo-lhe perceber o

mundo. Um sistema de vis˜ao pode ser implementado de diversas maneiras.

A Vis˜ao Computacional procura oferecer, do modo mais eﬁciente poss´ıvel, uma

grande quantidade de informa¸cões úteis ao sistema computacional. Várias aplica¸cões

para a Visão Computacional podem ser citadas, dentre elas: sele¸cão e classifica¸cão,

controle de processos, garantia de qualidade, reconhecimento de padrões, identifica-¸cão e localiza¸cão de objetos, etc. O processamento de imagens digitais é um campo envolvente, com diversas aplica¸cões na ciência e engenharia. O processamento de

imagens assegura a possibilidade de desenvolvimento de máquinas de última gera¸cão,

capazes de executar diversas fun¸c˜oes da vis˜ao humana [Jain, 1989]. Uma plataforma

de testes bastante utilizada para o desenvolvimento de sistemas de vis˜ao em tempo

real ´e o futebol de robˆos.

Atualmente, vários sistemas de visão estão sendo desenvolvidos para tornar robôs

aptos a disputarem uma partida de futebol. O futebol de robˆos ´e um excelente

campo de pesquisa na ´area de vis˜ao computacional, pois requer o desenvolvimento de

programas eﬁcientes, principalmente no que diz respeito ao tempo de processamento

das informa¸c˜oes contidas na imagem, bem como de algoritmos robustos em rela¸c˜ao

às varia¸cões de ilumina¸cão do ambiente. Neste trabalho, propõe-se um sistema de

vis˜ao a ser desenvolvido para uma frota de mini-robˆos, que possibilite aos mesmos

disputarem uma partida de futebol.

Um time de robˆos aptos a disputar uma partida de futebol pode fazer uso de dois

tipos de sensores de imagens: sensores embarcados, que são localizados no próprio robô, ou seja, cada robô é equipado com sua própria câmera (sistema de visão local),

esensores não-embarcados, onde apenas uma câmera pode ser utilizada para fornecer as imagens do ambiente de trabalho a todos os robôs (sistema de visão global). O

trabalho proposto diz respeito a um sistema de vis˜ao global, e suas caracter´ısticas

(20)

Objetivos

Objetivo geral

Desenvolvimento de um sistema de vis˜ao global para uma frota de mini-robˆos

m´oveis, utilizando como plataforma de pesquisa e experimenta¸c˜ao uma disputa de

futebol entre robˆos.

Objetivos espec´ıﬁcos

• Implementa¸c˜ao de um software de intera¸c˜ao com o hardware de captura de imagem, capaz de colher os dados acerca das imagens digitalizadas.

• Elabora¸c˜ao de uma an´alise comparativa entre os tipos de dados fornecidos pelo

digitalizador.

• Desenvolvimento e implementa¸c˜ao de um algoritmo capaz de fornecer posi¸c˜ao,

orienta¸cão e identifica¸cão de todos os objetos da imagem, utilizando para isso

os dados fornecidos pelo digitalizador.

• Desenvolvimento e implementa¸cão de um método de calibra¸cão do sistema de

vis˜ao proposto.

• Integra¸c˜ao do sistema de vis˜ao com os demais sistemas presentes em uma

partida de futebol de robôs, fornecendo a localiza¸cão e identifica¸cão dos objetos

da imagem.

Crit´

erios de desempenho do sistema de vis˜

ao

Para determinar o sucesso de um sistema de vis˜ao, seu desempenho pode ser

medida segundo alguns fatores [Dichiera, 1999]:

(21)

• Velocidade: Mede o tempo requerido para determinar posi¸cão, orienta¸cão e velocidade dos objetos da imagem. O módulo de visão deve determinar estes

parâmetros de forma c´ıclica e suficientemente rápida, para que os outros

m´o-dulos do sistema possam dispor da maior quantidade de informa¸c˜ao poss´ıvel,

em um m´ınimo intervalo de tempo.

• Robustez: Mede a habilidade do módulo de visão em operar com ru´ıdo, refle-xões e varia¸cões nas condi¸cões de ilumina¸cão.

Justiﬁcativa

A localiza¸cão e identifica¸cão de objetos é um problema clássico em processamento

de imagens. Resolvˆe-lo em tempo real constitui um grande desaﬁo. Dentro da

bibliograﬁa pesquisada, nenhum conhecimento foi encontrado acerca do m´etodo de

calibra¸cão utilizado. Com o intuito de oferecer uma contribui¸cão cient´ıfica na área

de processamento de imagens, e baseando-se nos crit´erios citados na se¸c˜ao anterior,

esse trabalho propõe uma forma automática de calibrar um sistema de visão, bem

como um algoritmo, rápido e eficiente, de identifica¸cão e localiza¸cão dos robôs e da

bola, envolvidos em uma partida de futebol.

Organiza¸

c˜

ao do trabalho

Neste trabalho, o cap´ıtulo 1 trata do futebol de robˆos, primeiramente situando

o mesmo em um contexto hist´orico e, logo em seguida, discutindo alguns pontos

b´asicos do projeto global, do qual faz parte este trabalho. O cap´ıtulo 2 discute de

uma forma geral os aspectos referentes a um sistema de vis˜ao computacional. O

cap´ıtulo 3 mostra algumas técnicas existentes no que se refere à calibra¸cão de cores

e algoritmos de localiza¸cão e identifica¸cão de objetos, utilizados no futebol de robôs.

O cap´ıtulo 4 trata do estágio de calibra¸cão, propondo uma técnica capaz de calibrar

(22)

dos robˆos e da bola. No cap´ıtulo 6 s˜ao mostrados os resultados de diversos testes

realizados para validar o sistema proposto. Por fim é apresentada uma conclusão

(23)

Cap´ıtulo 1

O Futebol de Robˆ

os

1.1 Introdu¸

c˜

ao

As diversas competi¸c˜oes de futebol de robˆos constituem um importante

laborató-rio para sistemas autônomos cooperativos. A diversidade de técnicas apresentadas

neste tipo de competi¸c˜ao possibilita um estudo cada vez mais aprofundado nessa

área, propiciando um rápido avan¸co tecnológico. Desde o ano de 1996, quando o

futebol de robˆos foi criado, o avan¸co foi bastante signiﬁcativo. A partir da´ı

surgi-ram diversas categorias, baseadas em diferentes regras quanto aos diversos aspectos

relacionados ao Futebol de Robôs. A seguir é apresentado um breve histórico do

futebol de robôs, bem como uma descri¸cão sumária de todas as etapas e

proces-sos envolvidos, relacionados `a categoria MiroSot da FIRA1

, que foi escolhida para

desenvolvimento deste trabalho.

1.2 Hist´

orico da Categoria

MiroSot

Em 1995 o prof. Dr. Jong-Hwan Kim, pesquisador do Centro de Pesquisas

KAIST2

da Cor´eia do Sul, fez um convite a toda comunidade internacional para que

cientistas envolvidos com os diversos aspectos da rob´otica autˆonoma se reunissem

1

Federation of Internacional Robot-soccer Association

(24)

e elaborassem um plano de a¸cão conjunto, utilizando o futebol de robôs como área

comum de experimenta¸c˜ao. O grupo formado gerou, a partir de regras b´asicas

estipuladas pelos coreanos, as normas e acordos do que viria a constituir a atual

FIRA.

O futebol de robôs é considerado como uma das mais flex´ıveis plataformas para

experimenta¸cão de técnicas sofisticadas de processamento de imagens em tempo

real, gerenciamento de diversas m´aquinas autˆonomas atuando em conjunto com um

objetivo comum, comunica¸cão entre robôs e mecânica fina. Os resultados obtidos

nesse campo de pesquisa s˜ao de migra¸c˜ao imediata para os ambientes industrial e

cient´ıﬁco.

O in´ıcio efetivo do envolvimento brasileiro com o futebol de robˆos ocorreu em

julho de 1995, quando o Instituto de Automa¸c˜ao do CTI3

enviou dois pesquisadores

da área de robótica para o Centro de Pesquisas KAIST. Nesta ocasião, com os

pes-quisadores do CTI sendo os únicos representantes da América Latina, ficou decidido

que a primeira Copa do Mundo de Futebol de Robˆos seria no in´ıcio de novembro

de 1996. A escassez de recursos, aliada ao curto espa¸co de tempo, comprometeu a

participa¸c˜ao brasileira na copa. Mesmo assim, um pesquisador brasileiro foi

envi-ado `a Cor´eia com o objetivo de fazer um estudo comparativo entre as tecnologias

apresentadas pelos pa´ıses em disputa.

Nessa copa, a superioridade do time americano do Newton Labs fez os diversos

participantes repensarem as t´ecnicas utilizadas. A maioria dos times utilizava

senso-reamento local, enquanto que o time do Newton Labs utilizava um sistema de vis˜ao

global, onde as imagens da disputa eram fornecidas por uma cˆamera posicionada

acima do campo de jogo.

Em dezembro desse ano, foi realizado no Rio Grande do Sul um encontro de

pes-quisadores da ´area de Rob´otica do Brasil e dos Estados Unidos. Ali deu-se o in´ıcio

de um projeto nacional, chamado projeto Leopard4

. Este projeto viabiliza que, por

exemplo, pesquisadores da área de visão, mas sem nenhuma experiência em

estra-3

Centro Tecnol´ogico para Inform´atica

4_{Dispon´ıvel em}

(25)

tégia ou robôs (mecânica), possam vir a fazer parte de um grande projeto conjunto

em robótica autônoma. Contudo, a grande dificuldade em conseguir financiamento

das agências de fomento à pesquisa fez com que a adesão ao projeto não fosse tão

efetiva. Iniciar um trabalho dessas propor¸c˜oes iria exigir um enorme intervalo de

tempo. Apesar de todas as diﬁculdades, o “Pa´ıs do Futebol” come¸cava a mostrar

sua cara na arena da tecnologia.

Em meados de 1997, o processo come¸cou a se acelerar. Pesquisadores da USP5

e

da UNESP6

de Bauru entraram em contato com o pessoal do CTI. Em seguida, outra

institui¸c˜ao aderiu ao grupo, a COPPE do Rio de Janeiro. Resolveram ent˜ao unir

for¸cas e levar um time para a copa de junho, no KAIST. Divididas as tarefas, ao CTI

coube implementar o sistema de comunica¸cão, a UNESP ficou com a implementa¸cão

do robô e a parte de estratégia, a USP ficou com o sistema de visão e a COPPE

desenvolveu o robô. Entretanto, devido a problemas técnicos a três dias da data de

embarque, a equipe ﬁcou impossibilitada de disputar a competi¸c˜ao.

A decep¸c˜ao foi grande, mas n˜ao foi capaz de desmotivar a equipe que come¸cou a

pensar em uma copa a ser realizada no Brasil. A Copa Brasileira de Futebol de Robˆos

(CBFR/98) foi realizada em mar¸co de 1998 tendo como principal objetivo selecionar

times e tecnologias para a Copa Mundial de Futebol de Robˆos, em julho/98 na

Fran¸ca. A CBFR/98 contou tamb´em com a participa¸c˜ao da equipe da Universidade

Federal de Minas Gerais. A equipe vencedora foi a equipe GUARAN ´A (USP, UNESP

e CTI) [Tavares, 1997].

A Copa Mundial de Futebol de Robˆos, na Fran¸ca, foi realizada em paralelo

com a Copa do Mundo de Futebol, no per´ıodo de 29 de junho a 03 de julho, em

Paris. Nessa oportunidade, o time brasileiro GUARAN ´A sagrou-se vice-campe˜ao

mundial na categoria Mirosot, que corresponde a uma das categorias da FIRA. Esta

competi¸c˜ao presenciou um desenvolvimento muito promissor na tecnologia de vis˜ao,

bem como na ´area de rob´otica cooperativa.

No ano de 1999, o Brasil sediou a competi¸c˜ao mundial da FIRA, que contou com

5

Universidade de S˜ao Paulo

(26)

a presen¸ca do CTI, UFMG, UFRJ, UFRGS, UnB, PUC-RS e UFSC. No ano de

2000 a competi¸c˜ao realizou-se na Austr´alia, em paralelo aos jogos ol´ımpicos.

1.3 Objetivos

Existem diversos objetivos referentes ao uso do futebol de robˆos como plataforma

de pesquisa e experimenta¸c˜ao. Dentre eles podemos citar:

• desenvolver um sistema de visão robusto a efeitos de ilumina¸cão e eficiente

quanto ao tempo de execu¸c˜ao;

• desenvolver estrat´egias de controle que permitam sistemas multi-agentes

atu-arem de forma cooperativa; e

• desenvolver um sistema de navega¸cão capaz de pôr em prática as estratégias

desenvolvidas.

1.4 Hardware

Geralmente ohardwareutilizado em uma partida de futebol de robˆos compreende:

• hardwarepara aquisi¸c˜ao e processamento de imagens (sistema de vis˜ao),

• hardwarepara implementa¸cão de estratégia e planejamento de trajetória (sis-tema de controle),

• hardwarede comunica¸c˜ao (transmissores ligados ao PC e receptores nos robˆos), e

• robˆos.

O diagrama mostrado na ﬁgura 1.1 detalha melhor o funcionamento e interliga¸c˜ao

entre os m´odulos envolvidos no projeto. As imagens do campo de jogo s˜ao captadas

(27)

identifica¸cão dos objetos em cena ao sistema de controle e estratégia. Esse por sua

vez processa essas informa¸cões e, através de comunica¸cão via rádio, envia comandos

a serem executados pelos robˆos.

Controle

Comunicação

Sistema de Visão

Estratégia e

Câmera

Transmissor Computador

Receptor Microcontrolador

Motores

Robô

Figura 1.1: Diagrama funcional do sistema utilizado no futebol de robˆos.

A ﬁgura 1.2 demonstra o esquema de uma partida de futebol de robˆos, com cada

time possuindo seuhardwareespec´ıﬁco.

(28)

Para desenvolvimento deste projeto foi escolhida a categoria MiroSot, da FIRA,

cujas regras são mostradas no apêndice A. De acordo com essas regras, são

expla-nadas a seguir algumas caracter´ısticas importantes da disputa, quanto aos diversos

elementos envolvidos [FIRA, 1999].

1.4.1 O campo de jogo e a bola

O campo de jogo ´e preto, fosco7

, de dimens˜oes 150×130cm e constru´ıdo de

madeira. As paredes laterais do campo tem 5cm de altura por 2,5cm de espessura,

com o topo na cor do campo, e as laterais na cor branca. Triˆangulos is´osceles de

7×7cm s˜ao ﬁxados nos quatro cantos do campo, de maneira a evitar que a bola

fique presa, o que dificultaria o alcance dos robôs. A textura da madeira deve ser

igual à de uma mesa de tênis de mesa. As marcas do campo também possuem

medidas espec´ıﬁcas. Uma imagem do campo de jogo pode ser vista na ﬁgura 1.3, e

suas medidas melhor visualizadas no apˆendice A. Uma bola de golfe laranja ´e usada

como a bola do jogo, com 42,7mmde diˆametro e 46g de peso.

O campo possui ilumina¸cão própria ficando as lâmpadas posicionadas 2 metros

acima deste, em uma estrutura met´alica, como pode ser visto na ﬁgura 1.4. As

condi¸cões de ilumina¸cão devem ser fixadas em 1000Lux(ver apêndice A).

1.4.2 Robˆ

os

Cada time é formado por três robôs (ver figura 1.5), qualquer um deles podendo

assumir a posi¸c˜ao de goleiro. Caso haja necessidade, pode haver substitui¸c˜ao no

intervalo da partida, que tem dois tempos de 5min cada. Os robˆos s˜ao pequenos,

medindo, no m´aximo, 7,5cm de lado.

No nosso projeto, cada robˆo possui dois servo-motores (um para cada roda),

baterias, um pequeno receptor de ondas de r´adio e um microprocessador. Os times

s˜ao rotulados com as cores azul ou amarelo para diferenciar da bola que, como j´a

foi dito, tem a cor laranja. Essa diferencia¸cão de cores é feita na forma de rótulos

(29)

Figura 1.3: Imagem do campo de jogo.

Figura 1.4: Estrutura de ilumina¸c˜ao do campo.

(30)

Figura 1.5: Mini-robˆos.

1.4.3 Atribui¸

c˜

ao de cores

Os objetos de cor da imagem s˜ao formados pela bola e por r´otulos colocados

sobre os robˆos, como se percebe na ﬁgura 1.5. A FIRA determina algumas regras

quanto à identifica¸cão dos robôs e da bola:

• os robˆos devem possuir no topo um r´otulo colorido, de 12,25cm2

de ´area

m´ınima, e formato livre, que os identiﬁque quanto ao time (amarelo ou azul),

e

• deve ser utilizada uma bola de golfe laranja.

Fica a cargo da equipe colocar ou não um rótulo de outra cor, que não seja das

especificadas pelas regras da FIRA, em cima do robô. Esse rótulo auxiliar serve

para ajudar na determina¸cão da orienta¸cão do robô ou diferenciar os componentes

de um mesmo time. Algumas formas poss´ıveis de rotular os robˆos s˜ao mostradas na

ﬁgura 1.6.

1.4.4 Sistema de aquisi¸

c˜

ao e processamento de imagens

O sistema de aquisi¸cão de imagens é formado basicamente por uma câmera e

(31)

Cor do

time

Cor do

time Cor do

time

(a) (b)

(c) (d)

Figura 1.6: Alguns tipos de r´otulos usados nos robˆos.

a serem processados pelo computador. Os dois formam o sistema de vis˜ao, que ser´a

melhor detalhado ao longo deste trabalho.

1.4.5 Sistema de controle e comunica¸

c˜

ao

O controle dos robôs é feito principalmente através de software, utilizando como

hardwareapenas o PC (ver figura 1.7) para execu¸cão dos programas. A comunica¸cão entre os robôs e o PC é feita através de um sistema de transmissão, utilizando ondas

de rádio em frequência única. O transmissor recebe instru¸cões do computador sobre

o que e como transmitir.

1.5 Software

(32)

Figura 1.7: PC’s utilizados para execu¸c˜ao dos programas e controle dos robˆos.

• processamento das imagens fornecidas pelo sistema de vis˜ao - fornece a posi¸c˜ao

e orienta¸c˜ao de todos os elementos da imagem,

• planejamento estrat´egico - de acordo com a situa¸c˜ao (dados do sistema de

visão), define para onde cada robô do time deve se movimentar, e

• planejamento e execu¸c˜ao de movimento - de acordo com os objetivos deﬁnidos

pelo planejamento estratégico e a situa¸cão atual, define como cada robô

che-gará em seu destino, calculando trajetórias adequadas para cada robô, bem

como executa efetivamente o controle em tempo real das trajet´orias planejadas.

1.6 Conclus˜

oes

Este cap´ıtulo mostrou as diversas etapas relacionadas ao projeto Futebol de

Robôs. Como se pode verificar do que foi exposto, o projeto envolve uma série de

subsistemas, tanto em softwarequanto em hardware, que devem ser integrados har-monicamente, de modo que o sistema como um todo funcione de maneira adequada.

Esses m´odulos se comunicam de forma direta ou indireta, pois, como vimos, um

(33)

numa seq¨uˆencia de processamento, cujo objetivo global consiste em fazer um time

de robˆos disputar uma partida de futebol. O cap´ıtulo 2, a seguir, trata melhor das

caracter´ısticas de um dos módulos do projeto, o sistema de visão, que é o objeto

principal deste trabalho.

Processamento Planejamento Planejamento de Movimento

das Imagens Estratégico

Figura 1.8: Diagrama de blocos simpliﬁcado que demonstra a ordem de execu¸c˜ao

(34)

Cap´ıtulo 2

O Sistema de Vis˜

ao

2.1 Introdu¸

c˜

ao

Ao ser disputada uma partida de futebol de robôs, as informa¸cões de posi¸cão e

orienta¸cão dos robôs e posi¸cão da bola são imprescind´ıveis. Para a obten¸cão dessas

informa¸cões, um sistema de visão pode ser utilizado. O sistema de visão deve ser

capaz de perceber um ambiente dinˆamico e, a partir da´ı, fornecer as informa¸c˜oes

necessárias para o sistema de controle dos robôs. Um sistema de visão robusto e

eficaz deve ser capaz de atuar em ambientes diferentes quanto à ilumina¸cão e às

condi¸c˜oes de cores, mantendo, ao mesmo tempo, velocidade e exatid˜ao.

Este cap´ıtulo descreve o m´odulo de vis˜ao global utilizado pelo time de futebol de

robˆos do LECA-UFRN1

. Diversas t´ecnicas, atualmente em uso, foram pesquisadas,

de modo a possibilitar o desenvolvimento do sistema. Nas se¸c˜oes que se seguem, ser˜ao

mostradas todas as etapas executadas pelo sistema em quest˜ao, desde a aquisi¸c˜ao

e processamento das imagens, até o cálculo da posi¸cão e orienta¸cão dos robôs e da

bola. Antes de tudo, o conceito de modelo de cor ´e de extrema importˆancia, pois

deﬁne o tipo de dado a ser processado.

1_Laborat´_{orio de Engenharia de Computa¸c˜}_{ao e Automa¸c˜}_{ao da Universidade Federal do Rio}

(35)

2.2 Modelos de Cores

Um modelo de cor determina um subespa¸co de um sistema de coordenadas

tri-dimensionais, onde cada ponto desse subespa¸co representa uma cor. Os modelos

de cores tˆem como principal objetivo facilitar a representa¸c˜ao das cores em algum

padr˜ao aceit´avel. Os modelos de cores, atualmente existentes, podem ser

separa-dos em dois tipos: modelos orientasepara-dos a hardware (RGB, YUV e CMY) e orien-tados a usu´arios (HSV, HSL e HVC). Cada modelo possui um meio de convers˜ao

para alguma outra especiﬁca¸c˜ao de cor, todas elas internacionalmente

padroniza-das [Foley and Hughes, 1990].

O m´odulo digitalizador do sistema proposto, como j´a foi dito, trabalha com dois

modelos de cor, RGB e HSL, o que n˜ao impede de ser usado outro modelo. Isso

é poss´ıvel através do processo de conversão de modelos que pode facilmente ser

implementado, embora `as custas de um maior esfor¸co computacional. A seguir ´e

feita uma breve cita¸c˜ao dos modelos fornecidos pelo m´odulo digitalizador.

2.2.1 Modelo RGB

Baseado na teoria de “tri-est´ımulo” da vis˜ao, os olhos humanos percebem a cor

através da ativa¸cão de três pigmentos visuais nos cones da retina. Esses

pigmen-tos tˆem um pico de sensibilidade nos comprimenpigmen-tos de onda por volta de 630nm

(vermelho), 530nm (verde) e 450nm (azul). A cor ´e percebida pela compara¸c˜ao

das intensidades das cores prim´arias de uma fonte luminosa. Essa teoria serve

como base para a constru¸c˜ao de monitores coloridos que usam as trˆes cores

pri-m´arias [Hearn and Baker, 1994].

O modelo RGB ´e o mais usado dentre os modelos de cores. Ele se baseia em um

sistema de coordenadas cartesianas, onde cada cor aparece em seus componentes

espectrais primários Red (vermelho), Green (verde) e Blue (azul). As três cores juntas com toda intensidade formam a corbranca, e a ausência das três forma a cor

(36)

intervalo [0,1], de acordo com o subespa¸co de um sistema de coordenadas

tridimen-sionais como mostrado na ﬁgura 2.1.

A origem do sistema de coordenadas, citado anteriormente, representa a cor

preta, sendo o branco representado pelo v´ertice (1,1,1) do cubo de cores. Neste cubo,

a escala de cinza varia do preto ao branco, ao longo da reta que une esses dois

vérti-ces. As cores primárias (vermelho, verde e azul) são representadas pelos vértices do

cubo sobre os eixos do sistema de coordenadas. Os v´ertices remanescentes

represen-tam as cores complementares (amarelo, ciano e magenta) [Foley and Hughes, 1990],

que são aquelas que, se somadas à sua cor primária, resultam na cor branca (1,1,1),

como pode ser visto nas equa¸c˜oes abaixo:

vermelho(1,0,0) +ciano(0,1,1) =branco(1,1,1) (2.1)

verde(0,1,0) +magenta(1,0,1) =branco(1,1,1) (2.2)

azul(0,0,1) +amarelo(1,1,0) =branco(1,1,1) (2.3)

(1,0,1) Verde

Vermelho

Azul Ciano

Preto

Branco

Magenta

Amarelo

(0,0,0)

(1,1,0)

(0,0,1)

(1,1,1)

(1,0,0) (0,1,0)

(0,1,1)

(37)

2.2.2 Modelo HSL

O modelo HSL (Hue, Saturation, Lightness) ´e um modelo baseado em

parˆame-tros intuitivos de cores, sendo derivado do cubo de cores do modelo RGB. Ele ´e

representado por um “cone hexagonal duplo”. A maneira como ´e formado o

hexá-gono do modelo HSL é melhor visualizada na figura 2.2. O cone hexagonal duplo

representa o subconjunto de um sistema de coordenadas cil´ındricas, como mostrado

na ﬁgura 2.3 [Hearn and Baker, 1994].

Os parâmetros do modelo HSL são especificados como:

• Intensidade de CorH: especiﬁca um ˆangulo ao redor do eixo vertical do cone,

variando de 0o_{, que corresponde ao vermelho, a 360}o_{. Os v´ertices do hex´agono}

são separados por ângulos de 60o_{, e correspondem às cores primárias e suas}

complementares. Cada v´ertice de cor complementar situa-se a 180o _{do v´ertice}

da respectiva cor primária. O parâmetro H possui valor indefinido para a

escala de cinza, que vai do preto ao branco.

• Satura¸c˜aoS: medida ao longo do eixo horizontal e especiﬁca a pureza relativa

da cor. Este parˆametro varia de 0 a 1, e para cores puras, S = 1. `A medida

queS diminui, a pureza da cor tamb´em diminui. Em S = 0 temos a escala de

cinza.

• Luminˆancia L: medida ao longo do eixo vertical, possui valor 0 para o preto e

1 para o branco. Especiﬁca a quantidade de luz na cor. ParaL= 0.5 eS = 1

temos um hex´agono que corresponde `as cores puras.

FOLEY e HUGHES [Foley and Hughes, 1990] descrevem rotinas em linguagem

de programa¸c˜ao C que possibilitam a transforma¸c˜ao do modelo RGB para o HSL, e

vice-versa.

2.2.3 Escolha do Modelo de Cor

A escolha do modelo de cor no tratamento de imagens ´e de fundamental

(38)

B Vermelho Amarelo Verde Azul Ciano Magenta G R Branco

Hexágono de cores (b) (a)

Modelo RGB

Figura 2.2: Vendo o cubo de cores RGB (a) ao longo da diagonal principal, seus

limites externos formam um hex´agono (b).

120o 240o 0o 0.5 S H L Branco Verde Vermelho Ciano Azul Magenta Amarelo Preto 1.0 0.0

Figura 2.3: Cone Hexagonal Duplo - Modelo HSL.

escolhida uma componente, ou rela¸c˜ao entre componentes, do modelo de cor que

(39)

Isso permite a defini¸cão de limites bem espec´ıficos onde estão localizados os diversos

elementos da imagem.

Além da robustez a varia¸cões de ilumina¸cão, um fator muito importante a ser

considerado em processamento de imagens ´e o tempo de execu¸c˜ao dos programas.

Sendo assim, deve ser escolhido um modelo que forne¸ca a maior quantidade de

informa¸c˜oes de cor, com a menor quantidade de dados poss´ıvel que possibilite a

diferencia¸c˜ao de cores dos objetos da imagem em quest˜ao.

O modelo HSL possui caracter´ısticas de cor e de luminˆancia separadas, ao

má-ximo, em duas componentes: H, que especifica a cor, e L, que especifica a quantidade

de luz que possui a imagem. Portanto, varia¸c˜oes de luz na imagem interferem

dire-tamente nos valores expressos na matriz L, e quase n˜ao alteram os valores da matriz

H. Como a separa¸cão das caracter´ısticas de cor e de luminância não é completa, uma

margem de seguran¸ca deve ser considerada ao se trabalhar com o modelo HSL. Uma

desvantagem do modelo HSL é que ele não possui valores definidos da matriz H para

as cores branca e preta, que s˜ao cores predominantes na imagem a ser processada.

Já o modelo RGB necessariamente utiliza as três componentes para definir as cores

e a quantidade de luz da imagem. Isso implica que, ao utilizar o modelo RGB para

diferencia¸cão de cores, deve-se fazer uso de suas três componentes ou definir uma

rela¸c˜ao entre elas que possibilite tal trabalho.

2.3 Arquitetura do Sistema de Vis˜

ao Proposto

O sistema de vis˜ao proposto pode ser dividido em m´odulos como mostra a

fi-gura 2.4. As informa¸cões sobre o espa¸co de trabalho (campo de jogo) são obtidas

pelo m´odulo de aquisi¸c˜ao de imagens. Antes desses dados serem processados, o

sis-tema deve ser calibrado. A calibra¸cão do sissis-tema pode ser feitaoff-lineou em tempo real, quando necessário. Como resultados do processamento dos dados, são

forneci-das posi¸cão, orienta¸cão e identifica¸cão dos objetos em campo. As se¸cões seguintes

(40)

do campo

Imagem _{Processamento}

Calibrar Sistema

Posição, orientação e identificação dos objetos Adquirir

Imagens

Figura 2.4: Diagrama simpliﬁcado de um sistema de vis˜ao.

2.3.1 Aquisi¸

c˜

ao de imagens

De acordo com GONZALEZ [Gonzalez and Woods, 1994], dois elementos s˜ao

primordiais em uma aquisi¸c˜ao de imagens digitais. O primeiro ´e um dispositivo

f´ısico que seja sens´ıvel a uma banda do espectro de energia eletromagn´etica e que

produza um sinal el´etrico de sa´ıda, proporcional a um n´ıvel de energia percebida. O

segundo elemento, chamado digitalizador, ´e um dispositivo para convers˜ao do sinal

el´etrico da sa´ıda do dispositivo de sensoreamento f´ısico, para a forma digital. No

caso do projeto de futebol de robˆos LECA-UFRN, utiliza-se uma cˆamera CCD 2

Samsung colorida. O digitalizador utilizado é uma placa de aquisi¸cão de imagens (frame grabber) da National Instruments, modelo PCI 1411. A mesma fornecerá dados, de forma c´ıclica, em três matrizes de componentes de cor, onde cada elemento

dessas matrizes est´a associado a um ponto de um determinado quadro da imagem,

denominado pixel. Os modelos de cor padr˜oes do digitalizador s˜ao o RGB e o HSL,

cuja utiliza¸cão será discutida posteriormente. O esquema de aquisi¸cão de imagens é

representado de forma simpliﬁcada pela ﬁgura 2.5.

De acordo com as regras da FIRA, a cˆamera deve ser montada a dois metros ou

(41)

G B R

CCD

H S L DIGITA−

LIZADOR

Figura 2.5: Esquema de aquisi¸c˜ao de imagens de uma partida de futebol de robˆos.

mais acima do campo de jogo. A altura da cˆamera ´e importante, pois, quanto mais

alta ela estiver, menos distorcida aparecer´a a imagem. Em vista do que foi

apresen-tado nesta se¸cão, conclui-se que o processo de aquisi¸cão de imagens é relativamente

simples, devido ao fato de j´a existir hardware espec´ıﬁco para essa tarefa, restando apenas escolher os componentes que melhor se adaptam ao processo, dentre eles, o

modelo de cor que deve ser usado: RGB ou HSL. A ﬁgura 2.6 mostra um exemplo

de uma imagem adquirida do campo no modelo RGB. A ﬁgura 2.7 mostra a mesma

imagem representada no modelo HSL, ou seja, a imagem ´e representada

utilizando-se os valores H, S e L, respectivamente, para os parˆametros R, G e B. Na imagem

do campo representada no modelo HSL (figura 2.7) pode ser percebida a indefini¸cão

de valores do parˆametro H para as cores branca e preta, predominantes na imagem.

2.3.2 Calibra¸

c˜

ao

O estágio de calibra¸cão frequentemente é realizadooff-line, previamente ao pro-cessamento propriamente dito, visando sintonizar o estágio de propro-cessamento, de

modo a otimizar a dete¸c˜ao dos objetos em campo. O processo de calibra¸c˜ao pode

ser efetuado manualmente, pelo operador, ou de modo autom´atico, por um

(42)

Figura 2.6: Exemplo de imagem representada no modelo RGB.

Figura 2.7: Exemplo de imagem representada no modelo HSL.

de processamento usados no sistema de vis˜ao, tais como: brilho, satura¸c˜ao,

con-traste e resolu¸c˜ao da imagem. Al´em disso, de acordo com o modelo de cor utilizado

(43)

objetos de cor, ou seja, os rótulos que identificam cada robô, e a bola laranja. Esses

dados são fornecidos como parâmetros de inicializa¸cão do programa de localiza¸cão

dos robôs e da bola, possibilitando a classifica¸cão de cada pixel da imagem. Esse

estágio do sistema de visão será melhor tratado no cap´ıtulo 4.

2.3.3 Processamento das Imagens

Após o estágio de calibra¸cão, a imagem está pronta para ser processada. Aqui

deve entrar em a¸cão o softwarede localiza¸cão e identifica¸cão dos elementos da ima-gem. O algoritmo de localiza¸cão fornece a posi¸cão e a orienta¸cão de todos os objetos

em cena. O processo de identifica¸cão consiste na determina¸cão do que representa

cada objeto localizado na imagem, isto é, o algoritmo de identifica¸cão deve

reco-nhecer os objetos detectados, associando-os a modelos conhecidos (ex.: robˆo 02 do

time azul, bola, etc.). O modo como essa informa¸c˜ao deve ser extra´ıda ﬁca a cargo

do algoritmo de localiza¸cão e identifica¸cão dos elementos da imagem. O algoritmo

utilizado deve atuar de forma r´apida e eﬁciente, analisando a maior quantidade

pos-s´ıvel de quadros por segundo, implicando na eﬁciˆencia do sistema. O algoritmo de

localiza¸cão dos robôs e da bola é melhor tratado no cap´ıtulo 5.

2.4 Conclus˜

oes

Este cap´ıtulo mostrou, de uma maneira geral, as caracter´ısticas mais relevantes a

serem levadas em considera¸c˜ao no projeto de um sistema de vis˜ao aplicado ao futebol

de robˆos. Os cap´ıtulos seguintes mostram o funcionamento detalhado dos m´odulos de

calibra¸cão e processamento das imagens, para fornecimento da posi¸cão, orienta¸cão e

identifica¸cão dos objetos do espa¸co de trabalho, propostos nesta disserta¸cão. Antes

disso, são mostradas algumas técnicas utilizadas em alguns sistemas de visão já

(44)

Cap´ıtulo 3

T´

ecnicas Existentes

3.1 Introdu¸

c˜

ao

Os cap´ıtulos anteriores mostraram uma vis˜ao do funcionamento do futebol de

robôs e uma série de objetivos relacionados ao módulo de visão. Este cap´ıtulo

apresenta uma revisão de técnicas que podem ser ou têm sido usadas para calibra¸cão,

classifica¸cão de cores e deteçcão de objetos, com o propósito de satisfazer os objetivos

do m´odulo de vis˜ao.

3.2 Calibra¸

c˜

ao e Classiﬁca¸

c˜

ao

O est´agio de calibra¸c˜ao consiste basicamente em analisar as imagens adquiridas,

sob determinadas condi¸cões de ilumina¸cão, e determinar os parâmetros do sistema

de visão mais eficientes para classificar a cor de cada pixel. A seguir são apresentadas

algumas t´ecnicas que visam esse prop´osito.

3.2.1 Sub-espa¸

co de cores

Essa técnica consiste em definir manualmente, através da análise de histograma1

,

um subespa¸co dentro do espa¸co 3D (R,G,B) de cores correspondente a cada cor

(45)

presente na imagem. Após delimitados esses subespa¸cos, são definidos intervalos

bidimensionais das rela¸c˜oesR/GeG/Bpara classiﬁcar cada pixel de cor da imagem

[Costa et al., 1999]. Os dados podem tamb´em ser mapeados somente nos planos RG

e GB [Campos et al., 1998].

Apesar de ter produzido resultados satisfat´orios, como analisado por seus autores,

esta t´ecnica apresenta algumas desvantagens como: perda dos objetos em algumas

imagens durante a partida e diﬁculdade em deﬁnir subespa¸cos mutuamente exclusos

capazes de classiﬁcar uma grande quantidade de cores. Isso impossibilita o uso de

muitas cores no jogo.

3.2.2 Menor distˆ

ancia

Após a análise do histograma, um vetor (R, G, B) é definido para cada cor. A

classifica¸cão de cores é feita observando-se a menor distância entre o vetor RGB

de cada pixel, e os vetores de cor deﬁnidos anteriormente [Wyeth et al., 1999]. A

grande desvantagem deste método consiste na dificuldade em definir corretamente

o vetor RGB de classiﬁca¸c˜ao.

3.2.3 Sele¸

c˜

ao com o mouse

Essa t´ecnica consiste em o usu´ario utilizar o mouse para, a partir das imagens

capturadas em tempo real, deﬁnir as cores que ser˜ao utilizadas. Por exemplo, para

calibrar a cor da bola, o usu´ario seleciona a a¸c˜ao “calibrar - cor da bola” em um

menu e depois clica com o mouse em trˆes regi˜oes distintas da imagem da bola. Esses

cliques capturam os valores RGB de cada um dos trˆes pixels. O programa deﬁne

uma faixa de valores tridimensionais, de tamanho pr´e-determinado pelo usu´ario, que

possua a m´edia dos valores anteriormente capturados como o centro desse intervalo.

Esse intervalo de valores serve para classiﬁcar aquela cor, ou seja, todo pixel

anali-sado que possua valor dentro desse intervalo ser´a classiﬁcado como sendo dessa cor

[Bianchi and Costa, 2000].

(46)

ape-sar de sua praticidade, o mesmo apresenta algumas desvantagens como por exemplo,

a impossibilidade de o sistema deﬁnir limites suﬁcientemente grandes, que sejam

ca-pazes de classificar corretamente cada pixel. Devido às varia¸cões de luminosidade

no campo de jogo, um pixel pode pertencer a um certo objeto de cor e, devido aos

limites terem sido mal calculados, ser classiﬁcado erroneamente.

3.3 Localiza¸

c˜

ao dos Objetos

Essa etapa consiste em analisar os dados correspondentes `a imagem e deﬁnir

quais objetos estão presentes nela (robôs e bola), além de sua localiza¸cão no espa¸co

de trabalho. Para facilitar a localiza¸cão de cada robô, rótulos coloridos em seu

topo podem ser utilizados. T´ecnicas foram pesquisadas e estudadas, sendo algumas

mostradas a seguir.

3.3.1 Centr´

oide do quadrado

A técnica do cálculo do centróide do quadrado foi utilizada pelo time GUARAN Á

[Costa et al., 1999] para robôs que utilizam rótulos como o da figura 3.1. Os robôs

são diferenciados, uns dos outros, com dois rótulos, um que define a cor do time e

outro que define a orienta¸cão do robô. ´

E feita uma an´alise pixel a pixel dos dados da imagem, sendo os pixels

classifica-dos e agrupaclassifica-dos. O centróide (x, y) de cada rótulo e a posi¸cão da bola são calculados

por:

x= 1

n

i=1

xi ey =

1

n

i=1

yi, (3.1)

onde os pontos (xi, yi) correspondem aos pixels que foram classiﬁcados como

per-tencentes ao rótulo e n ao número de pixels do rótulo. Após calculados todos os

centróides, a orienta¸cão a é medida a partir do eixo x ao vetor tp, como ilustrado

na ﬁgura 3.1, sendo dada pela f´ormula:

a= arctan yp−yt

xp−xt

(47)

Time

Cor do

Cor

t

p

a

rodas

x

Auxiliar

Figura 3.1: Robô do time GUARAN Á. Cálculo da posi¸cão e orienta¸cão.

A posi¸cão (x, y) de cada robô é dada por uma rela¸cão entre os centróides dos

dois r´otulos deste robˆo, dada por:

x= c1xt+c2xp

c1+c2

ey = c1yt+c2yp

c1+c2

, (3.3)

ondec1 ec2 são fatores que dependem do tamanho de cada rótulo e da resolu¸cão da

imagem.

O esfor¸co computacional empregado neste m´etodo constitui em uma grande

des-vantagem, porque o algoritmo requer a an´alise de todos os pixels da imagem para

poder determinar os pixels que constituem cada r´otulo.

3.3.2 Momentos e Eixos Principais

A orienta¸cão também pode ser calculada através do cálculo de momentos dos

elementos de cor (rótulos) da imagem. Este método pode ser aplicado para identificar

robôs com rótulos, como o mostrado na figura 3.2 [Kim and Vadakkepat, 2000].

Essa t´ecnica consiste em calcular, pelo uso de momentos, o eixo maior p do

(48)

y

x

rodas

O

p q

Figura 3.2: Posi¸cão e orienta¸cão baseada no cálculo do momento angular.

calculados utilizando-se a seguinte equa¸c˜ao [Wyeth and Brown, 2000]:

mjk = xmax

x=_x_min

ymax

y=_y_min

(x−xc)j(y−yc)kf(x, y), (3.4)

onde f(x, y) é 1 se o pixel pertence ao rótulo, e 0 caso contrário. Os fatores xmin,

xmax,ymin eymax s˜ao os extremos do agrupamento colorido determinado durante o

processamento. O centróide (xc, yc) é pré-calculado durante o processo de forma¸cão

dos grupos coloridos. A orienta¸c˜ao q do eixo principal, p, do segmento ´e calculada

atrav´es da seguinte equa¸c˜ao:

tan(2q) = 2m11

m20−m02

. (3.5)

A orienta¸cão do robô é calculada a partir da orienta¸cão do eixo principal p, de

acordo com a disposi¸cão do rótulo no robô. Para o caso do robô representado na

figura 3.2, a sua orienta¸cão é calculada por:

(49)

A posi¸cão do robô é determinada pelo centróide de seu rótulo. A posi¸cão da

bola é determinada pelo seu centróide. O esfor¸co computacional também é uma

grande desvantagem deste método, devido à necessidade de resolu¸cão de equa¸cões

matem´aticas complexas para c´alculo dos momentos, pois as mesmas operam sobre

um grande n´umero de pixels.

3.3.3 Centr´

oide do c´ırculo

Neste m´etodo, a cada nova imagem o sistema inicia uma varredura, com passos

menores que a metade do menor objeto, `a procura da cor desejada. Ao encontrar

um pixels com a cor da bola, sua vizinhan¸ca ´e processada e seu centro determinado,

e ao encontrar um pixel com a cor de um dos robˆos, o sistema inicia um algoritmo

que determina sua posi¸c˜ao e orienta¸c˜ao, analisando os pixels vizinhos ao pixel

encon-trado. Essa t´ecnica apresentada pelo time FUTEPOLI [Bianchi and Costa, 2000],

foi empregada para robˆos que possuem r´otulos circulares.

O cálculo do centróide dos rótulos circulares e da bola é feito com o uso de um

algoritmo bastante simples, ilustrado na ﬁgura 3.3. A partir de um ponto inicial

(Pini) encontrado com a cor desejada, analisa-se o pixel imediatamente vizinho `a

esquerda. Caso ele tenha a mesma cor que o ponto encontrado, passa-se ao vizinho

do vizinho, e assim sucessivamente, at´e encontrar o primeiro ponto que n˜ao pertence

ao r´otulo (P1). O processo ´e repetido para a direita, para determinar o ponto P2.

Tra¸ca-se ent˜ao uma reta de P1 aP2. A partir do ponto m´edio da reta anteriormente

tra¸cada (Pcx), tra¸ca-se uma perpendicular e encontram-se as bordas do c´ırculo (P3

e P4), repetindo-se o mesmo procedimento para cima e para baixo. O ponto m´edio

Pcentral dessa segunda reta deﬁne o centro do c´ırculo.

A identifica¸cão dos robôs do time FUTEPOLI é composta de dois c´ırculos de

tamanhos e cores diferentes, como pode ser visto na ﬁgura 3.4. Para encontrar a

posi¸cão e orienta¸cão de um robô é utilizado o seguinte algoritmo:

1. Encontre o centro do c´ırculo maior.

(50)

P1

_P2

P3

P4

Pcx

Pcentral

Pini

Figura 3.3: C´alculo do centro do r´otulo circular.

3. Considerando a distˆancia entre os c´ırculos maior e menor, deﬁnir pares de

c´ırculos como pertencentes a um mesmo robˆo.

4. Caso haja mais de uma combina¸c˜ao poss´ıvel entre pares, veriﬁque se existe a

conex˜ao preta entre eles, deﬁnindo um par.

5. Trace uma reta ligando os centros dos c´ırculos pertencentes ao mesmo robˆo. O

seu ponto médio define a posi¸cão do robô, e sua inclina¸cão define a orienta¸cão

do robˆo.

Esse m´etodo, apesar de muito bom, possui algumas desvantagens. Al´em da

ne-cessidade do uso de três cores em cada robô, o segundo rótulo é muito pequeno e

pode ser de dif´ıcil localiza¸cão em determinadas cenas. Após uma calibra¸cão onde os

limites de classifica¸cão de cores foram definidos manualmente, o algoritmo de

detec-¸c˜ao de c´ırculos foi testado e, em certas ocasi˜oes, os cruzamentos de linhas brancas

(51)

C

C menor

maior

Fundo

Figura 3.4: Identifica¸cão dos robôs do time FUTEPOLI.

3.4 Conclus˜

oes

O estudo das t´ecnicas descritas neste cap´ıtulo serviu de referˆencia para uma

me-lhor defini¸cão das técnicas propostas neste trabalho, tendo como principal objetivo

propiciar um sistema de visão com maior eficiência e robustez. Os cap´ıtulos

seguin-tes tratam detalhadamente das t´ecnicas desenvolvidas para o projeto de Futebol de

(52)

Cap´ıtulo 4

Calibra¸

c˜

ao: O Algoritmo

K-Means

4.1 Introdu¸

c˜

ao

Um dos mais importantes estágios do sistema de visão consiste na calibra¸cão de

cores. As cores precisam ser deﬁnidas e cada pixel precisa ser reconhecido e

clas-sificado. O estágio de calibra¸cão consiste, basicamente, em uma análise prévia dos

dados de uma imagem modelo sob determinadas condi¸c˜oes de luz. O principal

obje-tivo da calibra¸cão é possibilitar ao sistema de visão identificar e classificar, quanto

`a cor, todos os pixels da imagem. Para isso, precisa ser deﬁnido o menor volume

no espa¸co de cores que contenha a cor desejada [Campos et al., 1998]. Essa fase ´e

muito importante, pois o sistema deve ser calibrado de acordo com a luminosidade

dispon´ıvel. Ap´os calibrado, o sistema deve mostrar-se robusto a pequenas e r´apidas

varia¸cões de luminosidade, e à desigual quantidade de luz nas diversas regiões do

campo.

A calibra¸cão de cores pode ser feita de forma manual ou automática. A calibra¸cão

manual consiste em o usu´ario analisar as matrizes de componentes de cor na sa´ıda

do digitalizador e fornecer os parˆametros essenciais ao programa de localiza¸c˜ao dos

robôs. A calibra¸cão automática consiste na execu¸cão de um programa que detecte

os parâmetros que possibilitem identificar e classificar os pixels da imagem. Esse

(53)

no algoritmo de aglomera¸cão K-means. Antes disso, a revisão de alguns conceitos é de extrema importância.

4.2 Limiar e Histograma

Limiar pode ser deﬁnido como um valor limite entre diferentes faixas de

intensi-dade que separa classes diferentes de pixels. Ele pode ser usado para checar o n´ıvel

de intensidade de um determinado pixel e classiﬁc´a-lo segundo o seu valor. Muito

utilizado no tratamento de imagens bin´arias, ajuda a identiﬁcar o contraste existente

entre suas partes. Esse conceito é útil para a defini¸cão de limites que sejam capazes

de agrupar pixels pertencentes a um mesmo elemento de cor. Esses limites ser˜ao

determinados a partir da an´alise do histograma.

Considerer uma vari´avel que representa os n´ıveis dos elementos de uma matriz,

onde esses elementos correspondem aos pixels de uma imagem, e r variando em

um intervalo discreto de tamanho L, [0, L−1]. O histograma de uma determinada

componente de uma imagem digital, com n´ıveis variando no intervalo anteriormente

citado, pode ser representado pela fun¸c˜ao:

h(rk) =

nk

n, (4.1)

onderk representa o k-´esimo n´ıvel da componente,nk o n´umero de pixels na imagem

com esse n´ıvel, n o n´umero total de pixels ek= 0,1, ..., L−1.

A fun¸cão h(rk) dá uma estimativa da probabilidade de ocorrência de um

deter-minado n´ıvel rk de uma componente. Um gráfico dessa fun¸cão, para todos os valores

de k, fornece uma descri¸cão global da aparência de uma imagem. A figura 4.1

mos-tra o histograma de dois tipos de imagens em preto e branco. O histograma da

figura 4.1(a) mostra que os n´ıveis de cinza estão concentrados em dire¸cão à

extre-midade “escura” do intervalo de n´ıveis. Assim, esse histograma corresponde a uma

imagem com caracter´ısticas predominantemente escuras. O contr´ario se veriﬁca

para a ﬁgura 4.1(b), onde os n´ıveis de cinza se concentram na extremidade “clara”

(54)

k

p(r )

k

r

k

r

k

p(r )

Imagem clara Imagem escura

(b) (a)

Figura 4.1: Histograma de dois tipos b´asicos de imagens.

Embora as propriedades acima discutidas sejam descri¸c˜oes globais que n˜ao dizem

nada espec´ıfico sobre o conteúdo da imagem, a forma do histograma nos dá

informa-¸c˜oes sobre a possibilidade para realce do contraste ou, at´e mesmo, mostrar a

exis-tˆencia de elementos com um determinado n´ıvel de cor [Gonzalez and Woods, 1994].

Em imagens coloridas, os pixels podem ser considerados como pontos num espa¸co

tridimensional, cujas coordenadas dependem do modelo de cores adotado (RGB,

HSL, etc.). Neste caso, os limiares n˜ao s˜ao mais representados por um valor escalar,

um ponto que separa a reta de intensidade em duas semi-retas associadas a classes

diferentes, mas por superf´ıcies (semi-planos, superf´ıcies esf´ericas, etc.), que dividem

o espa¸co de cores em sub-espa¸cos disjuntos, cujos pontos podem ser associados a

classes (ouclusters) diferentes.

4.3 O Algoritmo

K-means

Diversas técnicas de aglomera¸cão têm sido ferramentas frequentemente

recomen-dadas para trabalhos de classifica¸cão de padrões. Aglomera¸cão nada mais é que um

processo de particionamento de um conjunto de padrões em grupos (clusters) disjun-tos, ou classes. É feito de tal forma que os padrões do mesmo agrupamento são

(55)

O objetivo final de toda técnica de aglomera¸cão é encontrar “agrupamentos

natu-rais” atrav´es da an´alise de um conjunto de dados. Provavelmente o mais popular

algoritmo de aglomera¸c˜ao ´e o algoritmo K-means.

O algoritmo K-meansé largamente aceito como uma técnica “padrão” de detec-¸cão automática de classes pela análise de dados [Raatikainen, 1993]. Trata-se de

um m´etodo baseado em heur´ıstica, que possui um grande poder de modelagem. O

princ´ıpio de aglomera¸cão consiste na determina¸cão do modelo da distribui¸cão dos

exemplos no espa¸co atribu´ıdo. O K-means atinge esses objetivos de forma rápida e eficiente, utilizando um número fixo de classes iniciais, determinadas pelo

usu´a-rio [Michie et al., 1994]. Assim como todos os m´etodos particionais, o algoritmo

K-means produz uma parti¸cão dos n objetos em K agrupamentos, geralmente oti-mizando uma fun¸cão objetivo. Essa fun¸cão objetivo geralmente é representada pelo

somatório das distâncias entre os dados e o centro que o classifica, o que

corres-ponde ao erro total absoluto. Existem algumas vantagens, como a possibilidade de

mudan¸cas de pertinˆencia de objetos em rela¸c˜ao a um agrupamento durante todo o

processo de forma¸c˜ao dos agrupamentos, e possibilidade de trabalhar com grandes

bases de dados. Esse método requer tempo de ordem O(n), onde n é o número de

objetos no conjunto de dados [Costa, 1999].

O referido algoritmo é sens´ıvel à escolha das classes iniciais. O fato do número

de classes ter que ser fixa e conhecida a priori, e de solu¸cões diferentes poderem ser geradas dependendo do número K de classes escolhidas, constituem algumas

desvantagens do K-means. Cada classe é representada por um ponto (centro) e, inicialmente, é formada somente por este. A escolha inicial correta do número de

classes ´e um dos problemas mais fundamentais e ainda n˜ao solucionados. O problema

de se escolher K de forma errada é que o método irá impor uma estrutura aos dados

ao inv´es de buscar uma inerente a estes [Alsabti et al., 1997]. A escolha dos centros

deve ser feita dentro da base de dados, pelo usu´ario ou de forma aleat´oria.

Após escolhidos os centros, cada dado é assinalado como pertencente à classe cujo

centro está mais próximo. Após todos os dados serem processados, a posi¸cão média

(56)

novamente. Esse processo é repetido até que não mais ocorram mudan¸cas nos centros

encontrados ou um número limite de itera¸cões definido pelo usuário seja atingido.

O algoritmo 1 e a ﬁgura 4.2 mostram melhor o funcionamento doK-means.

Algoritmo 1 Algoritmo de aglomera¸c˜ao K-means.

1 Inicialize os K centros (w1, ..., w_k), que representam as classes

2 Cada classe Cj ´e associada a um centrowj

3 Para cada dado de entradapl, assinale-o como pertencente `a classe Cj, casowj

seja o centro mais pr´oximo a este dado

4 Para cada classeCj, atualize os centroswj atrav´es da m´edia de todas as amostras

de dados assinaladas como pertencentes a cada classe Cj

5 Calcular a fun¸c˜ao de erro E:

E =

k

j=1

pl∈Cj

|pl−wj|

2

6. Repetir passos 3, 4 e 5 até que o erro E não mude significativamente

4.4 Calibra¸

c˜

ao do Sistema

Antes da calibra¸c˜ao de cores do sistema, alguns parˆametros como brilho,

con-traste, satura¸cão e resolu¸cão, referentes à imagem precisam ser ajustados. Esses

ajustes são feitos manualmente através dosoftwareque acompanha a placa digitali-zadora, de forma que a imagem do campo apresente uma boa ilumina¸cão e contraste

(diferen¸cas entre cores). Outro parâmetro de extrema importância é a altura da

cˆamera, que deve ser ajustada previamente, pois inﬂuencia diretamente nos valores

dos parˆametros anteriormente citados. De acordo com as regras da FIRA (ver

apˆen-dice A), a cˆamera deve ser posicionada a dois metros ou mais acima do campo de

jogo.

A calibra¸cão de cores é feita utilizando-se o algoritmoK-means. Inicialmente são escolhidos K centros de maneira aleatória, dentro do conjunto de pixels que forma a