Catadioptric System Applied on Mobile Robot Navigation in Agricultural Environment

Catadioptric System Applied on Mobile Robot

Navigation in Agricultural Environment

Vinicius Bergoli Trentini, Victor de Assis Rodrigues,

Aparecido Nilceu Marana

Programa de Pós Graduação em Ciência da Computação Universidade Estadual Paulista "Júlio de Mesquita Filho"

Bauru, SP, Brasil

Luciano Cássio Lúlio, Mário Luiz Tronco, Arthur José

Vieira Porto

Departamento de Engenharia Mecânica Escola de Engenharia de São Carlos

Universidade de São Paulo São Carlos, SP, Brasil

Resumo— Sistemas de visão catadióptricos apresentam campo de visão em 360° do ambiente explorado, usando a combinação de lentes e espelhos. São comumente usados em ambientes indoor estruturados, com obstáculos estáticos, o que quando submetido em aplicações de exploração em ambientes externos (e rurais) fomentam várias questões arbitrárias e que prejudicam o processamento das imagens adquiridas. Dada esta premissa, o presente artigo apresenta a aplicação de um sistema de visão omnidirecional catadióptrico aplicado na navegação de robôs móveis agrícolas, entre linhas de plantio de pomares de laranja, onde obstáculos e irregularidades do solo durante a locomoção são pontos críticos necessários à correção do pré-processamento e algoritmos de segmentação sequenciais.

Palavras Chave—Visão omnnidirecional, robôs agrícolas móveis, sistemas catadióptricos, ambientes externos agrícolas.

Abstract— Omnidirectional catadioptric systems have aimed a 360-degree vision of the environment using combination of lenses and mirrors. This type of system is well explored in indoor environments, but in outdoor environments, especially in rural areas, there are several issues that need of attention. The aim of this paper is to present an experiment to mobile robot navigation using an omnidirectional system in rural environment for orange groves, where obstacles and irregularities of the ground during locomotion are critical points and is necessary to correct them using image processing and sequential segmentation's techniques. Keywords—Omnidirectional vision, agricultural mobile robots, catadiptric systems, agricultural outdoor environments.

I. INTRODUÇÃO

Os sensores de visão são ferramentas bastante difundidas na área da Robótica Móvel, uma vez que eles conseguem capturar uma grande quantidade de informações do ambiente sem a necessidade de contato físico e com custos bem acessíveis de implantação. Em muitos problemas enfrentados nessa área, como é o exemplo da navegação autônoma, é interessante a ampliação do campo de visão desses sensores, visto que com o aumento de informações do ambiente é possível que o robô melhore sua tomada de decisões. A Visão Omnidirecional é responsável por fornecer técnicas capazes de ampliar o campo de visão, obtendo uma imagem 360º do

ambiente [1]. Dentro desse conceito estão os Sistemas Catadióptricos, criados a partir da combinação de espelhos com câmeras convencionais [7]. Trabalhos na área da navegação de robôs [2] [3] [6], vigilância [10] e reconstrução de ambientes 3D [8] são apenas exemplos de áreas que esses sistemas podem atuar.

Entretanto, muitos obstáculos surgem quando essas técnicas são utilizadas em ambientes outdoors agrícolas. Além das condições climáticas, a nivelação do terreno, áreas muito extensas para operação, aparência da vegetação e iluminação do ambiente inconstantes juntamente com a presença de obstáculos aleatórios são apenas exemplos de problemas frequentemente encontrados [5]. Além disso, as técnicas utilizadas devem ser eficientes e aplicáveis em tempo de execução, pois essa condição caracteriza algoritmos destinados à navegação de robôs autônomos.

O trabalho presente apresenta um estudo sobre técnicas de processamento aplicáveis em Imagens Omnidirecionais Catadióptricas. O objetivo aqui é encontrar linhas navegáveis em plantações de pomares de laranja suficientes para que Robôs Móveis possam operar. Para isso, será observada a eficácia de um conjunto de filtros de processamento em dois grupos de imagens: em imagens omnidirecionais que foram diretamente recuperadas pela reflexão do espelho e em imagens panorâmicas geradas a partir da transposição de coordenadas tendo como base as imagens omnidirecionais originais. Para a planificação dessas imagens, será aplicada a propriedade de centro único de projeção, característica a ser explorada em espelhos hiperbólicos.

Sobre a organização do trabalho, a Sessão II apresenta os fundamentos utilizados para estruturação do método de pesquisa. A Sessão III descreve os passos que foram realizados para criação do teste experimental e a Sessão IV apresenta os resultados obtidos até o momento.

II. MÉTODOS

A. Softwares e Equipamentos Utilizados

Os experimentos foram realizados com uma câmera Logitech HD C525 capaz de capturar vídeos em até 5

mega-pixels. Para o material do invólucro da câmera foi utilizado vidro com as bases de alumínio com dimensões 245mm x 79,1mm x 79,1mm. Através de um suporte de MDF, a câmera foi acoplada no interior do invólucro e ajustada para que seu centro ficasse alinhado com o centro focal do espelho, conforme ilustrado na Fig. 1. Para a criação do software foram utilizados a biblioteca OpenCV 2.1 com a IDE Visual Studio 2008.

Fig. 1 – Suporte de vidro do projeto, onde a câmera foi disposta em um suporte vertical direcionada ao espelho

hiperbólico. B. Imagens Omnidirecionais

Dentre os vários perfis de espelhos que podem ser utilizados em sistemas catadióptricos, foi escolhido o perfil hiperbólico por possuir uma boa distribuição na resolução da imagem refletida [9] e por apresentar a característica de centro único de projeção. O centro único de projeção é uma propriedade do espelho que garante a criação de imagens perspectivas de modo que fiquem livres de distorções horizontais [4] visto que os raios de luz que formam a imagem passam pelo centro focal do espelho depois que foram refletidos pela superfície do mesmo. Isso garante que um mesmo raio de luz não seja refletido em qualquer outro lugar na mesma superfície, evitando assim a duplicidade de imagens. Dessa maneira, é possível gerar as imagens panorâmicas através do método de retificação utilizando a propriedade de centro único de projeção descrita em [4].

Para os Sistemas Omnidirecionais Catadióptricos funcionarem corretamente, é necessário que a câmera esteja devidamente fixada na estrutura do equipamento e alinhada verticalmente com o centro do espelho para capturar uma maior área de informações do ambiente formada pela imagem refletida na superfície do espelho. Qualquer variação de inclinação ou distância promove a variação da imagem obtida e os resultados podem não ser os esperados. Encontrar o melhor posicionamento da câmera é uma tarefa que pode vir a ser exaustiva por parte do pesquisador.

C. Técnicas de Processamento de Imagens

Conforme observou [4], a etapa de retificação nos sistemas omnidirecionais é importante em várias aplicações pois a imagem planificada obtida ao final desse processo é

usualmente de ser interpretada pelos seres humanos e também permite que sejam aplicados nelas muitos algoritmos que por definição funcionam apenas em imagens panorâmicas ou perspectivas. Para a navegação autônoma, dependendo dos requisitos do problema, a etapa de retificação pode se tornar desnecessária e presume-se que deve ser evitada devido ao processamento adicional exigido. Por essa razão, as técnicas de processamento de imagens utilizadas foram definidas aplicando-as prioritariamente nas imagens omnidirecionais e só depois se verificou a eficiência desse método nas imagens retificadas.

O primeiro processo utilizado foi um filtro passa baixa smooth, frequentemente utilizado para reduzir ruídos e detalhes irrelevantes nas imagens. Nesse caso, esse filtro serviu para suavizar demasiadamente os efeitos de iluminação e sombras em muitas imagens que continham esses elementos em excesso. Depois, ainda com a imagem no espaço de cor RGB, foi aplicado um filtro median, que por definição procura reduzir ruídos nas imagens procurando manter arestas e formas dos objetos. Esse filtro serviu como uma boa solução para unificar áreas de interesse como é o caso das folhas das árvores e algumas partes do terreno, uma vez que os detalhes de cada uma dessas regiões são representados em poucos pixels na imagem e foi possível eliminá-los com esse filtro, formando assim pequenas regiões mais densas nas imagens.

Após esse processo, foi possível aplicar um ajuste de threshold em espaço HSV variando a quantidade de iluminação e excluindo um conjunto de cores relacionado ao céu e a área provável de ser navegável. Assim, foi possível adquirir uma imagem binária tendo como valores, apenas áreas de possíveis obstáculos ao redor do quadriciclo (usado como robô móvel guiado).

No caso da imagem omnidirecional, é possível criar landmarks virtuais com base na distorção sofrida pela forma da base da câmera causada pela curvatura da superfície do espelho e também por conhecermos a priori a orientação das linhas de plantio na imagem. Comparando essa estimativa com as áreas de navegação, foi possível estimar uma rota para ideal alinhamento do veículo dentro da área navegável. O resultado desse processo pode ser visto na próxima sessão.

III. EXPERIMENTOS

A. Captura das Imagens

Para que fosse possível a captura das imagens, foi utilizada uma estrutura em MDF alocada na parte traseira do veículo e o suporte da câmera omnidirecional foi instalado em cima dessa estrutura. Dessa maneira foram realizadas várias filmagens nas linhas de plantio. A biblioteca OpenCV permite a leitura e gravação de vídeos em formato AVI, e a partir desse mecanismo foi possível capturar os quadros e processá-los com as técnicas já citadas. A Fig. 2 ilustra a localização do equipamento no quadriciclo e a Fig. 3 mostra uma imagem capturadapor esse mecanismo.

Fig. 2 – Localização da câmera no quadriciclo.

Fig. 3 – Imagem capturada com o sistema de visão omnidirecional.

Para o processo de retificação dessas imagens em tempo real foram utilizados mecanismos denominados lookup tables [4]. Assim, todas as coordenadas dos pixels já foram calculadas a priori e armazenadas em uma estrutura de dados de fácil acesso (vetor). Como os dados da imagem no OpenCV também corresponde a um vetor, na hora da retificação foi necessário apenas percorrer os dois vetores e atualizar os pixels correspondentes. A Fig. 4 ilustra uma imagem retificada utilizando centro único de projeção.

Fig. 4 – Imagem retificada utilizando Centro Único de Projeção.

B. Problemas de ambiente

Como é possível perceber nas Fig. 3 e Fig. 4, não foi possível obter imagens do ambiente com uma boa qualidade e esse problema transmitiu-se para as imagens retificadas.

Como foi dito anteriormente, os ambientes outdoors agrícolas possuem características singulares se comparadas com outros ambientes. Na Fig. 3, por exemplo, é claramente possível observar a interferência do elemento sol na imagem. A refração desse foco de luz no espelho do invólucro causou um corte em uma das árvores localizada ao lado esquerdo da câmera. Devido a proximidade do veículo, essa circunstância deve ser tratada durante o processamento da imagem.

Outro problema é a irregularidade do terreno. A oscilação causada juntamente com o grau de estabilidade do quadriciclo é um fator determinante quando a câmera não está completamente fixa/imóvel no suporte. Para que não ocorra as distorções, é preciso testar tanto a estrutura como também a própria câmera, que pode não ter uma boa performance na estabilidade da imagem. No caso desse trabalho, as distorções ocorreram devido a estrutura. Um exemplo dessa distorção pode ser observada na Figura 5.

Fig. 5 – Exemplo de distorção da imagem Omnidirecional As distorções causadas atrapalham não só a localização das linhas possíveis de serem navegáveis como também a própria retificação, uma vez que nem sempre o centro das imagens omnidirecionais (que deveria ser a localização da câmera na imagem) estão localizadas no centro da imagem adquirida. Como o processo de retificação tem um dos pivôs a localização do centro da imagem omnidirecional, as imagens panorâmicas geradas não possuem seu eixo horizontal alinhados, característica que pode ser observada na Fig. 4.

Outros problemas que foram observados são relacionados as sombras do ambiente e oclusão de obstáculos, como pode ser observado nas Fig. 6 e Fig. 7, consecutivamente.

Fig. 6 – Efeito da sombra no ambiente.

Fig. 7 – Oclusão causada pelas folhas dos pomares. O último problema a ser destacado é o esfumaçamento do invólucro provocado pelo calor (condensação da umidade). Nos testes, como o invólucro estava totalmente lacrado, ou seja, sem nenhuma saída de ar, isso provocou a criação de regiões opacas pela condensação na estrutura do vidro, que prejudicou a etapa de processamento da imagem.

C. Processamento dos Filtros Nas Imagens

Apesar dos filtros processados serem considerados técnicas comuns no processamento de imagens, foi possível obter resultados satisfatórios. Como pode ser observado nas imagens omnidirecionais presentes nesse trabalho, a todo momento o motorista do quadriciclo está presente na imagem, e os filtros aplicados foram suficientes para não aplica-los. O mesmo ocorreu com vários obstáculos. A Fig. 8 mostra a área identificada como regiões não navegáveis na imagem.

Percebe-se que na Fig. 8 houve a criação de mais de um grupo tanto nas imagens superiores como inferiores. Isso foi devido a condesação da umidade dentro do vidro, que prejudicou a execução dos processos.

Considerando o landmark virtual sendo linhas ortogonais com referência a base da estrutura MDF é possível almejar uma rota satisfatória sendo essa a base para a validação dos resultados. As linhas do landmark criadas para esse experimento foram semi-círculos onde o tamanho do raio é 2/3 do raio utilizado na etapa de retificação. Cada uma dessas linhas foi transposta na imagem de modo que ficassem alinhadas com as extremidades inferior e superior do suporte MDF, como pode ser observado na Fig. 9. A área formada pela intersecção dessas duas linhas foi utilizada para estimar a área navegável no processo. Esse método foi utilizado pois a distância das ruas formadas pelos pomares laterais eram bastante próximas ao valor da largura do veículo, assim não existia possibilidades de uma alteração drástica da rota pré-conhecida.

Fig. 8 – Destaque das regiões não navegável das imagens.

Fig. 9 – Linhas do landmark virtual utilizadas para a estimativa de uma rota navegável.

IV. RESULTADOS EXPERIMENTAIS

Para a validação das áreas navegáveis, foram analisadas 222 imagens onde cada uma delas apresentou ao menos um problema citado anteriormente nas seções descritas deste trabalho. Depois que foram aplicados os filtros nas imagens, as áreas resultantes foram comparadas com a região de intersecção que as linhas do landmark

formavam. A Tabela 1 apresenta um percentual de imagens que tiveram as áreas navegáveis encontradas pela etapa de processamento iguais ou muito próximas das áreas verificadas no threshold.

Detecção Áreas Navegáveis

Método Filtros Imagens

Omnidirecionais Imagens Panoramicas Smooth + Median + Threshold HSV 85,13% 64,41% Total 222 imagens 100%

Tabela 1 – Percentual de imagens pós-processadas com áreas próximas as estimadas pelo landmark.

Outras imagens podem ser analisadas abaixo, nas Fig. 10, 11, 12 e 13, apresentando as imagens adquiridas, com a segmentação das regiões consideradas "não navegáveis".

(a)

(b)

Fig. 10 – Cena 2: Imagem omnidirecional adrquirida (a) e pós processada (áreas não navegáveis) (b).

(a)

(b)

Fig. 10 – Cena 3: Imagem omnidirecional adrquirida (a) e pós processada (áreas não navegáveis) (b).

(a)

(b)

Fig. 11 – Cena 4: Imagem omnidirecional adrquirida (a) e pós processada (áreas não navegáveis) (b).

V. CONCLUSÕES

Nesse trabalho foi possível apresentar diversas dificuldades encontradas na utilização de sistemas omnidirecionais catadióptricos em ambientes outdoors agrícolas e apresentar formas simples que podem ser utilizadas para corrigir alguns desses problemas. Contudo, eles ainda não são totalmente eficientes para a navegação autônoma, já que esses problemas exigem reconhecer mudanças de coloração de vegetação e qualquer tipo de obstáculo, independente de cor, forma e tamanho.

(a)

(b)

Fig. 12 – Cena 5: Imagem omnidirecional adrquirida (a) e pós processada (áreas não navegáveis) (b).

Apesar da combinação de câmeras e espelhos ainda serem pouco utilizadas em ambientes agrícolas, é possível evoluir quando tomadas precauções no desenvolvimento dos sistemas, principalmente na etapa de aquisição das imagens. É fato que os sistemas catadióptricos possuem um potencial imenso devido a quantidade de dados que se é possível capturar do ambiente, mas é preciso cautela em sua concepção. Obtendo imagens com boa resolução do ambiente é possível trabalhar tanto com algoritmos já conhecidos na área de navegação, através da retificação das imagens, como também explorar novas possibilidades. Uma comparação à cena 2 da Fig. 9 é apresentada na Fig. 13, onde é aplicada a retificação pelo

centro único de projeção (a) e também a segmentação das regiões "não navegáveis" (b).

VI. TRABALHOS FUTUROS

Os próximos passos que serão realizados nesse trabalho é maximizar o processo de aquisição das imagens e reforçar a estrutura de apoio da câmera. Após esse procedimento, será estudada uma etapa mais eficiente de segmentação. Até o momento está sendo averiguada a possibilidade de implementação de um classificador híbrido com características de métodos estatísticos e genéticos. Outra possibilidade é explorar o potencial do algoritmo de transformada de Hough nas imagens omnidirecionais, uma vez que existem diversos trabalhos na área que utilizam essa ferramenta. Pretende-se também adaptar todos os algoritmos trabalhados para serem executados em imagens omnidirecionais, pois assim o processo de retificação da imagem é eliminado e a latência do sistema seria atenuada.

Referências

[1] S. K. Nayar and S. Baker, “Catadioptric image formation,” DARPA Image Understanding Workshop, 1997.

[2] S. Ericson and B. Astrand, “Row-detection on an agricultural field using omnidirectional camera,” IEEE/RSJ International Conference on Intelligent Robots and Systems, 2010.

[3] M. Fiala and A. Basu, “Robot navigation using panoramic landmark tracking,” IEICE Transactions on Information and Systems, 2002. [4] V. G. Junior and J. O. Junior, “Development of an omnidirectional

vision system,” Mechatronics and Machine Vision in Practice, 2007. [5] M. Li, K. Imou, K. Wakabayashi, and S. Yokoyama, “Review of

research on agricultural vehicle autonomous guidance,” International Journal of Agricultural and Biological Engineering - IJABE, 2009. [6] M. Li, Z. H. Liu, J. Huang, S. H. Dai, and W. Weng, “Position

estimation method for agricultural field road,” International Conference on Agricultural Engineering (ICAE), 2011.

[7] S. K. Nayar, “Catadioptric omnidirectional camera,” IEEE Computer Society Conference, 1997.

[8] D. Scaramuzza, “Ominidirectional vision from calibration to robot motion estimation,” Tese de Doutorado. Universita di Perugia, 2008. [9] T. Svoboda, T. Pajdla, and V. Hlavac, “Central panoramic cameras:

Geometry and design,” Praga: Czech Technical University, Faculty of Electrical Engineering, Center for Machine Perception, 1997.

[10] Z. Zhu, K. Rajasekar, E. Riseman, and A. Hanson, “Panoramic virtual stereo vision of cooperative mobile robots for localizing 3d moving objects,” In IEEE Workshop on Omnidirectional Vision, pp. 29–36, 2000.

(a)

(b)