Roads and Trajectories Detection in Agricultural Environment Using CatadioptricVision System

Roads and Trajectories Detection in Agricultural

Environment Using CatadioptricVision System

Victor de Assis Rodrigues

, Vinicius Bergoli Trentini

Programa de Pós Graduação em Ciência da Computação Universidade Estadual Paulista “Júlio de Mesquita Filho”

São José do Rio Preto, SP, Brasil

victorassisrd@gmail.com1, vinicius_trentini@hotmail.com2

Luciano Cássio Lulio

, Mário Luiz Tronco

São Carlos, SP, Brasil

luciano.lulio@gmail.com3, mltronco@sc.usp.br4

Resumo— Esse trabalho utiliza um sistema de visão

catadióptrico para capturar imagens de um cenário natural agrícola e realizar o levantamento de regiões que possam auxiliar diversas aplicações na área da Robótica Móvel Agrícola. Os sistemas de visão catadióptricos buscam capturar uma imagem 360° do ambiente a partir da combinação de lentes e espelhos. A imagem omnidirecional é retificada e seus quadrantes são extraídos, originando quatro novas imagens que representam lados de visão do veículo. Uma etapa de segmentação por cor é proposta utilizando como base o algoritmo Otsu Threshold. No final do processo, é possível visualizar as regiões de interesse de cada quadrante.

Palavras Chave—Visão omnnidirecional, robôs agrícolas móveis, sistemas catadióptricos, ambientes externos agrícolas.

Abstract— This paper have aimed images in agricultural

environment using a catadioptric vision system and performed the recognition of regions that can help many applications in mobile robotic area. The catadioptric vision systems have aimed a 360-degree vision of the environment using combination of lenses and mirrors. The omnidirectional image obtained is unwrapped and yours quadrants are generated, representing each side of the vehicle. The step of segmentation using color band is applied with base in the Otsu Threshold algorithm. In the last step of process, is possible to see the regions of interested for each quadrant.

Keywords—Omnidirectional vision, agricultural mobile robots, catadiptric systems, agricultural outdoor environments.

I. INTRODUÇÃO

Sistema de Visão Omnidirecional fornecem técnicas que possibilitam obter imagens em 360º do ambiente [3]. Dentro dessas técnicas estão os sistemas omnidirecionais catadióptricos, criados a partir da combinação de lentes e espelhos. Em alguns problemas da área da Visão Computacional é necessário ampliar o campo de visão para aumentar a eficiência das aplicações. O aumento de informações permite melhorar a eficiência em tomadas de decisões e obter assim resultados mais precisos. Na Agricultura de Precisão tarefas como vigilância de ambientes, rastreamento, navegação e mapeamento de ambientes [1] exigem um grande volume de informações para que seus processos funcionem adequadamente.

Esse trabalho pertence ao módulo de visão computacional do projeto AgriBOT. O AgriBOT é uma plataforma robótica modular com o objetivo de locomoção em ambientes típicos da área agrícola, possuindo como finalidade a aquisição de dados e pesquisa de novas tecnologias para o sensoriamento remoto para a área agrícola [9]. O projeto teve a atuação de professores e estudantes de graduação e pós-graduação da EESC/USP (Escola de Engenharia de São Carlos da Universidade de São Paulo). Além disso, diversas entidades brasileiras importantes participaram do projeto, como a FINEP (“Financiadora de Estudos e Projetos”), Embrapa (“Empresa Brasileira de Pesquisa Agropecuária”) e Jacto S.A. company [10].

O objetivo desse trabalho dentro do projeto AgriBOT consiste na captura e identificação de regiões em imagens omnidirecionais relacionadas ao percurso efetuado pela plataforma robótica em cenários agrícolas. A identificação de regiões presentes no ambiente permite a precipitação de situações que possam ocorrer durante a navegação. Essas informações resgatadas do ambiente servem de base para outros módulos do veículo, sendo este intimamente ligado ao sistema de controle de navegação da plataforma robótica base [9]. Entretanto, o sistema proposto é uma aplicação modular, onde as informações geradas no final do processo podem vir a auxiliar outros sistemas da Agricultura de Precisão a alcançarem seus objetivos, tanto de forma total como parcial.

A captura das imagens foi realizada em plantações de pomares de laranja, uma das culturas de interesse do projeto AgriBOT, no mês de novembro em uma fazenda particular do município de São Manuel/SP. Como a captura foi realizada em um período entre as fases de coleta do fruto, foi possível identificar nos pomares frutos de diferentes tamanhos e estágios de crescimento, consequentemente diferentes tonalidades. Além disso, todas as imagens foram registradas com o veículo em movimento, sendo esse guiado por um operador humano. Devido processos burocráticos, para agilizar o desenvolvimento desse trabalho, o veículo utilizado para os testes é uma caminhonete de propriedade particular, porém é um projeto futuro a implementação desse sistema na plataforma AgriBOT.

O trabalho é organizado como segue: a Sessão II apresenta a metodologia do trabalho e os conceitos utilizados, a Sessão III apresenta os resultados obtidos e na Sessão IV a conclusão.

II. METODOLOGIA DO TRABALHO

A. Construção do Sistema de Visão

Para os experimentos foi utilizada uma câmera Ximea xiQ USB 3.0 modelo MQ013CG-E2. As imagens adquiridas possuem resolução de 640x480 pixels. Durante as coletas, o sistema de exposição de luz e balanço de branco foram acionados para obter uma melhor qualidade das imagens. Apenas o foco automático da câmera foi desligado, uma vez que a distância entre câmera e espelho não se alteram durante a captura das imagens. Na Fig. 1 é possível observar a configuração do sistema utilizado e na Fig. 2 a alocação desse sistema no veículo.

Fig. 1 – Sistema de visão catadióptrico

O perfil de espelho hiperbólico, como o utilizado nesse trabalho, apresenta uma resolução equilibrada em toda superfície e permite obter um centro único de projeção, propriedade que garante transformar as imagens omnidirecionais em imagens panorâmicas nítidas sem distorções [2][4].

B. Extração do veículo da imagem

Dependendo da configuração utilizada pelo sistema de visão e também das dimensões do veículo, a imagem capturada pode apresentar constantemente uma área destinada à reflexão do veículo. Essa região pode atrapalhar o processo de segmentação se for mantida na imagem e por isso tornou-se necessário a exclusão dessa região.

Para realizar esse processo, uma máscara de corte foi configurada com o intuito de definir qual a área de interesse para as demais etapas do sistema. A Fig. 3 (a) apresenta uma imagem omnidirecional originalmente obtida pelo sistema de visão, em (b) é possível observar um exemplo de máscara para essa imagem e em (c) a aplicação da máscara na imagem omnidirecional.

Fig. 2 – Alocação do sistema de visão no veículo C. Retificação da imagem

A etapa de retificação consiste na geração de imagens panorâmicas a partir de imagens omnidirecionais. A técnica utilizada para esse processo é o mapeamento de coordenadas utilizando a propriedade de centro único de projeção, descrito em [2]. Essa propriedade está presente em espelhos parabólicos e hiperbólicos e permite a utilização de um mapeamento polar linear, gerando no processo de retificação uma imagem livre de distorções verticais. Na Fig. 4 é possível verificar o resultado dessa etapa de processamento.

D. Extração do Céu da Imagem

De modo parecido ao que acontece na etapa da extração da área do veículo, é necessário também retirar a região da imagem que representa o céu do ambiente. Para isso, foram aplicados dois limiar no espaço de cores HSV [5] apenas na metade superior da imagem panorâmica. Foi possível observar a eficiência dessa técnica para céus nublados, com pouca presença de nuvens e com bastante presença de nuvens, situações de interesse presentes no problema estudado.

O primeiro limiar tem como objetivo retirar a área azul do ambiente. Os limiares para segmentar essa região foram mínimo de 150º e máximo de 270º para o canal Matiz e mínimo de 110 e máximo de 255 para o canal de Iluminação. O canal precisou ser verificado para ignorar pixels pretos que possam ter valores dentro dos limites estabelecidos no canal Matiz.

O segundo limiar tem como objetivo segmentar áreas que contenham nuvens. Nessa técnica é utilizado o intervalo de 0 à 20 para o canal de Saturação e intervalo de 240 à 255 para o canal de Iluminação. Na Fig. 5 é possível verificar um resultado dessa etapa de processamento.

(a)

(b)

(c)

Fig. 3 – Aplicação da máscara de interesse nas imagens omnidirecionais

Ao navegar por cenários naturais desestruturados, a imagem frequentemente contém informações de diferentes colorações de plantas e solos. Quando o veículo estiver no final de uma linha de navegação, a imagem capturada pode conter informações de várias outras ruas, árvores de vários tipos, sombras e mudança repentina da coloração do terreno. O isolamento da visão de cada lado do veículo em imagens separadas pode ser uma abordagem interessante, uma vez que o algoritmo de segmentação se baseará apenas nas informações próximas e é possível assim avaliar um limiar para cada tipo de cenário ou visão. Assim, essa abordagem visa melhorar a eficiência da etapa de segmentação.

E. Adaptação do Otsu Threshold

O algoritmo de segmentação por cor Otsu Treshold [8] tem como objetivo encontrar o melhor valor para se dividir um histograma de uma imagem em escala de cinza. Para isso, o método busca encontrar o maior grau de variância entre diferentes grupos de pixels. Esse algoritmo é muito utilizado em cenários naturais e está presente em vários trabalhos da área [6] [7].

No projeto, o algoritmo Otsu Threshold foi adaptado para que pudesse ser executado em grupos de pixels específicos do histograma da imagem. O objetivo dessa adaptação é encontrar o pixel que representa o maior grau de variância dentro de um grupo de pixels. Nas duas técnicas utilizadas o algoritmo é executado duas vezes nos canais especificados, onde a primeira refere-se ao histograma como um todo e a segunda verificando apenas o grupo de pixels definido como limite inicial pelo primeiro limiar calculado.

F. Participação de verde nas imagens

No presente trabalho são utilizadas duas técnicas diferentes para encontrar as ruas de navegação na imagem. Contudo, antes de aplica-las é necessário verificar qual técnica deve ser utilizada no quadrante que está sendo analisado, uma vez que cada técnica serve para determinada situação.

A condição utilizada para determinar qual ação será executada é analisar a porcentagem de pixels verdes presentes no quadrante. Para isso, uma nova limiarização no espaço HSV

Fig. 4 – Imagem retificada pela técnica de centro único de projeção

é executada utilizando o intervalo de limiares 90º à 150º para o canal Matiz e o intervalo de 50 à 255 para o canal de Iluminação. O canal de Iluminação é utilizado como filtro desse processo para não abranger regiões de pixels pretos.

Após selecionar a região da imagem que pertencem aos pixels verdes, é possível verificar a porcentagem de pixels verdes presentes na imagem.

G. Otsu Threshold para o canal Matiz

Nos quadrantes que possuem uma participação de verde inferior a 80%, é aplicada a técnica do Otsu Threshold no canal Matiz do espaço de cores HSV. Esse método será aplicado em cenários onde as ruas para navegação destacam-se das áreas representadas pelos pomares. Como o algoritmo de segmentação é adaptado para ser executado mais de uma vez no intuito de maximizar a eficiência dessa etapa, o limiar calculado na primeira execução do algoritmo é utilizado como parâmetro de entrada para uma segunda execução.

Na Fig. 6 (a) é possível analisar um quadrante com pouca predominância de verde e em (b) é possível verificar um resultado dessa etapa de segmentação.

(a)

(b)

Fig. 6 – Aplicação do Otsu Threshold no canal Matiz H. Otsu Threshold para canal de Iluminação

Quando a participação de verde nos quadrantes for superior a 80%, ou seja, quando as regiões dos pomares possuírem cores bastante próximas das ruas de navegação, a segmentação por limiarização aplicada no canal Matiz do espaço de cores HSV torna-se pouco eficiente. Para segmentar as imagens com essa condição utilizamos o algoritmo Otsu Treshold Adaptado nas informações do canal de Iluminção. Assim, o canal de cores (Matiz) é utilizado para filtrar os pixels verdes e, com a técnica Otsu, a relação de luminosidade é aproximada para obter as regiões desejadas.

Na Fig. 7 (a) está ilustrada um quadrante predominantemente verde e em (b) é possível analisar os resultados obtidos por essa técnica.

I. Aplicação da máscara para detecção de caminhos

Após o processamento da segmentação, é necessário aprimorar os resultados obtidos até o momento. A primeira etapa para esse procedimento é a aplicação de uma máscara que limita a região em que se pode encontrar a rua de navegação. Essa máscara deve ser definida fora da etapa de execução do sistema, e pode ser única para cada quadrante da imagem. O tamanho e formato da máscara podem também variar de acordo com cada aplicação.

(a)

(b)

Fig. 7 – Aplicação do Otsu Threshold em regiões predominantemente verdes

Na Fig. 8 é possível verificar um exemplo de máscara para detecção de caminhos. Na Fig. 9 é possível observar o resultado dessa técnica, onde em (a) é possível observar um threshold resultante da etapa anterior e em (b) o resultado dessa etapa.

Fig. 8 – Exemplo de máscara de corte para detecção de caminhos

J. Limpeza da região de interesse

Mesmo com a aplicação da máscara, a imagem ainda pode apresentar regiões pequenas ou insatisfatórias na imagem que podem atrapalhar os procedimentos de pós-processamento. É necessário eliminar essas regiões que não possuem importância para o problema tratado. Um método foi criado para realizar a limpeza dessas regiões. Nesse algoritmo, o objetivo é encontrar regiões pequenas de pixels brancos e eliminá-los.

(a)

(b)

Fig. 9 – Aplicação da máscara para detecção de caminhos

O algoritmo percorre a imagem da esquerda para a direita e de cima para baixo. Após, calcula-se a quantidade de pixels brancos consecutivos para todos os lados do pixel analisado e, caso a quantidade for menor que um valor pré-definido em pelo menos três lados do pixel, o pixel torna-se preto. Na Fig. 10 (a) é possível observar um quadrante após a aplicação da máscara de detecção de caminhos e em (b) é possível analisar os resultados obtidos pelo algoritmo de limpeza de região de interesse.

(a)

(b)

Fig. 10 – Eficiência do algoritmo de limpeza de regiões III. RESULTADOS

A construção do sistema de visão foi a etapa mais complexa do sistema, devido a dificuldade em construir um sistema que a câmera e o espelho ficassem completamente alinhados. Além disso, essa etapa possui uma grande importância para a qualidade dos resultados obtidos. Com a coleta de imagens em ambiente natural é possível perceber como as características do ambiente interferem na qualidade do ambiente, como por exemplo a constante exposição do sol, vibração do motor e

terreno irregular, além de sombras e outros objetos. Muitos desses problemas podem ser corrigidos no momento da escolha do material que será utilizado nos equipamentos e também na forma que eles são alocados no veículo. Outras configurações podem ser feitas na própria câmera, como a exposição de luz permitida.

Nas coletas de imagens foram obtidas 4.326 imagens omnidirecionais. Como cada imagem omnidirecional gera 4 quadrantes, foram obtidos no total 17.308 quadrantes possíveis de serem analisados. Os quadrantes foram separados em grupos de acordo com a participação de pixels verdes presentes na imagem. Assim, as imagens presentes no grupo 1 possuem 0% à 20% de pixels verdes; no grupo 2, 20% à 40%; no grupo 3, 40% à 60%; no grupo 4, 60% à 80%; e no grupo 5, 80% à 100%. Foram selecionadas 421 imagens para o grupo 1, 1071 imagens para o grupo 2, 2617 imagens para o grupo 3, 3578 imagens para o grupo 4 e 9617 imagens para o grupo 5.

Cada imagem foi processada utilizando as duas técnicas de segmentação apresentadas nesse trabalho. Selecionando de maneira randômica 40 imagens de cada grupo, foram avaliados a eficiência das etapas de extração de quadrantes, threshold, máscara de corte e algoritmo de limpeza. Assim, foi possível obter as tabelas I e II.

TABLE I. RESULTADOS THRESHOLD COR

Grupos Analisados Etapas de Processamento Quadran-tes Etapa Treshold Máscara de corte Limpar área 0% - 20% 0,95 0,552631 0,578947 0,526315 20% - 40% 0,95 0,789473 0,789473 0,789473 40% - 60% 1 0,925 0,9 0,875 60% - 80% 1 0,825 0,8 0,8 80% - 100% 1 0,375 0,475 0,475

TABLE II. RESULTADOS THRESHOLD CANAL DE ILUMINAÇÃO

Grupos Analisados Etapas de Processamento Quadran-tes Etapa Treshold Máscara de corte Limpar área 0% - 20% 0,95 0,026315 0,026315 0,026315 20% - 40% 0,95 0 0 0 40% - 60% 1 0,25 0,125 0,075 60% - 80% 1 0,4 0,375 0,425 80% - 100% 1 0,9 0,925 0,925

A maioria das imagens pertencentes ao grupo 1 possuem uma resolução bem inferior aos demais grupos e são imagens que ficaram muito claras e pouco definidas as linhas de navegação. O grupo 2 é representado por imagens mais nítidas se comparadas ao grupo anterior, porém muitas delas possuem ruas muito largas, onde é bastante difícil definir os limites das ruas de plantação. O grupo 3 e o grupo 4 apresentam imagens

bastante definidas e parecidas. As ruas normalmente se destacam das demais regiões da imagem e é possível entender a eficiência da primeira técnica do threshold nesses dois grupos, uma vez que a técnica foi escolhida para funcionar em imagens com essas características. Contudo, o grupo 4 apresenta também imagens com vegetação não uniforme, onde existe regiões pequenas dentro da área da rua com textura diferente das demais áreas que a compõe.

O grupo 5 é representado por ruas totalmente verdes e que se confundem com a área de plantação das culturas. Além disso, imagens que representam os pomares sem a presença de qualquer área navegável também estão presentes.

Com esses resultados, é possível dizer que nenhuma técnica utilizada nesse trabalho é perfeita para todas as situações que possam ocorrer no ambiente. É possível criar um sistema em que utilize as duas técnicas de segmentação com base na participação de verde de cada quadrante, e é possível definir que o critério para utilização da técnica seja o valor de 80%, buscando contemplar cada grupo com a técnica que possui uma melhor eficiência.

O sistema de visão utilizado conseguiu ter bons resultados em ambientes que possuem uma grande distância entre linhas de plantio. Nas imagens omnidirecionais com menor participação de verde, as ruas eram identificadas como elementos de terra ou areia, e a técnica utilizada para esse grupo não é afetado por sombras. Nas imagens com grande participação de verde, a cor não é uma característica única de definição e devido a isso a técnica é sensível a luz. Contudo, o algoritmo Otsu Threshold mostrou eficácia em muitas imagens desse grupo. A máscara para detecção de caminhos é um dos pontos chaves do processo, pois sua aplicação aperfeiçoa o resultado da segmentação.

No final do processo, os quadrantes possuem informação da localização das ruas para navegação. Caso houver necessidade, é possível obter as regiões pertencentes à cultura plantada realizando a subtração das áreas do céu, robô e ruas, sobrando apenas a área das culturas.

IV. CONCLUSÃO

Apesar das dificuldades na construção do sistema de visão e demais particularidades do ambiente, é possível evoluir e a aplicar conceitos de visão omnidirecional na agricultura de precisão. O sistema de visão e as técnicas utilizadas se mostraram eficientes, apesar de demonstrar sensibilidade a algumas características do ambiente. As imagens resultantes podem auxiliar diversos processos da agricultura de precisão e robótica móvel agrícola, sendo aplicável para diversas culturas diferentes e com um tempo de processamento bastante rápido.

REFERENCES

[1] A. Bonarini., P. Aliverti and M. Lucioni. An omnidirectional vision

sensor for fast tracking for mobile robots. Instrumentation and

Measurement Technology Conference, 1999. IMTC/99. Proceedings of the 16th IEEE. 2000.

[2] V.G. Junior and J.O. Junior, “Development of an omnidirectional vision system,” Mechatronics and Machine Vision in Practice, 2007.

[3] S.K. Nayar, “Catadioptric omnidirectional camera,” IEEE Computer Society Conference, 1997.

[4] H. Ishiguro, “Development of low-cost compact omnidirectional vision sensors and their applications,” Departament of Electrical & Computer Engineering, University of California, San Diego, 1998.

[5] B., Banchev and L. Georgieva, “Comparison of pixel based skin recognition techniques”. In: НАУЧНИ ТРУДОВЕ НА РУСЕНСКИЯ УНИВЕРСИТЕТ, 2012.

[6] G. Jiang and C. Zhao. 2010, “A Vision Based Crop Rows for Agricultural Mobile Robot”. In: International Conference on Computer Application and System Modeling - ICCASM 2010.

[7] H. Jiang et al., “Curve path detection of unstructured roads for the outdoor robot navigation”, Mathematical and Computer Modelling, 2013, Vol. 58, pp. 536-544.

[8] N. Otsu, “A threshold selection method from gray-level histograms”. IEEE Trans. on Systems Man and Cybernetics, 9(1):63–66. 1979. [9] NEPAS, Núcleo de Ensino e Pesquisa em Automação e Simulação:

Agribot, http://www.simulacao.eesc.sc.usp.br/roboticaagricola/index

.php/ robos-agricolas/agribot. (current Aug. 3, 2014).

[10] J.F. Diaz et al., "Agribot - Mobile Robot To Support of Agricultural Precision, Activities". In: 22nd International Congress of Mechanical Engineering - COBEM 2013, Ribeirão Preto, 2013.