Para realizar a classificação dos cultivares de milho e feijão foi necessário passar por algumas etapas. O conjunto de todas essas etapas formam a abordagem proposta neste trabalho para a classificação dos cultivares. A abordagem está dividida em duas etapas: (1) processa- mento e (2) reconhecimento, como pode ser observado na Figura 25.
Figura 25: Fluxograma da metodologia para classificação de milho e feijão.
A primeira etapa é composta pela fase de aquisição de imagens realizada por meio de um dispositivo móvel, onde após as imagens serem capturadas foram tratadas de forma manual como descrito na seção 5.1. O passo seguinte é a segmentação de imagem, onde foi aplicado o índice de cor de vegetação (CIVE). Essa segmentação não alcançou resultados adequados sendo necessário aplicar métodos de pós-processamento.
O passo seguinte é o processo de fechamento das lacunas presentes na imagem segmen- tada. Dessa forma, são executadas duas operações matemáticas primitivas: dilatação e erosão, utilizando um elemento estruturante de 3 x 3, como exibida na Figura 25 com 20 iterações cada operação, esses valores foram definidos de forma empírica.
Na segunda etapa são extraídas as características descritas na seção 3.6 e armazena- das no vetor de características, após esse procedimento foi aplicado o método de seleção de características, descrito na seção 4.2.1, para reduzir a dimensionalidade do vetor e eliminar as características irrelevantes. Ao término o vetor é rotulado utilizando os métodos de classificação descritos na seção 4.1.
5.5 METODOLOGIA PARA ANÁLISE E VALIDAÇÃO DOS MÉTODOS DE SEGMEN- TAÇÃO
Os métodos de segmentação compõem uma das principais etapas do processamento de imagens, como descrito na seção 3.4, o objetivo é separar o objeto do fundo da imagem para posterior processamento. Nessa situação, os objetos de interesse são as plantas (culturas e ervas daninhas) e o fundo é o solo, onde são encontrados diversos resíduos como palha, rochas e etc. Na literatura são encontradas várias técnicas de segmentação de vegetação, desde de métodos mais simples baseados em uma superfície de corte no espaço de cores até métodos mais complexos baseados em agrupamento e classificação de pixels.
Os índices de vegetação são técnicas simples baseadas em transformações nos espaço de cores que produzem imagens em tons de cinza com pixels de vegetação realçados, afim de facilitar o processo de limiarização das imagens. Em uma extensa pesquisa foram encontrados inúmeros índices de vegetação, porém, nesse trabalho foram analisados somente os índices considerados mais relevantes, os quais foram apresentados na seção 3.3.
Para validar a implementação dos índices de vegetação, foi utilizada a base descrita na seção 5.3, pois as imagens foram capturadas diretamente da lavoura em condições controladas de iluminação. Dessa forma, a iluminação não tem influencia nos resultados da segmentação. O processo de segmentação utilizando os índices vegetativos é simples e pode ser descrito em 2 passos:
1. Calcula-se o índice de vegetação, transformando a imagem de entrada em uma imagem em tons de cinza com os pixels vegetação realçados (As Figuras 27, 28 e 29 exibem alguns exemplos de imagens em tons de cinza geradas pelos índices vegetativos);
2. Aplica-se o método de Otsu sobre a imagem em tons de cinza, separando os objetos de interesse do fundo. A Figura 26 exibe esse procedimento utilizando o índice vegetativo CIVE.
(a) (b) (c) (d)
Figura 26: Exemplo de imagens resultantes do processo de segmentação pelo indice vegetativos. (a) Imagem original, (b) Imagem em tons de cinza produzida pelo CIVE, (c) Imagem binarizada pelo método de Otsu, (d) Máscara de referência da segmentação.
75
Figura 27: Exemplo de imagens da base de cenouras e ervas daninhas e as respectivas imagens em tons de cinza geradas pelos índices de vegetação. (a) Imagem original, (b) ExG, (c) ExR, (d) NDI, (e) CIVE, (f) ExGR, (g) VEG e (h) COM.
(a) (b) (c) (d) (e) (f) (g) (h)
Figura 28: Exemplo de imagens da base de cenouras e ervas daninhase as respectivas imagens em tons de cinza geradas pelos índices de vegetação. (a) Imagem original, (b) ExG, (c) ExR, (d) NDI, (e) CIVE, (f) ExGR, (g) VEG e (h) COM.
(a) (b) (c) (d) (e) (f) (g) (h)
Figura 29: Exemplo de imagens da base de cenouras e ervas daninhas e as respectivas imagens em tons de cinza geradas pelos índices de vegetação. (a) Imagem original, (b) ExG, (c) ExR, (d) NDI, (e) CIVE, (f) ExGR, (g) VEG e (h) COM.
Os índices de vegetação geram imagens em tons de cinza distintas, como pode ser observado nas Figuras 27, 28 e 29. Dessa forma, é necessário padronizar as imagens binarizadas geradas pelo método de Otsu para comparação dos resultados, ou seja, nas imagens em tons de cinza que apresentam os pixel de vegetação em tons mais claros, deve-se considerar os pixels com valores acima do limiar de corte como vegetação, do contrário, quando os pixels vegetação apresentam tons mais escuros, deve-se considerar os pixels com valores abaixo do limiar como vegetação.
Além dos índices de vegetação, uma abordagem de segmentação interativa, descrita na seção 3.4.2, foi aplicada nesse trabalho. A abordagem utiliza o classificador Random Forest para realizar a classificação dos pixels da imagem, para validar o treinamento do classificador aplicou-se a técnica de Holdout, descrita na seção 4.3.1, ou seja, foram selecionadas 2/3 da base de imagens para treinamento e 1/3 para classificação. Em cada imagem da base de treinamento, um usuário especialista realizou marcações nos pixels pertencentes às plantas e ao solo, auxili- ando o aprendizado do classificador. A Figura 30 apresenta exemplos de marcações realizadas pelo especialista.
(a) (b) (c) (d)
Figura 30: Exemplo de marcações realizadas pelo especialista para treinamento do classificador da abordagem de segmentação interativa.
Após a segmentação, o próximo passo é comparar a imagem resultante com a máscara de referência, para isso foi definida uma matriz de confusão de 2 classes para extrair as medidas descritas na seção 4.3.2. Para melhor entendimento as variáveis da matriz serão descritas a seguir:
• Verdadeiro positivo (VP): é quando o pixel é classificado como planta na máscara e é classificado como planta pelo método de segmentação.
• Verdadeiro negativo (VN): é quando o pixel é classificado como fundo na máscara e é classificado como fundo pelo método de segmentação.
• Falso positivo (FP): é quando o pixel é classificado como fundo na máscara, mas é clas- sificado como planta pelo método de segmentação.
• Falso negativo (FN): é quanto o pixel é classificado como planta na máscara, mas é clas- sificado como fundo pelo método de segmentação.
Os resultados da comparação são apresentados na seção 6.2.
5.6 METODOLOGIA PARA ANÁLISE AUTOMÁTICA DO ARRANJO ESPACIAL DE
PLANTAS DE MILHO
O principal objetivo do trabalho é analisar o arranjo espacial de plantas de milho, extraindo informação relevantes como a densidade populacional, espaçamentos entre plantas e estimação das perdas de grãos, afim de auxiliar na intervenção de agrônomos, técnicos agrícolas e produtores na fase inicial de desenvolvimento das plantas de milho. Portanto, foi elaborado uma abordagem para identificação das plantas de milho e mensuração dos espaçamentos entre plantas nos estágios iniciais de desenvolvimento. A Figura 31 exibe a abordagem desenvolvida. A abordagem é dividida em quatro etapas: segmentação de imagens, classificação das plantas, definição do caule e medição dos espaçamentos entre plantas. Essas etapas serão descritas detalhadamente a seguir.
A primeira tarefa a ser realizada na metodologia desenvolvida é a aquisição da ima- gem, o procedimento para captura das imagens é descrito na seção 5.2. O fato das imagens serem capturas por dispositivos móveis como smartphones e tablets, nos quais atualmente são tecnologias amplamente acessíveis, fortalece a solução encontrada, devido aos desafios encon- trados em imagens capturadas em ambientes reais e o potencial do desenvolvimento de uma tecnologia que alcance uma ampla escala de usuários.
Considerando que as imagens foram adquiridas de forma adequada, ainda é necessário realizar um pré-processamento para melhorar a qualidade das imagens, devido as imagens de entrada estarem expostas diretamente a iluminação solar ocasionando reflexos na superfície foliar alterando as intensidades dos pixels dentro da imagem. Dessa forma, uma medida tomada para aliviar a taxa de reflexão é aplicação do filtro da média (vizinhança de 5 x 5 obtida de forma empírica) com intuito de aplicar um efeito de borramento deixando as intensidades dos pixels mais homogêneas.
A tarefa seguinte, denominada de segmentação, tem como objetivo separar as regiões de interesse (milho e ervas daninhas) do fundo da imagem (solo, rochas e outros resíduos). Duas técnicas podem ser aplicadas nessa fase, aplicação do índice vegetativo CIVE (seção 3.3) em conjunto com o método de Otsu (seção 3.4) e a abordagem de segmentação interativa (seção 3.4.2). Os dois métodos foram estudados nesse trabalho e apresentaram resultados satisfatórios,
como pode ser observado na seção 6.2, outras técnicas foram testadas, mas os resultados das segmentações foram insuficientes.
Apesar dos métodos de segmentação selecionados apresentarem bons índices de qua- lidade na segmentação resultante, ainda foi necessário elaborar uma processo de pós-processa- mento afim de melhorar o resultado das imagens segmentadas. Para isso foi empregada uma operação morfológica de abertura, com a finalidade de eliminar pequenos ruídos e separar ob- jetos conexos auxiliando as tarefas posteriores.
A etapa de classificação das plantas é fundamental para a extração dos espaçamento entre plantas, pois qualquer erro na identificação das plantas de milho compromete todo o re- sultado da metodologia. Dessa forma, o primeiro passo foi extrair algumas características de forma dos objetos segmentados. As características de forma são informações relevantes para a classificação de plantas (COSTA; JR., 2009; BRILHADOR et al., 2013).
O perímetro, descrito na seção 3.6, é uma característica básica para classificação de objetos segmentados. Definindo um limiar de corte para o perímetro é possível eliminar ruídos da segmentação e classificar de forma eficiente as plantas de milhos em imagens que apresentam fundos com baixa complexidade, ou seja, pouca incidências de ervas daninhas e outros resíduos. A eliminação de ruídos pode ser utilizada como um filtro para extração de novas características como a área e a compacidade, além de melhorar o desempenho computacional eliminando objetos desnecessários.
O limiar de corte para o perímetro de um objeto é definido pelo desvio padrão dos perí- metros extraídos naquela imagem. Um objeto é descartado quando o seu perímetro é menor que o desvio padrão de todos os perímetros encontrados na imagem, caso contrário, são extraídas mais duas características de forma (área e compacidade) e novas decisões são realizadas para descartar os objetos.
A compacidade apresenta ser uma característica robusta na classificação de culturas de milho. No trabalho proposto por Tang e Tian (2008a) as plantas de milhos foram identificadas utilizando a compacidade onde todos os objetos que apresentassem compacidade superior a 0.4 eram descartados. Nesse trabalho, foi seguido o mesmo principio.
A área de um objeto foi utilizada para identificar agrupamentos de plantas (duplas e triplas). Somente o processo de segmentação não consegue distinguir se duas plantas estão conexas, pois as folhas das plantas provocam esse efeito. A área de um objeto conexo pode revelar se existem duas ou mais plantas naquela região segmentada. Uma forma simples de realizar essa identificação é obter a mediana das áreas de todas as plantas segmentadas na ima-
gem e verificar se as áreas extraídas são maiores a essa informação. Caso sejam duas vezes maiores provavelmente esse objeto pertence a duas plantas e assim sucessivamente. A Figura 32 apresenta um exemplo de identificação de plantas duplas. Quando uma área é identificada como um planta dupla ela é dividida em duas para separar as plantas e assim definir o caule da planta para extração dos espaçamento entre elas.
(a) (b) (c)
Figura 32: Exemplo de identificação de plantas duplas. (a) Plantas duplas em uma linha de plantio de milho; (b) Extração da área do objeto segmentado para comparar com a mediada das áreas; (c) Divisão da área em duas identificando duas plantas.
A etapa de definição do caule é uma das mais importante do processo, pois ela tem relação direta com a precisão na mensuração dos espaçamentos. As distâncias entre as plantas são extraídas a partir do caule da plantas, por consequência, qualquer variação na localização dos caules altera o espaçamento entre as plantas, tornando a etapa de mensuração ineficaz.
Métodos encontrados na literatura procuram localizar o caule por meio de informações biológicas considerando que a planta de milho apresenta uma maior saturação no centro da planta (caule), enquanto, outras metodologias extraem o caule da planta utilizando técnicas de morfologia matemática extraindo o esqueleto da planta e definindo como caule o pixel de intersecção entre as ramificações (TANG; TIAN, 2008a; JIN; TANG, 2009; CHUANYU et al., 2011; NAKARMI; TANG, 2012).
Por outro lado, a base de imagens utiliza no trabalho apresenta uma grande variação de amostras as quais estão em etapas diferentes de crescimento não sendo possível aplicar a metodologia baseada na informação biológica. Já as técnicas de morfologia matemática apre- sentam um alto custo computacional e em muitos casos é necessário utilizar técnicas de ajuste para melhorar o resultado. Dessa forma, o método definido faz uso da informação geométrica da planta para definir o local do caule.
A ideia do método é localizar o caule da planta de milho encontrando o defeito con- vexo de maior profundidade, ou seja, é encontrado o pixel pertencente ao contorno com maior distância do segmento do fecho convexo. Para que a inferência do caule não seja realizada na borda do objeto foi encontrado o pixel inverso do contorno da planta e assim determinando uma
média entre as coordenadas. A Figura 33 ilustra a localização do caule da planta utilizando o defeito do fecho convexo.
Figura 33: Extração do caule pelo defeito do fecho convexo. (a) Objeto extraído; (b) Fecho convexo; (c) Em amarelo são os defeitos do fecho convexo; (d) Identificação do ponto mais profundo e definição do caule da planta.
Nesse ponto, o algoritmo já sabe onde e quantas plantas de milho estão presente na imagem, porém, essas informações podem se apresentar imprecisas como demonstrado na seção 6.3. A alternativa encontrada foi realizar uma correção manual para melhoria da precisão do algoritmo aplicado na mensuração dos espaçamento entre plantas.
Os espaçamentos entre plantas são extraídos em pixels esses valores não tem relevân- cia para os agricultores, técnicos e agrônomos que utilizam o sistema, pois a informação real está em centímetros. Dessa forma, é necessário realizar uma mudança de escala. Algumas metodologias utilizam de demarcações no solo com o seu tamanho real previamente conhecido para aquisição das imagens, mas esse método possui a desvantagem de ser dependente do ponto de referência.
O método aplicado busca dar mais praticidade para futuras implementações, não sendo necessário o usuário andar com um ponto de referência no bolso. Dessa forma a metodologia é baseada em posicionar duas demarcações com dimensões de 10cm de largura e altura no solo, onde o ponto central de cada referência foi disposto a uma distância de 20cm uma dá outra. Foram capturas 3 imagens das demarcações com dimensões de 3920 x 2204 a um 1 metro de distância do solo. A imagens são exibidas na Figura 34.
A distância em pixels entre os pontos centrais foi extraída nas 3 imagens capturadas, a partir dessas informações é possível identificar o valor unitário de cada pixel no espaço real em
Figura 34: Imagens adquiridas das demarcações no solo.
centímetros conforme segue:
valor unitario´ (pixel) = distancia em centˆ ´ımetros
distancia em pixelsˆ (56)
A equação anterior demonstra como calcular o valor em centímetro para cara pixel. Consequentemente é possível determinar o valor dos pixels para as imagens de referências, onde 20 cm é a distância entre os pontos no espaço em centímetro e 746 a distância em pixels, a partir desses dados basta realizar a divisão entre as medidas. O resultado desse cálculo é 0.0268 sendo assim é o valor em centímetros para cada pixel da imagem de referência. Portando os seguintes dados: valor unitário de cada pixel, distância de aquisição e o total de pixel presentes na imagem de referência é factível a mudança de escala entre imagens utilizando um simples regra de 3 composta.
6 RESULTADOS E DISCUSSÕES
Esse capítulo foi divido em três seções:
• Classificação de milho e feijão: onde foi realizado um comparativo de características e classificadores, afim de determinar quais características são mais relevantes para discri- minação das culturas;
• Análise e validação dos métodos de segmentação: foi realizado um comparativo entre os métodos de segmentação apresentados na seção 3.4 com intuito de encontrar a técnica mais adequado para o trabalho desenvolvido;
• A análise automática do arranjo espacial de plantas de milho: onde foram definidas al- gumas medidas de avaliação das inferências realizadas pela metodologia desenvolvida e comparou a medição manual com a medição baseada em visão computacional, afim de demonstrar a eficácia do método.