No Capítulo 2 foram descritas as formas utilizadas para aquisição de imagens e para o processo de identificação de objetos, bem como, os trabalhos relacionados e a descrição das escolhas dos Sistemas Classificadores.
Neste capítulo, descrevem-se os procedimentos empregados para a coleta e tratamento das imagens e identificação das PDs, conforme diagrama da Figura 4, na qual, estão representados os dispositivos, ambiente experimental e plano de voo para aquisição das imagens e informações de georreferenciamento, o aparato computacional que irá gerar os mapas de infestação e termina com a publicação dos mapas na Internet. Este capítulo está organizado conforme as seções abaixo:
Na seção 3.1 são descritos as RPAs, a câmera e o sistema de Telemetria e os procedimentos para aquisição das imagens (resolução e tamanho das PDs);
Na seção 3.2 são descritos os itens relevantes para definição do plano de voo; A seção 3.3 apresenta o ambiente experimental, as espécies de PDs e os testes de germinação;
Na seção 3.4 descreve o aparato computacional, apresentando o hardware utilizado e a plataforma de software escolhida;
Na seção 3.5 apresenta em detalhes o Sistema de Identificação de Plantas Daninhas (SIPD), que após a divisão das imagens em grupos de treinamento e validação passam por: Amostragem da Cultura e das PDs; Cálculo dos Descritores Estatísticos; Geração de Modelos; Validação de Modelos; Identificação de PDs por Código de Cores e Mapeamento das PDs na Lavoura.
A seção 3.6 Experimento 1 descreve os tratamentos do experimento, a amostragem para treinamento dos classificadores e os critérios sobre a separação das imagens para treinamento e validação;
E finalmente, a seção 3.7 Experimento 2 descreve os tratamentos do experimento 2, a amostragem para treinamento dos classificadores e os critérios sobre a separação das imagens para treinamento e validação para as análises do dia 10/07/17 e 01/08/17.
Figura 4 Diagrama para a coleta e tratamento das imagens e identificação das PDs.
3.1 RPA e Procedimentos de Aquisição de Imagens
Neste trabalho, foram usadas duas RPAs, um DJI F450 (Figura 5a) e um DJI Phantom (Figura 5b), ambos quadricópteros de Classe 3 (Anexo 2), cujos rádios trabalham na frequência não licenciada de 2.4 GHz. A captura de imagens foi feita por uma câmera Gopro Hero 3+ de 10 Megapixels (Figura 5c), programada para tirar fotos a cada 0,5 segundo.
O DJI F450 tem peso aproximado de 1,9 kg, com a câmera e sistema de telemetria, e tem autonomia de voo de 10 minutos usando uma bateria de 4500 mAh de capacidade energética. Em relação ao DJI Phantom, este tem peso aproximado de 1,0 kg com a câmera e tem autonomia de voo, também, de 10 minutos usando uma bateria de 2200 mAh de capacidade energética.
(a) (b)
(c)
Figura 5 DJI F450 (a), DJI Phantom (b) e câmera (c).
A câmera Gopro Hero 3+ não possui GPS integrado para registrar os dados de georreferenciamento nos metadados das imagens, por isso, foi necessário instalar um sistema de telemetria para aquisição desses dados para a construção do mapa da lavoura (HU e DAI, 2013), com a indicação dos locais de infestação com as respectivas espécies de PDs.
O sistema de telemetria foi montado e acoplado no DJI F450 pelo Engenheiro José Ricardo Alves. O sistema de telemetria é formado por um Arduino Uno e um módulo GPS-10710 SparkFun GPS Shield, apresentados já conectados na Figura 6a. Os detalhes sobre as conexões e a programação do Arduino podem ser encontrados em SPARKFUN (2017).
Os dados de georreferenciamento foram gravados em um cartão de memória micro SD, a cada 0,5 segundo, utilizando-se um módulo Ethernet Shield W5100 (https://www.arduino.cc/en/Guide/ArduinoEthernetShield) (Figura 6b), por meio da biblioteca SD Library (https://www.arduino.cc/en/Reference/SD). A Figura 6c apresenta um exemplo de
arquivo texto, com as informações de georreferenciamento, utilizado para construção do mapa de infestações por PDs.
(a) (b)
(c)
Figura 6 Sistema de Telemetria: Arduino Uno mais módulo GPS-10710 SparkFun GPS Shield (a), Ethernet Shield W5100 (b) e dados de georreferenciamento gravados em cartão micro SD (c).
Resolução e Tamanho da Área Útil das Imagens
O procedimento utilizado para cálculo da resolução das imagens foi a colocação, no campo experimental, de um objeto conhecido (caixa acrílica transparente contendo uma folha de papel em branco em seu interior, com as dimensões 14,1 cm por 12,4 cm) com área de 174,84 (Figura 7a). A partir de imagens tiradas de diferentes alturas foi possível
escolher uma altura, que permitisse reconhecer as PDs e, também, com esse objeto calcular a resolução.
A Figura 7b é parte de uma foto que foi tirada a uma altura aproximada de 5 m e a Figura 7c é um quadrado de lado 112 cm, calculado tomando-se como referência as dimensões da caixa acrílica, de parte de uma foto tirada a uma altura aproximada de 3 m, cujas resoluções podem ser conferidas na Tabela 2.
Tabela 2. Resolução em Função da Altura de Voo. Altura de
voo (m)
Caixa Acrílica Imagem
Largura (pixels) Comprimento (pixels) Área ( ) Resolução (pixels/ )
5 30 40 1.200 7
3 88 117 10.296 59
A Figura 7d é uma parte ampliada da Figura 7b, correspondente a área representada pela Figura 7c, na qual é possível notar a perda de detalhes pelo efeito da interpolação de pixels (GONZALEZ, 2002). Nas condições apresentadas na Figura 7b, somente é possível fazer-se o reconhecimento das PDs, em situações de altas concentrações de uma mesma espécie de PD ou de distribuições homogêneas quando houver várias espécies de PDs. Nestes casos é, também, necessário fazer-se a identificação prévia da espécie, seja pela presença física no local do especialista, que fará a identificação, ou aproximando a RPA para tirar uma foto próxima o suficiente para proceder-se a identificação, que poderia ser a altura aproximada da foto da Figura 7c ou mais próxima.
A possibilidade de voar em várias altitudes, principalmente, voando baixo para averiguar detalhes é uma das vantagens das RPAs. Mas o uso deste recurso massivamente é impraticável, devido às grandes extensões das lavouras de cana-de-açúcar. E caso o recurso de voo em baixas altitudes seja usado somente em alguns pontos, poderá haver dificultade na constatação e correção de eventuais de erros no processo de identificação. Pois nem todos os pontos que geraram dúvida terão imagens correspondentes a baixa altitude. Nestas situações, não será possível fazer as constatações e correções necessárias. Em virtude disto, o resultado do mapeamento poder ficar semelhante ao de mapeamentos realizados por amostragem de PDs.
O tamanho da área útil de cada imagem, tirada a partir da RPA a uma altura aproximada de 3 m de altura está representado pelo retângulo vermelho da Figura 7e e é de aproximadamente 10 . As dimensões do retângulo vermelho são de 2.360 pixels de largura
por 2.500 pixels de comprimento, a área desse retângulo, portanto, seria de 5.900.000
Tomando a resolução de 59 pixels/ como referência, o mesmo retângulo teria aproximadamente 100.000 ou 10 de área. (a) (b) (c) (d)
(e)
Figura 7 Caixa acrílica (a), imagem com resolução de 7 pixels/ (b), imagem com resolução de 59 pixels/ (c), parte da imagem de 7 pixels/ ampliada (d) e parte de imagem selecionada para cálculo de área útil da foto (e).
Tamanho das PDs
O controle de PDs é mais eficiente quando as plantas são mais jovens com folhas ainda em crescimento, pois é nesse estágio de desenvolvimento que o herbicida tem melhor penetração (DE OLIVEIRA JR e INOUE, 2001). Neste trabalho optou-se por trabalhar com as PDs com tamanho entre 7 e 15 cm (Figura 8e), porque quando as PDs são ainda mais jovens, em torno de 2 a 3 cm, não seria possível identificar as PDs em imagens tiradas a partir de RPAs (Figura 8a), exceto se a infestação fosse muito alta. Em situações de baixa infestação, haveria muita dificuldade de colher e identificar amostras, para serem usadas na busca de ocorrências semelhantes nas demais imagens da lavoura.
A Figura 8b mostra a mesma espécie de planta jovem, Ipomoea hederifolia, aproximando-se a câmera a 30 cm da planta, tirada a partir do solo. A Figura 8c mostra a mesma espécie de planta (I. hederifolia), com tamanho suficiente para coleta de amostras para o processo de identificação, tirada a partir do solo e a Figura 8d apresenta a I. hederifolia com tamanho entre 7 e 16 cm a partir de uma foto, tirada a partir de uma RPA. Apesar de não serem muito jovens, existem diversos trabalhos (KNEZEVIC et al., 2002; GOWER et al., 2002), que relatam não haver perdas significativas na lavoura ao iniciar-se o controle das PDs quando estas estão abaixo de 15 cm de altura. A I. hederifolia cuja medição atingiu 16 cm, em campo (no solo) deve aproximar-se de 15 cm, devido a ação da gravidade que acentua a curvatura do caule, além de pender as folhas para baixo.
A variação no tamanho das PDs entre, aproximadamente, 7 e 16 cm foi devido ao desenvolvimento desigual das PDs, seja pela diferença de umidade no campo experimental ou pela competição por luz e recursos naturais entre as próprias PDs. No Apêndice 2 estão apresentadas as imagens das PDs das outras quatro espécies avaliadas neste trabalho: com a planta jovem, tirada a partir do solo, com medição de altura, com altura aproximada de 15 cm tiradas a 1,1 m de distância, a partir do solo, e tiradas a partir da RPA.
(c) (d)
(e)
Figura 8 Imagens de I. hederifolia: com 2 cm de altura tirada a partir de RPA (a); com 2 cm tirada a 40 cm do solo (b); de 7 a 16 cm tirada a 1,1 m de altura (c); de 7 a 16 cm tirada a partir de RPA (d) e coletadas para medição de altura (e).
3.2 Plano de voo
O plano de voo deve considerar o horário e eventuais nuvens, porque mesmo posicionando a camera totalmente orientada para baixo, dependendo do ângulo solar haverá mais ou menos regiões de sombra nas imagens, que podem afetar os resultados no processo de reconhecimento de padrões.
As RPAs voam abaixo das nuvens, no entanto, a presença das mesmas alteram a luminosidade natural e isto também pode afetar o desempenho do processo de identificação das plantas. Por isso, o ideal é realizar voos perto do meio-dia e em dias de céu limpo ou realizar voos noturnos utilizando iluminação artificial (MCCARTHY et al., 2010).
O plano de voo, também, deve considerar a orientação do vento, uma vez que o consumo da bateria será tanto menor, quanto maior a parte do tempo de voo estiver a favor do vento. Além disso, a estabilidade da RPA é maior e, consequentemente, a qualidade das fotos, também, será melhor quando não se voa contra o vento.
Neste trabalho, a altura de voo variou entre 2 e 4 m. A esta altitude, em testes preliminares, foi possível cobrir a área do campo experimental de 160 em 90 s. A escolha pela baixa altitude deveu-se pela dificuldade de reconhecimento voando a maiores altitudes, uma vez que com menor resolução existe grande perda de detalhes e nestas condições o reconhecimento somente é possível em grandes manchas de infestações de PDs. A dificuldade de reconhecimento com voos a alturas maiores pode ser notada observando-se a Figura 7d, na qual percebe-se grande perda de detalhes.
3.3 Ambiente Experimental
Esta pesquisa foi realizada no Campo Experimental da FEAGRI, que se situa na
S Oeste, no qual foram realizados dois
experimentos. O primeiro no final de junho de 2016, quando foram plantadas duas linhas de 52,5 m de comprimento de cana-de-açúcar, da cultivar RB 867515, com espaçamento de 1,5 m e o segundo no final de maio de 2017, que se seguiu após a rebrota do corte da cana-de- açúcar plantada em junho do ano anterior. A Figura 9 mostra o campo experimental da FEAGRI em duas ocasiões: em setembro de 2016 (Figura 9a) e julho de 2017 (Figura 9b).
No Ambiente Experimental específico para este trabalho houve a semeadura das mais danosas e conhecidas PDs presentes nos canaviais brasileiros (MORO et al., 2012; KUVA et al., 2003), após a brotação da cana-de-açúcar, sendo o desenvolvimento das PDs, assim como, da cana-de-açúcar registrados por fotos capturadas a partir da RPA. As PDs escolhidas foram Brachiaria decumbens (Bd) (FIGUEIREDO et al., 2013) e Panicum maximum (Pm) (ARALDI et al., 2011), como representantes das PDs de folha estreita e Euphorbia heterophylla (Eh) (FERREIRA et al., 2010), Ipomoea quamoclit (Iq) (MONQUERO et al., 2008) e Ipomoea hederifolia (Ih) (CORREIA et al, 2013), como representantes de PDs de folha larga.
A aquisição das sementes das PDs de folha larga foi feita junto a empresa AGROCOSMOS4 e as PDs de folha estreita foi da empresa SEMENTES FORTALEZA5. As
4 AGROCOSMOS - Cosmos Agrícola Produção e Serviços Rurais Ltda, Caixa Postal 41, CEP 13165-
970 Engenheiro Coelho/SP Email: sementesagc@gmail.com
5 SEMENTES FORTALEZA José Romeu Porto de Carvalho EPP Rua Ângelo Vincentim, 764
CEP 13084-060 - Campinas
(a) (b)
cinco espécies de PDs e a cana-de-açúcar estão representadas na Figura 10, em fotos tiradas a altura de 1,2 m, a partir do solo, para facilitar a visualização.
(a) (b) (c)
(d) (e) (f)
Figura 10 Plantas deste estudo: cana-de-açúcar (a), P. maximum (b), I. hederifolia (c), E. heterophylla (d), I. quamoclit (e) e B. decumbens (f).
Teste de Germinação
As sementes adquiridas dos fornecedores supracitados foram avaliadas quanto a sua capacidade de germinação. Primeiramente, as sementes passaram por um soprador (Figura 11a) para limpeza. Posteriormente, foram colocadas 25 sementes em cada germbox e formados conjuntos de quatro germboxes para cada espécie de PD. Todos os germboxes foram colocados no germinador (Figura 11b), que simula as condições de temperatura e luminosidade ideais, considerando suas variações no decorrer do dia e da noite (BRASIL, 1992).
A Figura 12 apresenta o conjunto dos quatro germboxes utilizados para teste de germinação de I. hederifolia, no início do teste em 30/06/2016 (Figura 12a) e onze dias após, já com várias sementes germinadas em 11/07/2016 (Figura 12b). Normalmente, a contagem das sementes germinadas é feita uma semana após o início dos testes, mas nas fotos, apresentadas na Figura 12b, as sementes foram deixadas por mais alguns dias para facilitar a visualização. Os resultados do teste de germinação podem ser vistos na Tabela 3 e as imagens dos germboxes para as demais espécies de PDs podem ser vistas no Apêndice 1.
(a) (b)
Figura 11 Aparato utilizado nos testes de germinação das cinco espécies de PDs: soprador (a) e germinador (b).
(a) (b)
Figura 12 Germboxes do teste de germinação de I. hederifolia em 30/06/2016 (a) e em 11/07/2016 (b).
Tabela 3. Resultado do Teste de Germinação
Germbox
Planta Daninha A B C D Total B. decumbens 8 7 8 6 29 P. maximum 12 14 15 12 53 I. hederifolia 9 11 9 11 40 I. quamoclit 6 4 3 3 16 E. heterophylla 3 3 3 1 10 3.4 Aparato Computacional
O aparato computacional (Figura 13) é formado por Hardware (HW) e Software (SW). O Hardware é formado por um Computador Intel Core i5 de 3.4 GHz com 8 GB de RAM, utilizado tanto para o desenvolvimento como para o processamento do Sistema de Indentificação de PDs.
O desenvolvimento dos Sistemas de Identificação de PDs e de Geração de Mapas de Distribuição Espacial de PDs e Cana-de-Açúcar foi feito em linguagem Java e JavaScript, com uso de bibliotecas do software WEKA6 para Redes Neurais Artificiais (RNA), Random Forest (RF) e k-Nearest Neighbor (kNN).
6 WEKA - Waikato Environment for Knowledge Analysis é um software livre da Universidade de
Na escolha da plataforma de Sistemas Classificadores optou-se por software livres porque tornam a solução mais acessível e, portanto, com potencial para atingir um número maior de produtores. A escolha pelo software WEKA, dentre os diversos softwares livres para este fim, foi devido ao fato de não precisar ser instalado, bem como, não necessita de módulos específicos para cada classificador a ser testado. Somente é necessário ter o Java instalado na máquina e copiar o arquivo weka.jar no diretório de onde serão executados os comandos para treinamento e validação dos sistemas classificadores.
Figura 13 Aparato Computacional.
3.5 Sistemas de Identificação de PDs
O sistema de identificação utilizando RPA é semelhante aos utilizados nos sistemas de sensoriamento remoto. No qual, descritores estatísticos, tais como a média, desvio médio, desvio padrão, variância, curtose, assimetria e valores máximos e mínimos dos pixels de partes das imagens capturadas da RPA, serão extraídos de imagens RGB e utilizados como variáveis independentes (GONZALEZ e WOODS, 2002). As espécies de PDs e da cultura foram os resultados, ou variáveis dependentes, dos classificadores RNA, RF e KNN. Neste trabalho, foram utilizados vinte e quatro (24) descritores estatísticos, oito (8) para cada banda RGB.
Primeiramente as imagens são subdivididas em dois grupos, um de treinamento e outro para validação, após esta divisão, o Sistema de Identificação de PDs (SIPD) tem seis
atividades principais, descritas a seguir e representadas na Figura 14: Amostragem da Cultura e das PDs, Cálculo dos Descritores Estatísticos, Geração de Modelos (atividade de treinamento dos classificadores), Validação dos Modelos (atividade de identificação das plantas presentes nas imagens da lavoura e avaliação de desempenho), Identificação das PDs por Código de Cores e Mapeamento das PDs na Lavoura.
Figura 14- Diagrama do Sistema de Identificação de PDs (SIPD).
Amostragem da Cultura e das PDs
A obtenção dos descritores das imagens RGB tiradas da RPA foi realizada por meio de retirada de amostras da cultura e das PDs recortadas das imagens (Figura 15). Trata- se de um procedimento manual, em que as plantas (cultura ou PDs) são identificadas e amostradas, tais amostras serão utilizadas nas atividades de Geração e Validação de Modelos.
Estas amostras deveriam representar, na medida do possível, as diversas tonalidades (de vermelho, de verde e de azul) que uma mesma espécie, vista do alto, pode ter.
Figura 15 Processo de Amostragem
A Figura 16 é um exemplo de extração de amostras de imagens capturadas a partir de uma RPA. Na Figura 16a estão representadas a cana-de-açúcar, circundada por uma linha lilás e três PDs predominantes: Lepidium virginicum circundada de lilás, Nicandra physalodes circundada de violeta e Brachiaria decumbens circundada de azul. A Figura 16b é imagem original com as amostras retiradas.
(b)
Figura 16 - Imagem de uma lavoura de cana-de-açúcar com infestações de três PDs predominantes (Lepidium virginicum, Nicandra physalodes e Brachiaria decumbens) antes (a) e após a retirada de amostras da cultura e das PDs (b). Fonte: YANO et al. (2017a)
Cálculo dos Descritores Estatísticos
As amostras selecionadas a partir das imagens são então particionadas em pequenas subimagens (PERNOMIAN et al., 2004), como um grid (CHRISTENSEN et al., 2009), conforme processo (1) da Figura 17. As amostras, que identificam as PDs, cultura e solo, são recortadas das imagens e precisam passar por este tratamento, porque, geralmente, estas amostras são maiores e de tamanho variado. Por isso, são divididas em subimagens de tamanho padronizado, para posterior cálculo de descritores, que por sua vez, serão utilizados para treinamento e reconhecimento de padrões pelos sistemas classificadores.
O tamanho em pixels dessas subimagens irá depender da resolução da imagem e do grau de infestação por PDs (VIEIRA e GARRETT, 2005), porque em subimagens muito pequenas não ocorrem variações suficientemente grandes nos descritores estatísticos para um bom reconhecimento de padrões. Por outro lado, em subimagens muito grandes, aumenta-se a probabilidade de as mesmas conterem partes de mais de uma planta, além de solo ou palha, prejudicando o processo de reconhecimento de padrões. Uma vez que, a presença de partes que não constituem uma determinada planta, ao participarem do cálculo dos descritores estatísticos irão gerar resultados que não caracterizaam esta planta. Neste trabalho, tanto
amostras, quanto imagens inteiras foram divididas em quadrados de 5 por 5 pixels, porque estas subimagens de 25 de área, já foram utilizadas antes (SANTIAGO, 2015) e apresentaram melhor desempenho por parte dos classificadores, em trabalhos realizados em condições semelhantes de altura de voo e resolução da câmera (YANO et al., 2017b).
O motivo do particionamento tanto das amostras como das imagens inteiras a serem analisadas é possibilitar a identificação de PDs, mesmo quando estas estão misturadas a cultura. Reduzindo-se a área de análise é possível identificar a presença predominante na subimagem de uma determinada espécie de planta, possibilitando sua identificação.
Todas as amostras tiveram, previamente, a espécie que representam identificadas. Esta informação foi usada para treinamento dos classificadores na atividade de Geração de Modelos, pois este trabalho baseou-se em treinamento supervisionado. Esta identificação prévia das amostras também foi necessária para conferência com os valores previstos pelos classificadores, na atividade de Validação de Modelos, servindo para apuração de resultados e avaliação de desempenho dos classificadores.
Uma vez tendo segmentado as amostras em subimagens, o próximo passo é calcular os descritores estatísticos que serão utilizados pelos subsistemas classificadores para identificar as PDs. Conforme supracitado, foram utilizados oito descritores estatísticos (média, desvio médio, desvio padrão, variância, curtose, assimetria e valores máximos e mínimos) dos pixels presentes na subimagem, cujas fórmulas podem ser consultadas no Anexo 4. Na Figura 17, o cálculo dos descritores estatísticos está representado pelo processo (2).
O motivo pela escolha dos descritores estatísticos é que estes podem traduzir todo o conjunto de dados (matrizes de pixels das subimagens) em poucos números, neste caso oito, permitindo encontrar semelhanças e diferenças entre as plantas. As assinaturas espectrais também seriam uma solução. No entanto, devido ao grande número de espécies de PDs e culturas, existe uma grande possibilidade de haver plantas com assinaturas espectrais muito semelhantes (MIRANDA, 2011). É importante destacar, também, que as imagens capturadas a partir de RPAs, neste trabalho, utilizaram luminosidade natural, que varia ao longo do dia e no decorrer do ano (SENA JÚNIOR, 2003) e pode ser afetada por nuvens, de forma que uma eventual assinatura espectral seria específica para as condições na qual a imagem foi capturada. Outro motivo para o uso destes descritores é que não necessitam de imagens capturadas com muita aproximação das plantas para serem extraídos, diferentemente de
descritores como perímetro, comprimento e área (SANTOS, 2009), que somente são possíveis de serem extraídos de fotos tiradas próximas das plantas.
A escolha por câmeras RGB ao invés de multiespectrais ou hiperespectrais é devido ao menor custo da câmera, sendo, portanto, uma tecnologia mais acessível (LÓPEZ