Conjunto de imagens de sementes 3

Os resultados do conjunto de imagens de sementes 3 ´e explicitado na Tabela 12, sendo a melhor acur´acia atingida de 55, 68% por meio do classificador k-NN com as caracter´ısticas oriundas do BIC. O segundo melhor resultado foi do classificador RF com o GCH, com cerca de

Figura 31: M´edias das acur´acias por classe obtidas para o conjunto de sementes 2 balanceado, considerando cada um dos extratores e classificadores (a) RF, (b) J48, (c) OPF.

(a)

(b)

(c)

Figura 32: M´edias das acur´acias por classe obtidas para o conjunto de sementes 2 balanceado, considerando cada um dos extratores e classificadores (a) SVM, (b) k-NN e (c) NB.

(a)

(b)

(c)

Fonte: Autoria Pr´opria.

49, 46%. J´a os classificadores J4.8, OPF e SVM, obtiveram uma acur´acia m´axima de 39, 19% com o Haralick Color. O NB obteve o pior resultado com 35, 68% de acur´acia.

Analisando a Tabela 12 pode-se verificar que as acur´acias gerais, obtiveram valores baixos. Fato que pode ser explicado pela baixa quantidade de imagens que o conjunto de

Tabela 12: Acur´acias m´edias gerais do conjunto de imagens de sementes 3 original. Valores expli- citados em negrito referem-se `as melhores acur´acias atingidas por cada classificador. J´a o valor denotado em sublinhado refere-se `a melhor acur´acia obtida dentre todas.

RF J48 OPF SVM k-NN NB InceptionV3 37,30 29,05 29,05 29,05 28,38 27,97 MobileNet 49,05 32,57 32,57 32,57 52,70 30,54 ResNet50 48,92 28,65 28,65 28,65 48,78 30,27 VGG16 48,51 32,84 32,84 32,84 43,65 32,16 VGG19 47,70 30,14 30,14 30,14 42,97 29,73 Xception 37,70 27,70 27,70 27,70 30,00 17,30 BIC 47,84 36,89 36,89 36,89 55,68 21,89 GCH 49,46 34,73 34,73 34,73 52,84 17,03 Haralick 36,89 33,24 33,24 33,24 32,70 35,68 Haralick Color 47,97 39,19 39,19 39,19 48,24 23,11 LBP 36,89 29,19 29,19 29,19 25,95 20,68 LCH 38,51 29,19 29,19 29,19 32,30 20,41 MPO 35,27 30,95 30,95 30,95 32,57 33,78 MPOC 47,70 36,49 36,49 36,49 45,54 17,97

dados possui. Tal base foi constru´ıda por pesquisadores ligados `a Embrapa-Soja com uma primeira tentativa da digitalizac¸˜ao das mesmas, bem como posterior estudo da viabilidade de manipulac¸˜ao digital das imagens em diferentes processos. Assim, a mesma foi capturada utili- zando crit´erios bem controlados de luminosidade (evitando artefatos como reflex˜oes, etc), uma a uma de maneira incremental. Por´em, n˜ao tinha por intuito a construc¸˜ao de uma base adequada para criac¸˜ao de modelos de aprendizado de m´aquina.

Dessa forma, dada a baix´ıssima cardinalidade de amostras, diferentes n´ıveis de danos foram agregados em classes superiores que definem apenas o tipo do dano. Al´em disso, dado que uma semente pode apresentar mais de um dano, optou-se por agregar tais sementes tamb´em criando uma superclasse para avaliar a discriminac¸˜ao das mesmas. Isso provavelmente foi o fato que gerou grande impacto nos modelos de aprendizado gerados, uma vez que diferentes n´ıveis de severidade podem gerar diferenciac¸˜oes importantes entre imagens de uma mesma classe, aumentando assim a variac¸˜ao intra-classe e gerando ru´ıdo no aprendizado do modelo. No entanto, um dos objetivos, foi tamb´em, justamente avaliar o comportamento do arcabouc¸o em tais ocasi˜oes esp´urias e de alta dificuldade. Poderia-se talvez utilizar m´etodos de aprendizado multi-r´otulo para sanar alguns dos problemas envolvidos em tal construc¸˜ao, por´em esse n˜ao foi o escopo delineado para o presente trabalho.

Al´em de analisar a acur´acia geral do processo de classificac¸˜ao, foi realizada a avaliac¸˜ao por classe, conforme apresentado nas Figuras 33 e 34. Pˆode-se verificar que os melhores re- sultados foram para as classes MU, PU e U, as quais s˜ao classes que, obviamente, apresentam

algum tipo de dano, bem como uma maior quantidade de amostras para o conjunto de imagens (ver Tabela 6 da sec¸˜ao 5.4.2).

Figura 33: M´edias das acur´acias por classe obtidas para o conjunto de sementes 3, considerando cada um dos extratores e classificadores (a) RF, (b) J48, (c) OPF.

(a)

(b)

(c)

Fonte: Autoria Pr´opria.

Importante notar que as deep features novamente apresentaram uma acur´acia abaixo das caracter´ısticas tradicionais, isso pode ser explicado devido `a baixa cardinalidade da base.

Figura 34: M´edias das acur´acias por classe obtidas para o conjunto de sementes 3, considerando cada um dos extratores e classificadores (a) SVM, (b) k-NN e (c) NB.

(a)

(b)

(c)

Fonte: Autoria Pr´opria.

Considerando as acur´acias por classe o classificador NB foi o que apresentou melhores resulta- dos, havendo nesse caso uma alternˆancia entre caracter´ısticas de cor e textura em alguns casos. Essa alternˆancia pode ter ocorrido dada a mistura de diferentes n´ıveis de danos em uma mesma classe, fato que colaborou para que a diferenciac¸˜ao inter-classes por meio das caracter´ısticas de textura fosse mais evidente e n˜ao t˜ao sutil quanto nos conjuntos anteriores.

Tabela 13: Acur´acias m´edias gerais do conjunto de imagens de sementes 3 balanceado. Valores explicitados em negrito referem-se `as melhores acur´acias atingidas por cada classificador. J´a o valor denotado em sublinhado refere-se `a melhor acur´acia obtida dentre todas.

RF J48 OPF SVM k-NN NB InceptionV3 29,73 28,24 28,24 28,24 28,38 28,11 MobileNet 46,62 30,81 30,81 30,81 52,70 30,54 ResNet50 44,19 29,59 29,59 29,59 48,78 30,27 VGG16 44,73 29,86 29,86 29,86 43,65 32,03 VGG19 42,57 28,65 28,65 28,65 42,97 29,73 Xception 28,11 19,19 19,19 19,19 30,00 17,30 BIC 43,38 29,46 29,46 29,46 55,68 21,76 GCH 40,54 34,19 34,19 34,19 52,84 15,81 Haralick 30,68 24,32 24,32 24,32 32,70 15,14 Haralick Color 43,24 30,95 30,95 30,95 48,24 18,78 LBP 30,68 24,05 24,05 24,05 25,95 20,14 LCH 33,65 27,16 27,16 27,16 32,30 20,14 MPO 30,95 23,92 23,92 23,92 32,57 13,11 MPOC 38,11 29,46 29,46 29,46 45,54 13,38

A partir do conjunto de imagens de sementes 3, foi realizado o balanceamento das amostras de treinamento, objetivando melhorar os baixos resultados adquiridos pelos classifi- cadores com as caracter´ısticas extra´ıdas. Sendo assim a Tabela 13 apresenta os resultados das acur´acias gerais oriundas dos experimentos realizado em tal conjunto.

A maior acur´acia obtida foi com o classificador k-NN com as caracter´ısticas do BIC, atingindo cerca de 55, 68% (resultado semelhante ao obtido na base desbalanceada). O segundo melhor classificador foi o RF, obtendo 46, 62% de acur´acia com as caracter´ısticas deep featu-

resextra´ıdas pela arquitetura MobileNet. No entanto, ao observar os resultados obtidos pelas

arquiteturas oriundas de outras arquitetura, bem como as da MobileNet com outros classifica- dores, o balanceamento realizado n˜ao gerou impacto significativo. Isso leva a crer que o fator de balanceamento deve ser, obviamente, melhor adequado a tais arquiteturas com a gerac¸˜ao de um volume de imagens consideravelmente maior do que o considerado no presente trabalho, por meio da otimizac¸˜ao de parˆametros de tais m´etodos. Por´em, tal an´alise de parametrizac¸˜ao n˜ao foi o escopo do presente trabalho e deve ser melhor abordada em trabalhos derivados do mesmo.

Com relac¸˜ao aos classificadores J4.8, OPF e SVM os mesmos apresentaram o mesmo comportamento de an´alises anteriores gerando praticamente um empate entre os mesmos. De maneira geral, ap´os o balanceamento n˜ao houve melhora significativa nos resultados para a

base em quest˜ao. Por fim, as Figuras 35 e 36 ilustram as acur´acias por classe. ´E poss´ıvel notar

minorit´arias (e.g. classes P, SD). Sendo que a alternˆancia entre bons resultados oriundos de caracter´ısticas de cor e textura ainda permanece.

Figura 35: M´edias das acur´acias por classe obtidas para o conjunto de sementes 3 balanceado, considerando cada um dos extratores e classificadores (a) RF, (b) J48, (c) OPF.

(a)

(b)

(c)

Figura 36: M´edias das acur´acias por classe obtidas para o conjunto de sementes 3 balanceado, considerando cada um dos extratores e classificadores (a) SVM, (b) k-NN e (c) NB.

(a)

(b)

(c)

Fonte: Autoria Pr´opria.