Anomalia Tipo II

Para a detecção das anomalias provenientes da possível falha resistiva também é utilizado o processo descrito na Figura 47 para divisão dos grupos de treinamento e teste. De maneira diferente, o gerador de anomalias para o Tipo II cria outliers a partir de 225 amostras consecutivas de cada trip. Utilizando a metodologia proposta na Seção 4.4, cinco diferentes níveis de anomalias são definidos para o sinal do sensor ECT, definindo assim a base utilizada nos experimentos, descrita na Tabela 7.

De maneira mais detalhada, os dados referentes ao funcionamento normal do veículo, são separados nos respectivos conjuntos de ciclos de direção ‖𝐴‖ e ‖𝐵‖. Para a anomalia tipo II o valor de 𝑁 , número total de ciclos utilizados para criar a base em movimento é 45. Sendo 30 trips usadas para o grupo ‖𝐴‖ e 15 para o grupo ‖𝐵‖. Após o procedimento descrito na Figura 47, obtém-se os conjuntos ‖𝑇 ‖, ‖𝑇 𝑇 ‖ e ‖𝑂𝑇 ‖. Diferente da anomalia Tipo I, o conjunto de dados anômalos é construído a partir da inserção de anomalia em 225 amostras consecutivas dos sinais selecionados.

Os experimentos realizados neste trabalho objetivam definir a(s) melhor(es) técnica(s) para os dois modos de operação definidos. Os parâmetros específicos para cada técnica são descritos na Tabela 15, validos para ambos os modos do veículo.

Com o objetivo de realizar uma análise estatística do sistema de detecção de anomalias proposto, os resultados apresentados são baseados na construção dos modelos de cada técnica trinta vezes. Dessa maneira, os resultados são apresentados com valores médios e seus respectivos desvios padrões. As tabelas 16 à 20 resumem os valores obtidos para os cinco níveis de anomalias.

Tabela 16 – Média e desvio padrão das métricas para os experimentos do veículo em movimento para anomalia Tipo II - Nível 1

Técnica Acurácia Sensibilidade Especificidade Precisão Target Precisão Outlier F2-score Gauss 0.590 ± 0.011 0.654 ± 0.005 0.335 ± 0.018 0.795 ± 0.019 0.189 ± 0.025 0.438 ± 0.008 k-NN 0.827 ± 0.017 0.939 ± 0.001 0.670 ± 0.022 0.799 ± 0.036 0.873 ± 0.020 0.925 ± 0.006 Mahalanobis 0.685 ± 0.001 0.685 ± 0.001 1.000 ± 0.000 1.000 ± 0.000 0.005 ± 0.001 0.024 ± 0.001 MST 0.649 ± 0.007 0.680 ± 0.003 0.474 ± 0.023 0.880 ± 0.011 0.109 ± 0.006 0.332 ± 0.005 Naive Parzen 0.662 ± 0.008 0.722 ± 0.004 0.510 ± 0.016 0.791 ± 0.019 0.336 ± 0.009 0.587 ± 0.007 SOM 0.576 ± 0.007 0.639 ± 0.004 0.297 ± 0.021 0.799 ± 0.019 0.185 ± 0.009 0.428 ± 0.006 Parzen 0.596 ± 0.009 0.669 ± 0.005 0.380 ± 0.015 0.760 ± 0.015 0.301 ± 0.008 0.537 ± 0.008 SVDD 0.552 ± 0.008 0.704 ± 0.005 0.401 ± 0.006 0.539 ± 0.017 0.379 ± 0.010 0.600 ± 0.007 Extreme Value 0.741 ± 0.012 0.831 ± 0.013 0.093 ± 0.007 0.869 ± 0.011 0.071 ± 0.008 0.264 ± 0.009 OC-SVM 0.901 ± 0.001 0.998 ± 0.000 0.226 ± 0.003 0.899 ± 0.002 0.957 ± 0.001 0.989 ± 0.002

Os resultados iniciais para o Nível I, mostrados na Tabela 16, mostram a técnica OC- SVM, com kernel polinomial de terceiro grau, como a melhor para o veículo em trajetória. Antes de definir o uso deste kernel também foram testados o RBF e o 𝑘𝑒𝑟𝑛𝑒𝑙 linear. A técnica apresenta uma maior precisão para detectar dados anômalos do que os normais (target).

Ao considerar a técnica k-𝑁 𝑁 , a mesma apresentou uma configuração de parâmetros interessante, visto que foi utilizada uma janela de tamanho 𝑁 = 6. O valor do 𝑘 utilizado neste trabalho foi igual a um. Apesar do valor definir o uso da técnica como o 1-𝑁 𝑁 , este valor para comparação na vizinhança retornou o melhor resultado dentre valores ímpares de 𝑘 testados entre 1 e 7. A Tabela 17 mostra os resultados para o segundo nível de anomalia.

Analisando a precisão de maneira separada, a técnica baseada na distância de Maha- lanobis apresenta o melhor resultado, quando considerado os dados de funcionamento normal do veículo. Em relação a detecção das anomalias (outliers) a técnica com o me- lhor resultado foi a OC-SVM. É importante ressaltar que durante a análise, os níveis de anomalia quatro e cinco possuem uma maior influência na escolha dos resultados ge- rais, visto que as mesmas representam um maior grau de degeneração ou falha do sensor, podendo acarretar maiores danos ao motor do carro.

Tabela 17 – Média e desvio padrão das métricas para os experimentos do veículo em movimento para anomalia Tipo II - Nível 2

Técnica Acurácia Sensibilidade Especificidade Precisão Target Precisão Outlier F2-score Gauss 0.573 ± 0.012 0.640 ± 0.005 0.264 ± 0.015 0.801 ± 0.017 0.134 ± 0.022 0.364 ± 0.004 k-NN 0.829 ± 0.015 0.943 ± 0.000 0.672 ± 0.021 0.799 ± 0.021 0.916 ± 0.002 0.930 ± 0.004 Mahalanobis 0.694 ± 0.003 0.691 ± 0.002 0.994 ± 0.014 1.000 ± 0.000 0.037 ± 0,001 0.018 ± 0.001 MST 0.677 ± 0.006 0.704 ± 0.003 0.554 ± 0.019 0.876 0.011 ± 0.244 ± 0.006 0.511 ± 0.005 Naive Parzen 0.709 ± 0.007 0.770 ± 0.004 0.580 ± 0.014 0.794 ± 0.014 0.494 ± 0.007 0.692 ± 0.007 SOM 0.601 ± 0.011 0.658 ± 0.005 0.377 ± 0.019 0.802 ± 0.017 0.207 ± 0.010 0.458 ± 0.009 Parzen 0.619 ± 0.012 0.691 ± 0.008 0.431 ± 0.021 0.761 ± 0.017 0.433 ± 0.010 0.617 ± 0.010 SVDD 0.579 ± 0.022 0.733 ± 0.006 0.430 ± 0.020 0.557 ± 0.043 0.394 ± 0.026 0.625 ± 0.020 Extreme Value 0.758 ± 0.013 0.839 ± 0.013 0.153 ± 0.009 0.881 ± 0.008 0.112 ± 0.011 0.366 ± 0.008 OC-SVM 0.900 ± 0.002 0.997 ± 0.001 0.221 ± 0.003 0.899 ± 0.002 0.933 ± 0.001 0.983 ± 0.002

Tabela 18 – Média e desvio padrão das métricas para os experimentos do veículo em movimento para anomalia Tipo II - Nível 3

Técnica Acurácia Sensibilidade Especificidade Precisão Target Precisão Outlier F2-score Gauss 0.611 ± 0.012 0.670 ± 0.004 0.392 ± 0.020 0.803 ± 0.018 0.246 ± 0.002 0.498 ± 0.013 k-NN 0.822 ± 0.015 0.927 ± 0.008 0.669 ± 0.018 0.803 ± 0.032 0.847 ± 0.017 0.909 ± 0.011 Mahalanobis 0.730 ± 0.003 0.717 ± 0.002 0.997 ± 0.014 1.000 ± 0.000 0.129 ± 0.001 0.375 ± 0.001 MST 0.741 ± 0.006 0.763 ± 0.004 0.673 ± 0.016 0.879 ± 0.010 0.318 ± 0.005 0.596 ± 0.005 Naive Parzen 0.766 ± 0.011 0.848 ± 0.005 0.641 ± 0.021 0.786 ± 0.021 0.617 ± 0.011 0.788 ± 0.010 SOM 0.615 ± 0.009 0.672 ± 0.004 0.421 ± 0.017 0.796 ± 0.015 0.187 ± 0.009 0.442 ± 0.008 Parzen 0.695 ± 0.011 0.771 ± 0.007 0.554 ± 0.016 0.761 ± 0.014 0.448 ± 0.009 0.673 ± 0.010 SVDD 0.597 ± 0.013 0.771 ± 0.007 0.450 ± 0.011 0.543 ± 0.023 0.659 ± 0.016 0.745 ± 0.012 Extreme Value 0.797 ± 0.018 0.872 ± 0.011 0.352 ± 0.012 0.888 ± 0.005 0.319 ± 0.011 0.648 ± 0.010 OC-SVM 0.901 ± 0.002 0.998± 0.000 0.226 ± 0.003 0.899 ± 0.002 0.957 ± 0.001 0.989 ± 0.001

Tabela 19 – Média e desvio padrão das métricas para os experimentos do veículo em movimento para anomalia Tipo II - Nível 4

Técnica Acurácia Sensibilidade Especificidade Precisão Target Precisão Outlier F2-score Gauss 0.681 ± 0.016 0.736 ± 0.004 0.543 ± 0.011 0.802 ± 0.020 0.435 ± 0.011 0.646 ± 0.007 k-NN 0.816 ± 0.014 0.922 ± 0.007 0.662 ± 0.019 0.799 ± 0.032 0.856 ± 0.019 0.908 ± 0.011 Mahalanobis 0.810 ± 0.012 0.783 ± 0.011 0.999 ± 0.003 1.000 ± 0.000 0.379 ± 0.006 0.645 ± 0.003 MST 0.814 ± 0.006 0.844 ± 0.004 0.749 ± 0.014 0.880 ± 0.001 0.584 ± 0.005 0.775 ± 0.006 Naive Parzen 0.814 ± 0.009 0.914 ± 0.005 0.683 ± 0.015 0.792 ± 0.015 0.767 ± 0.008 0.880 ± 0.006 SOM 0.579 ± 0.008 0.641 ± 0.005 0.308 ± 0.019 0.802 ± 0.020 0.201 ± 0.012 0.444 ± 0.006 Parzen 0.776 ± 0.008 0.883 ± 0.009 0.637 ± 0.019 0.760 ± 0.020 0.751 ± 0.012 0.853 ± 0.007 SVDD 0.652 ± 0.008 0.880 ± 0.004 0.501 ± 0.010 0.539 ± 0.021 0.739 ± 0.012 0.847 ± 0.004 Extreme Value 0.864 ± 0.025 0.942 ± 0.017 0.560 ± 0.019 0.893 ± 0.007 0.716 ± 0.021 0.886 ± 0.027 OC-SVM 0.902 ± 0.002 0.999 ± 0.000 0.230 ± 0.003 0.899 ± 0.002 0.983 ± 0.001 0.988 ± 0.001

O algoritmo baseado na distância de Mahalanobis apresenta o melhor resultado de precisão, quando analisada a classificação apenas dos dados tipo target. Apesar do bom resultado para os dados do funcionamento normal, a técnica apresenta o pior resultado da precisão para o tipo de dado anômalo. O resultado pode ser explicado pela não normali- dade de todas instâncias analisadas. Outra observação a partir dos resultados da Tabela 19 e 20 é relacionada a técnica Extreme Value. Observando os resultados, a mesma apre- senta seus melhores resultados para os níveis 4 e 5. Ainda relacionado a técnica Extreme

Value, das seis métricas analisadas a que apresenta uma mudança considerável, quando

comparados os níveis de anomalia, é a precisão no reconhecimento das anomalias. Os re- sultados para os níveis 1, 2 e 3 foram abaixo de 0.32, apresentando um salto para 0.71 a partir do nível 4.

A técnica de detecção de anomalias baseada em análise estatística que apresentou o melhor resultado foi a Naive Parzen, seguida pela Extreme Value, que realiza uma análise de valores extremos de uma distribuição. O mau resultado da técnica Gauss pode ser explicado pela distribuição dos dados provenientes do sensor ECT, que não seguem uma distribuição normal.

Como mostrado ao longo desta seção, os resultados são descritos em seis métricas diferentes. Apesar da importância de cada uma, a métrica escolhida para uma análise geral do sistema proposto, é o F2-𝑠𝑐𝑜𝑟𝑒. Interpretada como uma media harmônica das

Tabela 20 – Média e desvio padrão das métricas para os experimentos do veículo em movimento para anomalia Tipo II - Nível 5

Técnica Acurácia Sensibilidade Especificidade Precisão Target Precisão Outlier F2-score Gauss 0.737 ± 0.010 0.799 ± 0.004 0.618 ± 0.018 0.801 ± 0.019 0.616 ± 0.016 0.754 ± 0.009 k-NN 0.823 ± 0.014 0.934 ± 0.006 0.667 ± 0.019 0.798 ± 0.030 0.868 ± 0.017 0.920 ± 0.007 Mahalanobis 0.853 ± 0.008 0.823 ± 0.008 1.000 ± 0.000 1.000 ± 0.000 0.550 ± 0.000 0.748 ± 0.015 MST 0.834 ± 0.009 0.873 ± 0.003 0.761 ± 0.018 0.876 ± 0.013 0.718 ± 0.007 0.836 ± 0.004 Naive Parzen 0.829 ± 0.008 0.941 ± 0.004 0.691 ± 0.018 0.788 ± 0.020 0.873 ± 0.016 0.926 ± 0.005 SOM 0.593 ± 0.007 0.653 ± 0.004 0.356 ± 0.014 0.800 ± 0.009 0.227 ± 0.006 0.474 ± 0.008 Parzen 0.775 ± 0.009 0.884 ± 0.005 0.636 ± 0.014 0.758 ± 0.016 0.842 ± 0.008 0.875 ± 0.006 SVDD 0.663 ± 0.013 0.900 ± 0.005 0.510 ± 0.010 0.543 ± 0.020 0.724 ± 0.013 0.858 ± 0.005 Extreme Value 0.875 ± 0.021 0.921 ± 0.019 0.772 ± 0.015 0.902 ± 0.014 0.816 ± 0.025 0.897 ± 0.034 OC-SVM 0.902 ± 0.002 0.998 ± 0.001 0.235 ± 0.004 0.901 ± 0.002 0.943 ± 0.001 0.986 ± 0.001

métricas de precisão e sensibilidade, a mesma torna-se uma boa avaliadora, ao considerar acerto de ambos tipos de dado. Das diversas técnicas utilizadas, a melhor, para os cinco níveis de anomalias, foi a OC-SVM. Com o objetivo de detalhar o resultado da criação de um modelo do sistema proposto usando a técnica OC-SVM, a Figura 50 (a) mostra uma matriz de confusão para o nível de anomalia 4 e a (b) para o nível 5.

Figura 50 – Matriz de confusão para a técnica OC-SVM (a) Nível de anomalia 4 e (b) Nível de anomalia 5.

A Figura 52 mostra os boxplots da métrica F2-score para os níveis de anomalia 4 (a) e 5 (b), respectivamente. Como todos os resultados obtidos são descritos em termos de desvio padrão e valores médios, é utilizado o teste estatístico não-paramétrico de Friedman, para verificar os resultados. O teste de hipótese é realizado com 99% de confiança, para certificar se existe diferença estatística entre cada classificador, considerando o F2-score. A hipótese nula (𝐻0) do teste é que os dados são estatisticamente iguais. O teste realiza os testes de desempenho em pares.

O resultado, ilustrado na Figura 51, mostrou que no nível 4, apenas as técnicas SOM e OC-SVM apresentam diferenças estatísticas entre si. De maneira diferente, para o quinto nível existe diferença estatística entre as técnicas Mahalanobis e Naive Parzen, Naive

Figura 51 – Resultado do teste de Friedman para diferenças estatísticas entre as técnicas utilizadas no modo em movimento (a) Nível de Anomalia 4 (b) Nível 5. O índice indica o numero da técnica analisada, seguindo a ordem mostrada nas tabelas.

Figura 52 – Boxplot do F2-score para (a) Nível 4 de anomalia do veículo em movimento (b) Nível 5 de anomalia, respectivamente.

Parzem e SOM, e as técnicas SOM e Mahalanobis são estatisticamente diferentes da OC-SVM.

Para confirmar o resultado, o teste post-hoc de Nemenyi é usado para confirmar as melhores técnicas baseadas em somas classificadas, os ranks. A Tabela 21 mostra os resul- tados dos ranks para os níveis de anomalia 4 e 5 do modo do veículo em movimento. Os resultados comprovam a técnica OC-SVM como a melhor para ambos níveis de anomalia, seguidos da técnica k-NN, para o nível 4 e Naive Parzen no nível 5.

Tabela 21 – Resultado do teste post-hoc de Nemenyi para o modo em movimento

Técnica Rank Nível 4 Rank Nível 5

Gauss 21.100 23.333 k-NN 81.533 75.400 Mahalanobis 19.900 17.667 MST 36.133 37.600 Naive Parzen 79.233 84.400 SOM 5.500 5.500 Parzen 54.067 49.567 SVDD 62.333 62.800 Extreme Value 49.700 53.233 OC-SVM 95.500 95.500

resultados convergem para a OC-SVM ser a melhor técnica para o modo do veículo em movimento. O valor médio do F2-score obtido é 0.987 para os cinco diferentes níveis de anomalia, contra o valor de 0.806 apresentados pelo autor. A Tabela 22 compara os resultados dos quatro algoritmos utilizados pelo autor que também foram analisados neste trabalho. Para a comparação, os resultados deste trabalho são baseados na média dos cinco diferentes níveis de anomalia.

Tabela 22 – Comparação dos resultados do F2-score para o modo do veículo em movi- mento

Técnica (THEISSLER, 2017) Resultado deste trabalho

Mahalanobis 0.462 0.362

SVDD 0.806 0.735

One-class SVM 0.806 0.987

Extreme Value 0.658 0.423

Por considerar a média do F2-score dos cinco níveis de anomalia, o resultado mostrado na Tabela 22 determina apenas a técnica OC-SVM com resultado geral melhor. Porém, as técnicas SVDD, Extreme Value e Mahalanobis apresentam maior índice nos níveis 4 e 5.

Por fim, ao considerar a performance temporal dos algoritmos, os tempos de pro- cessamento para a base utilizada segue os resultados da Tabela 46. O tempo de treina- mento, criação de modelo, também segue baseada na complexidade de cada técnica. Como exemplo, o algoritmo SVDD apresenta o maior tempo de criação do modelo para todos tamanhos de janela e níveis de anomalia.