Como já mencionado, são usadas redes MLP treinadas por dois diferentes algoritmos. Na Tabela 18, são apresentadas as taxas de acerto médias globais, ou seja, considerando-se ambas as classes obtidas com cada rede.
Tabela 18. Resultados globais médios das MLP.
ANN � � � � � � � �
MLP/
BP 41 78,0 8,8 74,9 11,0 64,9 11,3 MLP/
ELM 161 82,5 3,7 - - 65,2 4,8 Fonte: Autor desta dissertação.
Os resultados modestos da MLP/BP e MLP/ELM na classificação do conjunto de validação dão uma indicação de que o problema em mãos é uma tarefa difícil, mesmo usando-se classificadores não lineares. É importante salientar que, mesmo apresentando taxas de reconhecimento próximas, a rede MLP/BP leva alguma vantagem, sobre a MLP/ELM, pelo número reduzido de pesos, favorecendo a implementação embarcada do classificador.
Devido à observação de resultados globais semelhantes para ambas as redes, os resultados médios de classificação obtidos para cada classe separadamente são apresentados na Tabela 19, visando-se elucidar possíveis divergências no desempenho das redes. Nela, pode-se observar consistência dos classificadores, evidenciada pelo equilíbrio das taxas de acerto por classe, ou seja, na classificação da classe normal e da falha, há uma diferença pequena entre taxas de acerto individuais (10% no conjunto de treinamento e 5% nos conjuntos de teste e de validação). Os valores apresentados são o percentual em relação ao total da classe considerada.
Tabela 19. Taxas de classificação média por classe.
MLP Classe � TR � TS � VAL
BP Normal 80,21 77,45 69,33
Falha 75,69 72,36 64,83
ELM Normal 87,84 - 75,60
Falha 77,00 - 64,99
Dentre os 50 classificadores projetados para gerar os resultados médios, apresentados nas Tabela 18 e na Tabela 19, são selecionados, para cada um dos algoritmos de treinamento BP e ELM, o classificador que apresenta, simultaneamente, alta taxa de acerto global nos conjuntos de treinamento e de teste, equilíbrio entre as taxas de acerto por classe, e que não apresenta erro de classificação, nos dados relativos à operação normal, no conjunto de validação. Estes critérios foram utilizados com o intuito de se aplicar, em trabalhos futuros, os classificadores em monitoramento real, com reduzida ocorrência de falsos negativos para operação normal. As redes ainda são submetidas ao algoritmo de poda, denominado CAPE (Medeiros e Barreto, 2013), para se removerem redundâncias danosas, e se reduzir o tempo de processamento e recursos de memória, em aplicação embarcada e em tempo real. Os resultados são apresentados na Tabela 20.
Tabela 20. Resultado para RNA específicas
MLP Nw CRTR CRTS CRVAL Classe CRTR CRTS CRVAL
BP 41 89,7 81,8 68,5 Normal 94,9 81,8 100 Falha 84,7 81,8 67,9 BP/ CAPE 34 87,1 81,8 70,2 Normal 94,9 81,8 100 Falha 79,5 81,8 69,3 ELM 161 84,1 - 63,8 Normal 90,2 - 100 Falha 78,0 - 63,9
Fonte: Autor desta dissertação.
O algoritmo de poda não consegue remover pesos na rede treinada pelo algoritmo ELM, mas promove uma redução de 17% no número de pesos ( ) do classificador treinado com o algoritmo BP, além de apresentar uma melhora na taxa de acerto no conjunto de validação, � , de 68,5% para 70,2%. Na coluna da extrema direita da tabela, pode-se ver que o acerto para classe normal, no conjunto de validação, é de 100% para todas as redes. Para se ressaltar a importância disto é preciso lembrar: primeiramente, que o objetivo futuro destes classificadores é que componham um sistema de detecção contínua e em tempo real; e, em segundo lugar, que se o curto-circuito de alta impedância não for detectado em primeira instância, ainda poderá ser detectado à medida que evolui, pois os dados que compõem o conjunto de treinamento das redes incluem amostras do curto-circuito de baixa impedância, que são mais facilmente detectados. Por outro lado, a ocorrência de um
falso positivo, para o conjunto de falha, seria problemática, uma vez que a detecção de um curto-circuito, em um sistema em condição normal de operação, acarretaria um desligamento desnecessário do motor.
Outra observação importante, sobre a tabela, pode ser feita tomando-se como exemplo a taxa de acerto global no conjunto de validação, para a rede MLP/BP (68,5%), e a taxa de acerto no conjunto de falha, para a mesma rede (67,9%). Estes números mostram que a contribuição para a taxa de acerto global vem, quase que inteiramente, do conjunto de falha. O motivo para tal é bem discutido no capítulo 4, no qual se mostra que o número de amostras coletadas para a condição de falha do motor é 6 vezes maior do que o coletado para a condição normal. Como, no treinamento da rede, se busca equilíbrio entre a quantidade de dados normais e de falha, enquanto o primeiro é treinado usando-se 70% do total de dados de sua classe, o outro é treinado com apenas 12%. Em números absolutos, no treinamento, são usados 29 dos 42 dados referentes à classe normal, e 29 dos 252 dados referentes à falha. A consequência disto, é que a quantidade de dados de validação, para o conjunto de falha, torna-se desproporcional, sendo ela a maior responsável pela definição da taxa global de acerto. No entanto, o equilíbrio no treinamento é necessário, para que a rede não fique tendenciosa.
Para efeito de comparação, Coelho e Medeiros (2013) propõem um classificador neural, usando Mapa Auto-Organizável, treinado com o mesmo conjunto de dados. O classificador apresenta taxa de acerto global de 87,5%, porém, com acerto de 52% para dados referentes à operação normal, e 94,5% para a condição de falha, o que demonstra uma clara tendência da rede em classificar os dados como falha, além de que, provavelmente, tem uma alta chance de apontar falsos positivos para o conjunto de falha.
Em busca de melhorar as taxas de acerto obtidas aqui, opta-se pela aplicação da técnica da Análise de Componentes Principais (Principal Components
Analysis - PCA) (Haykin, 1999) sobre o conjunto de dados original.