Testes de Desempenho do Classificador

CAP´ ITULO 5

novo sorteio. O treinamento da rede neural foi realizado no Matlab e o algoritmo de aprendizagem empregado foi o Levenberg-Marquardt [70].

A avalia¸c˜ao do desempenho do classificador foi feito por meio do produto das eficiˆencias (PE) e da matriz de confus˜ao. O n´umero de neurˆonios na camada de sa´ıda da rede neural esta associado `a quantidade de classes de interesse avaliadas, assim, neste experimento foram empregados 4 neurˆonios na camada de sa´ıda (C₁, C₂, C₃ e C₄), sendo as sa´ıdas alvo definidas respectivamente como y₁ = [1,−1,−1,−1]^T, y₂ = [−1,1,−1,−1]^T, y₃ = [−1,−1,1,−1]^T ey₄ = [−1,−1,−1,1]^T. Neste caso, o neurˆonio com maior valor de sa´ıda corresponde a classe associada pela rede neural ao padr˜ao de entrada. J´a a sele¸c˜ao do n´umero de neurˆonios na camada oculta foi realizada obedecendo os crit´erios estabelecidos no trabalho [5].

Em um primeiro instante, o classificador foi alimentado pelos sinais no dom´ınio do tempo, mostrados na Figura 5.1. A fun¸c˜ao de ativa¸c˜ao empregada foi a tangente hi-perb´olica e utilizou-se 5 neurˆonios na camada escondida. Este n´umero foi determinado ap´os diversos tetes realizados no trabalho [5]. A Tabela 5.1 apresenta o produto das eficiˆencias e a matriz de confus˜ao.

Figura 5.1: Sinais t´ıpicos no dom´ınio do tempo para as classes (a) sem defeito (SD), (b) falta de penetra¸c˜ao (FP), (c) inclus˜ao de esc´oria (IE) e (d) porosidade .

As classes falta de penetra¸c˜ao e porosidade foram as que apresentaram maiores ´ındices de acertos (65% e 60% das assinaturas medidas, respectivamente), contudo a efic´acia do classificador se mostrou inadequado para a aplica¸c˜ao, devido ao reduzido n´umeros de

Tabela 5.1: Matriz de confus˜ao (em %) para as classes sem defeito (SD), com falta de penetra¸c˜ao (FP), inclus˜ao de esc´oria (IE) e porosidade (PO) considerando classificador neural alimentado pelos dados no dom´ınio do tempo.

Classe Real PE(%) = 41,35±4,1 SD FP IE PO

Classe detectada pelo classificador

SD 30 15 15 30 FP 15 65 15 5

IE 10 10 25 5 PO 45 10 45 60

acertos. Como pode ser visto a baixa eficiˆencia na discrimina¸c˜ao quando utilizando os dados no dom´ınio do tempo como entradas para o classificador justifica a utiliza¸c˜ao de t´ecnicas de pr´e-processamento.

As Figuras 5.2, 5.3 e 5.4 ilustram os resultados da aplica¸c˜ao da FFT, DCT e DWT, respectivamente, para as assinaturas ac´usticas adquiridas no primeiro experimento, consi-derando os sinais t´ıpicos de cada classe de interesse: sem defeito (SD), falta de penetra¸c˜ao (FP), porosidade (PO) e inclus˜ao de esc´oria (IE).

Com a finalidade de extrair os termos mais significativos dos sinais a serem fornecidos ao classificador neural foi realizada uma sele¸c˜ao do n´umero de coeficientes. Essa escolha ´e importante para tornar o treinamento da rede mais r´apido. Conforme mostrado na Figura 5.3 ´e poss´ıvel notar que a maior parte da energia est´a concentrada em poucos coeficientes.

Este ´e um ponto favor´avel na aplica¸c˜ao da DCT, a compress˜ao do sinal. Assim, como forma de reduzir a quantidade de caracter´ısticas, optou-se por alimentar o classificador atrav´es dos 100 primeiros coeficientes da FFT e DCT.

A transformada de Wavelet aplicada aos dados de inspe¸c˜ao foi a Daubechie de or-dem 3 (db3). Neste caso utilizou-se 256 coeficientes de aproxima¸c˜ao do terceiro n´ıvel de decomposi¸c˜ao para alimentar o classificador.

A Tabela 5.2 apresenta a matriz de confus˜ao e o produto das eficiˆencias do classificador neural alimentado pelas t´ecnicas FFT, DCT e DWT. Este resultado quando comparado ao anterior (sinais no dom´ınio do tempo) mostra-se bastante interessante para aplica¸c˜ao neste projeto. Pois, al´em de reduzir a quantidade de parˆametros de entrada para o clas-sificador, levando a um gasto computacional menor, tamb´em apresenta um desempenho de discrimina¸c˜ao superior. Estes resultados s˜ao equivalentes aos obtidos por meio de um

0 0.5 1 1.5 2 x 10⁸ 0

0.5 1

Frequência (Hz) (a)

Amplitude Normalizada 0 0.5 1 1.5 2

x 10⁸ 0

0.5 1

Frequência (Hz) (b)

Amplitude Normalizada

0 0.5 1 1.5 2

x 10⁸ 0

0.5 1

Frequência (Hz) (c)

Amplitude Normalizada 0 0.5 1 1.5 2

x 10⁸ 0

0.5 1

Frequência (Hz) (d)

Amplitude Normalizada

Figura 5.2: Sinais t´ıpicos obtidos ap´os a aplica¸c˜ao da FFT, considerando as quatro clas-ses de interesse: (a) sem defeito, (b) falta de penetra¸c˜ao, (c) inclus˜ao de esc´oria e (d) porosidade.

0 500 1000 1500 2000

-0.5 0 0.5 1

Coeficientes (a)

Amplitude Normalizada 0 500 1000 1500 2000-1

-0.5 0 0.5 1

Coeficientes (b)

Amplitude Normalizada

0 500 1000 1500 2000

-0.5 0 0.5 1

Coeficientes (c)

Amplitude Normalizada 0 500 1000 1500 2000-0.5

0 0.5 1

Coeficientes (d)

Amplitude Normalizada

Figura 5.3: Sinais t´ıpicos obtidos ap´os a aplica¸c˜ao da DCT, considerando as quatro clas-ses de interesse: (a) sem defeito, (b) falta de penetra¸c˜ao, (c) inclus˜ao de esc´oria e (d) porosidade.

0 500 1000 1500 2000 -0.5

0 0.5 1

Coeficientes (a)

Amplitude Normalizada 0 500 1000 1500 2000-1

-0.5 0 0.5 1

Coeficientes (b)

Amplitude Normalizada

0 500 1000 1500 2000

-1 -0.5 0 0.5 1

Coeficientes (c)

Amplitude Normalizada 0 500 1000 1500 2000-0.5

0 0.5 1

Coeficientes (d)

Amplitude Normalizada

Figura 5.4: Sinais t´ıpicos obtidos ap´os a aplica¸c˜ao da DWT, considerando as quatro classes de interesse: (a) sem defeito, (b) falta de penetra¸c˜ao, (c) inclus˜ao de esc´oria e (d) porosidade.

processamento semelhante (com base noMatlab), ver referˆencia [5].

O melhor resultado em termos da eficiˆencia de discrimina¸c˜ao foi obtido ao alimentar o classificador com os coeficientes da DWT. Neste caso, o produto das eficiˆencias foi PE (%)

= 90,81±2,1. Em compara¸c˜ao, para a FFT houve uma redu¸c˜ao no desempenho (PE (%)

= 87,3±1,3), o que pode est´a relacionado com uma piora em rela¸c˜ao `as classes sem defeito e falta de penetra¸c˜ao, que usando a DWT tiveram 100% de acerto. A DCT apresentou um resultado bem abaixo das outras, por´em obteve o melhor resultado na detec¸c˜ao da classe inclus˜ao de esc´oria.

Um importante resultado obtido com aplica¸c˜ao da DWT ´e que esta apresentou a menor taxa de falso negativo, quando o classificador identifica uma classe defeituosa como sem defeito. Sendo assim, esta transformada ´e indicada para efetuar o estagio inicial do processamento, pois reduz a possibilidade de avaliar incorretamente uma pe¸ca defeituosa.

Durante procedimento de projeto do sistema, foi necess´ario determinar o n´umero de componentes principais utilizados para alimentar o classificador neural. Sendo que, uti-lizar um grande n´umero de componentes implica no aumento dos requisitos computacio-nais. Por outro lado, se apenas poucos componentes principais s˜ao retidos, a eficiˆencia de discrimina¸c˜ao pode ficar comprometida.

Tabela 5.2: Matriz de confus˜ao (em %) para as classes sem defeito (SD), com falta de penetra¸c˜ao (FP), inclus˜ao de esc´oria (IE) e porosidade (PO) considerando classificador neural alimentado pelos dados pr´e-processados pelas t´ecnicas FFT, DCT e DWT.

Classe Real FFT (PE(%) = 87,3±1,3) SD FP IE PO

Classe detectada pelo classificador

SD 85 0 15 10

FP 0 95 0 0

IE 0 0 80 0

PO 15 5 5 90

Classe Real DCT (PE(%) = 53,73±4,8) SD FP IE PO

Classe detectada pelo classificador

SD 40 0 5 20

FP 0 70 0 0

IE 5 30 85 45

PO 55 0 10 35

Classe Real DWT (PE(%) = 90,81±2,1) SD FP IE PO

Classe detectada pelo classificador

SD 100 0 0 0

FP 0 100 0 0

IE 0 0 80 15

PO 0 0 20 85

Neste trabalho, para cada assinatura ac´ustica, o n´umero de componentes principais, para FFT, DCT e DWT, foram definidos a partir de crit´erios estabelecidos em [5]. A escolha foi realizada considerando um compromisso entre eficiˆencia elevada e baixo custo computacional. Outro parˆametro que deve ser escolhido ´e o n´umero de neurˆonios na camada oculta do classificador MLP. Aqui foram usados 5 neurˆonios ocultos. Este valor foi escolhido ap´os testar exaustivamente diferentes configura¸c˜oes de rede.

A Tabela 5.3 apresenta a eficiˆencia obtida ao alimentar o classificador neural com as ca-racter´ısticas estimadas ap´os a compacta¸c˜ao. Para efeitos de compara¸c˜ao, o procedimento foi repetido para as trˆes transforma¸c˜oes diferentes.

Observou-se que para este problema espec´ıfico a maior eficiˆencia de discrimina¸c˜ao foi obtida utilizando o algoritmo da DWT como extra¸c˜ao de caracter´ısticas. Neste caso, as assinaturas das classes FP, IE e PO foram identificadas sem erro. Por outro lado, quando comparado aos resultados anteriores, houve uma redu¸c˜ao no percentual de acerto da classe

Tabela 5.3: Matriz de confus˜ao (em %) para as classes sem defeito (SD), com falta de penetra¸c˜ao (FP), inclus˜ao de esc´oria (IE) e porosidade (PO) considerando classificador neural alimentado pelos dados selecionados ap´os a aplica¸c˜ao da PCA.

Classe Real FFT+PCA (PE(%) = 88,5±1,5) SD FP IE PO

Classe detectada pelo classificador

SD 95 0 20 5

FP 0 85 0 0

IE 0 15 80 0

PO 5 0 0 95

Classe Real DCT+PCA (PE(%) = 86,71±2,65) SD FP IE PO

Classe detectada pelo classificador

SD 70 10 5 0

FP 0 85 0 0

IE 0 5 95 0

PO 30 0 0 100

Classe Real DWT+PCA (PE(%) = 96±1,5) SD FP IE PO

Classe detectada pelo classificador

SD 85 0 0 0

FP 0 100 0 0

IE 5 0 100 0

PO 10 0 0 100

SD. outra caracter´ıstica interessante na aplica¸c˜ao da DWT ´e que essa apresentou a menor confus˜ao entre os sem defeitos (SD) e defeituosos, um aspecto que ´e muito importante para a aplica¸c˜ao.

Atrav´es da aplica¸c˜ao da PCA ocorreu uma melhora significativa na utiliza¸c˜ao dos co-eficientes da DCT. O desempenho do produto das eficiˆencias foi de PE(%) = 53,73±4,8 para PE(%) = 86,7±2,65. Ocorreu aumento na detec¸c˜ao de todas as classes sendo impor-tante destacar a redu¸c˜ao da taxa de falso negativo. J´a a FFT apresentou uma pequena melhora na identifica¸c˜ao da classe PO e o produto das eficiˆencias passou de PE(%) = 87,3±1,3 para a ser PE(%) = 88,5±1,5. O resultado adquirido foi obtido utilizando 20 coeficientes da DCT e FFT e 79 para DWT.