Método de Monitoramento Utilizando GMM e Sinais Acústicos

Este método foi primeiramente proposto por Frigieri (2013) e os códigos das im- plementações para o GMM e o algoritmo utilizado na inicialização, K-means, podem ser acessados nos Apêndices E e F, respectivamente.

No trabalho proposto por Frigieri (2013) foram testadas duas configurações para o GMM: uma utilizando uma mistura de quatro Gaussianas e outra de oito. Porém neste trabalho utilizou-se na mistura apenas o vetor de variâncias, que corresponde à diagonal principal da matriz de covariância. A fim de melhor avaliar o desempenho do classificador GMM para os parâmetros propostos, duas modalidades para a matriz de covariância foram testadas, a matriz completa, denominada ‘full’, e a matriz achatada, denominada ‘tied’

1 _{É importante ressaltar que classificadores baseados em SVM podem utilizar decisões probabilísticas,}

Capítulo 7. Métodos de Monitoramento Indiretos Baseados em Sinais Acústicos 77

(veja detalhes na Seção 4.2). O número de Gaussianas na mistura foi avaliado para estes dois casos de matriz de covariância.

7.3.1.1 Procedimento de Treinamento dos Modelos de Mistura de Gaussianas

Conforme foi apresentado na Seção7.2, o conjunto de dados foi separado em dois conjuntos distintos, um conjunto de treinamento e outro de teste, conforme Tabela 7.2. Neste caso, foram criados dois conjuntos de treinamento a fim de validar estatisticamente os resultados.

Desta forma, para treinar os modelos GMM para cada conjunto de treinamento, foi utilizado o procedimento apresentado na Figura7.3. Para cada um dos 𝐺𝑖 grupos obtidos na Tabela7.1, extrai-se os parâmetros de todos os sinais. A partir dos parâmetros obtidos, cada amostra do conjunto de treinamento é apresentada sequencialmente ao algoritmo EM a fim de estimar o modelo de mistura de Gaussianas que representará o respectivo grupo (detalhes do funcionamento do algoritmo EM podem ser vistos na Seção 4.2). Ao fim da sequência de treinamento, o modelo está pronto para a fase de diagnósticos e seus parâmetros são armazenados: a média ¯𝜇_𝑚, variância ¯𝜎2_𝑚 e peso ¯𝑤𝑚 para cada Gaussiana

𝑚 da mistura. Este procedimento se repete para cada um dos grupos ao qual se deseja

estimar.

Capítulo 7. Métodos de Monitoramento Indiretos Baseados em Sinais Acústicos 78

7.3.1.2 Procedimento de Diagnóstico Utilizando Modelos de Mistura de Gaussianas

Uma vez que os modelos foram estimados para cada grupo, o sistema está apto para a fase de operação ou diagnóstico. No caso do sistema baseado em GMM, a fim de se estimar a qual grupo uma determinada amostra pertence, deve-se seguir o procedimento apresentado na Figura 7.4. Para uma determinada amostra, verifica-se a probabilidade dele pertencer a cada um dos modelos previamente treinados, através do cálculo do loga- ritmo da probabilidade a priori obtida através da Equação (4.13), conforme apresentado na Seção 4.2.2. O maior valor de probabilidade resultante indica o modelo ao qual a amostra tem a maior chance de pertencer.

A fim de validar o desempenho do sistema, um conjunto de teste foi definido para cada conjunto de treinamento, de acordo com a Tabela 7.2. Cada amostra do conjunto de teste foi diagnosticada pelo sistema treinado e o grupo identificado foi comparado ao verdadeiro grupo ao qual a mesma pertencia. Finalmente calculou-se o número de amostras corretamente classificadas dividido pelo número total de amostras testadas, resultando na métrica de desempenho definida como Precisão. A equação para obtenção desta métrica pode ser formalmente definida como

Precisão % = número de amostras classificadas corretamente

número total de amostras verificadas (7.1)

Portanto, quanto maior o valor da Precisão, melhor é o desempenho do sistema na tarefa de monitoramento.

Figura 7.4 – Fluxo de diagnóstico do sistema baseado em GMM.

7.3.1.3 Resultados Obtidos para o Sistema Baseado em GMM

Para avaliar o sistema proposto baseado em GMM, uma matriz experimental foi gerada considerando os seguintes fatores: tipo de matriz de covariância (‘full’, ‘tied’); número de Gaussianas por modelo (quatro ou oito); parâmetros do sinal (‘mfcc’, ‘pca’, ‘mix’). Em relação à matriz de covariância, o fator ‘full’ representa a matriz de covari- ância completa, enquanto o fator ‘tied’ representa a matriz de covariância amarrada ao

Capítulo 7. Métodos de Monitoramento Indiretos Baseados em Sinais Acústicos 79

número de componentes do modelo. O fator ‘pca’ corresponde aos três primeiros escores que apresentaram a maior correlação com os parâmetros de usinagem e rugosidade, con- forme Tabela 6.5 apresentada na Seção 6.4. O fator ‘mfcc’ corresponde aos dois primeiros coeficientes mel que apresentaram a maior correlação com os parâmetros de usinagem e rugosidade, conforme Tabela 6.6 apresentada na Seção 6.5. Já o fator ‘mix’ corresponde à combinação dos parâmetros ‘mfcc’ e ‘pca’. A Tabela 7.3 apresenta o desempenho médio de dez execuções para cada uma das combinações dos fatores do experimento.

Tabela 7.3 – Resultados do experimento de validação do sistema baseado em GMM. Replica Num. Gaus. (Ga) Matriz de Cov. (Cv) Parâmetros (Pa) Precisão (%)

1 4 full pca 92,85 1 4 full mfcc 97,14 1 4 full mix 92,85 1 4 tied pca 97,28 1 4 tied mfcc 97,14 1 4 tied mix 97,28 1 8 full pca 81,85 1 8 full mfcc 88,85 1 8 full mix 81,85 1 8 tied pca 95,71 1 8 tied mfcc 95,57 1 8 tied mix 95,71 2 4 full pca 87,14 2 4 full mfcc 92,85 2 4 full mix 94,28 2 4 tied pca 95,71 2 4 tied mfcc 95,14 2 4 tied mix 94,28 2 8 full pca 87,14 2 8 full mfcc 73,00 2 8 full mix 86,42 2 8 tied pca 94,28 2 8 tied mfcc 93,00 2 8 tied mix 95,00

Utilizando a análise de variância sobre os resultados obtidos, é possível identificar que os fatores Ga e Cv são estatisticamente significativos enquanto Pa não contribuiu de forma efetiva no desempenho do sistema (P-value > 5%). Tanto os coeficientes Mel- Cepstrais como o escores dos componentes principais, ou mesmo a combinação de ambos (mix), resultam em média no mesmo desempenho na classificação dos grupos de rugosi- dade. Este efeito é ilustrado pela Figura 7.5. Nenhuma das interações entre os fatores se mostraram estatisticamente significativas e portanto não foram avaliadas.

Utilizando análise dos efeitos principais também é possível identificar que utilizar quatro Gaussianas na mistura tem um efeito positivo no desempenho do sistema, aumen-

Capítulo 7. Métodos de Monitoramento Indiretos Baseados em Sinais Acústicos 80

tando sua taxa de acerto. O mesmo acontece quando a matriz de covariância dos modelos GMM é definida como ‘tied’. Embora se esperaria que utilizar a matriz de covariância completa resultaria um melhor desempenho, em geral para pequenos conjuntos de dados, existe a possibilidade de overfitting2 resultando em uma má generalização para os dados de teste.

Apesar dos parâmetros extraídos dos sinais não serem estatisticamente significa- tivos para o aumento de desempenho do sistema, é possível notar que os coeficientes Mel-Cepstrais apresentam uma leve superioridade quando comparados aos escores dos componentes principais. Seguindo esta linha, o desempenho resultante da combinação de todos os parâmetros se sobressai sobre a utilização dos mesmos de forma isolada. Portanto, é possível identificar a configuração ótima de operação deste sistema com os modelos de mistura formados por quatro Gaussianas, treinados a partir da matriz de covariância definida como ‘tied’ e utilizando todos os parâmetros para treinamento e diagnóstico.

Figura 7.5 – Gráfico com os efeitos principais dos fatores sobre a precisão do sistema baseado em GMM.

2 _{Na estatística e na aprendizagem de máquina, uma das tarefas mais comuns consiste em ajustar}

um "modelo"a um conjunto de dados de treinamento, de modo que se possa fazer previsões confiáveis sobre dados não treinados de forma generalizada. Caso ocorra um treinamento excessivo deste modelo, pequenas flutuações nos dados de treinamento geram uma reação exagerada do modelo, resultando uma má generalização para os dados de teste e consequentemente um mau desempenho preditivo. Para este treinamento excessivo dá-se o nome de overfitting.

Capítulo 7. Métodos de Monitoramento Indiretos Baseados em Sinais Acústicos 81