UNIVERSIDADE FEDERAL DO ESPÍRITO SANTO
CENTRO TECNOLÓGICO
PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA
ELÉTRICA
RICHARD JUNIOR MANUEL GODINEZ TELLO
EXTRAÇÃO DE CARACTERÍSTICAS E CLASSIFICAÇÃO
DE SINAIS sEMG APLICADOS A UMA PRÓTESE DE
MÃO VIRTUAL
VITÓRIA
2013
RICHARD
JUNIOR
MANUEL
GODINEZ
TELLO
Dissertação
de
MESTRADO
-2013
RICHARD JUNIOR MANUEL GODINEZ TELLO
EXTRAÇÃO DE CARACTERÍSTICAS E CLASSIFICAÇÃO
DE SINAIS sEMG APLICADOS A UMA PRÓTESE DE
MÃO VIRTUAL
Dissertação apresentada ao Programa de Pós-Graduação em Engenharia Elétrica do Centro Tecnológico da Uni-versidade Federal do Espírito Santo, como requisito par-cial para obtenção do Grau de Mestre em Engenharia Elétrica, na área de concentração de Robótica e Auto-mação Inteligente
Orientador: Prof. Dr. Teodiano Freire Bastos Filho. Co-orientadores: Prof. Dr. Anselmo Frizera Neto e Dr. Dinesh Kant Kumar.
VITÓRIA
2013
Dados Internacionais de Catalogação-na-publicação (CIP)
(Biblioteca Central da Universidade Federal do Espírito Santo, ES, Brasil)
Tello, Richard Junior Manuel Godinez,
1985-T277e Extração de características e classificação de sinais sEMG aplicados a uma prótese de mão virtual / Richard Junior Manuel Godinez Tello. −2013.
115 f. : il.
Orientador: Teodiano Freire Bastos Filho.
Coorientadores: Anselmo Frizera Neto, Dinesh Kant Kumar. Dissertação (Mestrado): Universidade Federal do Espírito Santo, Centro Tecnológico.
1. Prótese. 2. Mãos. 3. Robótica. I. Bastos Filho, Teodiano Freire. II. Frizera Neto, Anselmo. III. Kumar, Dinesh Kant. IV. Universi-dade Federal do Espírito Santo. Centro Tecnológico. V. Título.
Dedico este trabalho às pessoas que mais adoro na minha vida: a meus pais Elba e Richard, por seus esforços e exemplos de vida, e de maneira especial, meu irmão Carlos, por ser meu grande amigo de sempre. Richard Junior Manuel
Agradecimentos
Gostaria de agradecer a Deus, a meus pais Elba e Richard e a meu irmão Carlos, pelo apoio de sempre. Da mesma forma, quero agradecer de forma especial ao CNPQ pela bolsa de estudos concedida, e a meu orientador, Prof. Teodiano, muito obrigado pela paciência, por sua exaustividade nas correções de meus textos e seus acertados conselhos. De igual forma, ao Prof. Anselmo por seu gerenciamento atento e rápido na solução dos problemas.
Não posso deixar de agradecer a todos os meus novos amigos brasileiros que fiz; só espero não esquecer de algum de vocês, e se eu cometer esse erro peço desculpas; a Rafael, Roberto, Lígia, Milton, Ígor, Valmir, Mariana, Diego, Alessandro, Sandra, Flá-vio, Fabrício, Marino, Thiago Calotti, Gabriel Zago, Arlindo, Cassius, Leonardo, Bruno, Carlos Valadão e Clebson: um grande abraço a todos vocês.
A meus amigos da Argentina: Natalia, Lucio e Eugenio da Universidad Nacional de San Juan, muito obrigado a vocês por sua sempre atenciosa colaboração e amabilidade.
Finalmente, desejo agradecer a meus colegas e amigos de diversos países, que junto comigo somos os chamados estrangeiros na pós-graduação da Elétrica, os quais contribuí-ram muito, de maneira direta e indireta, na realização deste trabalho: Jhon Freddy, John Jairo, Dennis, Camilo, Carlos, Manuel e Anibal.
Não posso acabar esta lista de agradecimentos, sem antes agradecer a Jorge Aching, muito obrigado por ser meu amigo e me apoiar na minha chegada. Não esquecerei tua disposição de sempre e teus grandes conselhos, Doutor!
Sumário
1 Introdução 16 1.1 Introdução . . . 16 1.2 Caracterização do Problema . . . 17 1.3 Objetivos . . . 19 1.4 Organização da Dissertação . . . 20 2 Fundamentação Teórica 21 2.1 Breve História da Electromiografia . . . 212.2 Sinais Eletromiográficos de Superfície (sEMG) . . . 23
2.2.1 Definições . . . 23
2.2.2 A Fonte do Sinal Eletromiográfico . . . 24
2.2.3 Considerações sobre Impedância em Sinais Eletromiográficos . . 28
2.2.4 Amplificação Diferencial e Rejeição de Modo Comum . . . 28
2.2.5 Filtragem do Sinal Eletromiográfico . . . 29
2.2.6 Análise Espectral e Filtros Passa Banda . . . 30
2.2.7 Etapas do Processamento de Sinais sEMG . . . 31
2.3 Etapa 1: Aquisição e Segmentação de dados . . . 32
2.3.1 Aquisição de Dados EMG . . . 32
2.3.2 Segmentação de Dados EMG . . . 33 viii
2.4 Etapa 2: Extração de Características . . . 35 2.4.1 Domínio do Tempo . . . 36 2.4.2 Domínio da Frequência . . . 39 2.4.3 Domínio Tempo-Frequência . . . 42 2.4.4 Outros Extractores . . . 43 2.4.5 Redução de Dimensionalidade . . . 46
2.4.6 Técnicas de Partição de Conjuntos de Amostras para Treinamento 47 2.5 Etapa 3: Classificação de Sinais sEMG . . . 51
2.6 Etapa 4: Aplicações de Controle . . . 54
2.7 Plataformas Comerciais e Projetos de Pesquisa de Próteses de Membro Superior . . . 55
2.8 Estado da Arte em Reconhecimento de Tarefas Motoras para EMG . . . . 61
3 Implementação e Resultados 64 3.1 Introdução . . . 64
3.1.1 Aquisição dos Sinais EMG . . . 65
3.2 Extração de Características . . . 68
3.3 Classificação . . . 71
3.3.1 Análise Discriminante Linear e Quadrático - Classificador Baye-siano . . . 71
3.3.2 Classificador k-Vizinho Próximo (k-NN) . . . 72
3.4 Provas Experimentais e Resultados . . . 72
4 Modelagem da Mão Virtual 83 4.1 Sistema On-line de Biofeedback . . . 86
5 Conclusões e Trabalhos Futuros 90 5.1 Conclusões . . . 90 5.2 Trabalhos a futuro . . . 91
A Publicaçoes Geradas 104
Lista de Tabelas
2.1 Técnicas de extração de características para sistemas de controle EMG. . 36
2.2 Tipos de classificadores utilizados no reconhecimento de padrões em EMG. 54 2.3 Características de alguns protótipos de pesquisa e próteses comerciais de mão e braço. . . 61
2.4 Estado da Arte em Reconhecimento de Tarefas Motoras em EMG. . . 63
3.1 Conjuntos de Tarefas Motoras a realizar. . . 65
3.2 Aplicações de controle mioelétrico com 4 canais. . . 69
3.3 Porcentagens de acerto geral na classificação das diferentes tarefas motoras. 74 3.4 Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 1 fazendo uso do classificador Bayesiano Linear. 74 3.5 Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 1-2 fazendo uso do classificador Bayesiano Linear. 75 3.6 Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 3 fazendo uso do classificador Bayesiano Linear. 75 3.7 Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 4 fazendo uso do classificador Bayesiano Linear. 75 3.8 Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 1 fazendo uso do classificador Bayesiano Qua-drático. . . 75
3.9 Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 1-2 fazendo uso do classificador Bayesiano Qua-drático. . . 76
3.10 Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 3 fazendo uso do classificador Bayesiano
Qua-drático. . . 76
3.11 Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 4 fazendo uso do classificador Bayesiano Qua-drático. . . 76
3.12 Valores de Desvio Padrão para os diferentes classificadores. . . 77
3.13 Desempenho da Classificação para Bayesianos. . . 81
Lista de Figuras
1.1 Etapas de processamento do sinal mioelétrico. . . 17 1.2 Prótese de mão, modelo i-LIMB, da empresa Touch Bionics, Inc. . . 19
2.1 Representação de um mecanismo de controle motor básico e da Unidade Motora junto a seus componentes. Adaptado de (Merletti e Parker, 2004). 24 2.2 Diagrama de blocos de instrumentação EMG com varias opções.
Adap-tado de (Criswell, 2010). . . 25 2.3 Os componentes que afetam ao sinal de EMG, uma vez que passam pelos
amplificadores diferenciais. Adaptado de (Criswell, 2010). . . 25 2.4 Participantes na contração do músculo esquelético produzindo sinal EMG.
Adaptado de (Rechy-Ramirez e Hu, 2011) . . . 26 2.5 Representação visual da atividade da Unidade Motora em relação aos
ele-trodos. Adaptado de (Criswell, 2010). . . 27 2.6 (a) Um registro de Sinal sEMG em bruto; (b) Um registro de Sinal sEMG
com filtro Notch. . . 30 2.7 (A) Três sinais independentes de 0.5, 1.0 e 1.5 Hz; (B) O sinal composto
das mesmas. Adaptado de (Criswell, 2010). . . 31 2.8 Densidade espectral de potência do sinal composto da figura anterior.
Adaptado de (Criswell, 2010). . . 32 2.9 Resumo das etapas de processamento do sinal sEMG. . . 32 2.10 (a) Eletrodo passivo superficial; (b) Eletrodo passivo invasivo; (c)
Ele-trodos ativos superficiais. Fotografia dos eleEle-trodos da empresa Delsys (esquerda) e Touch Bionics, Inc. (direita). . . 33
2.11 (a) Segmentação separada; (b) Segmentação sobreposta. Extraído de
(Os-koei e Hu, 2008a). . . 34
2.12 Quadrículas tempo-frequência de (a) STFW; (b) WT e (c) WPT (En-glehart et al., 1999). . . 44
2.13 Heterogeneização de um conjunto de amostras (Campo, 2008). . . 48
2.14 Técnica de “Cross-Validation” para 1000 amostras (Campo, 2008). . . 49
2.15 Dez partições que utilizam 10-fold Cross-Validation (Campo, 2008). . . . 51
2.16 Leave-One-Out sobre dez amostras (Campo, 2008). . . 52
2.17 Agrupamento dos tipos de classificadores mais usados. . . 53
2.18 Evolução no uso dos sinais EMG para controle de próteses de mão (Zecca et al., 2002). . . 55
2.19 Prótese de braço, Boston Digital Arm. . . 56
2.20 Mão biônica da Otto Bock, modelo “Michelangelo”. . . 57
2.21 (a) Prótese Proto 1; (b) Prótese Proto 2; (c) Projeto MLP (Modular Prosthe-tic Limb). . . 58
2.22 (a) Braço Deka Gen 1; (b) Braço Deka Gen 2 e (c) Braço Deka Gen 3. . . 58
2.23 Prótese de mão, modelo i-LIMB Ultra. . . 59
2.24 Prótese de mão, modelo Bebionic3. . . 60
2.25 Prótese de braço e mão, modelo Utah Arm 3. . . 60
3.1 Etapas da avaliação experimental do sistema de classificação proposto. . . 65
3.2 Tarefas motoras realizadas pelos voluntários. . . 66
3.3 Eletrodos ativos superficiais da empresa Touch Bionics, Inc. . . 66
3.4 Circuito de aquisição e conversor ADC NI USB - 6009 utilizados. . . 67
3.5 Circuito eletrônico da placa de aquisição. . . 67
3.6 Localização dos eletrodos e corte transradial nos músculos envolvidos. . . 68
3.8 Visualização das quinze classes a avaliar junto a algumas características temporais normalizadas. . . 70 3.9 Comparação de algumas características no domínio do tempo
(normali-zadas). . . 71 3.10 Gráficos de Sammon para discriminação Bayesiana linear dos conjuntos
de tarefas motoras. . . 78 3.11 Gráficos de Sammon para discriminação Bayesiana quadrática dos
con-juntos de tarefas motoras. . . 79 3.12 Desempenho da classificação com k-NNs para o Sujeito 1 nos quatro
con-juntos de tarefas, mostrando o desvio padrão em: (a) Conjunto 1; (b) Conjunto 2; (c) Conjunto 3 e (d) Conjunto 4. . . 80
4.1 Mão virtual desenvolvida. . . 83 4.2 Diagrama de fluxo para a mão virtual desenvolvida. . . 84 4.3 (a) Painel de controle do sistema on-line: (b) Mão virtual na posição de
aberta; (c) Mão virtual na posição de relaxação; (d) Mão virtual na posi-ção de fechada. . . 87 4.4 Dois canais sEMG provenientes do músculo pronador e o músculo
bra-chioradialis. . . 87 4.5 Velocidades e coordenadas das juntas quando a configuração permite abrir
e fechar a mão virtual com a mesma velocidade nos dedos. . . 88 4.6 Velocidades e coordenadas das juntas quando a configuração permite abrir
e fechar a mão virtual com diferentes velocidades nos dedos. . . 88 4.7 Zoom das coordenadas das juntas da Figura 4.6. A configuração faz com
que a mão virtual possa abrir e fechar com uma velocidade diferente nos dedos. Neste caso, o dedo mindinho (q1) fecha mais rapidamente e o dedo indicador (q4) abre mais rapidamente. . . 89 4.8 Um voluntário controlando a mão virtual. . . 89
Glossário de Termos
AC Coeficientes de Autocorrelação
ANN Classificador por Redes Neurais Artificiais AR() Modelos Autoregressivos (ordem)
ARMA Modelos Auto-Regressivos de Média Móvel ASSD Averaged Sensor-Skin Distance
BC Classificador Bayesiano BNN Rede Neural Bayesiana BP NN Rede Neural Backpropagation CC Coeficientes Cepstrum
CMRR Relação de Rejeição em Modo Comum DBS Discriminante Bi-espectral
DFT Transforma de Fourier Discreta
ELM Classificador Extreme Leaning Machine EMD Empirical Mode Decomposition
FD Dimensão Fractal
FFT Transformada Rápida de Fourier FL Lógica Difusa
FMN Frequência Média
FNPA Fuzzy Neighborhood Preserving Analysis FR Relação de frequência
FS Filtragem Espacial GA Algortimo Genetico GMM Gaussian Mixture Model
GUSS Guided Underdetermined Source Signal Separation HMM Modelos Ocultos de Markov
ICA Análise de Componentes Independentes IEMG Integral de EMG
JD Joint Diagonalization
k-NN Classificador do k-Vizinho Próximo
LDA Classificador de Análise Discriminante Linear LLGMN Rede Mista Gaussiana Log-linearizada
LVQ NN Learning Vector Quantization Neural Network MAV Valor Médio Absoluto
MAVS Inclinação do Valor Médio Absoluto MMAV1 Valor Médio Absoluto Modificado 1 MMAV2 Valor Médio Absoluto Modificado 2 MC Classificaçao Multiclasse
MFL Maximum Fractal Length MFD Máxima Dimensão Fractal MLP Multilayer Perceptron MPL Multilayer Perceptron MU Unidade Motora
MUAP Potencial de Ação da Unidade Motora
MUAPT Trem de Potenciais de Ação de Unidade Motoras NNC Classificador de Vizinho Próximo
OvO One vs One OvR One Versus Rest
PCA Análise de Componentes Principais PMAX Potência máxima
PMED Potência Média
POLC Classificador Polinomial
PSD Densidade Espectral de Potência
R-LLGMN Recurrent Log-Linearized Gaussian Mixture Network RegTree Classificador de Árvore de Regressão
RMS Raiz Média Quadrática sEMG Eletromiografia de superfície
SOFM NN Self-Organizing Feature Map Neural Network SSC Mudanças de Sinal de Inclinação
STFT Transformada Rápida de Fourier SVM Máquina do Vetor Suporte TSVM Twin Support vector machines VAR Variância
WAMP Amplitude Willison WL Comprimento de onda WNN Rede Neural Wavelet
WPT Transformada Wavelet Packet WT Transformada Wavelet
Resumo
Este trabalho apresenta a classificação de tarefas motoras, através da eletromiografia de superfície (sEMG), para controlar uma mão prostética para reabilitação de amputa-dos. Dois tipos de classificadores são comparados: k-vizinhos mais próximos (k-NN) e Bayesiano (Análise Discriminante). As tarefas motoras são divididas em quatro grupos correlacionados. Os voluntários desta pesquisa foram pessoas saudáveis (sem amputa-ção), e várias análises de cada um dos sinais foram realizadas. Para o analise off-line, as características utilizadas foram: RMS (Raiz Média Quadrática), VAR (Variância) e WL (Comprimento de forma de onda). Para a experimentação on-line implicou o uso da característica de Discriminante Bi-espectral. Em ambos casos, tanto online ou offline, fo-ram usadas técnicas de janelas deslizantes. Foi proposto um modelo para a reclassificação usando validação cruzada, a fim de validar a classificação, sendo gerada uma visualização dos dados em mapas de Sammon, a fim de observar a separação das classes para cada con-junto de tarefas motoras. Os métodos propostos foram implementados em uma interface de computador, fornecendo realimentação visual através de uma prótese de mão artificial desenvolvida em Visual C++ e utilizando comandos MATLAB.
Abstract
This work proposes the classification of motor tasks, using surface electromyography (sEMG) to control a prosthetic hand for rehabilitation of amputees. Two types of clas-sifiers are compared: k-Nearest Neighbor (k-NN) and Bayesian (Discriminant Analysis). Motor tasks are divided into four groups correlated. The volunteers were healthy people (without amputation) and several analyzes of each of the signals were conducted. For offline analysis, the features used were: RMS (Root Mean Squared), VAR (Variance) and WL (Waveform Length). For online experimentation, it involved the use of feature of Discriminant of Bi-spectral. In both cases, either online or offline techniques were used to sliding windows. A model is proposed for reclassification using cross-validation in order to validate the classification, and a visualization in Sammon Maps is provided in order to observe the separation of the classes for each set of motor tasks. The proposed method can be implemented in a computer interface providing a visual feedback through an artificial hand prosthetic developed in Visual C++ and MATLAB commands.
