Extração de características e classificação de sinais sEMG aplicados a uma prótese de mão virtual

Texto

(1)UNIVERSIDADE FEDERAL DO ESPÍRITO SANTO CENTRO TECNOLÓGICO PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA. RICHARD JUNIOR MANUEL GODINEZ TELLO. EXTRAÇÃO DE CARACTERÍSTICAS E CLASSIFICAÇÃO DE SINAIS sEMG APLICADOS A UMA PRÓTESE DE MÃO VIRTUAL. VITÓRIA 2013.

(2) RICHARD JUNIOR MANUEL GODINEZ TELLO. Dissertação de MESTRADO. - 2013.

(3) RICHARD JUNIOR MANUEL GODINEZ TELLO. EXTRAÇÃO DE CARACTERÍSTICAS E CLASSIFICAÇÃO DE SINAIS sEMG APLICADOS A UMA PRÓTESE DE MÃO VIRTUAL. Dissertação apresentada ao Programa de Pós-Graduação em Engenharia Elétrica do Centro Tecnológico da Universidade Federal do Espírito Santo, como requisito parcial para obtenção do Grau de Mestre em Engenharia Elétrica, na área de concentração de Robótica e Automação Inteligente Orientador: Prof. Dr. Teodiano Freire Bastos Filho. Co-orientadores: Prof. Dr. Anselmo Frizera Neto e Dr. Dinesh Kant Kumar.. VITÓRIA 2013.

(4) Dados Internacionais de Catalogação-na-publicação (CIP) (Biblioteca Central da Universidade Federal do Espírito Santo, ES, Brasil). Tello, Richard Junior Manuel Godinez, 1985T277e Extração de características e classificação de sinais sEMG aplicados a uma prótese de mão virtual / Richard Junior Manuel Godinez Tello. −2013. 115 f. : il. Orientador: Teodiano Freire Bastos Filho. Coorientadores: Anselmo Frizera Neto, Dinesh Kant Kumar. Dissertação (Mestrado): Universidade Federal do Espírito Santo, Centro Tecnológico. 1. Prótese. 2. Mãos. 3. Robótica. I. Bastos Filho, Teodiano Freire. II. Frizera Neto, Anselmo. III. Kumar, Dinesh Kant. IV. Universidade Federal do Espírito Santo. Centro Tecnológico. V. Título. CDU: 621.3.

(5)

(6) Dedico este trabalho às pessoas que mais adoro na minha vida: a meus pais Elba e Richard, por seus esforços e exemplos de vida, e de maneira especial, meu irmão Carlos, por ser meu grande amigo de sempre. Richard Junior Manuel.

(7) Agradecimentos Gostaria de agradecer a Deus, a meus pais Elba e Richard e a meu irmão Carlos, pelo apoio de sempre. Da mesma forma, quero agradecer de forma especial ao CNPQ pela bolsa de estudos concedida, e a meu orientador, Prof. Teodiano, muito obrigado pela paciência, por sua exaustividade nas correções de meus textos e seus acertados conselhos. De igual forma, ao Prof. Anselmo por seu gerenciamento atento e rápido na solução dos problemas. Não posso deixar de agradecer a todos os meus novos amigos brasileiros que fiz; só espero não esquecer de algum de vocês, e se eu cometer esse erro peço desculpas; a Rafael, Roberto, Lígia, Milton, Ígor, Valmir, Mariana, Diego, Alessandro, Sandra, Flávio, Fabrício, Marino, Thiago Calotti, Gabriel Zago, Arlindo, Cassius, Leonardo, Bruno, Carlos Valadão e Clebson: um grande abraço a todos vocês. A meus amigos da Argentina: Natalia, Lucio e Eugenio da Universidad Nacional de San Juan, muito obrigado a vocês por sua sempre atenciosa colaboração e amabilidade. Finalmente, desejo agradecer a meus colegas e amigos de diversos países, que junto comigo somos os chamados estrangeiros na pós-graduação da Elétrica, os quais contribuíram muito, de maneira direta e indireta, na realização deste trabalho: Jhon Freddy, John Jairo, Dennis, Camilo, Carlos, Manuel e Anibal. Não posso acabar esta lista de agradecimentos, sem antes agradecer a Jorge Aching, muito obrigado por ser meu amigo e me apoiar na minha chegada. Não esquecerei tua disposição de sempre e teus grandes conselhos, Doutor!.

(8) Sumário. 1. 2. Introdução. 16. 1.1. Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 16. 1.2. Caracterização do Problema . . . . . . . . . . . . . . . . . . . . . . . .. 17. 1.3. Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 19. 1.4. Organização da Dissertação . . . . . . . . . . . . . . . . . . . . . . . . .. 20. Fundamentação Teórica. 21. 2.1. Breve História da Electromiografia . . . . . . . . . . . . . . . . . . . . .. 21. 2.2. Sinais Eletromiográficos de Superfície (sEMG) . . . . . . . . . . . . . .. 23. 2.2.1. Definições . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 23. 2.2.2. A Fonte do Sinal Eletromiográfico . . . . . . . . . . . . . . . . .. 24. 2.2.3. Considerações sobre Impedância em Sinais Eletromiográficos . .. 28. 2.2.4. Amplificação Diferencial e Rejeição de Modo Comum . . . . . .. 28. 2.2.5. Filtragem do Sinal Eletromiográfico . . . . . . . . . . . . . . . .. 29. 2.2.6. Análise Espectral e Filtros Passa Banda . . . . . . . . . . . . . .. 30. 2.2.7. Etapas do Processamento de Sinais sEMG . . . . . . . . . . . . .. 31. Etapa 1: Aquisição e Segmentação de dados . . . . . . . . . . . . . . . .. 32. 2.3.1. Aquisição de Dados EMG . . . . . . . . . . . . . . . . . . . . .. 32. 2.3.2. Segmentação de Dados EMG . . . . . . . . . . . . . . . . . . .. 33. 2.3. viii.

(9) 2.4. Etapa 2: Extração de Características . . . . . . . . . . . . . . . . . . . .. 35. 2.4.1. Domínio do Tempo . . . . . . . . . . . . . . . . . . . . . . . . .. 36. 2.4.2. Domínio da Frequência . . . . . . . . . . . . . . . . . . . . . . .. 39. 2.4.3. Domínio Tempo-Frequência . . . . . . . . . . . . . . . . . . . .. 42. 2.4.4. Outros Extractores . . . . . . . . . . . . . . . . . . . . . . . . .. 43. 2.4.5. Redução de Dimensionalidade . . . . . . . . . . . . . . . . . . .. 46. 2.4.6. Técnicas de Partição de Conjuntos de Amostras para Treinamento. 47. 2.5. Etapa 3: Classificação de Sinais sEMG . . . . . . . . . . . . . . . . . . .. 51. 2.6. Etapa 4: Aplicações de Controle . . . . . . . . . . . . . . . . . . . . . .. 54. 2.7. Plataformas Comerciais e Projetos de Pesquisa de Próteses de Membro Superior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 55. Estado da Arte em Reconhecimento de Tarefas Motoras para EMG . . . .. 61. 2.8 3. Implementação e Resultados. 64. 3.1. Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 64. 3.1.1. Aquisição dos Sinais EMG . . . . . . . . . . . . . . . . . . . . .. 65. 3.2. Extração de Características . . . . . . . . . . . . . . . . . . . . . . . . .. 68. 3.3. Classificação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 71. 3.3.1. Análise Discriminante Linear e Quadrático - Classificador Bayesiano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 71. Classificador k-Vizinho Próximo (k-NN) . . . . . . . . . . . . .. 72. Provas Experimentais e Resultados . . . . . . . . . . . . . . . . . . . . .. 72. 3.3.2 3.4 4. Modelagem da Mão Virtual. 83. 4.1. 86. Sistema On-line de Biofeedback . . . . . . . . . . . . . . . . . . . . . ..

(10) 5. Conclusões e Trabalhos Futuros. 90. 5.1. Conclusões . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 90. 5.2. Trabalhos a futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 91. A Publicaçoes Geradas. 104. B Apêndice B. 106.

(11) Lista de Tabelas 2.1. Técnicas de extração de características para sistemas de controle EMG. .. 2.2. Tipos de classificadores utilizados no reconhecimento de padrões em EMG. 54. 2.3. Características de alguns protótipos de pesquisa e próteses comerciais de mão e braço. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 61. 2.4. Estado da Arte em Reconhecimento de Tarefas Motoras em EMG. . . . .. 63. 3.1. Conjuntos de Tarefas Motoras a realizar. . . . . . . . . . . . . . . . . . .. 65. 3.2. Aplicações de controle mioelétrico com 4 canais. . . . . . . . . . . . . .. 69. 3.3. Porcentagens de acerto geral na classificação das diferentes tarefas motoras. 74. 3.4. Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 1 fazendo uso do classificador Bayesiano Linear. 74. 3.5. Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 1-2 fazendo uso do classificador Bayesiano Linear. 75. 3.6. Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 3 fazendo uso do classificador Bayesiano Linear. 75. 3.7. Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 4 fazendo uso do classificador Bayesiano Linear. 75. 3.8. Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 1 fazendo uso do classificador Bayesiano Quadrático. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 75. Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 1-2 fazendo uso do classificador Bayesiano Quadrático. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 76. 3.9. xi. 36.

(12) 3.10 Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 3 fazendo uso do classificador Bayesiano Quadrático. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 76. 3.11 Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 4 fazendo uso do classificador Bayesiano Quadrático. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 76. 3.12 Valores de Desvio Padrão para os diferentes classificadores. . . . . . . . .. 77. 3.13 Desempenho da Classificação para Bayesianos. . . . . . . . . . . . . . .. 81. 3.14 Desempenho da Classificação baseada em k-NNs. . . . . . . . . . . . . .. 82.

(13) Lista de Figuras 1.1. Etapas de processamento do sinal mioelétrico. . . . . . . . . . . . . . . .. 17. 1.2. Prótese de mão, modelo i-LIMB, da empresa Touch Bionics, Inc. . . . . .. 19. 2.1. Representação de um mecanismo de controle motor básico e da Unidade Motora junto a seus componentes. Adaptado de (Merletti e Parker, 2004).. 24. Diagrama de blocos de instrumentação EMG com varias opções. Adaptado de (Criswell, 2010). . . . . . . . . . . . . . . . . . . . . . . . . . .. 25. Os componentes que afetam ao sinal de EMG, uma vez que passam pelos amplificadores diferenciais. Adaptado de (Criswell, 2010). . . . . . . . .. 25. Participantes na contração do músculo esquelético produzindo sinal EMG. Adaptado de (Rechy-Ramirez e Hu, 2011) . . . . . . . . . . . . . . . . .. 26. Representação visual da atividade da Unidade Motora em relação aos eletrodos. Adaptado de (Criswell, 2010). . . . . . . . . . . . . . . . . . . .. 27. (a) Um registro de Sinal sEMG em bruto; (b) Um registro de Sinal sEMG com filtro Notch. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 30. (A) Três sinais independentes de 0.5, 1.0 e 1.5 Hz; (B) O sinal composto das mesmas. Adaptado de (Criswell, 2010). . . . . . . . . . . . . . . . .. 31. Densidade espectral de potência do sinal composto da figura anterior. Adaptado de (Criswell, 2010). . . . . . . . . . . . . . . . . . . . . . . .. 32. Resumo das etapas de processamento do sinal sEMG. . . . . . . . . . . .. 32. 2.10 (a) Eletrodo passivo superficial; (b) Eletrodo passivo invasivo; (c) Eletrodos ativos superficiais. Fotografia dos eletrodos da empresa Delsys (esquerda) e Touch Bionics, Inc. (direita). . . . . . . . . . . . . . . . . .. 33. 2.2. 2.3. 2.4. 2.5. 2.6. 2.7. 2.8. 2.9. xiii.

(14) 2.11 (a) Segmentação separada; (b) Segmentação sobreposta. Extraído de (Oskoei e Hu, 2008a). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 34. 2.12 Quadrículas tempo-frequência de (a) STFW; (b) WT e (c) WPT (Englehart et al., 1999). . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 44. 2.13 Heterogeneização de um conjunto de amostras (Campo, 2008). . . . . . .. 48. 2.14 Técnica de “Cross-Validation” para 1000 amostras (Campo, 2008). . . . .. 49. 2.15 Dez partições que utilizam 10-fold Cross-Validation (Campo, 2008). . . .. 51. 2.16 Leave-One-Out sobre dez amostras (Campo, 2008). . . . . . . . . . . . .. 52. 2.17 Agrupamento dos tipos de classificadores mais usados. . . . . . . . . . .. 53. 2.18 Evolução no uso dos sinais EMG para controle de próteses de mão (Zecca et al., 2002). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 55. 2.19 Prótese de braço, Boston Digital Arm. . . . . . . . . . . . . . . . . . . .. 56. 2.20 Mão biônica da Otto Bock, modelo “Michelangelo”. . . . . . . . . . . .. 57. 2.21 (a) Prótese Proto 1; (b) Prótese Proto 2; (c) Projeto MLP (Modular Prosthetic Limb). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 58. 2.22 (a) Braço Deka Gen 1; (b) Braço Deka Gen 2 e (c) Braço Deka Gen 3. . .. 58. 2.23 Prótese de mão, modelo i-LIMB Ultra. . . . . . . . . . . . . . . . . . . .. 59. 2.24 Prótese de mão, modelo Bebionic3. . . . . . . . . . . . . . . . . . . . .. 60. 2.25 Prótese de braço e mão, modelo Utah Arm 3. . . . . . . . . . . . . . . .. 60. 3.1. Etapas da avaliação experimental do sistema de classificação proposto. . .. 65. 3.2. Tarefas motoras realizadas pelos voluntários. . . . . . . . . . . . . . . .. 66. 3.3. Eletrodos ativos superficiais da empresa Touch Bionics, Inc. . . . . . . . .. 66. 3.4. Circuito de aquisição e conversor ADC NI USB - 6009 utilizados. . . . .. 67. 3.5. Circuito eletrônico da placa de aquisição. . . . . . . . . . . . . . . . . .. 67. 3.6. Localização dos eletrodos e corte transradial nos músculos envolvidos. . .. 68. 3.7. Interface de aquisição de sinais sEMG para quatro canais. . . . . . . . . .. 70.

(15) 3.8. Visualização das quinze classes a avaliar junto a algumas características temporais normalizadas. . . . . . . . . . . . . . . . . . . . . . . . . . .. 70. Comparação de algumas características no domínio do tempo (normalizadas). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 71. 3.10 Gráficos de Sammon para discriminação Bayesiana linear dos conjuntos de tarefas motoras. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 78. 3.11 Gráficos de Sammon para discriminação Bayesiana quadrática dos conjuntos de tarefas motoras. . . . . . . . . . . . . . . . . . . . . . . . . . .. 79. 3.12 Desempenho da classificação com k-NNs para o Sujeito 1 nos quatro conjuntos de tarefas, mostrando o desvio padrão em: (a) Conjunto 1; (b) Conjunto 2; (c) Conjunto 3 e (d) Conjunto 4. . . . . . . . . . . . . . . . .. 80. 4.1. Mão virtual desenvolvida. . . . . . . . . . . . . . . . . . . . . . . . . . .. 83. 4.2. Diagrama de fluxo para a mão virtual desenvolvida. . . . . . . . . . . . .. 84. 4.3. (a) Painel de controle do sistema on-line: (b) Mão virtual na posição de aberta; (c) Mão virtual na posição de relaxação; (d) Mão virtual na posição de fechada. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 87. Dois canais sEMG provenientes do músculo pronador e o músculo brachioradialis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 87. Velocidades e coordenadas das juntas quando a configuração permite abrir e fechar a mão virtual com a mesma velocidade nos dedos. . . . . . . . .. 88. Velocidades e coordenadas das juntas quando a configuração permite abrir e fechar a mão virtual com diferentes velocidades nos dedos. . . . . . . .. 88. Zoom das coordenadas das juntas da Figura 4.6. A configuração faz com que a mão virtual possa abrir e fechar com uma velocidade diferente nos dedos. Neste caso, o dedo mindinho (q1) fecha mais rapidamente e o dedo indicador (q4) abre mais rapidamente. . . . . . . . . . . . . . . . .. 89. Um voluntário controlando a mão virtual. . . . . . . . . . . . . . . . . .. 89. 3.9. 4.4. 4.5. 4.6. 4.7. 4.8.

(16) Glossário de Termos AC ANN AR() ARMA ASSD BC BNN BP NN CC CMRR DBS DFT ELM EMD FD FFT FL FMN FNPA FR FS GA GMM GUSS HMM ICA IEMG JD k-NN LDA LLGMN LVQ NN MAV. Coeficientes de Autocorrelação Classificador por Redes Neurais Artificiais Modelos Autoregressivos (ordem) Modelos Auto-Regressivos de Média Móvel Averaged Sensor-Skin Distance Classificador Bayesiano Rede Neural Bayesiana Rede Neural Backpropagation Coeficientes Cepstrum Relação de Rejeição em Modo Comum Discriminante Bi-espectral Transforma de Fourier Discreta Classificador Extreme Leaning Machine Empirical Mode Decomposition Dimensão Fractal Transformada Rápida de Fourier Lógica Difusa Frequência Média Fuzzy Neighborhood Preserving Analysis Relação de frequência Filtragem Espacial Algortimo Genetico Gaussian Mixture Model Guided Underdetermined Source Signal Separation Modelos Ocultos de Markov Análise de Componentes Independentes Integral de EMG Joint Diagonalization Classificador do k-Vizinho Próximo Classificador de Análise Discriminante Linear Rede Mista Gaussiana Log-linearizada Learning Vector Quantization Neural Network Valor Médio Absoluto.

(17) MAVS MMAV1 MMAV2 MC MFL MFD MLP MPL MU MUAP MUAPT NNC OvO OvR PCA PMAX PMED POLC PSD R-LLGMN RegTree RMS sEMG SOFM NN SSC STFT SVM TSVM VAR WAMP WL WNN WPT WT ZC. Inclinação do Valor Médio Absoluto Valor Médio Absoluto Modificado 1 Valor Médio Absoluto Modificado 2 Classificaçao Multiclasse Maximum Fractal Length Máxima Dimensão Fractal Multilayer Perceptron Multilayer Perceptron Unidade Motora Potencial de Ação da Unidade Motora Trem de Potenciais de Ação de Unidade Motoras Classificador de Vizinho Próximo One vs One One Versus Rest Análise de Componentes Principais Potência máxima Potência Média Classificador Polinomial Densidade Espectral de Potência Recurrent Log-Linearized Gaussian Mixture Network Classificador de Árvore de Regressão Raiz Média Quadrática Eletromiografia de superfície Self-Organizing Feature Map Neural Network Mudanças de Sinal de Inclinação Transformada Rápida de Fourier Máquina do Vetor Suporte Twin Support vector machines Variância Amplitude Willison Comprimento de onda Rede Neural Wavelet Transformada Wavelet Packet Transformada Wavelet Cruzamentos de Zero.

(18) Resumo. Este trabalho apresenta a classificação de tarefas motoras, através da eletromiografia de superfície (sEMG), para controlar uma mão prostética para reabilitação de amputados. Dois tipos de classificadores são comparados: k-vizinhos mais próximos (k-NN) e Bayesiano (Análise Discriminante). As tarefas motoras são divididas em quatro grupos correlacionados. Os voluntários desta pesquisa foram pessoas saudáveis (sem amputação), e várias análises de cada um dos sinais foram realizadas. Para o analise off-line, as características utilizadas foram: RMS (Raiz Média Quadrática), VAR (Variância) e WL (Comprimento de forma de onda). Para a experimentação on-line implicou o uso da característica de Discriminante Bi-espectral. Em ambos casos, tanto online ou offline, foram usadas técnicas de janelas deslizantes. Foi proposto um modelo para a reclassificação usando validação cruzada, a fim de validar a classificação, sendo gerada uma visualização dos dados em mapas de Sammon, a fim de observar a separação das classes para cada conjunto de tarefas motoras. Os métodos propostos foram implementados em uma interface de computador, fornecendo realimentação visual através de uma prótese de mão artificial desenvolvida em Visual C++ e utilizando comandos MATLAB..

(19) Abstract. This work proposes the classification of motor tasks, using surface electromyography (sEMG) to control a prosthetic hand for rehabilitation of amputees. Two types of classifiers are compared: k-Nearest Neighbor (k-NN) and Bayesian (Discriminant Analysis). Motor tasks are divided into four groups correlated. The volunteers were healthy people (without amputation) and several analyzes of each of the signals were conducted. For offline analysis, the features used were: RMS (Root Mean Squared), VAR (Variance) and WL (Waveform Length). For online experimentation, it involved the use of feature of Discriminant of Bi-spectral. In both cases, either online or offline techniques were used to sliding windows. A model is proposed for reclassification using cross-validation in order to validate the classification, and a visualization in Sammon Maps is provided in order to observe the separation of the classes for each set of motor tasks. The proposed method can be implemented in a computer interface providing a visual feedback through an artificial hand prosthetic developed in Visual C++ and MATLAB commands..

(20)