CENTRO TECNOLÓGICO
PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA
Eduardo Jorge Siridakis
FERRAMENTA DE AQUISIÇÃO E EXPLORAÇÃO DE DADOS
MULTISSENSORIAIS PARA MONITORAMENTO DE ATIVIDADES HUMANAS EM AMBIENTE DOMÉSTICO.
FLORIANÓPOLIS 2020
Eduardo Jorge Siridakis
FERRAMENTA DE AQUISIÇÃO E EXPLORAÇÃO DE DADOS
MULTISSENSORIAIS PARA MONITORAMENTO DE ATIVIDADES HUMANAS EM AMBIENTE DOMÉSTICO.
Dissertação submetida ao Programa de Pós-Graduação em Engenharia Elétrica da Universidade Federal de Santa Catarina para a obtenção do título de Mestre em Engenharia Elétrica.
Orientador: Prof. Dr. José Marino Neto.
Florianópolis 2020
Ficha de identificação da obra elaborada pelo autor,
através do Programa de Geração Automática da Biblioteca Universitária da UFSC.
Siridakis, Eduardo Jorge
FERRAMENTA DE AQUISIÇÃO E EXPLORAÇÃO DE DADOS
MULTISSENSORIAIS PARA MONITORAMENTO DE ATIVIDADES HUMANAS EM AMBIENTE DOMÉSTICO. / Eduardo Jorge Siridakis ;
orientador, José Marino Neto , 2020. 160 p.
Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2020.
Inclui referências.
1. Engenharia Elétrica. 2. Saúde ubíqua. 3. Monitoramento de atividades. 4. Sensores. 5. Processamento
de sinais. I. , José Marino Neto. II. Universidade Federal de Santa Catarina. Programa de Pós-Graduação em Engenharia Elétrica. III. Título.
Eduardo Jorge Siridakis
FERRAMENTA DE AQUISIÇÃO E EXPLORAÇÃO DE DADOS
MULTISSENSORIAIS PARA MONITORAMENTO DE ATIVIDADES HUMANAS EM AMBIENTE DOMÉSTICO.
O presente trabalho em nível de mestrado foi avaliado e aprovado por banca examinadora composta pelos seguintes membros:
Profa. Daniela Ota Hisayasu Suzuki, Dra. Universidade Federal de Santa Catarina
Prof. Jefferson Luiz Brum Marques, Ph.D. Universidade Federal de Santa Catarina
Prof. Stephan Paul, Dr.
Universidade Federal de Santa Catarina
Certificamos que esta é a versão original e final do trabalho de conclusão que foi julgado adequado para obtenção do título de Mestre em Engenharia Elétrica.
____________________________ Prof. Bartolomeu Ferreira Uchoa-Filho, Ph.D.
Coordenador do Programa
____________________________ Prof. Dr. José Marino Neto
Orientador
Florianópolis, 28 de fevereiro de 2020. Bartolomeu
Ferreira Uchoa Filho:47636211491
Assinado de forma digital por Bartolomeu Ferreira Uchoa Filho:47636211491 Dados: 2020.06.18 16:23:12 -03'00'
AGRADECIMENTOS Gostaria de agradecer a Deus e à minha família.
À minha mãe, Benta Neve Siridakis, e minha irmã Débora Cristina Siridakis Corrêa, por todo o apoio, em todos os momentos. Devo a elas tudo o que já conquistei.
À minha namorada, Maria Victória Mundim Saramago, por ter ficado ao meu lado em todas as crises e momentos conturbados, por tentar me mostrar qualidades que não vejo em mim mesmo e, claro, por aturar me assistir praticar a defesa 200 vezes seguidas.
Aos amigos da pós-graduação, em especial Lennon, Su e Gian, pelo companheirismo nessa jornada, por compartilhar das angústias e dificuldades, mas também das alegrias e vitórias. Que bom poder fazer parte desse grupo.
Aos amigos de longa data, por todos os encontros, conversas, ajudas técnicas e por estarem sempre por perto, ao alcance de uma mensagem.
Agradeço ao meu orientador, prof. Dr. José Marino Neto, pelas incontáveis revisões, reuniões, conselhos, sugestões e, como não podia faltar, pelas cervejas artesanais. O senhor abraçou este trabalho com força, acompanhou de perto e me deu impulso para que eu conseguisse finalizá-lo, apesar dos meus tropeços pelo caminho. Obrigado pela confiança.
Por fim, agradeço à CAPES, pelo apoio financeiro, que me permitiu a dedicação a esta pesquisa.
“If we knew what it was we were doing, it would not be called research, would it?”
RESUMO
O avanço nas técnicas e tecnologias utilizadas em tratamento médico ocasiona um acréscimo na proporção de idosos e portadores de doenças crônicas na população, o que leva a uma necessidade crescente de serviços de monitoramento e assistência médica voltados a este público. O Instituto de Engenharia Biomédica da Universidade Federal de Santa Catarina participa do desenvolvimento de uma plataforma de saúde ubíqua que visa atender a essas necessidades. Como parte integrante desta plataforma, o presente trabalho buscou desenvolver uma ferramenta de aquisição e exploração de dados, com foco no sensoriamento de variáveis ambientais e antropogênicas em ambiente domiciliar para aplicações em assistência à saúde. Esta ferramenta consiste em um sistema modular microcontrolado, baseado em plataformas de prototipagem eletrônica de hardware livre, e uma interface de usuário, adotando desenvolvimento colaborativo e programação em código aberto. Para testar a ferramenta proposta, um protótipo de módulo multissensorial foi produzido, integrando três sensores para aquisição de quatro sinais distintos (temperatura, umidade, iluminância e nível sonoro). Destes, o sinal sonoro possui forte foco em obtenção de informações relevantes à detecção de atividades ocorrendo em função da interação dos ocupantes com o ambiente, enquanto os sinais de temperatura, umidade e iluminância possuem um viés de reconhecimento do contexto no qual essas atividades ocorrem. A interface desenvolvida consiste em três telas distintas. A primeira tela possibilta a comunicação com o módulo multissensorial, para configuração de parâmetros como frequência de amostragem e seleção de sensores, além de iniciar e finalizar a aquisição de dados. Os dados sonoros são salvos em formato ―.wav‖ e os demais sinais em formato ―.csv‖. A segunda tela permite a visualização dos dados adquiridos e a anotação desses dados, indicando os eventos presentes em cada intervalo. A terceira tela contém um conjunto de dezesseis algoritmos de extração de descritores para sinais sonoros, com mais de dez pârametros configuráveis. Os descritores extraídos são salvos em formato ―.csv‖. As telas da ferramenta podém ser utilizadas sequencialmente ou de forma isolada (por exemplo, a tela de extração de descritores pode ser utilizada com qualquer áudio gravado em formato ―.wav‖). O teste de conceito, para demonstração das funcionalidades da ferramenta desenvolvida, consistiu na criação de um banco de dados inicial, através da aquisição de dados sonoros de curto período (0,7 a 14 segundos), correspondentes a 23 eventos simulados em um ambiente de cozinha, além de um registro de longa duração (24 horas) de dados de temperatura, umidade e iluminância.
Palavras-chave: Saúde ubíqua. Assistência à saúde. Monitoramento de atividades. Sensores. Processamento de sinais. Desenvolvimento colaborativo.
ABSTRACT
The advancement in techniques and technologies used in medical treatment contributes to an increase in the proportion of elderly people and individuals with chronic diseases in the population, which leads to an increasing need for monitoring and medical assistance services aimed at this public. The Institute of Biomedical Engineering at the Federal University of Santa Catarina participates in the development of a ubiquitous health platform that aims to meet these needs. As an integral part of this platform, the present work sought to develop a data acquisition and exploration tool, focusing on the sensing of ambient and anthropogenic variables in a docimiliar environment for applications in health care. This tool consists of a modular microcontrolled system, based on free hardware electronic prototyping platforms, and a user interface, adopting collaborative development and open source programming. To test the proposed tool, a prototype of a multisensory module was produced, integrating three sensors to acquire four different signals (temperature, humidity, illuminance and sound level). Of these, the audible signal has a strong focus on obtaining information relevant to the detection of activities occurring due to the interaction of the occupants with the environment, while the temperature, humidity and illuminance signals have a bias in recognizing the context in which these activities occur. The developed interface consists of three different screens. The first screen allows communication with the multisensory module, for setting parameters such as sampling frequency and sensor selection, in addition to starting and finishing data acquisition. The sound data is saved in ―.wav‖ format and the other signals in ―.csv‖ format. The second screen allows the visualization of the acquired data and the annotation of that data, indicating the events present in each interval. The third screen contains a set of sixteen algorithms for extracting descriptors for sound signals, with more than ten configurable parameters. The extracted descriptors are saved in ―.csv‖ format. The tool screens can be used sequentially or in isolation (for example, the descriptor extraction screen can be used with any audio recorded in ―.wav‖ format). The concept test, to demonstrate the functionalities of the developed tool, consisted of the creation of an initial database, through the acquisition of short period sound data (0.7 to 14 seconds), corresponding to 23 simulated events in a kitchen environment, in addition to a long-term record (24 hours) of temperature, humidity and illuminance data.
Keywords: Ubiquitous health. Health care. Activity monitoring. Sensors. Signal processing. Collaborative development.
LISTA DE FIGURAS
Figura 1 - Diagrama de blocos do Imote2. ... 25 Figura 2 - Arduino Uno. Plataforma de prototipagem eletrônica de hardware livre popular para a realização de projetos eletrônicos. ... 33
Figura 3 - Ambiente de desenvolvimento integrado (IDE) de placas Arduino. ... 33
Figura 4 - Exemplos de Shields disponíveis para a plataforma Arduino Uno. ... 34
Figura 5 - Exemplos de breakout boards. Superior esquerda: Conversor de nível lógico. Superior direita: Oxímetro de pulso. Inferior esquerda: Acelerômetro e giroscópio. Inferior direita: Amplificador de célula de carga. ... 35 Figura 6 - Etapas do processo de aquisição de um sinal analógico. Obs.: As etapas de amplificação e filtragem são permutáveis e podem ocorrer também de forma intercalada. ... 38 Figura 7 - Amplificação de um sinal analógico. O amplificador, cuja simbologia é um triângulo, aplica um ganho G ao sinal original, alterando sua amplitude. ... 38 Figura 8 - Resposta em magnitude de filtros seletivos em frequência. Na figura, fc representa a frequência de corte do filtro, usualmente definida como a
frequência em que a resposta em magnitude decai em 3 dB em relação à magnitude máxima. A frequência de rejeição fr é definida de forma arbitrária, por uma
atenuação considerada suficiente de acordo com a aplicação. ... 39 Figura 9 - Processo de amostragem de um sinal analógico. Nesse processo as amostras são obtidas mantendo-se constante o valor instântaneo da amplitude do sinal, a cada intervalo de amostragem TS. O sinal resultante é discretizado no tempo
mas ainda pode assumir uma faixa contínua de amplitude... 40 Figura 10 - Efeito de aliasing na amostragem de um sinal. O sinal original (linha azul) corresponde a um cosseno de frequência igual a 10 Hz. As amostras em azul (círculos azuis) foram obtidas com uma frequência de amostragem de 100 Hz e permitem representar fielmente o sinal original. Já as amostras em vermelho (círculos vermelhos) foram obtidas com uma frequência de amostragem de 12 Hz, inferior à frequência de Nyquist para este sinal. A reconstrução através dessas
amostras (linha vermelha) leva a crer, erroneamente, que o sinal original é um cosseno de frequência igual a 2 Hz. ... 41 Figura 11 - Quantização de um sinal. O gráfico da esquerda apresenta um sinal discretizado no tempo mas não em amplitude, ou seja, um sinal não-quantizado. O gráfico da direita apresenta o efeito da quantização desse sinal, utilizando uma resolução de 3 bits (resultando em 8 valores de amplitude possíveis para cada amostra). A amplitude de cada amostra é representada pelo código que mais se aproxima do seu valor real. O erro de quantização pode ser visto pela distância entre os círculos vermelhos (amplitude quantizada da amostra) e as linhas em preto (amplitude real da amostra). Note que a representação quantizada não é simétrica para amplitudes positivas e negativas. ... 42 Figura 12 - Exemplo de framing de um sinal sonoro. O sinal utilizado foi amostrado com fS = 40 kHz, o tamanho de cada frame é de 4000 amostras (100 ms)
e o passo do frame é de 2000 amostras (50 ms), o que resulta em uma sobreposição (overlapping) de 50% entre frames adjacentes. ... 46 Figura 13 - Exemplos de funções de janelamento de 29 amostras e seus respectivos espectros de magnitude. A escolha da janela mais apropriada envolve uma troca entre resolução espectral (largura do lóbulo principal) e atenuação dos demais lóbulos. ... 47 Figura 14 - Exemplo de espectrograma utilizando a densidade espectral de potência. Sinal utilizado: ―openfridge5.wav‖. Parâmetros: fS = 4 kHz, função de janelamento: Hanning, tamanho do quadro: 4000 amostras (100 ms), passo do quadro = 4000 amostras (100 ms). ... 48 Figura 15 - Relação entre a escala de frequência em Hertz e a escala Mel. 49 Figura 16 - Banco de filtros mel com 10 filtros triangulares, frequência inicial de 0 Hz (0 Mel) e frequência final de 8 kHz (2840 Mel). ... 50 Figura 17 - Três primeiras funções de base de uma DCT de 26 coeficientes. ... 51
Figura 18 - Plataforma de saúde ubíqua em desenvolvimento no IEB-UFSC. Unidades multissensoriais e unidades de câmera adquirem sinais constantemente, enviando-os para a unidade concentradora local, onde é feita a fusão de dados e reconhecimento de atividades. ... 62 Figura 19 - Pinagem do Teensy 3.6 com as funcionalidades extras associadas a cada pino. ... 66
Figura 20 - Módulo sensor de luz TEMT6000. ... 68
Figura 21 - Esquemático do módulo sensor de luz TEMT6000. ... 69
Figura 22 - Módulo sensor de temperatura, umidade e pressão atmosférica GY-BM E/P 280. ... 71
Figura 23 - Esquemático do módulo GY-BM E/P 280. ... 71
Figura 24 - Módulo sensor de som KY-037. ... 72
Figura 25 – Esquemático do módulo KY-037. ... 73
Figura 26 - Pré-amplificador para o sinal de áudio. O ajuste de ganho é feito pelo potênciômetro de 1 kΩ e o valor da capacitância CF pode ser escolhido de acordo com o ganho e a frequência de amostragem utilizada, para filtragem das componentes de alta frequência do sinal. ... 75
Figura 27 - Filtro passa-baixas anti-aliasing de quarta ordem, com frequência de corte de ... 75
Figura 28 - Diagrama das atribuições e requisitos da interface de usuário. .. 77
Figura 29 - Ambiente simulado de cozinha para testes da plataforma multissensorial. ... 78
Figura 30 - Planta baixa do ambiente de testes, apresentando o posicionamento do equipamento de aquisição de dados. ... 79
Figura 31 - Comparação das curvas de temperatura obtidas em ensaio para o sensor BME280 e termopar do tipo K utilizado como referência. ... 83
Figura 32 - Diferença entre a medida do sensor BME280 e o sensor de referência em função do tempo durante ensaio. ... 83
Figura 33 – Relação logarítmica entre a potência do sistema de aquisição de áudio do módulo multissensorial e do sensor de referência, em função da frequência. Valor de referência: 72 dBSPL @ 4 kHz. ... 85
Figura 34 - Densidade espectral de potência do auto-ruído presente no sistema de aquisição sonora. ... 86
Figura 35 - Fluxograma do firmware do módulo multissensorial, programado no Teensy 3.6. ... 87
Figura 36 - Fluxograma da função de configuração de parâmetros do módulo multissensorial. ... 88
Figura 37 - Fluxograma da função de início de aquisição de dados e da subrotina de aquisição periódica de dados do módulo multissensorial. ... 89
Figura 38 - Fluxograma da função de transmissão de dados do módulo
multissensorial. ... 90
Figura 39 - Fluxograma da função de finalização da aquisição de dados do módulo multissensorial. ... 90
Figura 40 – Placa de circuito impressa para interconexão dos componentes do módulo multissensorial. Vista superior à esquerda e vista inferior à direita. ... 93
Figura 41 – Protótipo montado do módulo multissensorial. ... 93
Figura 42 - Tela de configuração de parâmetros e aquisição de dados. ... 94
Figura 43 - Tela de visualização e anotação dos dados. ... 99
Figura 44 - Tela de extração de descritores. ... 103
Figura 45 - Resposta em frequência do filtro de pré-enfase para diferentes valores de . ... 105
Figura 46 - Exemplo do efeito do filtro de pré-enfase em um sinal. O sinal utilizado foi "plasticbagnoise1.wav", adquirido pelo módulo multissensorial a uma taxa de 40 kHz. ... 105
Figura 47 – Exemplo de energias acumuladas do sinal para cada filtro do banco de filtros triangulares. Sinal utilizado: ―watertomug8.wav‖. Parâmetros: Window = Hanning, Frame Size = 100 ms, Frame Step = 100 ms, Number of filters = 26, Start Frequency = 200 Hz, End Frequency = 8000 Hz. ... 107
Figura 48 - Exemplo de extração de MFCC. O coeficiente 0 foi removido por apresentar valores muito distintos dos demais, o que prejudicaria a visualização do gráfico. Sinal utilizado: "strikematch6.wav". Parâmetros: Window = Hanning, Frame Size = 100 ms, Frame Step = 100 ms, Number of filters = 26, Start Frequency = 200 Hz, End Frequency = 8000 Hz, Number of Cepstral Coefficients = 13. ... 108
Figura 49 - Resposta do lifter sinusoidal de ordem 13, para diferentes valores do parâmetro D. ... 109
Figura 50 - Exemplo de obtenção dos descritores Delta MFCC e Delta-Delta MFCC. O gráfico apresenta somente os 4 primeiros coeficientes, por apresentarem maior variabilidade para o áudio em questão. Sinal utilizado: "squeezesponge4.wav". Parâmetros: Window = Hanning, Frame Size = 100 ms, Frame Step = 50 ms, Number of filters = 26, Start Frequency = 200 Hz, End Frequency = 12000 Hz, Number of Cepstral Coefficients = 13, Delta Order = 2, Delta-Delta Order = 2. ... 110
Figura 51 - Exemplo de centróide espectral (utilizando PSD). Sinal: ―objectplasticbag3.wav‖. Parâmetros: Frame Size = 1 ms, Frame Step = 1 ms, Window = Hanning. ... 112 Figura 52 - Exemplo de espalhamento espectral (utilizando PSD). Sinal: ―closecomp4.wav‖. Parâmetros: Frame Size = 1 ms, Frame Step = 100 ms, Window = Hanning. ... 112 Figura 53 - Exemplo de assimetria espectral (usando PSD). Sinal: "tapwater7.wav'. Parâmetros: Frame Size = 100 ms, Frame Step = 100 ms, Window = Hanning. ... 113 Figura 54 - Exemplo de curtose espectral (usando PSD). Sinal: "microwavedigits5.wav". Parâmetros: Frame Size = 100 ms, Frame Step = 100 ms, Window = Hanning. ... 114 Figura 55 – Exemplo de entropia espectral (usando Mag). Sinal: "objectfromfridge5.wav". Parâmetros: Frame Size = 100 ms, Frame Step = 100 ms, Window = Rectangular. ... 114 Figura 56 - Exemplo de planicidade espectral (usando Mag). Sinal: "watertojar3.wav". Parâmetros: Frame Size = 100 ms, Frame Step = 100 ms, Window = Hanning. ... 115 Figura 57 - Exemplo de crista espectral (usando Mag). Sinal: "microwavedigits2.wav". Parâmetros: Frame Size = 100 ms, Frame Step = 100 ms, Window = Rectangular. ... 116 Figura 58 - Exemplo de inclinação espectral (usando Mag). Sinal: "opencomp4.wav". Parâmetros: Frame Size = 100 ms, Frame Step = 100 ms, Window = Hanning. ... 116 Figura 59 - Exemplo de decaimento espectral (usando Mag). Sinal: "opendoor4.wav". Parâmetros: Frame Size = 100 ms, Frame Step = 100 ms, Window = Rectangular. ... 117 Figura 60 - Exemplo de fluxo espectral (usando Mag). Sinal: "objecttofridge1.wav". Parâmetros: Frame Size = 100 ms, Frame Step = 100 ms, Window = Rectangular, = 2. ... 118 Figura 61 - Exemplo de frequência de roll-off espectral (usando Mag). Sinal: "spongedish6.wav". Parâmetros: Frame Size = 100 ms, Frame Step = 100 ms, ... 118
Figura 62 - Registro de 24h de sinais ambientais obtido pelo módulo
multissensorial. ... 121
Figura 63 - Fotocorrente do TEMT6000 em função da iluminância. ... 143
Figura 64 - Lâmpada Galaxy LED 12 W ... 144
Figura 65 - Câmara escura para caracterização do sensor de luz. ... 145
Figura 66 – Corrente de coletor no TEMT6000 em função da iluminância E medida com o THDL-400. ... 147
Figura 67 - Iluminância E obtida com o TDHL-400 em função da leitura do ADC de 16 bits do Teensy, conectado ao módulo TEMT6000. ... 148
Figura 68 - Densidade espectral de potência de um conjunto de 500 amostras do TEMT6000. O gráfico mostra que a lâmpada utilizada oscila com frequência fundamental de 120 Hz, que, por efeito de aliasing resulta em um pico em 2,82 Hz (fS = 19,53 Hz). ... 150
LISTA DE TABELAS
Tabela 1 - Sumário de características do Teensy 3.6. ... 65 Tabela 2 - Valores típicos de iluminância. ... 69 Tabela 3 - Taxa máxima de aquisição de cada sensor integrado ao módulo multissensorial. ... 91 Tabela 4 - Informações dos arquivos adquiridos com a ferramenta desenvolvida, que compõem o banco de dados inicial de eventos em uma cozinha. ... 119
Tabela 5 - Média e desvio padrão das amostras utilizadas no gráfico de caracterização do TEMT6000. Para cada linha da tabela, 500 amostras foram utilizadas (fS = 19,53 Hz). ... 148
LISTA DE ABREVIATURAS E SIGLAS AAL – Ambient Assisted Living (Ambientes Assistidos Domiciliares) A.C. – Alternate Current (Corrente Alternada)
ADC – Analog to Digital Converter (Conversor Analógico-Digital) AmI – Ambient Intelligence (Inteligência Ambiental)
AVD – Atividades da Vida Diária b – Bit
B – Byte C – Celsius
CI – Circuito Integrado dB – Decibel
D.C. – Direct Current (Corrente Contínua)
DCT – Discrete Cosine Transform (Transformada Discreta do Cosseno)
DESA/ONU – Departamento de Assuntos Econômicos e Sociais da Organização das Nações Unidas
DFT – Discrete Fourier Transform (Transformada Discreta de Fourier) DRM – Digital Rights Management (Gestão de Direitos Digitais) F – Farad
FFT – Fast Fourier Transform (Transformada Rápida de Fourier) fps – Frames per Second (Quadros por Segundo)
FS – Full Scale
FSF – Free Software Foundation Hz – Hertz
IDE – Integrated Development Environment (Ambiente de Desenvolvimento Integrado)
IEB-UFSC – Instituto de Engenharia Biomédica da Universidade Federal de Santa Catarina
IIR – Infinite Impulse Response I2C – Inter-Integrated Circuit
LAT – Laboratório de Avaliação Técnica
LCD – Liquid Crystal Display (Display de Cristal Líquido) LED – Light Emitting Diode (Diodo Emissor de Luz) lx – Lux
m – Metro
MFCC – Mel Frequency Cepstral Coefficients
OSH – Open Source Hardware
OSHWA – Open Source Hardware Association OSI – Open Source Initiative
PCI – Placa de Circuito Impresso
PWM – Pulse Width Modulation (Modulação por Largura de Pulso) RAM – Random Access Memory
RNA – Rede Neural Artificial s - Segundo
SPI – Serial Peripheral Interface SPL – Sound Pressure Level
SVM – Support Vector Machine (Máquina de Vetores de Suporte) USB – Universal Serial Bus
V – Volt
SUMÁRIO 1 INTRODUÇÃO ... 15 1.1 MOTIVAÇÃO ... 15 1.2 OBJETIVOS... 17 1.2.1 Objetivos específicos ... 17 1.3 ESTRUTURA DA DISSERTAÇÃO ... 18 2 FUNDAMENTAÇÃO TEÓRICA ... 19
2.1 MONITORAMENTO REMOTO DE ATIVIDADES HUMANAS EM AMBIENTE DOMÉSTICO ... 19
2.1.1 Necessidades e aplicações comuns na área de saúde ... 19
2.1.2 Monitoramento por vídeo ... 20
2.1.3 Dispositivos vestíveis (wearables) ... 21
2.1.4 Monitoramento baseado em som ... 22
2.1.5 Redes de sensores sem-fio (WSN – Wireless Sensor Network) ... 24
2.2 SISTEMAS MULTIMODAIS ... 27
2.3 FUSÃO DE DADOS ... 28
2.3.1 Níveis de fusão de dados ... 29
2.3.1.1 Nível de dados ... 29
2.3.1.2 Nível de características ... 29
2.3.1.3 Nível de decisão ... 30
2.4 SOFTWARE DE CÓDIGO ABERTO E SOFTWARE LIVRE ... 30
2.5 HARDWARE LIVRE ... 31
2.5.1 Plataformas de prototipagem eletrônica ... 32
2.5.2 Shields e Breakout Boards ... 34
2.6 DESENVOLVIMENTO COLABORATIVO ... 36
2.7 AQUISIÇÃO DE SINAIS ANALÓGICOS ... 37
2.7.2 Filtragem ... 39
2.7.3 Amostragem e quantização ... 40
2.8 PROCESSAMENTO DIGITAL DE SINAIS DE ÁUDIO ... 42
2.8.1 Domínio do tempo ... 43
2.8.2 Domínio da frequência ... 44
2.8.3 Análise espectro-temporal ... 44
2.8.3.1 Coeficientes cepstrais de frequência Mel (MFCC - Mel Frequency Cesptral Coefficients) ... 49 2.8.3.2 Centróide espectral ... 53 2.8.3.3 Espalhamento espectral ... 53 2.8.3.4 Assimetria espectral ... 54 2.8.3.5 Curtose espectral ... 54 2.8.3.6 Entropia espectral ... 55 2.8.3.7 Planicidade espectral ... 56 2.8.3.8 Crista espectral ... 56 2.8.3.9 Inclinação espectral ... 56 2.8.3.10 Decaimento espectral ... 57 2.8.3.11 Fluxo espectral ... 58 2.8.3.12 Frequência de roll-off ... 58 2.9 CONVENÇÕES ÉTICAS ... 59 3 MATERIAL E MÉTODOS ... 61
3.1 PLATAFORMA DE SAÚDE UBÍQUA ... 61
3.2 MÓDULO MULTISSENSORIAL ... 63
3.2.1 Plataforma de prototipagem ... 64
3.2.2 Sensores ... 67
3.2.2.1 Iluminância ... 68
3.2.2.3 Som ... 72 3.3 Módulo integrado ... 76 3.4 INTERFACE GRÁFICA DE USUÁRIO ... 76 3.5 AMBIENTE E PROTOCOLO DE TESTES ... 77 4 RESULTADOS ... 81 4.1 DESEMPENHO DOS SENSORES ... 81 4.1.1 TEMT6000 ... 81 4.1.2 BME280 ... 82 4.1.3 KY-037 ... 84 4.2 MÓDULO MULTISSENSORIAL ... 86 4.2.1 Firmware ... 86 4.2.2 Desempenho de aquisição e transmissão ... 90 4.2.2.1 Taxas máximas de aquisição ... 91 4.2.3 Placa de circuito impresso ... 92 4.3 INTERFACE ... 94 4.3.1 Tela de configuração de parâmetros e aquisição de dados ... 94 4.3.1.1 Parâmetros globais ... 95 4.3.1.2 Parâmetros do módulo multissensorial ... 95 4.3.1.3 Parâmetros do módulo de câmera ... 97 4.3.1.4 Aplicação de alterações e execução de teste ... 97 4.3.2 Tela de visualização e anotação de dados ... 98 4.3.2.1 Funções de cabeçalho ... 99 4.3.2.2 Players multimídia ... 100
4.3.2.3 Gráficos temporais ... 101 4.3.2.4 Anotação de dados ... 101 4.3.3 Tela de extração de descritores ... 102 4.3.3.1 Cabeçalho e pré-processamento ... 103
4.3.3.2 Parâmetros MFCC (Mel Frequency Cepstral Coeficients Parameters) ... 106 4.3.3.3 Descritores espectrais (Spectral Features) ... 111 4.4 PROVA DE CONCEITO E BANCO DE DADOS INICIAL ... 119 5 DISCUSSÃO ... 123 5.1 SINAIS, SENSORES E PLATAFORMA DE HARDWARE ... 123 5.2 SOFTWARE PARA EXPLORAÇÃO DE DADOS E EXTRAÇÃO DE DESCRITORES ... 127 5.3 CONTINUIDADE DO PROJETO ... 130 6 CONCLUSÃO ... 131 REFERÊNCIAS ... 133 APÊNDICE A – Experimento de caracterização do sensor de iluminância TEMT6000 ... 143 A.1 Caracterização – Procedimento ... 144
1 INTRODUÇÃO
Neste capítulo são expostos a motivação e os objetivos almejados no trabalho. Ao final, é feito um resumo da estrutura da dissertação.
1.1 MOTIVAÇÃO
Devido ao avanço nas técnicas e tecnologias utilizadas em tratamento médico, há um acréscimo na proporção de idosos na população, o que se relaciona a uma maior ocorrência de doenças crônicas (HUNG et al., 2011) e, consequentemente, a uma necessidade crescente de serviços de monitoramento e assistência médica voltados a essa parcela da população (KLEINBERGER et al., 2007).
De acordo com a Divisão de População do Departamento de Assuntos Econômicos e Sociais da Organização das Nações Unidas (DESA / ONU), estima-se um acréscimo de 39% em média na população de idosos na próxima década, de 611,9 milhões de idosos em 2015 para 852,5 milhões em 2025. No Brasil, o acréscimo estimado é de 53%, de 16,4 milhões de idosos em 2015 para 25,1 milhões em 2025 (UNITED NATIONS, 2017).
O potencial tecnológico para aplicações em assistência domiciliar se manifesta através de sistemas inteligentes, sustentados por uma boa integração entre sensoriamento e técnicas computacionais voltadas à predição e raciocínio, permitindo, por exemplo, a detecção de possíveis situações indesejadas que possam representar um risco à segurança do indivíduo e possibilitando a atuação sobre elas (ZHOU et al., 2011). Ambientes assistidos domiciliares (AAL - Ambient
Assisted Living) correspondem a uma importante área de pesquisa e
desenvolvimento, no que diz respeito à integração de tecnologia através de engenharia aplicada (KLEINBERGER et al., 2007).
Um aspecto importante é o monitoramento do comportamento de idosos em relação às suas atividades diárias, quando não estão acompanhados por familiares
ou cuidadores, permitindo um prolongamento da independência e autonomia desses indivíduos. Situações indesejadas podem surgir no decorrer dessas atividades e deseja-se que o sistema de monitoramento seja capaz de reconhecer tais situações e agir sobre elas, ainda que indiretamente, por exemplo, emitindo sinais de alarme (ZHOU et al., 2011).
Nesse contexto, o paradigma de "inteligência ambiental" (AmI - Ambient
Intelligence) vem ganhando força. Trata-se de uma abordagem multidisciplinar,
envolvendo áreas de pesquisa com um objetivo comum de desenvolvimento de ambientes assistidos, sejam eles com aplicações em saúde ou as mais diversas, como em educação e transporte público. AmI procura integrar diferentes áreas de tecnologia, como redes de sensores sem fio (WSN - Wireless Sensor Networks), inteligência artificial (IA), interfaces homem-máquina e computação ubíqua para criar um ambiente interconectado e inteligente (AUGUSTO, 2007).
Muitos trabalhos foram desenvolvidos nos últimos anos, aplicando o conceito de AmI, ou de alguma das áreas afins, à assistência à saúde de idosos. Entre eles pode-se citar o desenvolvimento de sensores e sistemas para monitoramento de atividades diárias, cuja maior preocupação envolve quedas (PANNURAT; THIEMJARUS; NANTAJEEWARAWAT, 2014), ou ainda sistemas, como o proposto por (HOSSAIN; ALAMRI; PARRA, 2013) que consideram aspectos diferentes da saúde e bem-estar dos idosos, como a necessidade de entretenimento.
O sensoriamento das variáveis envolvidas na detecção das condições e situações do ambiente envolve desafios que nem sempre são abordados. Grande parte dos sistemas desenvolvidos depende da instalação de diversos sensores espalhados pelo ambiente, sendo muitas vezes necessária uma adaptação estrutural (para a instalação de câmeras ou sensores de presença) ou a instrumentação de utensílios e eletrodomésticos (KAMOL et al., 2007), requisitos que limitam as condições nas quais o sistema pode ser utilizado. Em outros casos (ou em conjunto), adotam-se sensores vestíveis (wearables) (VENKATESH et al., 2012) (WINKLEY; JIANG, P.; JIANG, W., 2012), que podem ser rejeitados, esquecidos ou utilizados incorretamente pelos usuários (BUENAFLOR; KIM, 2013). Essas questões causam transtornos e/ou desconforto, diminuindo a aceitação desses sistemas pelos usuários, que correspondem a uma parcela da população
que muitas vezes apresenta dificuldade de se adaptar a novas tecnologias (PHANG et al., 2006) (STEELE et al., 2009).
O Instituto de Engenharia Biomédica da Universidade Federal de Santa Catarina (IEB-UFSC) participa atualmente do desenvolvimento de uma plataforma de saúde ubíqua, dentro da qual enquadra-se o presente trabalho. Com base no contexto exposto, propõe-se o desenvolvimento de um módulo concentrado de sensoriamento de variáveis ambientais e antropogênicas em ambiente domiciliar, permitindo flexibilidade quanto às variáveis monitoradas, de acordo com o ambiente alvo.
A criação de novos sistemas gera preocupação quanto à descontinuação de suporte e manutenção, um fenômeno conhecido como abandonware. Em vista disso, o módulo desenvolvido neste projeto utilizará predominantemente plataformas de código aberto e um modelo de desenvolvimento colaborativo.
1.2 OBJETIVOS
O presente trabalho tem como objetivo geral propor um sistema composto por um módulo microcontrolado de aquisição de dados para sensoriamento de variáveis ambientais e antropogênicas em ambientes domiciliares e um software auxiliar para exploração desses dados, através de visualização, anotação e extração de descritores. O sistema proposto será baseado em plataformas de prototipagem eletrônica de hardware livre e programação em código aberto, flexível em relação à quantidade e tipos de sensores/transdutores utilizados, de acordo com o ambiente alvo e com aplicação na assistência à saúde e/ou supervisão de humanos em ambiente doméstico.
1.2.1 Objetivos específicos
Para alcançar o objetivo geral proposto, pretende-se atingir os seguintes objetivos específicos:
• Propor um conjunto de sensores e sinais de interesse para detecção de situações/eventos e de contexto ambiental em ambiente doméstico;
• Integrar/embarcar estes sensores em uma plataforma de hardware livre e
software de código aberto para aquisição e comunicação dos dados provenientes
destes sensores;
• Desenvolver uma interface de usuário que permita a configuração de parâmetros do módulo microcontrolado, o armazenamento e visualização dos dados obtidos e a extração de descritores a partir desses dados;
• Efetuar uma demonstração/prova de conceito, utilizando uma unidade modular com os sensores selecionados em um ambiente doméstico de cozinha. 1.3 ESTRUTURA DA DISSERTAÇÃO
Esta dissertação é dividida em seis capítulos.
O Capítulo 1 contém a motivação para a pesquisa e os objetivos que se pretende atingir com o presente trabalho.
O Capítulo 2 reúne importantes conceitos que formam a base teórica para o desenvolvimento desta pesquisa.
No Capítulo 3 é feita a descrição do material e dos métodos utilizados.
No Capítulo 4 são apresentados os resultados de implementação e testes da ferramenta proposta, de acordo com os objetivos do projeto.
O Capítulo 5 traz uma discussão acerca dos resultados obtidos e dificuldades encontradas, incluindo sugestões no que diz respeito à continuidade do projeto e trabalhos futuros.
O Capítulo 6 reúne as considerações finais e uma descrição resumida, destacando as principais contribuições da ferramenta desenvolvida, no contexto de sua utilização como parte integrante de uma plataforma de saúde ubíqua.
2 FUNDAMENTAÇÃO TEÓRICA
Neste capítulo são apresentados conceitos importantes para o desenvolvimento deste trabalho. Primeiramente é abordada a questão do monitoramento de atividades humanas no contexto de aplicações em saúde e sua importância, enfatizando as principais vantagens e dificuldades das estratégias aplicadas e tipos de sinais mais utilizados. Em seguida, discorre-se sobre os benefícios dos sistemas multimodais para essa tarefa de monitoramento, apresentando técnicas de fusão de dados de sensores em diferentes níveis e exemplos de sistemas classificadores que utilizam esses dados. Nas subseções seguintes explora-se a filosofia adotada neste projeto, de desenvolvimento colaborativo, em plataformas livres e de código aberto. Na sequência são apresentados, resumidamente, conceitos de aquisição de sinais de sensores analógicos para processamento em sistemas digitais e, por fim, são abordadas preocupações e recomendações éticas no desenvolvimento de sistemas tecnológicos que lidam com informações pessoais de seus usuários.
2.1 MONITORAMENTO REMOTO DE ATIVIDADES HUMANAS EM AMBIENTE DOMÉSTICO
O termo monitoramento diz respeito à coleta contínua de dados ao longo de um determinado processo, de forma que se possa acompanhar em detalhes o seu desenvolvimento. Monitorar torna possível identificar como, quando e por que determinados eventos ocorrem e avaliar seu impacto no sistema monitorado. Nesta seção são discutidas as motivações e as principais formas de implementação de monitoramento de atividades humanas em ambiente doméstico.
2.1.1 Necessidades e aplicações comuns na área de saúde
O monitoramento de pessoas em ambiente doméstico permite a obtenção de dados importantes acerca do seu padrão comportamental na execução de atividades
da vida diária (AVD). Séries temporais de dados de mobilidade e ocupação de ambientes na residência fornecem informações úteis sobre os ciclos diários de atividade e descanso de indivíduos e como esses padrões se alteram sob influência de determinados fatores (período da semana, estações, etc.). Dados como esses podem auxiliar ainda na identificação de transtornos como hiperatividade, perda da capacidade motora, e de alterações sob efeitos de medicamentos como ansiolíticos e antidepressivos (REDMOND; HEGGE, 1985).
Há interesse especial na quantificação da atividade física diária como um parâmetro chave na avaliação da qualidade de vida e manutenção da independência de indivíduos idosos e portadores de doenças crônicas e neurodegenerativas (NAJAFI et al., 2003). Um aspecto importante para o prolongamento da independência com segurança é o monitoramento contínuo e a identificação precoce de atividades anormais que possam indicar declínio das condições, crises de saúde e situações emergenciais (ZHOU et al., 2008).
Motivados pelo acréscimo da população idosa mundial e os desafios que serão proporcionados para o setor de saúde pública, muitas pesquisas vêm sendo realizadas nas áreas de ambientes assistidos domiciliares e de inteligência ambiental, com o intuito de desenvolver sistemas mais robustos para essa parcela da população. Diferentes abordagens são encontradas para os sistemas desenvolvidos, sendo as três mais frequentes o monitoramento por vídeo, o uso de dispositivos vestíveis e redes de sensores sem-fio.
2.1.2 Monitoramento por vídeo
Sistemas de monitoramento baseados em câmeras de vídeo se tornaram bastante populares devido à sua utilização em sistemas de vigilância. Nas formas mais básicas o acompanhamento das imagens deve ser feito por um operador humano porém, com o uso de algoritmos de processamento de imagens e posteriormente com a aplicação de técnicas de inteligência artificial é possível automatizar o processo de detecção de objetos, extração de parâmetros cinemáticos e morfológicos e identificação de atividades.
O sinal de vídeo proporcionado pela utilização de visão de máquina na área de ambientes assistidos domiciliares fornece muita informação útil para a análise
comportamental. Há diversos algoritmos bem estabelecidos para tratamento de imagens, sendo possível se obter com alta precisão, informações sobre posicionamento, deslocamento e identificação dos indivíduos no ambiente (YILMAZ; JAVED; SHAH, 2006). O uso de câmeras com visão noturna e/ou captação de infravermelho expande ainda mais a gama de situações cobertas por esse sensor. Uma aplicação muito popular na área de saúde é o reconhecimento de quedas, um problema comum e bastante impactante na população idosa (PANNURAT; THIEMJARUS; NANTAJEEWARAWAT, 2014).
Questões de privacidade costumam ser uma barreira à utilização de visão de máquina, por parte dos usuários (ZIEFLE; RÖCKER; HOLZINGER, 2011). Muitas pessoas se opõem fortemente à ideia de ter seu dia-a-dia monitorado em vídeo e se preocupam também com a segurança desses dados, ainda que diversos sistemas utilizem técnicas como o borramento da imagem (blurring) ou a extração de contornos.
Do ponto de vista técnico, o processamento de vídeo é relativamente custoso e os dados ocupam uma alta quantidade de memória, exigindo um hardware robusto, principalmente se o objetivo é o monitoramento em tempo real. Há um
trade-off entre volume de dados, complexidade computacional e reconhecimento de
atividades mais refinadas, como gestos, por exemplo. Mudanças na iluminação do ambiente podem afetar o desempenho criando perturbações visuais (IKIZLER; DUYGULU, 2009) e sistemas com uma única câmera por ambiente também estão sujeitos aos efeitos de oclusão, efetivamente limitando o campo visual coberto pelo vídeo, podendo ser necessária a utilização de múltiplas câmeras para contornar este problema (GABRIEL et al., 2003).
2.1.3 Dispositivos vestíveis (wearables)
O termo dispositivos vestíveis (wearables) se refere a uma vasta gama de dispositivos eletrônicos que são incorporados a acessórios e roupas, podendo ser vestidos e ficando então em contato direto com o usuário. Um dispositivo vestível pode ser uma pulseira, um relógio, um anel, um brinco, uma camiseta, etc. Esses
dispositivos são usualmente dotados de sensores que adquirem dados sobre o usuário, os quais podem ser transmitidos, armazenados ou diretamente processados e apresentados por meio de um display (TEHRANI; MICHAEL, 2014).
No campo da saúde, os wearables apresentam a vantagem de permitir a obtenção de sinais corporais que sensores externos não conseguem captar, como por exemplo sinais de eletromiograma, eletrocardiograma, pressão sanguínea, entre outros (PIWEK et al., 2016). Além disso, com o uso de acelerômetros e giroscópios pode-se acompanhar a movimentação e orientação do usuário, permitindo seu rastreamento, avaliação de seu nível de atividade física, identificação de quedas, etc, um recurso muito interessante em aplicações com pessoas com dificuldades motoras (YANG; HSU, 2010).
O propósito da tecnologia wearable é possibilitar um acesso constante, portátil e discreto a um dispositivo eletrônico, de forma que este não cause nenhum desconforto ou incômodo ao usuário, e isso depende fortemente da miniaturização dos componentes que compõem o produto final. Entretanto, nem sempre é possível associar um conjunto de sensores que necessitam de uma localização específica no corpo de uma forma que eles sejam praticamente imperceptíveis.
Outra questão que se deve ter em mente na aplicação de wearables ao monitoramento de pessoas no contexto de assistência à saúde, é a aderência à utilização do dispositivo. Diferente de um dispositivo externo que está instalado no ambiente, pode ocorrer negligência, rejeição ou até mesmo esquecimento do usuário na utilização do wearable, principalmente no caso de idosos com a memória debilitada (STEELE et al., 2009).
2.1.4 Monitoramento baseado em som
Microfones são sensores relativamente pouco utilizados em aplicações de monitoramento de atividades com o propósito de assistência à saúde, no entanto, o sinal de áudio é rico em informações e muitas atividades do dia-a-dia produzem sons característicos que permitiriam sua distinção através de uma análise sonora. Pode-se citar como exemplo a identificação do uso de eletrodomésticos (DIMITROV, 2014) (máquina de lavar, microondas, barbeador elétrico, cafeteira, etc) e classificação de
atividades domésticas realizadas (STORK et al., 2012) (lavar a louça, cozinhar, varrer o chão, tomar banho, etc).
É possível ainda detectar situações de risco (ISTRATE; VACHER; SERIGNAT, 2008), como o barulho de um objeto quebrando, gritos, quedas e situações que indiquem que o residente está irresponsivo, como uma campainha ou telefone tocando por muito tempo sem ser atendido. Em ambientes automatizados, a captação sonora também pode permitir a comunicação do usuário com o sistema através de comandos de voz, de uma maneira mais intuitiva e interessante quando a aplicação é voltada a idosos ou outras pessoas que possuam dificuldades locomotivas e visuais, evitando que tenham que acessar um painel com botões ou controles remotos (VACHER et al., 2011).
Microfones têm a vantagem de funcionarem bem mesmo quando parcialmente encobertos e é possível encontrar opções de baixo custo e dimensões reduzidas, características ideais para o desenvolvimento de sistemas acessíveis e pouco intrusivos (FRANKE, 2009). Sensores sonoros também apresentam uma boa opção para atuação em conjunto com sistemas de vídeo (CHEN; MALKIN; YANG, 2004) e/ou incorporados em redes de sensores sem-fio e wearables (YAN et al., 2010).
O desafio está na aquisição e processamento do sinal de áudio, principalmente se for desejado que o sistema opere em tempo real. O sinal sonoro precisa ser adquirido com uma taxa de amostragem muito superior a de demais sensores analógicos como temperatura ou iluminância. Uma aquisição que compreenda toda a faixa de frequência audível deve ser feita a uma taxa da ordem de dezenas de kHz e a resolução do conversor analógico-digital (ADC –
Analog-to-Digital Converter) utilizado pode afetar significativamente a qualidade do sinal obtido
(e. g. o padrão para o som de CD é uma taxa de amostragem de 44,1 kHz e uma resolução de 16 bits). Esses são fatores importantes na escolha de um microcontrolador que fará a tarefa de aquisição, pois muitas plataformas populares são limitadas nesse aspecto. Contudo, há sistemas sendo desenvolvidos que utilizam taxas mais baixas e/ou resoluções menores, dependendo do tipo e da
quantidade de eventos que se deseja classificar (ROSSI et al., 2013) (TAYSI; GUVENSAN; MELODIA, 2010).
Capacidade de armazenamento e velocidade de processamento ou de comunicação são também fatores importantes devido ao grande volume de dados produzido, dependendo se o interesse está em processar o áudio localmente (no mesmo dispositivo que faz a aquisição) ou externamente (enviando os dados brutos a um computador de uso geral, por exemplo) e se esse processamento se dará em tempo real ou offline (ALSINA-PAGÈS; HERVÁS, 2017). A complexidade computacional no processamento de áudio é alta, mas menos custosa do que a de processamento de vídeo e há também uma grande variedade de algoritmos eficazes e bem estabelecidos para uso (DIMITROV, 2014).
2.1.5 Redes de sensores sem-fio (WSN – Wireless Sensor Network)
Uma rede de sensores sem-fio consiste em um conjunto de dispositivos autônomos espacialmente distribuídos (que formam os nós da rede), dotados de sensores para monitoramento de condições físicas ou ambientais (LOUREIRO et al., 2003). Um nó sensor na rede é geralmente formado por um dispositivo contendo um microcontrolador, memória, uma fonte de energia, sensores e um transceptor, em um encapsulamento de dimensões reduzidas. Este dispositivo é comumente chamado de mote. O microcontrolador coordena os demais componentes e executa tarefas de processamento dos sinais adquiridos pelos sensores. Os dados temporários são armazenados na memória e transmitidos entre os nós da rede pelo transceptor (JALIL, 2011). A Figura 1 apresenta o diagrama em blocos do Imote2, da Crossbow Technology.
Figura 1 - Diagrama de blocos do Imote2.
Fonte: CROSSBOW TECHNOLOGY, 2007.
A ideia por trás dos motes se iniciou com um projeto de pesquisa no DARPA (Defense Advanced Research Projects Agency) cuja proposta era a criação de nós de sensores com volume de um milímetro cúbico, chamados de poeira inteligente ou
smartdust (HSU; KAHN; PISTER, 1998), com aplicações militares, para
reconhecimento das condições em um campo de batalha. Os avanços em sistemas microeletromecânicos e comunicação digital permitiram a criação de motes com baixo consumo energético e proporcionou redução de custos de fabricação (AKYILDIZ et al., 2002), entretanto, a maioria dos motes comercialmente disponíveis tem dimensões que vão de uma moeda a uma caixa de fósforos grande e custam de dezenas de dólares a centenas de euros (WIKIPÉDIA, 2019).
Uma das principais aplicações de redes de sensores sem-fio é o monitoramento climático e ambiental na agricultura (ZHU; SONG; DONG, 2011) e florestal, tanto da vegetação quanto da vida animal (MAINWARING et al., 2002), através de sinais de temperatura, umidade, luminosidade e pressão atmosférica. Em assistência à saúde os projetos desenvolvidos focam em distribuir sensores pela residência, em localidades estratégicas para identificação da ocupação de ambientes e utilização de aparelhos (SURYADEVARA; MUKHOPADHYAY, 2012). Em geral são utilizados sensores infravermelhos de presença (PIR), sensores de
pressão em cadeiras, camas, assentos de privada e até tapetes, sensores de corrente em eletrodomésticos e de fluxo de água em torneiras. Câmeras e sensores
wearables também podem ser desenvolvidos com motes e integrados a uma rede de
sensores sem-fio. Redes corporais usando wearables são chamadas Wearable
Wireless Body/Personal Area Network (WWBAN) e permitem adicionar sinais
biológicos como ECG e EMG (MILENKOVIĆ; OTTO; JOVANOV, 2 6).
A principal vantagem de uma rede de sensores sem-fio está na quantidade e dispersão dos sensores. Os nós podem ser distribuídos de forma a estarem próximos aos fenômenos de interesse dos respectivos sensores, diminuindo assim a incerteza e perturbações externas dos dados adquiridos. Contudo, ainda que sejam considerados de ―baixo custo‖, o investimento em um sistema desse tipo se multiplica proporcionalmente ao número de nós da rede, se tornando muito custoso em comparação a uma abordagem mais centralizada. As capacidades dos motes variam muito entre modelos disponíveis e o foco está na redução do consumo energético muitas vezes em detrimento da qualidade de comunicação dos dados, etapa que mais consome energia. Como os motes são normalmente alimentados à bateria e devem permanecer em uso contínuo, a eficiência energética é um fator importante. Adquirir dados em altas taxas (dados sonoros, por exemplo) ou computacionalmente pesados (como um sinal de vídeo), podem exigir mais do
hardware e levar à necessidade de fontes de energia maiores e mais duradouras,
reduzindo a miniaturização e aumentando o custo do mote (AKYILDIZ et al., 2002). Protocolos de comunicação via radiofrequência de baixo alcance, como o
ZigBee, são utilizados, porém a topologia da rede deve ser pensada para minimizar
o consumo energético que pode ser relativamente alto para um mote mesmo em um protocolo como o Bluetooth (SHIH et al., 2001), (WANG et al., 2014). Comunicação óptica pode reduzir o consumo, porém é preciso uma visão sem obstrução entre os nós (SWATI; PRIYANKA, 2010), e técnicas de recarregamento de energia (WANG et al., 2016), como o uso de células fotovoltaicas também são empregadas, porém ambas as abordagens encontram barreiras em sistemas em ambientes internos. A perspectiva para o futuro das redes de sensores sem-fio é muito positiva, mas ainda há muitos fatores a serem abordados para que se tornem soluções populares de fácil acesso.
2.2 SISTEMAS MULTIMODAIS
Um sistema é dito unimodal quando se baseia em somente um tipo ou fonte de dados. Sistemas multimodais utilizam informações provenientes de diferentes fontes e/ou modalidades de dados, combinando-as de forma que a informação resultante apresente maior confiabilidade, ou seja, uma incerteza reduzida em comparação ao uso de cada fonte individualmente (LAHAT; ADALI; JUTTEN, 2015). Pode-se tomar como exemplos os sistemas citados anteriormente. O monitoramento simples por câmera (e.g. câmera de segurança) ou um wearable com um único acelerômetro para detectar quedas são sistemas unimodais, enquanto uma rede de sensores sem fio, com detectores de presença, sensores de pressão e de corrente elétrica pode constituir um sistema multimodal.
Embora mais complexos, devido à utilização de uma maior quantidade de fontes de dados, os sistemas multimodais também apresentam maior robustez que os unimodais. Quando se depende de um único sinal para a obtenção de um determinado resultado, uma falha no sensor ou um sinal ruidoso pode ser o suficiente para o impedimento dessa tarefa. Em uma abordagem multimodal para a mesma questão, o resultado final obtido é fruto de uma soma de contribuições de cada sensor/sinal individual, assim, uma falha em um deles não compromete o resultado final por completo (MUTAMBARA, 1998).
A percepção humana do mundo é multimodal. As experiências pessoais são formadas por um conjunto de estímulos de diferentes modalidades sensoriais e as interações humanas com o ambiente resultam em atividades complexas, caracterizadas por uma multiplicidade de informações (MATTHEN, 2017). Tal complexidade sugere que a abordagem por sistemas multimodais é mais indicada na tarefa de detecção de AVD.
De acordo com (MEHRABIAN, 2008), no âmbito das comunicações, a expressão facial e o tom de voz do locutor apresentam maior efeito na transmissão de uma emoção do que o conteúdo da mensagem, numa proporção de 55% facial, 38% vocal e 7% verbal. O sistema desenvolvido por (PEREZ-GASPAR; CABALLERO-MORALES; TRUJILLO-ROMERO, 2016) para reconhecimento de
emoções apresenta resultados que corroboram a natureza multimodal dessa tarefa, alcançando uma taxa de reconhecimento global de emoções de 97%, utilizando uma combinação de dados audiovisuais. Arranjos de microfones em combinação com câmeras são utilizados por (LIBAL et al., 2009) para classificação de um pequeno conjunto de AVD, obtendo maior taxa de acerto em comparação ao resultado obtido com ambas abordagens unimodais (somente microfone ou câmera). Um conjunto maior de dados também pode auxiliar no refinamento de tarefas, como proposto por (SELMI; EL-YACOUBI, 2016), utilizando dados de movimentação dos indivíduos em conjunto com detecção de objetos para diferenciação entre atividades que apresentam alta similaridade.
Pesquisas na área de neurociência indicam que os sinais sensoriais não são analisados individualmente, mas sim combinados gerando uma informação resultante, em um processo conhecido como integração multissensorial (MEREDITH; STEIN, 1986). Sistemas tecnológicos multimodais atuam de forma semelhante, através de técnicas de fusão de dados.
2.3 FUSÃO DE DADOS
Fusão de dados é o nome dado ao processo de combinação de dados de diferentes fontes e/ou tipos, utilizado em sistemas multimodais, de forma a se obter informações mais confiáveis ou novas perspectivas acerca de um determinado fenômeno de interesse (LIGGINS II; HALL; LLINAS, 2017).
Conjuntos de sensores em configurações variadas podem ser utilizados para obtenção de diferentes resultados. Em um arranjo cooperativo, novas informações são obtidas a partir de dados de múltiplos sensores, que não seriam possíveis de se obter com cada sensor individualmente. Por exemplo, uma visualização tridimensional de uma cena, utilizando um conjunto de imagens bidimensionais de diferentes câmeras espalhadas pelo ambiente. Configurações redundantes, por sua vez, utilizam sensores homogêneos medindo uma mesma propriedade de um fenômeno, independentemente, combinando os resultados de forma a obter medidas mais confiáveis e permitir a correção de erros e detecção de falhas nos próprios sensores. Em sistemas de classificação, uma configuração complementar pode ser mais indicada, composta por um conjunto de sensores heterogêneos que medem
diferentes propriedades de um mesmo fenômeno. Tal é o caso dos sistemas de detecção/classificação de atividades complexas (ELMENREICH, 2002).
2.3.1 Níveis de fusão de dados
Dependendo das técnicas e algoritmos utilizados, a fusão de dados pode ocorrer em diferentes níveis dentro de um sistema (OLOYEDE; HANCKE, 2016):
2.3.1.1 Nível de dados
É o nível mais primitivo. Nele, a fusão ocorre entre os dados brutos obtidos de cada sensor, sem nenhum processamento anterior. Os dados combinados são então utilizados para a extração de características do fenômeno, que serão utilizadas na etapa final de tomada de decisão. Usualmente esse nível de fusão é utilizado com múltiplas medições de um mesmo sensor ou medições independentes de sensores homogêneos, com operações como a média ponderada dessas medições, para obtenção de uma medida final mais confiável, como descrito anteriormente.
2.3.1.2 Nível de características
Nesse nível, primeiramente ocorre a extração de características a partir do processamento dos dados brutos de cada sensor individual, como, por exemplo, a obtenção da frequência cardíaca e oxigenação sanguínea de um indivíduo a partir do sinal de um oxímetro portátil. As características resultantes dessa etapa são chamadas de descritores. Em seguida, um algoritmo apropriado é utilizado para realizar a fusão dos vetores de características obtidos de cada sensor em um vetor combinado que será utilizado no processo de classificação do fenômeno. A fusão no nível de características envolve a normalização dos descritores em escalas semelhantes e seleção dos descritores mais relevantes, de forma a reduzir a carga computacional dos algoritmos de classificação e aumentar as taxas de reconhecimento. A extração de características previamente à etapa de fusão
também permite a redução de dimensionalidade da informação armazenada no sistema, e, quando feita localmente pelos módulos sensores, reduz também a quantidade de dados transferidos entre componentes de um mesmo sistema.
2.3.1.3 Nível de decisão
É o nível mais alto de abstração. Nele, subconjuntos de características extraídas do fenômeno são processadas até a obtenção de múltiplos resultados e então, com base neles, uma decisão final é obtida. Por exemplo, um sistema composto de uma câmera, um tapete com sensor de vibração e um acelerômetro portátil é utilizado para detecção de quedas. Os dados de cada sensor são analisados separadamente e obtém-se um resultado positivo ou negativo para o evento ―queda‖ a partir de cada um deles. Um algoritmo de fusão em nível de decisão utilizará os resultados individuais obtidos para estimar se o resultado final do sistema de detecção é ou não positivo. Essa é uma das formas mais simples de combinação de dados de sensores heterogêneos.
2.4 SOFTWARE DE CÓDIGO ABERTO E SOFTWARE LIVRE
O termo código aberto (do inglês ―open source”) foi cunhado em fevereiro de 1998, em Palo Alto, na Califórnia, pela Open Source Initiative (OSI). A OSI, formada nesse mesmo período, é uma organização sem fins lucrativos, dedicada à promoção de software de código aberto (OSI, 2018).
Um software desenvolvido com base no princípio open source deve não somente ter o seu código-fonte disponibilizado, mas ser licenciado de forma que seus termos de distribuição também estejam de acordo com os dez critérios definidos pela OSI (OSI, 2007). Esses critérios servem para garantir sua utilização, redistribuição e modificação, desde que sob os mesmos termos da licença original utilizada.
É comum a utilização dos termos open source software e software livre de forma indiscriminada, como sinônimos. Entretanto, este não é o caso. Software livre é um termo utilizado pela Free Software Foundation (FSF), uma fundação sem fins lucrativos e com forte viés ideológico, fundada em outubro de 1985, que promove o
desenvolvimento e uso de software livre e toma parte em campanhas contra o que consideram ameaças à liberdade de usuários de computadores, como a Gestão de Direitos Digitais (Digital Rights Management – DRM) e as patentes de software. (FSF, 2004). A FSF foi fundada pelo também criador do projeto GNU, Richard Stallman, considerado o pai do software livre (KUSZKA, 2013).
Para que um software seja considerado livre, ele deve fornecer aos usuários as quatro liberdades essenciais definidas pela FSF, resumidamente: a liberdade de executar, copiar, distribuir, estudar, modificar e melhorar o software (sendo a disponibilização do código-fonte um dos requisitos). Software livre não é necessariamente software gratuito, pois para ser considerado livre ele deve estar disponível para uso, desenvolvimento e distribuição comercial, ou seja, é uma questão de liberdade, não de preço (FSF, 2001).
De acordo com essas definições, pode-se dizer que todo software livre é também open source, mas a recíproca não é verdadeira, pois, dependendo da licença sob a qual o programa open source é distribuído, ele poderá não respeitar todas as quatro liberdades essenciais para ser considerado software livre.
2.5 HARDWARE LIVRE
O movimento de hardware livre (OSH – Open Source Hardware) foi precedido e influenciado por casos de desenvolvimento colaborativo de tecnologias e outros movimentos como o software de código aberto (Open Source Software) e
software livre, dos quais deriva seus princípios. (OSHWA, 2013).
Hardware livre se refere às especificações do design de um objeto físico e
não ao objeto em si. Trata-se de uma série de princípios e práticas associadas a um licenciamento que permita que o objeto seja estudado, modificado, construído e distribuído por todos, sendo que um dos requisitos é a disponibilização da documentação necessária para a construção desse objeto (OPENSOURCE, 2019). No caso de sistemas eletrônicos, essa documentação inclui diagrama esquemático, lista de componentes e layout de placa.
As primeiras atividades open source focadas em hardware datam de 1997, com o lançamento do Open Hardware Certification Program, por Bruce Perens, co-fundador da OSI, cujo objetivo era permitir que os fabricantes de hardware auto certificassem seus produtos como open source. Muitos projetos, fundações e licenças open hardware foram desenvolvidas desde então, até que em 2011, após o
Open Hardware Summit (conferência anual do movimento OSH), houve fortes
divergências de Perens em relação à definição de OSH e ele decidiu seguir com seu próprio ideal utilizando o termo open hardware e criando a openhardware.org, cuja atividade cessou em 2014. Em contraponto a sua saída, foi criada a Open Source
Hardware Association (OSHWA), uma das principais organizações que estabelece a
definição do termo OSH e é responsável por hospedar o Open Hardware Summit desde então (OSHWA, 2013).
2.5.1 Plataformas de prototipagem eletrônica
O uso de hardware livre é extremamente difundido através de plataformas de prototipagem eletrônica, que consistem em soluções de hardware e software, usualmente compostas por uma placa de circuito impresso contendo um microcontrolador e demais componentes necessários ao seu funcionamento e uma interface para carregamento de código. Como o nome sugere, essas plataformas são desenvolvidas com o intuito de permitir aos usuários prototiparem e testarem seus projetos com rapidez e flexibilidade, através de um equipamento de custo acessível, pronto para uso e de complexidade operacional reduzida.
Diversas empresas desenvolvem suas próprias plataformas, mas o exemplo mais conhecido é o Arduino, criado inicialmente para facilitar o desenvolvimento de aplicações interativas e artísticas por estudantes com pouco ou nenhum conhecimento em eletrônica e programação. O Arduino é uma plataforma de código aberto e hardware livre que hoje conta com diversos modelos de placas disponíveis (ARDUINO, 2007), sendo a mais popular chamada Arduino Uno, apresentada na Figura 2. Mesmo a placa mais simples possui variadas funcionalidades, permitindo o acionamento de LEDs, leitura de sensores e comunicação com outras placas e/ou com um computador. A Figura 3 apresenta a interface do ambiente de
desenvolvimento integrado do Arduino (IDE – Integrated Development Environment), onde é feita a programação e carregamento de códigos.
A utilização de plataformas livres representa uma série de vantagens para o desenvolvimento de um projeto, podendo até ser incorporada no produto final.
Figura 2 - Arduino Uno. Plataforma de prototipagem eletrônica de hardware livre popular para a realização de projetos eletrônicos.
Fonte: ARDUINO, 2010.
Figura 3 - Ambiente de desenvolvimento integrado (IDE) de placas Arduino.
2.5.2 Shields e Breakout Boards
Embora muitas plataformas de prototipagem incluam dispositivos periféricos extras (um leitor de cartões de memória, por exemplo), incluir todas as funcionalidades possíveis em uma única placa representaria um problema em termos de custo e dimensões físicas. Para permitir a expansão das aplicações dessas placas, são utilizados os shields e as breakout boards (sem terminologia padrão em português, portanto o termo em inglês será utilizado ao longo do texto).
Shield é o nome dado a uma placa auxiliar, contendo hardware adicional
para a incorporação de alguma tecnologia, usualmente não presente, na plataforma de prototipagem, como drivers de motores, comunicação sem-fio, acelerômetros, etc. Eles são desenvolvidos de forma a se conectarem diretamente a uma plataforma específica, para que o usuário não precise se preocupar com erros de conexões. Shields normalmente são associados a uma biblioteca de software com funções pré-definidas para seu uso, facilitando sua incorporação em um projeto (ACADEMY, P. E., 2015b). A Figura 4 ilustra alguns dos Shields disponíveis para o Arduino Uno.
Figura 4 - Exemplos de Shields disponíveis para a plataforma Arduino Uno. Acima: Acionamento de motores. Inferior esquerda: Ethernet. Inferior direita: Datalogger.
