2018
UNIVERSIDADE DE LISBOA FACULDADE DE CIÊNCIAS DEPARTAMENTO DE FISÍCA
“Desenvolvimento de uma Plataforma Computacional
Fisiológica para Avaliação Emocional”
Cristina de Sousa Gonçalves Mendes
Mestrado Integrado em Engenharia Biomédica e Biofísica
Perfil em Engenharia Clínica e Instrumentação Médica Versão Pública
Dissertação orientada por:
ii
Agradecimentos
Finalmente, a meta.
A presente dissertação decorreu na Faculdade de Ciências da Universidade de Lisboa e no Instituto de Biofísica e Engenharia Biomédica da mesma, e portanto antes de mais, quero agradecer a esta instituição pela oportunidade de aqui fortalecer a minha formação académica.
Em segundo lugar, quero agradecer ao meu Orientador Hugo Ferreira, pelo apoio, e ideias que foram surgindo ao longo das reuniões. Agradeço ter-me ajudado de tão boa vontade e pelas oportunidades que me concedeu.
Quero deixar um especial agradecimento aos meus colegas e amigos que tiveram paciência para me aturar nos meus momentos de aflição e de falta de inspiração. Obrigada Carolina, André, Filipe e Stacy, pelo apoio e pela ajuda. O meu muito obrigada à minha melhor amiga, Catarina San-Bento, pelo apoio e fundamentalmente pela amizade de anos. Ao Marc, obrigada pelo amor e carinho, pelo apoio incondicional, e sobretudo compreensão.
O meu maior agradecimento vai para os meus pais e irmão. Ao meu pai por me apoiar em tudo, por ser o meu conselheiro, o meu ídolo, por nunca me deixar desistir e me dar possibilidades para seguir os meus sonhos e concretizar os meus objetivos. À minha mãe por aturar o meu mau humor, paciência e pelas panquecas, mas sobretudo pelo amor. Ao meu irmão, não há muito que possa dizer, por não ter palavras, é o meu maior amor, e que veres-me a alcançar os meus objetivos sirva de inspiração e força para alcançares os teus. À minha família, amo-vos.
Finalmente quero agradecer a todos os participantes deste projeto, pela vossa disponibilidade e paciência.
iii
Resumo
Emoção é um dos elementos-chave envolvidos no processo de aprendizagem e afeta a nossa tomada de decisão e comunicação. Posto o papel fundamental da emoção na nossa vida e interação social, este projeto toma todo o sentido, e ajuda-nos a compreender que a emoção não diz respeito apenas à dimensão social da nossa vivência, é muito mais que aquilo que se sente, é também o que podemos fazer, adquirir e compreender através das ações e atitudes tomadas emocionalmente.
Neste presente trabalho desenvolveu-se uma plataforma que permite a avaliação emocional do seu utilizador face à visualização de diversos estímulos visuais, neste caso associados a uma determinada categoria emocional. O objetivo não passava apenas pela construção desta plataforma de avaliação emocional, mas também pela sua implementação e teste junto de um pequeno conjunto de participantes. No desenvolvimento desta interface fez-se uso do Software Development Kit (SDK) da
Affectiva, e de uma outra tecnologia não tão utilizada no âmbito da área médica, a Game Engine Unity, usada comumente na programação de jogos de vídeo.
Affectiva é uma aplicação de software que permite detectar expressões faciais e as suas
emoções correspondentes a partir de imagens faciais, sendo que estas podem ser adquiridas por uma câmara: imagens de webcam ou até mesmo pela câmara frontal dos dispositivos móveis; por frames: uma sequência temporal de imagens; e por vídeo: um ficheiro de vídeo que se encontre alojado no dispositivo local.
A plataforma avalia 7 emoções básicas ou fundamentais, Tristeza, Alegria, Surpresa, Nojo, Raiva, Medo e Desprezo, sendo que cada uma delas tem como característica um conjunto de micro-expressões, por exemplo, o franzir das sobrancelhas é uma expressão característica da emoção Raiva, e o sorriso expressão da Alegria. A emoção detectada é calculada a partir das probabilidades associadas à identificação de cada emoção individual. O mapeamento das expressões para emoções dá-se com base em preditores de emoção, que recorrem às expressões faciais enquanto input, de forma a calcular a probabilidade de presença da emoção de uma dada frame. Este mapeamento das expressões faciais em emoções assenta no FACS - Facial Action Coding System - desenvolvido por Ekman e Friesen, em que uma expressão facial pode ter um efeito positivo ou negativo na probabilidade de ocorrência de uma emoção, por exemplo, o
iv
sorriso aumenta a probabilidade de estarmos na presença da emoção Alegria, enquanto o franzir das sobrancelhas diminui esta probabilidade, tanto que esta última expressão é característica da emoção Raiva, e portanto a sua ocorrência aumenta a probabilidade de presença desta ultima emoção.
A plataforma oferece um ambiente interativo, na medida em que é composta por uma
interface de mímica facial, que permite ao utilizador proceder à reprodução facial e
expressiva de uma série de emoções, de forma a atingir um certo valor-objetivo; é composta ainda por uma interface de avaliação e análise emocional face a um conjunto de estímulos, onde o utilizador quando apresentado a um pequeno grupo de excertos filmográficos tem a sua expressão facial emocional analisada e gravada com recurso a
webcam do computador, a cada instante. Cada um destes excertos filmográficos utilizados
como estímulos pertence a uma determinada categoria emocional, tendo sido retirados de duas bases de dados para estudo de emoções (Bartolini 2011)(Schaefer , et al. 2010).
Esta plataforma de avaliação emocional poderá ser bastante útil na comunidade médica, que possibilita o estudo da compreensão emocional por parte de pessoas autistas, portadoras de demência, ou até mesmo com alguma perturbação psiquiátrica, mas também na comunidade de marketing que permitirá entender a emoção que um determinado produto transmite ao público.
Palavras-chave: Avaliação Emocional, Affectiva, Game Engine Unity, Neurociências do
v
Abstract
Emotion is one of the key elements involved in the learning and it affects our decision making process and communication. Given the fundamental role of the emotion in our life and social interaction, this project makes perfect sense, and help us understand that emotion doesn’t only concern the social dimension of our experience, it is much more that what we feel, it’s also what we can do, acquire and understand through the actions and attitudes taken emotionally.
In this present work a platform has been developed that allows the emotional evaluation of its user vis-à-vis the visualization of several visual stimuli, in this case associated with a certain emotional category. The goal wasn’t just build this emotional evaluation platform, but also to implement and test it with a small set of participants. Through the development of this interface was used Affectiva SDK, and another technology not commonly used in the medical field, the Game Engine Unity, used in video games programming.
Affectiva is a software application that allows you to detect facial expressions and their corresponding emotions from facial images, which can be acquired by a camera: webcam images or even the front camera of the mobile devices; by frames: a temporal sequence of images; and video: a video file that is hosted on the local device.
The platform evaluates 7 emotions, Sadness, Joy, Surprise, Disgust, Anger, Fear and Contempt, each of which has as characteristic set of micro-expressions, for example, frowning is a characteristic expression of the emotion Anger, and the smile of Joy. The detected emotion is calculated from the probabilities associated with the identification of each individual emotion. The mapping of expressions to emotions is based on predictors of emotion, which use facial expressions as input, in order to calculate the probability of presence of the emotion of a given frame. This mapping of facial expressions in emotions is based on the FACS - Facial Action Coding System - developed by Ekman and Friesen, in which a facial expression can have a positive or negative effect on the probability of occurrence of an emotion, for example, smile increases the probability of being in the presence of the emotion Joy, while the frowning diminishes this probability, so much that this last expression is characteristic of the emotion Anger, and therefore its occurrence increases the probability of presence of this last emotion.
vi
The platform offers an interactive environment in that it is composed of a facial mimic interface that allows the user to perform facial and expressive reproduction of a series of emotions in order to reach a certain target value; is also composed by an interface of evaluation and emotional analysis in front of a set of stimuli, where the user when presented to a small group of filmographic excerpts has his emotional facial expression analyzed and recorded using the webcam of the computer, every moment. Each of these filmographic excerpts used as stimuli belongs to a certain emotional category, having been taken from two databases for the study of emotions –(Bartolini 2011)(Schaefer , et al. 2010).
This emotional assessment platform will be very useful in the medical community, which enables the study of emotional understanding by people with autism, dementia, or even some psychiatric disorder, but also in the marketing community, given to the public.
Keywords: Emotional Assessment, Affectiva, Game Engine Unity, Consumer
