Robustez em um sistema de detecção e rastreamento de olhos para implementação de uma interface humano-computador.

(1)

UNIVERSIDADE PRESBITERIANA MACKENZIE

PROGRAMA DE P ´

OS-GRADUAC

¸ ˜

AO EM

ENGENHARIA EL´

ETRICA

Andr´

e Brasiliano da Silva

ROBUSTEZ EM UM SISTEMA DE DETECC

¸ ˜

AO E

RASTREAMENTO DE OLHOS PARA IMPLEMENTAC

¸ ˜

AO

DE UMA INTERFACE HUMANO-COMPUTADOR

Disserta¸c˜ao

apresentada

ao

Programa

de Pós-Gradua¸cão em Engenharia Elétrica da

Universidade Presbiteriana Mackenzie como

parte dos requisitos para a obten¸c˜ao do t´ıtulo

de Mestre em Engenharia El´etrica.

Orientadores: Maur´ıcio Marengoni e Val´eria Farinazzo Martins

(2)

S586r

Silva, Andr´e Brasiliano da

Robustez em um sistema de deteçcão e rastreamento de olhos para implementa¸cão de uma interface humano-computador. / André Brasiliano da Silva - São Paulo, 2014.

89 f.: il.; 30 cm.

Disserta¸cão (Programa de Pós-Gradua¸cão (Stricto Sensu) em Engenharia Elétrica) - Universidade Presbiteriana Mackenzie - São Paulo, 2014.

Orientador: Prof. Dr. Mauricio Marengoni Bibliografia: f. 70-74.

1. IHC. 2. Visão computacional. 3. Rastreamento da ´ıris. 4. Extra¸cão de caracter´ısticas. 5. Problemas motores. 6. Região de interesse. I. T´ıtulo

(3)

RESUMO

O rastreamento ocular para usuários com problemas motores é um estudo importante na área de Interface Humano-Computador (IHC). Com o objetivo de fornecer um sistema de rastreamento ocular de baixo custo, este trabalho apresenta uma nova abordagem para um sistema robusto e com alto desempenho. Com rela¸cão ao trabalho base para esta pesquisa, a implementa¸cão proposta contém inova¸cões em todas as etapas do processo envolvendo o rastreamento ocular, desde a deteçcão da região da face e dos olhos até a deteçcão da ´ıris. Neste trabalho, foi utilizado o conceito de processamento local, delimi-tando as regiões de interesse em todas as etapas do processo: deteçcão da região da face, região dos olhos e região da ´ıris. Este trabalho permite que pessoas possam efetuar a¸cões controlando o mouse através do movimento dos olhos em uma interface de rastreamento ocular, utilizando apenas equipamentos de uso comum, como, por exemplo, umawebcam. O processo de deteçcão da face e deteçcão ocular foi feito através da técnica de Viola e Jones. Para a deteçcão e rastreamento da ´ıris foi utilizada a Transformada de Hough, e utiliza¸cão de regiões de interesse com o objetivo de limitar a área de processamento da imagem, e consequentemente, o custo computacional, resultando em uma aplica¸cão com um melhor desempenho e robustez em todas as etapas. Obteve-se um ganho de até 33% em rela¸cão ao tempo de processamento do sistema, quando comparado com o sistema base, porém, operando com imagens em alta defini¸cão. Foi realizada ainda uma compara¸cão com sistemas de rastreamento ocular de uso comercial e diferentes tipos de equipamentos para validar as técnicas estudadas neste trabalho.

(4)

ABSTRACT

Eye tracking is an important issue for Human Computer interaction, mainly for users with hand-eye coordination problems. The work presented here shows a low cost and robust eye tracking system capable to work with an HD stream. The implementations used in this work over the base system present different techniques in all stages, from face detection to iris detection. Local processing is used in most stages in this imple-mentation, delimiting the region of interest (ROI) for face detection, eye detection and iris detection. The system robustness allow the eye tracking system to control the mouse using eye movements allowing disable users to communicate through a communication interface. The hardware required is simple and based in an high definition webcam. The face detection and eye detection processes are based on the Viola Jones technique; iris detection and tracking are based on the Hough Transform. The usage of local processing reduces the computational cost and even working with high definition stream leads to a performance 33% better than the base system. The system presented here was compared with a commercial system and a set of equipment were tested in order to define the best set up for the eye tracking system and to validate the work presented here. Future work is presented at the end in order to allow the project continuity.

(5)

Sum´

ario

1 INTRODUC¸ ˜AO 1

1.1 Objetivos e Detalhamento da Pesquisa . . . 4

1.2 Organiza¸c˜ao do Trabalho . . . 5

2 FUNDAMENTAÇ ÃO TE ÓRICA 7 2.1 Intera¸cão Humano-Computador . . . 7

2.2 Comunica¸c˜ao Alternativa . . . 8

2.3 Principais algoritmos para deteçcão e processamento da região de interesse 10 2.3.1 Deteçcão de Objetos . . . 10

2.3.2 Transformada de Hough . . . 14

2.4 Modelo-Base para o estudo . . . 15

2.4.1 Deteçcão e Rastreamento de Olhos para Deteçcão de uma Interface Humano-Computador . . . 16

3 TRABALHOS CORRELATOS 19 3.1 ITU Gaze Tracker . . . 19

3.2 Tobii T60 . . . 22

3.3 EAS Binocular . . . 24

3.4 Robustez em um Sistema de Detec¸c˜ao e Rastreamento Ocular . . . 24

4 MODELO PROPOSTO 27 4.1 Descri¸c˜ao do Macro Fluxo . . . 27

4.1.1 Captura do frame dawebcam . . . 29

4.1.2 Deteçcão da Região da Face . . . 30

4.1.3 Deteçcão da Região dos Olhos . . . 33

4.1.4 Busca pela Regi˜ao da ´Iris . . . 36

4.1.5 Calibra¸c˜ao do Sistema . . . 39

4.1.6 Rastreamento da ´Iris . . . 40

4.1.7 Movimento do Mouse . . . 41

4.1.8 Acionamento do Click do Mouse . . . 43

5 DESENVOLVIMENTO DA APLICAÇ ÃO 44 5.1 Metodologia de Desenvolvimento da Aplica¸cão . . . 44

5.2 Descri¸c˜ao do Desenvolvimento da Aplica¸c˜ao . . . 46

5.3 An´alise de Requisitos . . . 47

5.4 Projeto . . . 51

5.5 Implementa¸c˜ao . . . 51

5.5.1 Testes . . . 56

6 TESTES E DISCUSS ˜OES 57 6.1 Detalhamento dos Testes . . . 57

6.2 Compara¸c˜ao entre Sistemas . . . 58

6.2.1 Compara¸c˜ao com o Sistema-Base . . . 58

6.2.2 Compara¸c˜ao com o Sistema Comercial EAS Binocular . . . 59

6.3 Testes com diferentes monitores . . . 61

(6)

7 CONCLUS ˜AO 67

7.1 Aspectos Gerais do Trabalho . . . 67 7.2 Contribui¸c˜oes do Trabalho . . . 68 7.3 Trabalhos Futuros . . . 69

REFERˆENCIAS BIBLIOGR ´AFICAS 74

(7)

Lista de Figuras

1 Representa¸c˜ao da IHC como parte da Intera¸c˜ao Humano-Computador. . . 8

2 Layout ilustrativo do Eyegaze [30]. . . 10

3 Representa¸cão da Janela de Deteçcão. [16] . . . 12

4 Representa¸c˜ao da Imagem Integral [16]. . . 13

5 Coordenadas da Transformada de Hough [33]. . . 14

6 Exemplo de deteçcão de c´ırculos utilizando a Transformada de Hough, com a equa¸cão de circunferência [17]. . . 15

7 Fluxo do modelo proposto por [22]. . . 16

8 Modelo utilizado na identifica¸c˜ao da regi˜ao dos olhos [22]. . . 16

9 Modelo utilizado na identifica¸c˜ao da regi˜ao da ´ıris [22]. . . 17

10 Sistema de rastreamento ocular [35]. . . 19

11 Interface da aplica¸c˜ao ITU Gaze Tracker [27]. . . 20

12 Modelos de configura¸cão da área da pupila, configura¸cão boa (esquerda) e configura¸cão ruim (direita) [27]. . . 21

13 Ambiente de testes ITU Gaze Tracker [27]. . . 22

14 O potencial erro m´edio do Tobii T60 (c´ırculo vermelho) e o ITU Gaze Tracker (c´ırculo externo amarelo) ilustrado em um screenshot da p´agina do NY Times. [27] . . . 23

15 Projeto Tobii modelo T60 [36]. . . 23

16 Produto EAS Binocular da empresa LC Technologies, Inc [30]. . . 24

17 Diagrama de Fluxo da Implementa¸c˜ao A. . . 25

18 Diagrama de Fluxo da Implementa¸c˜ao B. . . 25

19 Diagrama de Fluxo da Implementa¸c˜ao C. . . 25

20 Implementa¸c˜ao do modelo apresentado no trabalho [39]. . . 26

21 Fluxo macro do modelo proposto neste trabalho. . . 28

22 Convers˜ao da imagem original para escala de cinza com equaliza¸c˜ao de histograma. . . 29

23 Representa¸c˜ao da sequencia de busca de atributos na imagem. . . 31

24 Representa¸c˜ao da utiliza¸c˜ao de atributos utilizados por [41]. . . 31

25 Estrutura que representa o detector em cascata [16]. . . 32

26 Regi˜ao de interesse da face. . . 33

27 Pseudocódigo do processo de deteçcão da face. . . 34

28 Regi˜ao de interesse do olho esquerdo. . . 35

29 Regi˜ao de interesse do olho direito. . . 35

30 Pseudocódigo do processo de deteçcão da região do olho esquerdo. . . 36

31 Deteçcão da ´ıris, apresentada por [25], utilizando a Transformada de Hough. 37 32 Região de interesse da ´ıris do lado esquerdo. . . 38

33 Regi˜ao de interesse da ´ıris do lado direito. . . 38

34 Pseudocódigo do processo de deteçcão da região da ´ıris. . . 40

35 Modelo de c´alculo de limites das posi¸c˜oes x,y. . . 42

36 Modelo de prototipa¸c˜ao [44]. . . 45

37 Processo de desenvolvimento de prot´otipos [45]. . . 46

38 Fluxo principal do sistema. . . 46

39 Diagrama de Caso de Uso do sistema. . . 47

40 Diagrama de Sequˆencia do sistema. . . 48

(8)

42 Diagrama de Classe do sistema. . . 50

43 Tela Inicial da aplica¸c˜ao desenvolvida neste trabalho. . . 52

44 Tela de calibra¸c˜ao do sistema EyeGaze. . . 53

45 Primeira mensagem no in´ıcio da calibra¸c˜ao. . . 54

46 Segunda mensagem no in´ıcio da calibra¸c˜ao. . . 54

47 Tela de calibra¸c˜ao da aplica¸c˜ao desenvolvida neste trabalho. . . 55

48 Tela de digita¸c˜ao de n´umeros do sistema EyeGaze. . . 55

49 Tela de digita¸c˜ao de n´umeros desenvolvida neste trabalho. . . 56

50 Ambiente de testes para o monitor de 15 polegadas. . . 62

51 Ambiente de testes para o monitor de 24 polegadas. . . 63

(9)

Lista de Tabelas

1 Desempenho dos métodos A, B e C em rela¸cão ao método proposto por [22] (tempo total). . . 26 2 Descri¸cão dos equipamentos utilizados. . . 51 3 Tempo para deteçcão da ´ıris com rela¸cão ao método desenvolvido no

tra-balho [39]. . . 59 4 Tempo total (deteçcão da face, olhos e ´ıris até o in´ıcio da calibra¸cão do

sistema) para o método do trabalho base [39]. . . 59 5 Ganho em rela¸cão ao sistema desenvolvido em [39]. . . 59 6 Compara¸cão do processo de calibra¸cão deste trabalho com o produto EAS

Binocular. . . 60 7 Compara¸cão na digita¸cão de um número de telefone com o produto EAS

Binocular. . . 60 8 Compara¸cão na digita¸cão de um número sequencial com o produto EAS

Binocular. . . 61 9 Descri¸cão dos tipos de monitores. . . 62 10 Compara¸cão do processo de calibra¸cão em diferentes monitores. . . 64 11 Compara¸cão na digita¸cão de um número sequencial nos diferentes monitores. 64 12 Compara¸cão do processo de calibra¸cão. . . 66 13 Compara¸cão na digita¸cão de um número sequencial. . . 66 14 Valores detalhados do teste de calibra¸cão deste trabalho com o produto

EAS Binocular. . . 75 15 Valores detalhados do teste de digita¸c˜ao deste trabalho com o produtoEAS

Binocular. . . 76 16 Valores detalhados do teste de digita¸c˜ao de um n´umero sequencial deste

trabalho com o produto EAS Binocular. . . 77 17 Valores detalhados do teste de calibra¸cão em diferentes monitores. . . 78 18 Valores detalhados do teste de digita¸cão de um número sequencial em

di-ferentes monitores. . . 79 19 Valores detalhados do teste de calibra¸cão com diferentes usuários. . . 80 20 Valores detalhados do teste de digita¸cão de um número sequencial com

(10)

1 INTRODUC

¸ ˜

AO

O rápido crescimento e barateamento da tecnologia popularizou o uso de computado-res por pessoas leigas em Computa¸cão, o que gerou uma demanda no desenvolvimento de sistemas que pudessem ser utilizados por pessoas sem especializa¸cão. É criada então, na década de 80, a área de Intera¸cão Humano-Computador na Ciência da Computa¸cão [1].

A Intera¸cão Humano-Computador (IHC) pode ser definida como a parte de um sis-tema computacional com a qual uma pessoa entra em contato f´ısico e conceitual [2], ou seja, a interface pode ser entendida como um sistema de comunica¸cão que possui dois componentes, um sendo o componente f´ısico - hardware e software - em que o usuário é capaz de perceber e de interagir com o mesmo; e outro conceitual, em que ele interpreta, processa e raciocina. Assim, IHC é a área que considera todos os aspectos relacionados com a intera¸cão entre pessoas e computadores [3].

Neste contexto, foi definido, em 1981 [4], a interface de um sistema com o usu´ario sendo “a parte de um sistema computacional com a qual a pessoa entra em contato -f´ısica, perceptiva e conceitualmente”.

A interface é a parte do sistema computacional com a qual o usuário se comunica, ou seja, aquela com a qual ele entra em contato para executar a¸cões dos sistemas e obter os resultados, os quais são interpretados pelo usuário, definindo assim as próximas a¸cões. A esse processo de comunica¸cão entre usuário e sistema se dá o nome de intera¸cão [3].

Nos últimos anos, a área de IHC tem se desenvolvido, e esfor¸cos têm sido empregados em rela¸cão a questões de projeto e avalia¸cão de interfaces não convencionais, tais como interfaces gestuais [5], interfaces por voz (Voice User Interface) [6] e interfaces por rastre-amento ocular [7].

(11)

utiliza¸cão em diversas áreas como, por exemplo, Neurociência, identificando componentes neurais, interligados à visão, a partir de fotorreceptores da retina e terminando em suas regiões corticais envolvidas na visão. Psicologia, Engenharia, Ciência da Computa¸cão, Marketing e Propaganda são outros exemplos de áreas que utilizam aplica¸cões de rastrea-mento ocular citados por [9]. Interfaces por rastrearastrea-mento ocular têm sido usadas, também, para permitir a inclusão de pessoas com deficiências motoras dos membros superiores [10].

Alguns produtos comerciais de rastreamento ocular possuem um alto ´ındice de acura-cidade, por´em possuem um custo elevado como, por exemplo,Tobii T60 [11], um produto comercial, em que um monitor de 17o

polegadas, ´e integrado ao sistema de rastreamento ocular; tal equipamento contemplando as funcionalidades descritas possui um custo m´edio de US$30 mil.

Outros produtos comerciais na área de rastreamento ocular são apresentados pela empresa SensoMotoric Instruments (SMI) [12], que desenvolve várias aplica¸cões de ras-treamento ocular, dentre elas a linha de produtos RED. Trata-se de um sistema binocular, adaptável em monitores de 19o

at´e 60o

, que possui uma acur´acia emo

(graus) de 0.4o

, tra-balhando nas faixas de 60Hz at´e 500Hz, com custo variando entre US$20 mil at´e US$30 mil.

Alguns procedimentos de rastreamento ocular possuem um alto custo, pois, em ge-ral, envolvem um conjunto de equipamentos sofisticados, profissionais e de montagem complexa, tais como câmeras, detectores, óculos especiais e receptores, além de equipa-mentos de hardware capazes de executar o processamento em uma escala profissional. Um exemplo disso é o sistema apontado por [13], em que são exibidos diversos sistemas computadorizados de Comunica¸cão Alternativa Facilitadora (CAF) como ImagoDiAna-Vox [14] e NoteImagoDiAna-Vox [15], que se baseiam em diversos dispositivos e interfaces multimodais, e apresentam uma solu¸cão por acionamento do movimento ocular para os sistemas de co-munica¸cão alternativa.

(12)

[16] e a t´ecnica da Transformada de Hough [17] para extra¸c˜ao de caracter´ısticas de uma imagem devem ser utilizadas.

Neste contexto, vários métodos têm sido desenvolvidos para a solu¸cão desse problema, assim como para a melhora do rastreamento e da usabilidade de um sistema de rastre-amento ocular. Pode-se, por exemplo, usar a deteçcão da ´ıris, com uma [18] ou duas câmeras [19], para efetuar o rastreamento. “ Óculos” detectores [20] tratam de uma outra possibilidade de fazer essa deteçcão, ou, ainda, a utiliza¸cão de técnicas de processamento de imagens como, por exemplo, a deteçcão da parte branca dos olhos [21].

Desse modo, o foco principal deste trabalho é aplicar as técnicas de Processamento de Imagens em tempo real que possibilitem o desenvolvimento de uma aplica¸cão de ras-treamento ocular robusta, ou seja, que utilize imagens em alta defini¸cão sem perda de desempenho, sendo eficiente e com baixo custo financeiro e computacional. A aplica¸cão permite que uma pessoa possa, por meio do movimento dos olhos, por exemplo, levar o ponteiro do mouse até o ponto desejado, e então efetuar uma determinada a¸cão.

Esta pesquisa iniciou-se com o trabalho proposto por [22], o qual teve como principal objetivo identificar e implementar um modelo de rastreamento ocular robusto. O modelo de rastreamento ocular proposto por [22] possui certas limita¸cões, como, por exemplo, a utiliza¸cão de imagens de baixa resolu¸cão e o processamento de toda a região da imagem para cadaframe capturado, tornando o sistema pouco robusto e muito suscet´ıvel a falhas.

A partir no modelo proposto por [22], foram iniciadas pesquisas baseadas em t´ecnicas de Processamento de Imagens em tempo real e processamento apenas de regi˜oes de inte-resse, garantindo um melhor desempenho, qualidade e robustez do sistema quando com-parado com o modelo proposto por [22].

(13)

O projeto de desenvolvimento de uma aplica¸cão de rastreamento ocular baseou-se no sistema de rastreamento ocular apresentado por [22], sendo desenvolvido para este trabalho um novo sistema de rastreamento ocular e, a partir da´ı, foi desenvolvida uma nova interface com o usuário. Assim, pode-se considerar como desenvolvimentos distintos, pois o desenvolvimento de um sistema de rastreamento ocular tem objetivo de implementar as técnicas pesquisadas neste trabalho, já o desenvolvimento de uma interface tem como objetivo a valida¸cão das técnicas implementadas, passando pela valida¸cão do usuário.

1.1 Objetivos e Detalhamento da Pesquisa

O objetivo deste trabalho é identificar e desenvolver um sistema de rastreamento ocu-lar que seja eficiente, robusto e de baixo custo. A partir do desenvolvimento da pesquisa realizada por [22], este trabalho apresenta outras técnicas das quais, partindo dos resulta-dos apresentaresulta-dos, é poss´ıvel avaliar a melhor técnica para cada etapa do Processamento das Imagens, como a deteçcão ocular, a utiliza¸cão da região da face e, então, a identi-fica¸cão e rastreamento da ´ıris.

A realiza¸cão do desenvolvimento de uma interface com o usuário, de forma que pos-sibilitou a realiza¸cão de testes comparativos, com rela¸cão a outros sistemas; testes que permitiram avaliar não só as técnicas utilizadas, mas também os pontos de melhoria na aplica¸cão, de forma que o sistema possa ser utilizado.

Para alcan¸car os objetivos propostos neste trabalho, foram realizadas as seguintes ati-vidades:

• Pesquisa e revis˜ao bibliogr´afica dos temas abordados no projeto, sendo os mesmos:

região de interesse, processamento de imagens em tempo real, deteçcão da face, deteçcão dos olhos, deteçcão e rastreamento da ´ıris.

• Estudo da biblioteca de desenvolvimento OpenCV [23] em conjunto com a

(14)

• Defini¸c˜ao das t´ecnicas e processos de desenvolvimento a serem utilizadas na

imple-menta¸c˜ao do projeto de desenvolvimento de um sistema de rastreamento ocular.

• Desenvolvimento de uma interface para permitir a realiza¸c˜ao de testes comparativos

com outros sistemas.

• Testes da aplica¸c˜ao de rastreamento ocular desenvolvida segundo as defini¸c˜oes

pro-postas. Testes integrados para valida¸cão e determina¸cão dos requisitos básicos da aplica¸cão e testes comparativos com outros sistemas, com objetivo de validar o ambiente e as funcionalidades do projeto desenvolvido.

1.2 Organiza¸

c˜

ao do Trabalho

Este trabalho est´a organizado em 5 cap´ıtulos, conforme explicitado a seguir.

O Cap´ıtulo 2, Fundamenta¸cão Teórica, aborda os conceitos e métodos fundamen-tais utilizados para a realiza¸cão deste trabalho, incluindo processamento de imagens, e deteçcão de objetos, conforme apresentado por [16], [24] e [25]; defini¸cões de região de interesse em uma imagem [26], rastreamento da ´ıris [22] e controle de visada [27].

O Cap´ıtulo 4,Modelo Proposto, descreve o modelo proposto neste trabalho, detalhando cada etapa do processo e as t´ecnicas utilizadas para o desenvolvimento da aplica¸c˜ao.

O Cap´ıtulo 5, Desenvolvimento da Aplica¸cão, detalha o desenvolvimento proposto da aplica¸cão. Trata-se do desenvolvimento de uma aplica¸cão baseada em regiões de interesse, caracter´ısticas da face do usuário, sendo composto pelas etapas: especifica¸cão de requisi-tos do sistema, desenvolvimento do projeto e processo de testes.

O Cap´ıtulo 6, Testes e Discussões, apresenta a cria¸cão do ambiente de testes para utiliza¸cão e avalia¸cão da aplica¸cão desenvolvida, testes comparativos com outros sistemas de rastreamento ocular, e testes com diferentes equipamentos.

(15)

(16)

2 FUNDAMENTAC

¸ ˜

AO TE ´

ORICA

Neste cap´ıtulo, é apresentada a fundamenta¸cão teórica e também os conceitos fun-damentais que constituem o embasamento teórico e técnico deste projeto. A se¸cão 2.1 aborda a área de IHC; a se¸cão 2.2 apresenta a base da comunica¸cão alternativa; a se¸cão 2.3 aborda os principais algoritmos para processamento da região de interesse, e a se¸cão 2.4 versa sobre os projetos atuais que utilizam o conceito de rastreamento ocular e controle de visada.

2.1 Intera¸

c˜

ao Humano-Computador

Com o rápido avan¸co da tecnologia, quase todas as pessoas têm contato com siste-mas computacionais de uma forma ou de outra. Isso tem aumentado o espectro dos usuários, pois não se restringem mais aos técnicos em Eletrônica ou Informática, mas in-cluem também pessoas de qualquer área do conhecimento ou que tenham variados graus de conhecimento da tecnologia.

O principal desafio da área de IHC consiste em manter atualizados os avan¸cos tec-nológicos e assegurar que sejam aproveitados para levar ao máximo o benef´ıcio ao ser humano.

Um dos principais motivos de investimento em pesquisas na área de IHC é a busca do aumento da eficiência e produtividade dos usuários e, consequentemente de um maior ganho financeiro.

Conforme descrito por [28], há pessoas que, apesar de serem social, econômica, intelec-tual e culturalmente bem posicionadas, sentem dificuldades em operar determinados tipos de máquinas digitais, passando a fazer parte dos exclu´ıdos da sociedade da informa¸cão.

(17)

Numa primeira visão, considerando o computador como um tipo de máquina, pode-ria se pensar em IHC como parte da Intera¸cão Homem-Máquina. No entanto, embora a intera¸cão entre um ser humano e um computador possua aspectos em comum com a intera¸cão entre um ser humano e uma máquina qualquer, ela possui aspectos que a dife-renciam. A Figura 1 ilustra a intera¸cão humano-computador da área de IHC, sendo que o usuário executa uma determinada a¸cão na interface de alguma aplica¸cão, e a aplica¸cão retorna para o usuário a interpreta¸cão da a¸cão solicitada de forma mais amigável.

Figura 1: Representa¸c˜ao da IHC como parte da Intera¸c˜ao Humano-Computador.

Conforme descrito por [29], os sistemas efetivos geram sentimentos positivos de sucesso, competência e clareza para os usuários. Os usuários não se sentem atrapalhados com o uso do computador e podem fazer uma previsão do que ocorrerá como resultado para cada a¸cão executada. Quando um sistema interativo é bem projetado, a dificuldade na sua opera¸cão desaparece, permitindo que o usuário possa se concentrar em seu trabalho com prazer.

2.2 Comunica¸

c˜

ao Alternativa

`

A medida que as Tecnologias da Informa¸cão e Comunica¸cão (TICs) se desenvolvem, novos recursos têm sido disponibilizados para cria¸cão de ferramentas, possibilitando a intera¸cão entre a computa¸cão e diversas áreas. Conforme descrido por [13], tal intera¸cão tem possibilitado o surgimento de novas pesquisas com objetivo de promover a inclusão social de pessoas com deficiência.

(18)

por dire¸cão do olhar, utilizados como solu¸cão para promover a comunica¸cão alternativa de pessoas com deficiência, buscando a inclusão social por meio da inclusão digital.

Pessoas que possuem problemas motores apresentam dificuldades para expressarem os seus desejos, pensamentos ou até mesmo suas necessidades mais básicas. Nesse contexto, [13] aponta algumas patologias existentes, destacando-se a Esclerose Lateral Amiotrófica (ELA), na qual fun¸cões cognitivas estão preservadas, porém a comunica¸cão oral é preju-dicada pela altera¸cão motora. Para estes casos, o tipo de comunica¸cão é limitada, como por exemplo, ao movimento das mãos, movimenta¸cão da cabe¸ca, movimento dos olhos, podendo se dar com um simples piscar de olhos ou a movimenta¸cão dos olhos direcionando o mesmo para um determinado objeto.

Como descrito por [13], conceitos de interfaces multimodais podem servir de solu¸cão para o processo de comunica¸cão alternativa para pessoas portadoras de deficiência, cha-mado de Comunica¸cão Alternativa Facilitadora (CAF). São apresentados também dois modelos de sistemas utilizando o conceito CAF, sendo eles ImagoDiAnaVox [14] e Note-Vox [15]. Tais sistemas apresentam modelos de interfaces com acionamento por movimento ocular, sendo que sua utiliza¸cão principal é a busca visual em crian¸cas com Transtorno Invasivo do Desenvolvimento.

(19)

Figura 2: Layout ilustrativo do Eyegaze [30].

O uso de interfaces de acionamento ocular, conforme citado por [13], justifica-se nos casos em que o único movimento que, de fato, a pessoa tem controle é dos olhos. O autor cita que sistemas comerciais ainda são inacess´ıveis para uma grande parcela da popula¸cão, devido ao seu custo elevado, sendo que tal situa¸cão poderá ser revertida devido ao desen-volvimento de novos sistemas.

Esta se¸cão demonstra uma utiliza¸cão importante de sistemas de rastreamento ocular, e a falta de acessibilidade a esses sistemas e equipamentos. Este trabalho inicia a possi-bilidade de tornar sistemas de rastreamento ocular mais acess´ıveis, não só para pessoas com algum tipo de deficiência, mas para qualquer tipo de pessoa.

2.3 Principais algoritmos para detec¸

c˜

ao e processamento da regi˜

ao

de interesse

2.3.1 Detec¸c˜ao de Objetos

(20)

de vista, tamanhos, escala, ou, até mesmo, quando são traduzidas. Os objetos podem até mesmo serem reconhecidos quando estão parcialmente obstru´ıdos da visão. Essa tarefa ainda é um desafio para os sistemas de Visão Computacional em geral, pois ainda não foi resolvida satisfatoriamente para o caso geral, em que objetos, cenários, ilumina¸cão e pose são arbitrárias.

Um dos principais problemas desse processo, conforme descrito por [31], está relaci-onado à quantifica¸cão das informa¸cões visuais presentes nas imagens, ou seja, para um reconhecimento de um dado objeto é necessário encontrar, de alguma maneira, carac-ter´ısticas na imagem que o distinguam dos outros objetos da cena.

Viola e Jones [16] abordam uma maneira de deteçcão de objetos em uma determinada “região de interesse”, onde o algoritmo apresentado é superior aos demais já criados, se comparados isoladamente. Tal algoritmo teve, inicialmente, seu principal objetivo na deteçcão da região da face, onde os resultados em sua deteçcão e a exibi¸cão de falsos positivos obtiveram taxas equivalentes aos melhores resultados já publicados.

(21)

Figura 3: Representa¸cão da Janela de Deteçcão. [16]

Uma das técnicas é chamada de Imagem Integral, sendo que a integral de uma de-terminada posi¸cão x,y é a soma dos pixels acima e dos pixels à esquerda do ponto x,y. Desta maneira, pode computar rapidamente as caracter´ısticas do retângulo por meio da utiliza¸cão de uma representa¸cão intermediária da imagem, conforme apresentado na Equa¸cão 1:

ii(x, y) = X

x′_≤x,y′_≤y

i(x′, y′), (1)

Equa¸c˜ao 1: Imagem integral [16].

(22)

Figura 4: Representa¸c˜ao da Imagem Integral [16].

A representa¸c˜ao da imagem integral, demonstrada na Figura 4, apresenta a soma dos

pixels dentro do retângulo D, que podem ser calculados a partir de quatro referências de matriz. O valor da imagem integral no ponto 1 é a soma dos pixels no retângulo A. O valor do ponto 2 é(A + B), o ponto 3 é(A + C) e o valor do ponto 4 é (A + B + C + D). A soma dentro do ponto D pode ser calculada como 4 + 1 - (2 + 3). Onde ii(x,y) é a Imagem Integral e i(x,y) é a imagem original.

Outra técnica é definida pela utiliza¸cão do método AdaBoost [32] que, por sua vez, tem como objetivo a utiliza¸cão do processo de aprendizagem a fim de realizar buscas em determinadas regiões de uma imagem.

Visando o aumento de velocidade no processo de deteçcão, a terceira técnica citada por Viola e Jones [16] tem como objetivo a classifica¸cão por meio de uma estrutura em cascata, focando em regiões promissoras da imagem.

(23)

2.3.2 Transformada de Hough

A Transformada de Hough é uma técnica de extra¸cão de caracter´ısticas muito utili-zada em Análise de Imagens, Visão Computacional e Processamento de Imagem Digital. A partir de um processo de vota¸cão, a técnica tem como principal objetivo detectar ob-jetos a partir de uma classe de formas.

Um dos problemas na análise de imagens é a dificuldade de deteçcão de formas simples, como linhas retas [33], c´ırculos ou elipses. Em alguns casos, a deteçcão de borda pode ser uma etapa de pré-processamento, auxiliando na obten¸cão de pontos da imagem oupixels

da imagem que est˜ao na curva desejada no espa¸co da imagem.

Para deteçcão de retas, a Transformada de Hough utiliza de coordenadas polares como parâmetros de busca, conforme apresentado na Figura 5.

Figura 5: Coordenadas da Transformada de Hough [33].

O parâmetror representa a distância da reta à origem, enquantoθé o ângulo do vetor a partir da origem até o ponto mais próximo.

A partir desta parametriza¸cão, a equa¸cão da reta pode ser escrita conforme exibido na Equa¸cão 2:

y=

−cos Θ

sin Θ

x+ r sin Θ

(2)

(24)

A Transformada de Hough também pode ser utilizada para deteçcão de c´ırculos, con-forme descrito por [17]. Esse processo realiza de forma parecida a deteçcão de uma reta, porém, para deteçcão de um c´ırculo, é necessário a utiliza¸cão de três parâmetros, con-forme apresentado na seguinte fun¸cão:

C:( X centers, Y centers, r)

Fun¸c˜ao de circunferˆencia para Transformada de Hough [17].

Onde (Xc, Yc) definem a posi¸cão central e r é o raio da circunferência, permitindo a deteçcão de um c´ırculo, conforme ilustrado na Figura 6.

Figura 6: Exemplo de deteçcão de c´ırculos utilizando a Transformada de Hough, com a equa¸cão de circunferência [17].

A pr´oxima se¸c˜ao aborda os trabalhos relacionados e que foram utilizados como base de estudo para o desenvolvimento deste projeto.

2.4 Modelo-Base para o estudo

Esta se¸c˜ao apresenta o trabalho relacionado que foi utilizados como base da pesquisa e modelo para o desenvolvimento da aplica¸c˜ao proposta.

(25)

2.4.1 Deteçcão e Rastreamento de Olhos para Deteçcão de uma Interface Humano-Computador

O trabalho apresentado por [22], consiste no desenvolvimento de um sistema capaz de, a partir da imagem capturada por uma webcam comum, identificar o movimento dos olhos do usu´ario e converter esta informa¸c˜ao no movimento do mouse. A Figura 7 apresenta o fluxo de desenvolvimento do modelo proposto por [22], ilustrando as etapas de Processamento de Imagens.

Figura 7: Fluxo do modelo proposto por [22].

A identifica¸cão da região da face é determinada utilizando o sistema proposto por [24], e, a partir desse resultado, o modelo realiza a busca na imagem por conjuntos de pontos de borda que aproximam-se de uma circunferência, criando hipóteses e testando-as para regiões onde possam estar os olhos do usuário. A deteçcão da região dos olhos se da a partir do gradiente da imagem convertida para tons de cinza. Em seguida, o algoritmo de deteçcão utiliza proje¸cões horizontais e verticais dos pontos do gradiente, realizando a identifica¸cão da região dos olhos com alta precisão [34], conforme apresentado na Figura 8.

Figura 8: Modelo utilizado na identifica¸c˜ao da regi˜ao dos olhos [22].

(26)

verticais, apresentado por [22]. A imagem [A] é resultado da proje¸cão horizontal do gradi-ente da imagem original, encontrando dois pontos de máximo, sendo um em cada metade da imagem. A imagem [B] apresenta o ter¸co médio da face, limitado pelas retas verticais laterais, identificando o ponto de máximo da proje¸cão vertical da região e, finalmente, na imagem [C], na mesma região identificada no passo anterior, são encontrados dois pontos de máximo nas proje¸cões horizontais, uma em cada metade da face. Tais pontos, junta-mente com a reta horizontal, determinam os pontos onde a busca pelos olhos é iniciada. Tal técnica obteve uma precisão de 95% de acerto na identifica¸cão da região dos olhos, conforme resultados apresentado por [22].

Após realizada a deteçcão, um outro conjunto de pontos de borda, que se aproxima de uma circunferência nas duas regiões dos olhos, é utilizado para a deteçcão das ´ıris. A fim de reduzir o número de falsos positivos, são considerados o diâmetro esperado da ´ıris e também a existência de uma diferen¸ca de tonalidade significativa entre pontos externos e internos da borda, conforme apresentado na Figura 9.

Figura 9: Modelo utilizado na identifica¸c˜ao da regi˜ao da ´ıris [22].

(27)

permite uma taxa de identifica¸cão da ´ıris em imagens com boa ilumina¸cão frontal de até 87%.

(28)

3 TRABALHOS CORRELATOS

Esta se¸cão apresenta os trabalhos correlatos de sistemas de rastreamento ocular uti-lizados como base de estudos neste trabalho. A se¸cão 3.1 aborda o sistema ITU Gaze Tracker, desenvolvido pelo grupo de pesquisas ITU GazeGroup [35]; a se¸cão 3.2 versa sobre o produto comercial Tobii, desenvolvido pela empresa Tobii Technology [36]; a se¸cão 3.3 apresenta o produto comercial EAS Binocular, desenvolvido pela empresa LC Technologies Inc. [30]; a se¸cão 3.4 apresenta um trabalho que utilizou como base o tra-balho apresentado na subse¸cão 2.4.1, visando identificar melhorias no processo, tornando o sistema mais robusto.

3.1 ITU Gaze Tracker

Pesquisas relacionadas à rastreamento ocular e controle de visada são temas em cons-tante evolu¸cão em diferentes trabalhos. Um desses trabalhos é apresentado pelo grupo de pesquisas ITU GazeGroup (Research on eye tracking and gaze interaction) [35], em que o processo de rastreamento ocular consiste em uma ou mais câmeras capturando os olhos do usuário, a fim de medir e identificar os movimentos oculares, conforme apresentado na Figura 10. O projeto, conforme ilustrado na imagem, possui como etapa inicial a captura da imagem, seguida da extra¸cão das caracter´ısticas da imagem, como, por exemplo, o centro da pupila e/ou o centro da ´ıris. Uma etapa de fixa¸cão dos olhos é adicionada para minimizar os ru´ıdos durante o Processamento da Imagem. Após a finaliza¸cão das etapas de Processamento de Imagem, é iniciado o processo de calibra¸cão do usuário, que tem como objetivo fazer o mapeamento entre a posi¸cão da pupila com as coordenadas na tela.

Figura 10: Sistema de rastreamento ocular [35].

(29)

usabilidade, conforme descrito por [27]. A aplica¸cão Gaze Tracker possui as seguintes caracter´ısticas: a obten¸cão da dire¸cão do olhar e pontos não visualizados pelo usuário. Trata-se de um código aberto e baseia-se em equipamentos de baixo custo, obtendo os mesmos resultados de rastreadores oculares comerciais. Os requisitos para utiliza¸cão da aplica¸cão são umawebcam ou câmera de v´ıdeo com visão noturna e ilumina¸cão infraver-melho.

Utilizando a biblioteca OpenCV [23], para Processamento de Imagens, os passos uti-lizados no Processamento de Imagens capturadas a partir de uma câmera são descritos por [37], sendo a câmera posicionada para capturar apenas os olhos do usuário em infra-vermelho.

Para determinar o centro do olho mostrado na Figura 11, é executada uma seg-menta¸cão na imagem extraindo os pontos de contorno entre a pupila e a ´ıris. Os pontos encontrados são transformados em uma elipse usando o procedimento RANSAC (RAN-dom SAmple Consensus) [38] para eliminar os falsos positivos. A Figura 11 mostra como é realizada a captura do olho do usuário, detalhando a tela de configura¸cão do sistema ITU Gaze Tracker, sendo poss´ıvel configurar, por exemplo, o tamanho da área da pupila do usuário e o do brilho da câmera infravermelho.

(30)

A Figura 12 apresenta outro exemplo de configura¸cão que o sistema permite fazer, apresentando uma configura¸cão considerada “boa”, quando os parâmetros não estão con-figurados muito abaixo e nem muito alto (esquerda) e uma outra configura¸cão considerada “ruim”, pois os parâmetros foram configurados com seus valores máximos.

Figura 12: Modelos de configura¸cão da área da pupila, configura¸cão boa (esquerda) e configura¸cão ruim (direita) [27].

A precisão dos rastreadores é calculada a partir do ângulo visual, em que o tamanho de umpixel S e a distância do usuário em rela¸cão a telaD precisam ser pré-determinados. O cálculo de precisão em graus é feito por meio da Equa¸cão 3:

Ao = 180

π .2.tan −₁

Apx

2 .S D

!

(3)

Equa¸cão 3: Cálculo de precisão em graus.

O cálculo da distância entre as posi¸cões oculares detectadas e a posi¸cão do poss´ıvel alvo produz uma taxa de erros em pixels, e sua precisão é calculada por meio da Equa¸cão 4:

Apx= M

X

i=1

PN j=1

||Ti−Pi,j||

N M

!

(4)

Equa¸cão 4: Distância entre as posi¸cões oculares.

Apx é a precisão em pixels, e a distância entre os olhos é feita pela amostra de P i, e

(31)

O desenvolvimento do sistemaITU Gaze Tracker teve como objetivo a captura e ras-treamento ocular, e seu processo parte da deteçcão de um único olho do usuário, sendo necessárias duas lâmpadas infravermelho iluminando os olhos do usuário. O projeto teve um custo total de US$100, diferente de um equipamento profissional, citado na pesquisa, conhecido como Tobii modelo T60 [11], que tem um custo de US$30 mil.

A Figura 13 mostra o ambiente utilizado para a execu¸cão dos testes do ITU Gaze Tracker, sendo apresentado o monitor adaptado com uma câmera infravermelho na base. O usuário deve ficar a uma distância de 60 cm do monitor para melhor captura da imagem.

Figura 13: Ambiente de testes ITU Gaze Tracker [27].

Experimentos realizados com o ITU Gaze Tracker obtiveram uma taxa de erro maior em rela¸cão ao sistemaTobii T60, porém os resultados foram muito satisfatórios tratando-se de um sistema de baixo custo. A Figura 14 mostra a diferen¸ca entre os sistemas, após a utiliza¸cão e análise dos resultados de ambos. Os c´ırculos vermelhos mostram o erro médio potencial do sistema Tobii T60, e os c´ırculos amarelos mostram os resultados com ITU Gaze Tracker.

3.2 Tobii T60

O produtoTobii T60 [11] consiste de um produto comercial, em que um monitor de 17o

(32)

Figura 14: O potencial erro m´edio do Tobii T60 (c´ırculo vermelho) e o ITU Gaze Tracker (c´ırculo externo amarelo) ilustrado em um screenshot da p´agina do NY Times. [27]

modelo permite o movimento da cabe¸ca do usuário em até 70cm, sendo necessário que a cabe¸ca permane¸ca centralizada ao monitor.

O T60 integra um processador dedicado, cujo objetivo é o de não sobrecarregar o computador. O desempenho do sistema é relatado com uma latência de 33ms a partir da exposi¸cão do usuário à câmera de capta¸cão da imagem. A Figura 15 apresenta o projeto Tobii modelo T60, sendo um monitor com uma câmera de captura infravermelha adaptada na base.

(33)

3.3 EAS Binocular

O produtoEAS Binocular possui as seguintes caracter´ısticas: - captura de imagens em infravermelho; - taxa de atualiza¸cão de 120Hz; - captura e processamento dos dois olhos de forma independente; - captura 3D da localiza¸cão ocular; - deteçcão do diâmetro da pupila; - modos de calibra¸cão entre 05 e 13 pontos; e uma taxa de acuracidade posicional de 0.45o

e pode ser adaptado em monitores entre 10” e 35” polegadas.

A Figura 16 apresenta o produto EAS Binocular, mostrando a cˆamera de captura infravermelho adaptado a base do monitor.

Figura 16: Produto EAS Binocular da empresa LC Technologies, Inc [30].

O sistema EAS Binocular ´e utilizado na realiza¸c˜ao de testes comparativos com o sistema proposto neste trabalho, processo detalhado no cap´ıtulo 6.

3.4 Robustez em um Sistema de Detec¸

c˜

ao e Rastreamento

Ocu-lar

A melhoria da pesquisa realizada por [22], que deu origem a um sistema mais robusto constituiu, um dos primeiros passos deste trabalho de mestrado.

(34)

os requisitos de hardware e software.

A taxa de melhora apresentada, em rela¸cão ao sistema utilizado como base, está relaci-onada à melhora no processo de deteçcão das regiões da face e dos olhos, o qual, diferente do modelo apresentado por [22] na se¸cão 2.4.1, realizou três modifica¸cões nesse processo, limitando a região de busca dos olhos.

A Figura 17 apresenta a primeira modifica¸cão (método A) implementada no sistema proposto por [22], apresentado no trabalho [39], com objetivo de alterar apenas os pro-cessos de deteçcão da face e deteçcão dos olhos.

Figura 17: Diagrama de Fluxo da Implementa¸c˜ao A.

A segunda modifica¸cão (método B) no sistema proposto por [22], exibida na Figura 18, mantém o processo original de deteçcão da face e dos olhos, e aplica a modifica¸cão após a primeira deteçcão da ´ıris, definindo uma região de interesse em torno dos olhos, para realizar uma busca local da região da ´ıris. O objetivo dessa modifica¸cão é limitar o processamento apenas a uma região de interesse.

Figura 18: Diagrama de Fluxo da Implementa¸c˜ao B.

Na terceira modifica¸cão (método C), apresentada na Figura 19, combina-se o método A (Figura 17) com a região em torno dos olhos do método B (Figura 18) para realizar uma busca local da ´ıris. O processo de identifica¸cão da região da ´ıris, devido ao seu desempenho satisfatório proposto por [22], foi mantido no trabalho proposto por [39].

(35)

A Figura 20 mostra o resultado da implementa¸cão, a partir do diagrama de fluxo da implementa¸cão C, exibindo as marca¸cões das regiões de interesse processadas a partir da imagem capturada pelawebcam.

Figura 20: Implementa¸c˜ao do modelo apresentado no trabalho [39].

A Tabela 1 mostra o ganho e a perda de desempenho dos métodos implementados por [39], tomando como base o tempo total (deteçcão de ´ıris e calibra¸cão do sistema) dos resultados obtidos com o método [22], tempos aplicados a testes realizados com dois usuários.

Tabela 1: Desempenho dos métodos A, B e C em rela¸cão ao método proposto por [22] (tempo total).

Usu´ario 1 Usu´ario 2

M´etodo A -24% -4%

M´etodo B 16% 13%

(36)

4 MODELO PROPOSTO

Este cap´ıtulo apresenta o modelo proposto neste trabalho, visando o desenvolvimento de software aplicado a rastreamento ocular e controle de visada. A se¸c˜ao 4.1 apresenta o detalhamento do macro fluxo do modelo proposto neste trabalho.

4.1 Descri¸

c˜

ao do Macro Fluxo

A utiliza¸cão de regiões de interesse [26] permite o Processamento de Imagens com alta resolu¸cão, em tempo real, sem a perda de desempenho. Uma imagem com alta resolu¸cão possui um número maior de pixel tornando a deteçcão de objetos mais precisa e robusta.

(37)

Figura 21: Fluxo macro do modelo proposto neste trabalho.

`

(38)

4.1.1 Captura do frame da webcam

O modelo proposto por [22] realiza a captura do frame em uma resolu¸c˜ao m´axima de 640x480 pixels, com uma taxa de 15fps. Neste trabalho, a captura de frames pela

webcam é feita com uma qualidade não inferior a 720p, ou seja, captura é realizada com resolu¸cão m´ınima de 1280x720pixels com uma taxa de 30fps. Para que o desempenho do computador não seja um fator negativo no Processamento da Imagem, são processadas apenas as regiões de interesse, eliminado o problema de desempenho encontrado no modelo proposto por [22], que faz o processamento em toda a imagem para cadaframe capturado.

Para a próxima etapa do processo, a imagem é convertida para uma imagem em escala de cinza e realizada a equaliza¸cão do histograma, demonstrado na Figura 22.

(39)

4.1.2 Deteçcão da Região da Face

Nesta etapa recebe-se como parâmetro de entrada a imagem em escala de cinza e realiza-se a deteçcão da região da face. Para a deteçcão da face é utilizada a técnica apresentada por [16] e como parâmetro de entrada um arquivo XML contendo os Clas-sificadores Haar, conforme descrito na biblioteca do OpenCV [40]. Com a região da face delimitada, uma estimativa da região dos olhos é extra´ıda da imagem, servindo de parâmetro de entrada para a deteçcão dos olhos.

A técnica segue as caracter´ısticas apresentadas na se¸cão 2.3.1, que utiliza três contri-bui¸cões: Imagem Integral; Algoritmo de aprendizagem baseado em AdaBoost [32] e um método de combina¸cão de classificadores de complexidade baseados emHaar-like features

[41], ou seja, extra¸cão de atributos da imagem digital na deteçcão de objetos, criando um filtro em cascata eficiente.

(40)

Figura 23: Representa¸c˜ao da sequencia de busca de atributos na imagem.

O algoritmo proposto por [41], trata regiões de 24x24pixels, e a imagem é escaneada em 11 diferentes escalas, cada uma é 1.25 vezes maior que a anterior. A Figura 24 apresenta os atributos utilizados pelo primeiro classificador.

Figura 24: Representa¸c˜ao da utiliza¸c˜ao de atributos utilizados por [41].

(41)

das imagens não-face e aceitar perto de 100% das imagens de regiões da face. O próximo classificador utiliza dez atributos. Os próximos dois classificadores usam 25 atributos cada, e são seguidos por três classificadores com 50 atributos. Os próximos classificadores usam quantidades variadas de atributos.

Os classificadores são organizados no formato de uma árvore de decisão degenerada, que consiste no detector em cascata. O funcionamento dessa estrutura ocorre pela passa-gem de todas as sub janelas de uma imapassa-gem por diversos classificadores, sendo os primeiros mais simples que os seguintes. Após a obten¸cão de um resultado positivo na execu¸cão do primeiro classificador, a janela segue para o próximo, continuando seu processo até ser rejeitada, ou então, chegar ao final da cascata. Podendo ser rejeitada em qualquer uma das etapas, o detector entende que não existe uma face na janela processada. A Figura 25 ilustra o processamento em cascata apresentado por [16].

Figura 25: Estrutura que representa o detector em cascata [16].

(42)

A Figura 26 apresenta a região de interesse da face a partir do Processamento da Imagem de entrada, esta região é utilizada como parâmetro de entrada para as próximas etapas, sendo desconsiderada do processamento a área não demarcada. Esse processo pro-porciona um ótimo desempenho e torna poss´ıvel a utiliza¸cão de imagens de alta resolu¸cão.

Figura 26: Regi˜ao de interesse da face.

A Figura 27 apresenta o pseudocódigo do processo de deteçcão da região da face, exi-bindo os parâmetros utilizados para cada etapa do processo até a delimita¸cão da região de interesse e o processo de exibi¸cão da região de interesse na imagem original.

4.1.3 Deteçcão da Região dos Olhos

A delimita¸cão da região de interesse da face é utilizada como base para a deteçcão da região dos olhos. O processo de deteçcão ocular utiliza a técnica de [16]. Após a realiza¸cão da deteçcão ocular, uma nova delimita¸cão da região de interesse é aplicada nas bordas de cada olho. Nesse processo são delimitadas duas novas regiões de interesse, sendo uma para o olho esquerdo e outra para o olho direito.

(43)

Figura 27: Pseudocódigo do processo de deteçcão da face.

parâmetro de entrada contém o arquivo XML com os Classificadores Haar, para a região dos olhos, conforme descrito na biblioteca do OpenCV [40]. A identifica¸cão da região dos olhos serve de parâmetro de entrada para a identifica¸cão da região da ´ıris que, por sua vez, também é processada para os dois olhos de forma independente.

A Figura 28 exibe a demilita¸cão da região de interesse do olho esquerdo após o processo de deteçcão. A região delimitada, apresentada na figura, é o parâmetro de entrada para a deteçcão da ´ıris, sendo ignorada toda a área não demarcada neste processo.

(44)

apresen-Figura 28: Regi˜ao de interesse do olho esquerdo.

tada na figura, conforme descrito anteriormente, é o parâmetro de entrada para a deteçcão da ´ıris, sendo também ignorada toda a área não demarcada neste processo.

(45)

A Figura 30 apresenta o pseudocódigo do processo de deteçcão do olho esquerdo, exi-bindo os parâmetros utilizados para cada etapa do processo até a delimita¸cão da região de interesse e o processo de exibi¸cão da região de interesse na imagem original. Para o olho direito, um processo similar é executado, diferenciando apenas nos parâmetros utilizados para deteçcão e calculo das regiões.

Figura 30: Pseudocódigo do processo de deteçcão da região do olho esquerdo.

4.1.4 Busca pela Regi˜ao da ´Iris

(46)

descrita por [25]. A utiliza¸cão desta técnica tem como objetivo a busca de c´ırculos na região de interesse de cada olho. A deteçcão da ´ıris é feita de maneira individual, ou seja, é feita a deteçcão da ´ıris do lado esquerdo independentemente da deteçcão do lado direito.

A Figura 31 apresenta o resultado da t´ecnica apresentada por [25], utilizando a t´ecnica da Transformada de Hough.

Figura 31: Detec¸c˜ao da ´ıris, apresentada por [25], utilizando a Transformada de Hough.

O processo de deteçcão da ´ıris leva em considera¸cão a região de interesse de cada olho, destacado na etapa anterior. A busca de um c´ırculo parte dos limites atribu´ıdos para cada um dos olhos já detectados.

Para obter uma melhor precisão na deteçcão da ´ıris, em conjunto com a técnica Trans-formada de Hough, descrita por [25], a deteçcão das bordas da região de interesse se fez necessária a fim de delimitar a região de busca da ´ıris a partir da região dos olhos. Esse processo torna poss´ıvel a identifica¸cão do centro da pupila, tornando a deteçcão e rastre-amento da ´ıris mais robusta.

(47)

do canto de cada olho, os quais têm as suas posi¸cões determinadas pela deteçcão do centro da pupila.

Figura 32: Regi˜ao de interesse da ´ıris do lado esquerdo.

A Figura 32 mostra o processo após a deteçcão da região dos olhos e a delimita¸cão dos pontos de interesse na imagem, sendo realizado o Processamento da Imagem a fim de buscar e a detectar da ´ıris, apenas na região demarcada no processo anterior.

A Figura 33 segue o mesmo processamento utilizado para a Figura 32, sendo efetuada a busca e deteçcão da ´ıris apenas ne região delimitada no processo anterior.

Figura 33: Regi˜ao de interesse da ´ıris do lado direito.

(48)

´ıris, para ambos os olhos, trabalha de forma independente, ou seja, tanto o olho esquerdo como o olho direito possuem processos independentes de busca e deteçcão, permitindo a parametriza¸cão, ou talvez, algum tipo de adapta¸cão para qualquer um dos olhos, sem que o mesmo interfira no processamento do outro.

4.1.5 Calibra¸c˜ao do Sistema

Para garantir uma precisão satisfatória das a¸cões a serem realizadas pelo usuário, como, por exemplo, a movimenta¸cão do ponteiro do mouse, foi adicionado à aplica¸cão um processo de calibra¸cão. Tal processo exige, após a primeira intera¸cão do usuário durante a deteçcão da ´ıris, que o mesmo fixe o olhar para pontos definidos pela aplica¸cão, com o objetivo de armazenar os limites de cada um dos quatro lados do monitor, sendo eles os pontos de máximo e m´ınimo dos eixosX e Y.

As coordenadas são utilizadas para determinar a precisão do movimento do mouse visto que, neste trabalho, tais coordenadas são extra´ıdas de forma independente, ou seja, são extra´ıdas para cada olho separadamente. Esse processo torna o movimento do pon-teiro mais preciso, pois a deteçcão de forma conjunta causa falhas de posicionamento e pouca precisão durante o processo de posicionamento do ponteiro do mouse.

O processo de calibra¸cão foi separado em fases distintas, sendo que cada uma orienta o usuário a fixar o olhar para cada um dos pontos indicados na tela. As fases da calibra¸cão foram divididas da seguinte maneira:

1. centro da tela;

2. canto superior esquerdo;

3. canto superior direito;

4. canto inferior direito;

5. canto inferior esquerdo.

(49)

4.1.6 Rastreamento da ´Iris

Após a calibra¸cão realizada e os limites identificados, o processamento é retomado para a etapa inicial, porém com as regiões de interesse já demarcadas durante a primeira intera¸cão. O centro da ´ıris é demarcado para ser utilizado como referência para a próxima etapa do processo, sua posi¸cão em rela¸cão à imagem é transformada a partir de uma ma-triz de transforma¸cão em uma posi¸cão(x, y)proporcional ao tamanho da área de trabalho utilizada. Tal processo é base para a realiza¸cão da movimenta¸cão do ponteiro do mouse.

A Figura 34 apresenta o pseudocódigo do processo de deteçcão da ´ıris, exibindo os parâmetros utilizados para cada etapa do processo até a delimita¸cão da região de interesse e o processo de exibi¸cão da região de interesse na imagem original. O processo se repete para deteçcão da ´ıris em ambos os olhos, direito e esquerdo, não havendo diferen¸ca de parâmetros ou configura¸cão personalizada para ambos os olhos.

(50)

O processo de rastreamento da ´ıris aplicada neste trabalho, consiste em uma busca local realizada para cadaframe capturado pela câmera. Devido a delimita¸cão das regiões de interesse realizada nos processos anteriores de deteçcão da face e deteçcão da região dos olhos, a retomada do processo de deteçcão da ´ıris não possui custo computacional elevado.

Os estados atuais da deteçcão da ´ıris são armazenados em variáveis de controle, com objetivo de aumentar a robustez da aplica¸cão em uma poss´ıvel falha em alguma das etapas do processo, o sistema realiza a retomado do processo inicial a partir dos parâmetros armazenados no processamento do frame anterior, tornando o sistema tolerante a falhas, não necessitando realizar todas as etapas do Processamento de Imagens, o que poderia acarretar em um custo computacional desnecessário.

4.1.7 Movimento do Mouse

A partir de todo o processo de deteçcão das caracter´ısticas da região da face com limita¸cão das regiões de interesse, é poss´ıvel manipular essas informa¸cões de várias ma-neiras, como, por exemplo, controle do clique do mouse a partir do piscar de olhos do usuário, conforme descrito por [42] e [43]. Desta maneira, são desenvolvidos sistemas com base na deteçcão da ´ıris do usuário e o controle do mouse a partir dos movimentos dos olhos.

O posicionamento do ponteiro do mouse é calculado a partir dos limites das regiões estabelecidas pelo processo de calibra¸cão. Tal processo tem como objetivo identificar os limites da área de visão do usuário, a fim de melhorar a precisão dos movimentos do ponteiro do mouse.

(51)

Figura 35: Modelo de c´alculo de limites das posi¸c˜oes x,y.

Para gera¸cão do ∆x e ∆y, são considerados o posicionamento dos dois olhos do usuário, então é calculada a média sobre os valores a partir da diferen¸ca entre a média das posi¸cões. A Equa¸cão 5 apresenta o cálculo realizado para o ∆x.

∆x= XseL+XseR

2 −

XsdL+XsdR

2 (5)

Equa¸c˜ao 5: C´alculo do ∆x.

Sendo XseL a posi¸cão X superior esquerda relacionada ao olho esquerdo, XseR a posi¸cão X superior esquerda relacionada ao olho direito, XsdL a posi¸cão X superior di-reita relacionada ao olho esquerdo e XsdR a posi¸cão X superior direita relacionada ao olho direito.

A Equa¸c˜ao 6 apresenta o c´alculo para o ∆y.

∆y=

Y seL+Y seR

2 −

Y ieL+Y ieR

2

−

Y sdL+Y sdR

2 −

Y idL+Y idR

2

(6)

Equa¸c˜ao 6: C´alculo do ∆y.

SendoY seLa posi¸cão Y superior esquerda do olho esquerdo,Y seRa posi¸cãoY supe-rior esquerda do olho direito,Y ieL a posi¸cãoY inferior esquerda do olho esquerdo,Y ieR

(52)

esquerdo, Y sdR a posi¸cão Y superior direita do olho direito, Y idL a posi¸cão Y inferior direita do olho esquerdo eY idR a posi¸cãoY inferior direita do olho esquerdo.

O cálculo dos pontos ∆x e ∆y são armazenados para posterior utiliza¸cão no processo de movimenta¸cão do mouse, tal que, para cara posicionamento ocular capturado em cada

frame processado pela aplica¸cão, os valores de ∆x e ∆y são utilizados para mapear a tela do usuário, em rela¸cão à imagem capturada.

A posi¸cão central, capturada no in´ıcio do processo de calibra¸cão, é utilizado para realizar o movimento do mouse, sendo que, sua posi¸cão é armazenada em cada frame

processado. O posicionamento X e Y capturados no frame, é comparado com o valor capturado no frame anterior, e então, o ponteiro do mouse é movimentado, tendo seu posicionamento X e Y acrescido e/ou decrescido de 20 pixels, sendo então, realizado o movimento do ponteiro do mouse.

4.1.8 Acionamento do Click do Mouse

(53)

5 DESENVOLVIMENTO DA APLICAC

¸ ˜

AO

Este cap´ıtulo versa sobre o desenvolvimento da aplica¸cão baseado no modelo proposto. O desenvolvimento do sistema de software deste trabalho consiste no processamento de regiões espec´ıficas da imagem, mais precisamente nas regiões mais importantes para os resultados esperados do processo.

A aplica¸cão foi desenvolvida com objetivo de validar as técnicas descritas no cap´ıtulo 4, realizando testes com o sistema-base e sistemas comerciais e, também a apresenta¸cão de casos de testes apenas da aplica¸cão desenvolvida neste trabalho. A se¸cão 5.1 apresenta a metodologia de desenvolvimento de software utilizada; a se¸cão 5.2 descreve o escopo do desenvolvimento da aplica¸cão; a se¸cão 5.3 detalha o processo de análise de requisitos; a se¸cão 5.4 versa sobre os recursos de hardware e software utilizados para o desenvolvimento da aplica¸cão. Finalmente a se¸cão 5.5 aborda o processo de implementa¸cão da aplica¸cão desenvolvida.

5.1 Metodologia de Desenvolvimento da Aplica¸

c˜

ao

A metodologia utilizada para suportar o desenvolvimento da aplica¸cão é a metodologia baseada em Prototipa¸cão.

Prototipa¸cão (ou modelo Evolutivo), conforme definido por [44], é classificada como um Modelo de Processo de Software, ou seja, ela determina a maneira precisa de como serão as atividades e dinâmicas da cria¸cão do software. O desenvolvimento é feito obede-cendo a realiza¸cão das diferentes etapas de análise de requisitos, projeto, codifica¸cão e os testes.

Devido à complexidade no levantamento de requisitos, se faz necessária a utiliza¸cão de um protótipo do sistema, sendo que um protótipo é uma versão inicial de um sistema de software, utilizado para apresentar conceitos e realiza¸cão de testes experimentais.

(54)

• Levantamento de requisitos: Os prot´otipos de sistema permitem que os usu´arios

realizem experiˆencias para ver como o sistema ap´oia seu trabalho. Podem gerar novos requisitos e identificar pontos positivos e negativos do software.

• Valida¸cão de requisitos: O protótipo pode revelar erros e omissões nos

requi-sitos propostos. Uma fun¸cão descrita em uma especifica¸cão pode parecer útil e bem-definida. Contudo, quando essa fun¸cão é utilizada com outras, os usuários muitas vezes acham que sua visão inicial era incorreta e incompleta. A especifica¸cão de sistema pode, então, ser modificada para refletir sua compreensão alterada dos requisitos.

A Figura 36 apresenta o modelo de desenvolvimento utilizando a metodologia de pro-totipa¸c˜ao da Engenharia de Software.

Figura 36: Modelo de prototipa¸c˜ao [44].

(55)

de protótipos, apresentando as fases do desenvolvimento de um protótipo, seguindo a metodologia de prototipa¸cão.

Figura 37: Processo de desenvolvimento de prot´otipos [45].

5.2 Descri¸

c˜

ao do Desenvolvimento da Aplica¸

c˜

ao

Para o desenvolvimento da aplica¸cão de rastreamento ocular proposto neste trabalho, foi criado um fluxo de atividades no qual é detalhada a sequência de processamento da imagem. A Figura 38 mostra o fluxo principal da metodologia utilizada neste trabalho, seguindo o modelo proposto no cap´ıtulo 4. A execu¸cão da aplica¸cão segue uma sequência de tarefas a serem executadas, conforme ilustrado na imagem.

(56)

5.3 An´

alise de Requisitos

Segundo a IEEE [46], a análise de requisitos é um processo que envolve o estudo das necessidades do usuário para se encontrar uma defini¸cão correta ou completa do sistema ou requisito de software.

O processo de análise de requisitos neste trabalho tem como objetivo, englobar as tarefas de especifica¸cão de requisitos, consolidando fun¸cões e apresentando a modelagem da aplica¸cão, apresentando ferramentas que facilitarão o entendimento do sistema, como as funcionalidades e seu comportamento.

A Figura 39 apresenta o Diagrama de Caso de Uso do sistema proposto baseado no fluxo principal exposto, mostrando a intera¸cão do usuário com o sistema, mostrando também as intera¸cões entre os módulos do sistema.

(57)

Na primeira intera¸cão com o usuário, o sistema irá realizar a inicializa¸cão dos parâmetros iniciais, sendo eles: - configura¸cões para captura de imagens pela câmera (altura, largura, frames por segundo); - arquivos xml de configura¸cão das regiões da face para deteçcão; - arquivo xml de configura¸cão das regiões dos olhos para deteçcão. Seguido das etapas de processamento de deteçcão e delimita¸cão de regiões de interesse da face, dos olhos e da ´ıris. Após a conclusão das etapas de processamento, é então inicializada a interface de calibra¸cão, seguida pela interface de rastreamento ocular, permitindo ao usuário a uti-liza¸cão do sistema.

A Figura 40 apresenta o Diagrama de Sequência do sistema proposto, a fim de ilustrar a troca de mensagens entre o usuário e entre os módulos do sistema durante toda a sua execu¸cão.

Figura 40: Diagrama de Sequˆencia do sistema.

(58)

A Figura 41 apresenta o Diagrama de Pacotes do sistema proposto, desenvolvidos de forma independente. O pacote de apresenta¸cão contém as interfaces para os usuários, tendo como dependência os pacotes de regras e Rastreamento Ocular. O pacote de Ras-treamento Ocular contém toda a lógica de rasRas-treamento ocular, que são: posicionamento da ´ıris; movimento do mouse, tendo como dependência apenas o pacote de Regras. Por fim, o pacote de Regras possui a lógica de processamento de regiões de interesse da face, dos olhos e da ´ıris que, conforme ilustrado na Figura 41, é um conjunto de classes inde-pendentes, que podem ser utilizadas e/ou adaptadas em qualquer outro sistema.

Figura 41: Diagrama de Pacotes do sistema.

De acordo com a metodologia apresentada para o desenvolvimento de um sistema de rastreamento ocular, o desenvolvimento ´e constitu´ıdo baseado na modelagem de desen-volvimento de sistema orientados a objetos.

(59)

(60)

5.4 Projeto

Para a codifica¸c˜ao do sistema desenvolvido neste trabalho foi utilizada a Integrated Development Environment (IDE) ou Ambiente Integrado de Desenvolvimento Microsoft Visual Studio 2013 Professional [48].

As linguagens de desenvolvimento de software Visual C# [49] (“C sharp”) e C++ [50], foram utilizadas para suportar o desenvolvimento da aplica¸c˜ao.

A Tabela 2 apresenta os equipamentos de hardware utilizados para o desenvolvimento deste projeto de desenvolvimento do software.

Tabela 2: Descri¸c˜ao dos equipamentos utilizados.

Equipamento Modelo Configura¸c˜ao

Notebook Sony Vaio SVS15115FBB Processador Intel Core i7, 6GB RAM, HD 750GB

Monitor Benq XL24210T 24 polegadas e resolu¸c˜ao FULL

HD

A captura em tempo real das imagens foi feita a partir de umawebcam com capacidade m´axima de captura de 720p com 30fps.

5.5 Implementa¸

c˜

ao

A partir da especifica¸cão e análise de requisitos realizada anteriormente, realizou-se o desenvolvimento de um protótipo de uma aplica¸cão de rastreamento ocular com as seguintes funcionalidades:

• sele¸c˜ao da cˆamera de captura;

• inicializa¸c˜ao da captura;

• inicializa¸c˜ao da calibra¸c˜ao;

• controles de detec¸c˜ao dos olhos;

(61)

– detec¸c˜ao do olho direito;

• controles de detec¸c˜ao da ´ıris;

– detec¸c˜ao da ´ıris esquerda;

– detec¸c˜ao da ´ıris direita;

• controle do mouse;

– controle do mouse vertical;

– controle do mouse horizontal.

A Figura 43 apresenta a tela inicial do protótipo desenvolvido neste trabalho, que consiste em um ambiente de visualiza¸cão do processamento da imagem cujas op¸cões de configura¸cão e parametriza¸cão são exibidas na coluna à direita. O protótipo permite que seja iniciada a captura da imagem, permite também a possibilidade de validar o proces-samento de cada etapa, como, por exemplo; verificar o procesproces-samento da imagem apenas para um dos olhos e/ou apenas para uma das ´ıris. O sistema permite também a ini-cializa¸cão da calibra¸cão e a valida¸cão independente do controle do mouse, analisando o desempenho dos movimentos do mouse, sendo poss´ıvel habilitar/desabilizar o controle de movimento do mouse ou apenas um tipo de movimento espec´ıfico (horizontal / vertical).

(62)

Para a calibra¸cão do sistema, foi desenvolvido o modelo baseado no sistema EyeGaze. O sistema apresenta uma série de pontos na tela para que o usuário siga os mesmos com os olhos. A Figura 44 apresenta a tela de calibra¸cão do sistemaEyeGaze. O sistema per-mite a visualiza¸cão da região da ´ıris capturada em infravermelho nas janelas superiores apresentadas na imagem.

(63)

O processo de calibra¸cão do sistema desenvolvido neste trabalho inicia-se com duas mensagens apresentadas para o usuário, preparando o mesmo para o in´ıcio da calibra¸cão. A Figura 45 apresenta a primeira mensagem e a Figura 46 exibe a segunda mensagem. Após a exibi¸cão das mensagens, é iniciada a calibra¸cão dos pontos. A Figura 47 apresenta a tela de calibra¸cão de pontos desenvolvida e o processo de calibra¸cão finalizado, sendo que todos os pontos estão sendo exibidos.

Figura 45: Primeira mensagem no in´ıcio da calibra¸c˜ao.

(64)

Figura 47: Tela de calibra¸c˜ao da aplica¸c˜ao desenvolvida neste trabalho.

Após o processo de calibra¸cão, a aplica¸cão está apta para iniciar a movimenta¸cão do mouse a partir do movimento dos olhos do usuário. Para valida¸cão desta etapa do pro-cesso, uma interface foi desenvolvida para digita¸cão de números, sendo que este processo também foi baseado no sistema EyeGaze. A Figura 48 apresenta a tela de digita¸cão de números do sistema EyeGaze, seguida pela Figura 49 que apresenta a tela de digita¸cão de números desenvolvida para valida¸cão do modelo proposto neste trabalho.

(65)

Figura 49: Tela de digita¸c˜ao de n´umeros desenvolvida neste trabalho.

5.5.1 Testes