O objetivo deste trabalho é criar um sistema de rastreamento do olhar baseado em equipamento de baixo custo (um laptop comum com webcam), com o objetivo de possibilitar o uso do rastreamento do olhar em larga escala. Atualmente, diversos equipamentos disponíveis comercialmente são capazes de realizar rastreamento ocular com alto grau de precisão.
PROBLEMA DE PESQUISA
Solução Proposta
Com base no exposto, o presente trabalho propõe a construção de um sistema de baixo custo capaz de realizar rastreamento do olhar utilizando software de código aberto e ferramentas computacionais comuns, com aplicação primária no estudo da usabilidade de interfaces de software. Visando a construção de um sistema de baixo custo, o projeto será baseado em compiladores, Ambientes de Desenvolvimento Integrados (IDE) e bibliotecas de código aberto, como g++ e OpenCV.
Delimitação de Escopo
Justificativa
Diversas técnicas são utilizadas para medir e melhorar a usabilidade de uma interface, e a técnica de rastreamento ocular nem sempre está entre as recomendadas (PERNICE & NIELSEN, 2009). Se um software de rastreamento ocular usando recursos facilmente encontrados nos computadores pessoais atuais fosse desenvolvido, o baixo custo do equipamento poderia facilitar muito a condução desses estudos de usabilidade.
OBJETIVOS
Objetivo Geral
O software proposto pode demonstrar como sistemas de rastreamento ocular de baixo custo podem ser construídos, incentivando e facilitando estudos de usabilidade mais aprofundados utilizando esses sistemas. Com base em estudos já realizados na área de visão computacional e em modelos já construídos capazes de estimar o olhar de uma pessoa a partir da imagem capturada, o sistema proposto oferece a possibilidade de transformar qualquer computador pessoal equipado com webcam e potência de processamento suficiente em um olho Aparelho de rastreamento.
Objetivos Específicos
METODOLOGIA
Metodologia da Pesquisa
Procedimentos Metodológicos
ESTRUTURA DA DISSERTAÇÃO
INTRODUÇÃO
Fotooculografia (FOG) ou vídeo oculografia (VOG) – envolve a medição de características distintivas do olho sob rotação ou translação. Neste método, por exemplo, a forma aparente da pupila e da íris, ou o reflexo de uma fonte de luz na córnea são utilizados para monitorizar o movimento ocular; Isso é.
VISÃO COMPUTACIONAL
Melhoramento de Imagem
O histograma é uma representação de uma imagem, que corresponde à distribuição dos níveis de intensidade nela (PEDRINI & SCHWARTZ, 2008). Quando o uso dos níveis de intensidade em uma imagem não está bem distribuído, sua nitidez não é a ideal.
Detecção de Bordas
As próximas seções descrevem uma visão geral das operações de detecção de bordas e regiões que são fundamentais para extrair informações úteis de uma imagem. A detecção de bordas é baseada na diferenciação e, como detecta mudanças de intensidade em relação ao ambiente, está sujeita a ruídos na imagem.
Segmentação de Regiões
Uma das técnicas de segmentação mais simples é o limiar, que consiste em classificar os pixels de uma imagem de acordo com a definição de um ou mais limiares. As bordas de um objeto também podem ser aproximadas por um polígono, com vários graus de precisão.
RASTREAMENTO OCULAR
Detecção do Rosto
Dentre as diversas técnicas de detecção de rostos em imagens, uma das mais conhecidas e possivelmente a mais utilizada é a apresentada por Viola e Jones (2004 apud SZELISKI 2010). A biblioteca de visão computacional OpenCV oferece uma implementação do método Viola-Jones, denominado Classificador Haar, que facilita o uso dessa técnica para detectar rostos em imagens.
Detecção da Íris
As projeções de imagens são representações unidimensionais do conteúdo da imagem, geralmente calculadas paralelamente ao eixo de coordenadas (BURGER & BURGE, 2008). Segundo Jain, Kasturi e Schunk (1995), a projeção de uma imagem binária pode ser obtida dividindo uma linha em posições e encontrando o número de pixels com valor 1 que estão nas linhas perpendiculares a cada posição.
Detecção dos Cantos
Os detectores de borda geralmente falham nos cantos, porque a suposição de que as estimativas das derivadas parciais nas direções x e y são suficientes para estimar um gradiente orientado torna-se insustentável. Em cantos agudos ou orientados, essas derivadas parciais serão fracas, pois seu suporte passa pelo canto (FORSYTHE, 2003).
RASTREAMENTO DO OLHAR
Correlação Entre Informações dos Olhos e o Ponto de Fixação
Ao projetar um aplicativo gráfico de rastreamento ocular, o requisito mais importante é mapear as coordenadas do rastreador ocular para o quadro de referência apropriado do aplicativo. Isso significa que o rastreador ocular deve retornar um par de coordenadas xey do POR para cada olho a cada ciclo de amostragem.
Abordagem geométrica
O mapa descrito por Duchowski (2007) é bastante simples, mas tem a desvantagem de ser utilizado apenas em sistemas de rastreamento ocular acoplados à cabeça do usuário, onde qualquer variação é eliminada pelo fato da câmera se movimentar junto com a cabeça. Em um sistema como o proposto neste artigo, a câmera é fixa e o rastreador ocular tem que lidar com o problema de movimento da cabeça do usuário e, portanto, da posição de seus olhos.
Abordagem de aproximação
O método dos mínimos quadrados é um método pertencente à primeira classe e tem sido amplamente utilizado em problemas práticos. Spiegel (2009, p.339) define que “de todas as curvas que se ajustam a um conjunto de pontos, aquela que tem a propriedade de apresentar o valor mínimo de.
TEMPO REAL
A Figura 17 ilustra esta relação: enquanto a posição da íris detectada em (a) é relativa a um objeto localizado no canto superior direito da tela, a posição da íris em (b) é relativa a um objeto localizado no canto inferior esquerdo da tela. tela localizada. tela. . Um sistema computacional que pode gerar uma resposta às informações de entrada em menos de 100 milissegundos pode ser considerado um sistema em tempo real do ponto de vista da percepção humana.
CONSIDERAÇÕES
Esta seção apresenta os resultados de uma revisão sistemática realizada durante o desenvolvimento deste trabalho, com o objetivo de identificar as principais teorias, tecnologias e tendências atualmente em uso na área de rastreamento ocular e estimativa do olhar. O protocolo de revisão sistemática, explicando a metodologia utilizada, encontra-se no Apêndice A deste trabalho.
DETECÇÃO DOS OLHOS
Os resultados também indicam que o sistema é capaz de rastrear os olhos de forma eficaz e obter uma descrição do contorno ocular. O conjunto de técnicas avaliadas consiste em identificar o ponto BTE (entre os olhos ou entre os olhos) para obter uma referência fixa para detecção ocular.
ESTIMATIVA DO OLHAR
A segunda parte do trabalho de Villanueva e Cabeza (2008) validou um sistema de rastreamento ocular com câmera e ponto de calibração. Através de uma análise rigorosa do globo ocular e da sua modelação 3D, da geometria envolvida, da reflexão e refração da luz e da sensibilidade dos sistemas, pretendeu-se produzir um modelo matemático-geométrico ideal para a representação de sistemas de rastreamento ocular.
SISTEMAS DE RASTREAMENTO OCULAR E ESTIMATIVA DO
Os experimentos foram realizados para comprovar: a) a estimativa da localização do olho; b) avaliação da posição da cabeça; ec) estimativa da direção do olhar. A avaliação da visão é realizada calculando o eixo da direção da visão, desde os centros das íris até o modelo 3D do olho.
CONSIDERAÇÕES
Neste capítulo, será apresentado o processo de construção do sistema de rastreamento ocular e estimativa do olhar. Esta divisão foi feita para permitir a validação de uma etapa absolutamente necessária – a etapa de rastreamento ocular – antes de iniciar a construção da terceira etapa, a estimativa do olhar.
DELIMITAÇÃO DOS EXPERIMENTOS
Localização dos olhos
Como você pode ver na Figura 22, uma vez identificado o rosto, dividi-lo em quadrantes únicos pode ajudar a restringir a área de busca dos olhos. A redução da área de busca contribui para uma localização mais rápida, pois a imagem a ser examinada é menor.
Localização da íris
Localização dos cantos
Detecção de olho/íris http://www.youtube.com/watch?v=lULO6oar-aw Detecção de íris por limite http://www.youtube.com/watch?v=GLOy7i3Zl-4 Detecção de íris por limite http :// www. youtube.com/watch?v=8EdARktidBo Primeira versão do rastreador ocular http://www.youtube.com/watch?v=NxSAi5PaqAw Rastreador ocular com detecção de ângulo http://www.youtube.com/watch?v =G2FAgGObqmQ.
GAZE TRACKER
Estimativa do olhar
Normalize os dados de localização da íris em relação a um ponto de referência fixo (canto do olho ou canto da janela onde o olho está localizado). A partir da projeção das coordenadas X e Y do objeto na tela, foram identificados os frames em que o objeto se encontrava nas extremidades da tela, com as respectivas posições relativas da íris nesses instantes.
Software
AVALIAÇÃO
Avaliação do Eye Tracker
Como forma de avaliar o desempenho do eye tracker com base nas imagens geradas, foi construída uma aplicação web na qual múltiplos avaliadores humanos podem visualizar a imagem processada pela aplicação e opinar sobre a localização de três aspectos: 1) o correto canto do olho, 2) canto esquerdo do olho e 3) íris. A Figura 31 mostra a tela do aplicativo onde os avaliadores informam se o rastreador ocular identificou corretamente a íris e o canto do olho.
Avaliação do Gaze Tracker
Por ser a última etapa do processo, o rastreador de olhar acaba envolvendo todas as outras atividades: primeiro os vídeos foram coletados, depois o rastreador de olhar localiza o olho e, por fim, o rastreador de olhar utiliza esses dados para realizar a calibração e estimar a fixação do olhar. ponto em cada quadro do vídeo. Um segundo experimento, semelhante ao primeiro, foi realizado com o objetivo de investigar a influência da distância do usuário nos resultados do rastreador de olhar.
CONSIDERAÇÕES
O que pretendemos é um sistema capaz de avaliar a visão, que não utilize apoio de cabeça, mas em que o utilizador evite deliberadamente tal movimento. Foi demonstrado que a baixa resolução das imagens de entrada tem vários impactos na avaliação da visão, por exemplo, o aparecimento de um padrão de divisão na distribuição dos pontos de avaliação da visão.
EYE TRACKER
Ao utilizar o ângulo da janela ocular como referência fixa - Figura 35 (b) - a medição do deslocamento da íris é mais estável. Portanto, o rastreador de gaze foi reconfigurado para não utilizar o canto do olho como referência fixa para o movimento da íris, mas sim a janela onde o olho foi detectado.
GAZE TRACKER
Conversão de métricas
O tamanho da diagonal da tela em pixels foi calculado usando a fórmula da distância euclidiana, onde p é uma extremidade da tela e q é a outra extremidade. Com base nessa medida em pixels e no tamanho da tela em centímetros, foi calculado o número médio de pixels por centímetro na tela: , onde dpx é o tamanho da diagonal da tela em pixels, e t é o mesmo tamanho em centímetros;.
CONSIDERAÇÕES FINAIS
A maior parte dos trabalhos relacionados avalia seu erro médio em escala angular, uma vez que esta medida não se refere à distância do objeto de estimativa da visão. Desta forma, foi calculado o erro médio deste trabalho, estimando uma distância média do usuário da tela de cerca de 40 cm.
TRABALHOS FUTUROS
Eye-gaze detection from monocular camera image using parametric template matching, in: 8th Asian Conference on Computer Vision. IEEE Transactions on Systems, Man, and Cybernetics, Part B, Cybernetics: A Publication of the IEEE Systems, Man, and Cybernetics Society, 1123-1138.
