Para avaliar o funcionamento do aplicativo de rastreamento ocular e do olhar, alguns experimentos foram conduzidos. Os experimentos consistiram em aplicar os softwares a uma sequência de vídeos gravados com diversos usuários, em um ambiente parcialmente controlado. O sistema faz a estimativa do olhar dos sujeitos na tela do computador através das coordenadas de seus olhos. As posições estimadas são comparadas às posições reais do objeto de referência na tela.
Conforme descrito na Seção 4.1, os vídeos foram gravados enquanto os sujeitos acompanhavam o movimento de um objeto na tela, e para a obtenção de um referencial de comparação, a posição deste objeto foi registrada em relação a cada um dos frames do vídeo. Desta Figura 29: Aplicativo para condução dos experimentos. (a) lista dos vídeos a serem processados; (b) saída visual do eye tracker; (c) saída visual do gaze tracker; (d) parâmetros de processamento; (e) região do olho; (f) resumo do gaze tracker.
forma, o experimento para avaliação do sistema consistirá em estimar a posição do objeto na tela a partir das informações obtidas da localização dos olhos.
Como as referências de posição do objeto a cada frame foram previamente coletadas, será possível comparar a estimativa realizada pelo programa com a real localização do objeto, o que permitirá uma avaliação quantitativa do sistema.
4.5.1 Avaliação do Eye Tracker
Como forma de avaliar a eficiência do aplicativo de rastreamento ocular construído, o seguinte experimento foi realizado: Os vídeos gravados na etapa de coleta de dados foram submetidos ao processamento do software de rastreamento ocular, e o resultado deste processamento foi registrado na forma de imagens, nas quais a região do olho detectada pelo software é exibida, e marcadores indicam os pontos ou áreas em que as características relevantes (íris e cantos do olho) foram localizadas. Um total de 9.558 imagens foi gerado.
Nos testes realizados, o processamento somente foi realizado em um olho, por dois motivos:
a) considera-se que a informação de localização de um único olho seja suficiente para a estimativa do ponto de fixação do sujeito; e b) como o objetivo é criar um protótipo capaz de trabalhar em tempo real, a complexidade do processamento é reduzida.
Como forma de avaliar o desempenho do rastreador ocular com base nas imagens geradas, um aplicativo web foi construído, no qual diversos avaliadores humanos podem visualizar a imagem processada pelo aplicativo, e informar seu parecer a respeito da localização de três aspectos: 1) canto direito do olho, 2) canto esquerdo do olho, e 3) íris. Em cada um dos três aspectos, os avaliadores puderam indicar três opções: 1) localização correta, 2) localização incorreta e 3) não-localização. A Figura 30 mostra alguns exemplos de imagens que foram processadas pelo eye tracker.
O objetivo deste experimento foi mensurar o desempenho do eye tracker em sua tarefa. Uma vez que o resultado da localização das características do olho pode interferir diretamente na segunda etapa do processamento (a estimativa do olhar), esta mensuração foi de grande valia para a identificação de possíveis problemas, bem como o aprimoramento das técnicas.
O aplicativo para avaliação humana foi publicado na Internet no endereço http://vlgt.info. A Figura 31 mostra uma tela do aplicativo, onde os avaliadores informam se a íris e o canto dos olhos foram corretamente identificados pelo eye tracker.
4.5.2 Avaliação do Gaze Tracker
Para mensurar o desempenho do software gaze tracker, dois experimentos foram conduzidos. O primeiro deles visou medir o desempenho geral do software, e nele uma série de vídeos foi gravada utilizando o aplicativo Coletor previamente descrito. Ao mesmo tempo, o Coletor guardou também as coordenadas do objeto de referência na tela para cada um destes vídeos.
O experimento consistiu em realizar o processamento de todos os vídeos coletados, utilizando o Figura 30: Olhos e cantos localizados pelo eye tracker
Figura 31: Tela do aplicativo de avaliação do eye tracker.
software desenvolvido e, durante este procedimento, coletar diversas informações sobre o processo e seus resultados. A Figura 32 a seguir apresenta um diagrama do experimento.
Uma estimativa do olhar bastante precisa pode ser bastante difícil de ser atingida, no entanto, para aplicações em estudo de usabilidade, a região da tela para a qual o usuário está olhando já pode ser considerada uma informação valiosa. Assim como em Torricelli et al. (2008), a tela foi dividida em quadrantes. Desta forma, quando a estimativa é realizada dentro do mesmo quadrante que a posição de referência, um acerto de quadrante é contabilizado. A Figura 33 exemplifica estas situações.
Como é a última etapa do processo, o gaze tracker acaba envolvendo todas as demais atividades: os vídeos foram primeiramente coletados, depois o eye tracker faz a localização do olho, e por fim o gaze tracker utiliza estes dados para realizar a calibragem e estimar o ponto de fixação do olhar em cada frame do vídeo.
Os parâmetros considerados para medição foram:
Acertos de quadrante;
Distância entre coordenadas estimadas e de referência no eixo X;
Figura 32: Experimento de avaliação do eye/gaze tracker.
Distância entre coordenadas estimadas e de referência no eixo Y;
Distância euclidiana entre coordenadas;
Tempo de processamento de cada frame;
No primeiro experimento, foi processado um total de 51 vídeos coletados com 18 sujeitos diferentes. Os vídeos possuem duração de 210 a 2044 quadros. Esta variação é causada pela diferente velocidade de captura das webcams utilizadas, e também pela diferente capacidade de processamento (codificação de vídeo) dos computadores utilizados na captura. Duas posições diferentes para a webcam foram utilizadas, acima e abaixo do monitor. Nas capturas em que a câmera se situa abaixo do monitor, foram gravados vídeos com 15 pessoas, e naquelas com a câmera acima do monitor, 3 pessoas participaram das gravações.
Um segundo experimento, semelhante ao primeiro, foi conduzido com a finalidade de investigar a influência da distância do usuário nos resultados do gaze tracker. Neste experimento, 22 vídeos foram capturados, sendo que em 11 deles o usuário foi posicionado a uma distância aproximada de 30cm, e nos outros vídeos o usuário estava a cerca de 60cm da tela. É importante ressaltar que esta distância não é exata, pois este projeto não prevê a utilização de nenhum apoio para restringir os movimentos do usuário. Neste experimento a câmera foi posicionada acima da tela do computador.
Figura 33: Métricas de avaliação. (a) acerto de quadrante: quando o ponto estimado (círculo branco) se encontra no mesmo quadrante do ponto de referência (círculo transparente); (b) erro de quadrante: o ponto estimado se encontra em um quadrante diferente do ponto de referência;
(c) distância entre referência e estimativa.