Projeto de agentes de software para acionar captura de dados multimodais de

psicofisiológicos dos jogadores

Como foi visto nos capítulos 2 e 5, dados multimodais dos alunos jogando podem ser utilizados como evidências para identificar se houve aprendizagens durante o jogar ou mesmo para identificar fatores que influenciaram nas aprendizagens. Para facilitar esta captura, o framework disponibiliza agentes inteligentes de software para acionar comandos de captura de dados de dispositivos de monitoramentos psicofisiológicos dos jogadores.

Vários desses agentes podem ser desenvolvidos e disponibilizados pelo framework, mas, inicialmente, para fazer parte do protótipo do framework projetou-se dois tipos de agentes: um para a captura de imagens do jogador jogando e outro para o monitoramento dos movimentos dos olhos do jogador.

As imagens do jogador jogando poderão ser utilizadas para a identificação das expressões faciais dos jogadores, durante o jogar, e estas poderão ser associadas aos seus estados emocionais que predispõem, ou não, ao aprendizado (URIBE- QUEVEDO; ALVES, 2015).

Os registros dos movimentos dos olhos dos jogadores poderão servir como fonte de informações sobre a atenção de um indivíduo e suas aprendizagens durante o jogar de um jogo digital (LAI et al., 2013).

Agente inteligente de software para captura de imagens do jogador jogando

As imagens do jogador jogando poderão servir para uma análise visual direta dos professores para verificar o engajamento dos alunos durante o jogo e para serem processadas em um módulo de tratamento dos dados coletados, para classificação de suas expressões faciais (PEREIRA-JR; DE SOUZA; DE MENEZES, 2016ª, 2018).

Um agente de captura das imagens está disponível no framework para que os desenvolvedores de jogos incluam em seus jogos o acionamento das webcans do computador para que as imagens dos jogadores sejam capturadas em momentos importantes do jogo tais como: o início do jogo; o início e o fim de um nível, uma fase ou uma etapa do jogo; um encontro com um NPC (Non Personal Character); um momento que exige muita atenção, etc. Cada vez que o agente é chamado ela deverá gravar:

 Um arquivo, em uma pasta “diretório corrente /imagensjogadores” com a imagem do tipo PNG do jogador jogando com o seguinte título:

I-Y-Z-ddmmaahhmm.raw.png

onde:

I = de imagem

Y = Código do jogador (que ele informou quando iniciou o jogo)

Z = Número sequencial da imagem (1,2,3, ...). Recomeça de 1 para cada

novo jogador

ddmmaa = dia + mês + últimos dígitos do ano hhmm = hora + minuto

 Para cada imagem gravada o agente deverá incluir um registro no arquivo TXT no formato do Quadro 6, que será utilizado, posteriormente, para se gravar o código da expressão facial identificada por uma rede neural deep learning. Nesse registro o campo Tipo AEEJ = ´T´ (T= evidencia estado do jogo), o campo Código AEEJ = ´900´ (significa registro de uma expressão facial) e no campo Valor 1 AEEJ será gravado o número indicador da expressão facial que será identificada posteriormente através do processamento da imagem que está no arquivo com rótulo gravado no campo ´Nome do Arquivo que contém a imagem´.

A Figura 27 mostra o uso do agente para capturar as imagens de um jogador jogando que servirão posteriormente como base para a identificação das suas expressões faciais em determinados momentos do jogo.

Figura 27 - Agente de software acionando a webcam para coletar imagens dos jogadores jogando

Fonte: Próprio autor.

Agente para acionar um dispositivo de monitoramento dos movimentos dos olhos de um jogador

Na literatura da Neurociência encontram-se teorias que associam a aprendizagem do ser humano aos movimentos de seus olhos (LAI et al., 2013). Com base nessas teorias, o método de rastreamento dos movimentos dos olhos tem despontado como um canal promissor para que os educadores possam avaliar as aprendizagens de seus alunos. O procedimento mais largamente utilizado para monitoramento das atividades oculares de um indivíduo é aquele em que se utiliza um aparelho denominado de eye-tracker que, através de uma luz infravermelha refletida no olho humano, consegue identificar e gravar, em um computador, dados sobre os movimentos dos olhos de quem está utilizando-o (BARRETO, 2012).

Com base nos conhecimentos obtidos na revisão da literatura sobre o assunto, principalmente naqueles obtidos em trabalhos correlatos, foi feita uma análise de quais os possíveis significados tantos dos dados que poderiam ser coletados por um eye-tracker de um jogador jogando, quanto dos dados que poderiam ser gerados a partir deles (PEREIRA-JR; DE MENEZES; DE SOUZA, 2017). Estendeu-se essa análise para abranger também os possíveis usos dessas informações pelos professores no processo de avaliação das aprendizagens, conforme está mostrado no ANEXO B.

Propôs-se então um agente inteligente de software, que ficará disponível no framework para que os desenvolvedores incluam chamadas a ele em seus jogos digitais, chamadas essas para acionar os dispositivos de monitoramento dos movimentos dos olhos. A Figura 28 mostra um agente de software acionando o dispositivo de monitoramento dos movimentos dos olhos e gravando um arquivo log com dados sobre os movimentos dos olhos.

O Quadro 6 mostra o layout dos registros que devem ser gravados pelo agente que aciona o dispositivo para monitoramento dos olhos para coletar dados das fixações e/ou piscadelas, que levarão a informações relativas aos aprendizados. Neste caso, os registros terão os seguintes preenchimentos de campos: Tipo AEEJ = ´A ´ (A = ação do jogador), Código AEEJ = ´951´ (código para fixações) e ´952´ (código para piscadelas), Valor 1 AEEJ = coordenada X da Fixação, Valor 2 AEEJ = coordenada Y da Fixação, Valor 3 AEEJ = número de piscadelas ou zero para monitoramento exclusivo das fixações.

Figura 28 - Agente inteligente de software acionando o dispositivo de monitoramento dos movimentos dos olhos

7.4 AGENTE INTELIGENTE DE SOFTWARE PARA ADAPTAÇÃO DO JOGO AO