PROTOCOLO DE AVALIAÇÃO ADOTADO

Para a realização da avaliação da usabilidade no ambiente multimodal foi estabelecido um conjunto de passos a serem seguidos de modo padronizado, fornecendo as mesmas condições de interação para todos os participantes, independentemente da natureza de sua necessidade especial.

O processo avaliativo teve início com a apresentação do termo de consentimento livre e esclarecido (TCLE), Apêndice 01, no qual o participante confirmou que tomou ciência da sequência de atividades que iria se desenvolver e de ser sua livre escolha interromper a qualquer momento a sua participação na avaliação. Na sequência, o participante respondeu a um questionário que detectou os seus hábitos no uso de tecnologia da informação e conheceu a sua experiência no acesso a ambientes virtuais de aprendizagem, conforme Apêndice 02.

Em seguida o aluno foi convidado a participar do uso e realizar a calibração da interface cerebral (Emotiv EPOC +), Figura 7.1, responsável pela captação dos estados emocionais do participante durante todo o desenvolvimento do experimento em desktop Apple. Em seguida, o ambiente computacional multimodal foi ativado e o aluno foi convidado a realizar uma primeira aula no ambiente Openredu utilizando como interface de interação o teclado e o mouse (figuras 7.2 e 7.3). Após essa primeira etapa o participante foi apresentado às novas interfaces e a sua condição de uso simultâneo por meio dos recursos de multimodalidade, recebendo um treinamento (Figura 7.6) para esse novo ambiente multi- interativo. Na sequência, o aluno foi desafiado a fazer uso de pelo menos 2 (duas) novas interfaces à sua escolha, sem fazer uso de teclado ou do mouse, para executar uma segunda aula (figuras 7.4 e 7.5) de teor semelhante à primeira no ambiente EaD.

No final do experimento, o participante respondeu a um conjunto de questionários sobre sua percepção de usabilidade e satisfação no uso do novo recurso, Apêndice 03 e

Apêndice 04 (Pesquisador), e após essas ações o experimento foi finalizado. Durante a

execução do experimento, a eficácia, eficiência e satisfação foram devidamente medidas por meio de instrumentos e aplicativos para a realização, a posteriori, da análise do comportamento indivídual e de grupo.

Figura 7.1-Interface Cerebral Emotiv Epoc + com Medições de Estados Emocionais

Fonte: EmotivEpoc (2017)

Figura 7.2– Primeira Aula no Openredu (Parte 01) – Texto Didático sobre Multimodalidade

Figura 7.3– Primeira Aula no Openredu (Parte 02) – Filme Assistivo sobre Interface Multimodal

Fonte : Openredu (2017)

Figura 7.4– Segunda Aula no Openredu (Parte 01) – Texto Didático sobre Acessibilidade

Figura 7.5– Segunda Aula no Openredu (Parte 02) – Filme assisivo sobre Acessibilidade Física

Fonte: Openredu (2017)

Figura 7.6– Pesquisador realizando Treinamento com Aluno Deficiente em Novas Interfaces Interativas no Ambiente Multimodal

EFICÁCIA

Para o experimento realizado a eficácia foi medida por meio da condição de completude das tarefas solicitadas ao usuário para realização da aula no ambiente EaD que utilizou a interface tradicional e a realização da aula seguinte utilizando o ambiente multimodal.

Esta informação foi obtida por meio de fontes distintas de informação das quais uma delas foi o formulário do avaliador, Apêndice 04, com campos específicos que documentaram a completude das tarefas propostas. Outra fonte sobre a eficácia foi o registro efetuados pelas filmagens realizadas durante a execução das tarefas gravando todas as sequências de navegação e as interações de cada participante no ambiente computacional.

As informações de todos os intrumentos avaliativos presentes na máquina foram sincronizadas com o mesmo referencial de tempo (Figura 7.7), utilizando o aplicativo Tclock Redux (TCLOCK 64, 2017). Sempre que há a necessidade de se gravar uma tela do usuário é preciso incluir um marcador de tempo com precisão adequada (geralmente segundos ou milissegundos). Os relógios das interfaces da maioria dos sistemas operacionais são relativamente pobres em recursos para escolha de fontes, formato de data e hora, precisão e outros recursos. O relógio escolhido para ser apresentado na tela permite gravar o periodo junto com o vídeo que registra as interações do usuário. O formato escolhido foi o posix / unix que é uma base de tempo descrita pelo número de segundos que transcorrem desde a “unix epoch data: 1970-01-01 00:00:00”, possibilitando uma maior precisão na observação da execução de um evento interativo.Foi utilizado como servidor de tempo de referência para base de sincronização o NTP-POOL para América do Sul (NTP-POOL, 2017), por meio do uso de protocolo Simple Network Time Protocol (SNTP).

Figura 7.7– Exemplo de Uso de Base de Tempo Comum entre as Máquinas Utilizadas para Registro da Usabilidade

EFICIÊNCIA

Representou o desempenho comparativo de cada aluno com relação à execução da aula diante do uso do teclado e mouse em relação à execução da aula semelhante utilizando as novas interfaces e sua condição multimodal de interação. Para isso, um aplicativo para o registros de comandos de mouse e teclado e dos movimentos realizados no espaço informacional foi utilizado. O Basic Key Logger (FIMBELL, 2011) registrou toda a sequência de ações do usuário durante a execução das atividades propostas por meio de Log de acompanhamento (TSCHINKEL et al., 2011).

SATISFAÇÃO DE USO (FORMULÁRIOS SUS, PEU E PU - COMPORTAMENTO EMOCIONAL E DEPOIMENTOS EXPONTÂNEOS )

Para o registro da satisfação do usuário, a pesquisa utilizou um conjunto de instrumentos de verificação em forma de questionários específicos para a avaliação de uso de Tecnologias da Informação e que a literatura considera como sendo recursos adequados e eficientes para a captação e a tradução da satisfação do usuário diante do uso de novas soluções de produtos ou serviços de Tecnologia. O primeiro desses recursos utilizado foi o questionário denominado de SUS (System Usability Scale) que é um método criado por Brooke (1996), e é usado para avaliar produtos, serviços, hardware, software, websites, aplicações  e qualquer outro tipo de interface. Foi também considerado como instrumento avaliativo as recumendações do pesquisador e Professor da Universidade de Michigan, Fred D. Davis por meio de seu clássico trabalho (DAVIS, 1989) que apresenta dois questionários para avaliar a percepção de uso (PU) e a percepção da facilidade de uso (PEOU) e que podem identificar o quanto o usuário assimilou a usabilidade do produto/serviço durante a avaliação (LUNA et al., 2017). Além desses instrumentos tradicionais de avaliação de usabilidade de novas tecnologias, a pesquisa utilizou também um instrumento mais atual para captação da percepção da satisfação de uso dos avaliados. Durante a execução de cada seção do experimento foram realizadas medições dos estados emocionais dos estudantes para confrontar com as avaliações obtidas nos questionários, cujos recursos avaliativos emocionais têm sido amplamente explorados em diversos trabalhos que fizeram uso do equipamento Emotiv EPOC+ com essa finalidade (GONZALEZ-SANCHEZ, 2011; MAMPUSTI 2011; PHAM e TRAN,, 2012; GOLDBERG, BRAWNER e HOLDEN, 2012; ANDUJAR et al., 2017). Além dos resultados obtidos por meio dos recursos tecnológicos, também foram considerados os registros dos depoimentos

expontâneos realizados pelos alunos em forma de texto, os quais expressaram a sua experiência no uso do novo ambiente multimodal e que foram obtidos por meio do registro dos comentários presentes na plataforma Openredu (Figura 7.8).

Figura 7.8– Comentários Espontâneos dos Alunos durante Realização das Aulas

Fonte: Openredu (2017)