Utilização dos tutoriais

Após a realização do primeiro estudo, decidimos realizar um novo estudo utilizando os tutoriais criados anteriormente e verificar se estes eram executados com sucesso ou perceber os problemas verificados pelos participantes e se existia alguma diferença entre os tutoriais criados por pessoas normovisuais e as pessoas cegas.

5.3.1 Pré-processamento dos tutoriais

Descartamos quatro tutoriais criados por pessoas cegas por se terem afastado do objetivo no tutorial, um por ter referência indelicada sobre as dificuldades das pessoas cegas, e outro por ter problemas com a gravação do áudio. Devido às limitações do sistema operativo, T2 (encaminhar mensagem), as três últimas etapas da interação não podem ser detetadas durante a reprodução. Assim a tarefa T2 foi descartada para o segundo estudo. Ao gravar os tutoriais, os utilizadores tiveram de demonstrar a tarefa ao dar instruções que resultam em ficheiros áudio com longos períodos de silêncio. Para resolver este problema, removemos os silêncios de todas as gravações áudio. Para os participantes treinarem a reprodução dos tutoriais, criámos um tutorial de exemplo que consistia na utilização da aplicação SimpleNote para apagar uma nota já existente.

43

5.3.2 Participantes

Recrutámos onze participantes cegos, com idades compreendidas entre 25 e os 63 anos (M = 45.36, DP = 14.85). Neste grupo, três eram do sexo feminino e os restantes do sexo masculino. Seis destes utilizadores têm experiência de utilização com o sistema Android enquanto cinco tinham experiência com iOS, a experiência na utilização de smartphones por parte dos participantes varia entre um mês até três anos. Nenhum destes participantes tinha participado no estudo anterior.

5.3.3 Dipositivo

Utilizamos o mesmo dispositivo que no primeiro estudo, um Xiaomi Redmi 3 com o Android 7.1.2, com o Alfroid instalado. O leitor de ecrã padrão do Android (Talkback) e o teclado padrão (GBoard – Google Keyboard) foram utilizados; os participantes tinham um conjunto de headphones disponíveis, se desejassem utilizar. Todas as aplicações necessárias para a concretização dos tutoriais estavam disponíveis no ecrã inicial do dispositivo. Para a análise posterior, um logger de interações foi adicionado ao Alfroid para recolher os comportamentos de navegação durante a reprodução de um tutorial (por exemplo, elementos focados e selecionados).

5.3.4 Procedimento

Os participantes foram informados de que o objetivo do estudo era entender como poderíamos facilitar o uso do smartphone, oferecendo tutoriais em contexto interativos, e que eles estariam a utilizar tutoriais previamente gravados por outras pessoas – normovisuais e cegas. Nós reforçámos que não tínhamos conhecimento da qualidade de cada tutorial e nos interessa saber quais foram os problemas e benefícios que encontraram em cada tutorial. Primeiro, os participantes completaram um questionário demográfico. Depois, para permitir que os utilizadores se acostumassem com o dispositivo e ao tutorial, eles completaram o tutorial de treino criado pela equipa de investigadores. Explicamos como eles poderiam começar e parar o tutorial, repetir as instruções e como é o comportamento dos tutoriais: primeiro, eles ouviram as instruções do autor seguidas pelo leitor de ecrã anunciando o objetivo que precisavam de encontrar e selecionar esse passo do tutorial. Durante o período de treino, eles foram convidados a usar o overlay com o botão para repetir uma instrução. Após completarem a tarefa e se sentirem confortáveis navegando no dispositivo, pedimos aos participantes que seguissem três tutoriais, um para cada tarefa válida.

44

Antes de iniciar cada tutorial, eles foram informados sobre qual era a tarefa que estavam a aprender (por exemplo, criar uma conversa de grupo no WhatsApp). Cada participante seguiu os tutoriais de ambos os grupos, mas não repetiu tarefas, ou seja, seguiram um tutorial aleatório (SP ou BP) para cada uma das tarefas realizadas. A ordem das tarefas foi contrabalançada e cada tutorial validado foi seguido pelo menos uma vez. Os participantes não podiam fazer perguntas durante a tarefa. Se os participantes nos informassem explicitamente, não podiam completar o passo, ou se estivessem presos mais de três minutos num passo, o tutorial seria considerado insucesso e eles passariam para o próximo. Após cada tutorial, eles completaram um breve questionário sobre esse tutorial específico. Depois de todas as tarefas terem sido concluídas, tivemos uma sessão onde perguntámos sobre os benefícios do Alfroid, limitações e como ela poderia ser melhorada. Finalmente perguntamos aos participantes sobre as informações que acreditavam serem essenciais para ter em todas as instruções.

5.3.5 Resultados

No total, os participantes realizaram 33 reproduções de tutoriais, sendo 17 com tutoriais criados por SP e 16 por BP; em que 10 deles foram concluídos com sucesso (36,36%). Os participantes completaram com sucesso 6 tutoriais criados por SP (taxa de sucesso de 40%) contra 4 (26,67%) criados por BP. Partindo por tarefa, T1 teve uma taxa de sucesso de 54,55%, T2 45,45% e T3 9,09%. Os tutoriais reproduzidos com sucesso levaram em média 396,20s (DP = 267,56). Embora a taxa de sucesso seja baixa para completar um tutorial, 65,43 % de todas as etapas necessárias foram concluídas com sucesso.

Os passos não eram igualmente exigentes (como é mostrado na Figura 14) que apresenta a taxa de sucesso de cada etapa tentada, dividida por tarefas. Todos os utilizadores completaram com sucesso o primeiro passo de cada tarefa (ou seja, abrindo

Figura 14: Taxa de sucesso dos passos por tarefa (um participante só está incluído no calculo da taxa de sucesso de uma etapa, se for concluída com sucesso a anterior)

45

a aplicação no ecrã inicial) e o segundo passo de T2. As dificuldades com T1 e T3 começaram no segundo passo para alguns utilizadores. O passo mais difícil de efetuar foi o terceiro passo do T3 com uma taxa de sucesso de 25% (Figura 14), onde os utilizadores tiveram dificuldades em interagir com o teclado do dispositivo.

Abaixo, informamos sobre os problemas identificados com o processo de reprodução, os comportamentos dos utilizadores ao seguir os tutoriais e o impacto de diferentes instruções.

Problemas da reprodução

Uma voz para múltiplos propósitos pode confundir o utilizador. O objetivo era

anunciado pelo leitor de ecrã após o áudio gravado para esse passo particular. O anúncio tinha as mesmas características de voz e áudio que qualquer outra interação com o leitor de ecrã. Alguns participantes interagiram com o dispositivo antes do objetivo ter sido anunciado, o que levou aos utilizadores a acreditar erradamente, que já se encontravam no objetivo, mas apenas o leitor de ecrã estava a anunciar o local onde estava focado após a última interação. Em três reproduções dos tutoriais, os utilizadores selecionaram o foco atual quando o anúncio foi feito e não conseguiram se recuperar dessa etapa incorreta. Em outro caso, um utilizador interagiu inadvertidamente com o ecrã e o anúncio foi sobreposto com o feedback de interação; O participante não conseguiu discernir entre os dois.

O desempenho do discurso do autor é relevante. Não controlamos a qualidade de áudio

das instruções dos autores, nem os treinamos sobre como narrar um tutorial. Assim, os participantes relataram ter problemas para entender algumas das instruções devido aos autores diminuírem o volume durante as instruções ou falando muito rápido.

Comportamento dos utilizadores

As pessoas muitas vezes desviam-se do caminho pretendido. A correlação

(Spearman’s rank-order) entre a taxa de sucesso e o número de desvios revelou uma correlação negativa estatisticacamente significante entre a taxa de sucesso do teste e o desvio do caminho (rs = -.402, p = .034). Em 77% das reproduções malsucedidas, houve

desvios no caminho do tutorial do qual os participantes não conseguiram recuperar. Em alguns dos casos, os participantes desconheciam que tinham selecionado o objetivo incorreto e ficaram confusos com o motivo de que, de repente, o tutorial anunciou que estavam fora do tutorial. Outros, sem querer, selecionaram um elemento e a falta de controlo sobre o dispositivo impediu que eles se recuperassem sem perder o controlo da tarefa em questão.

Às vezes, as pessoas não conseguiam encontrar o objetivo. As restantes reproduções

46

específico e desistir sem selecionar nada ou atingir o limite tempo definido para cada etapa (3 minutos). No entanto, a maioria dos participantes apenas desistiu de encontrar o elemento após uma navegação significativa. Em média, no último passo de um tutorial malsucedido, os utilizadores focaram 41.73 elementos (DP = 50.01) antes de desistirem. O alto desvio padrão é devido, em primeiro lugar, aos passos malsucedidos com o teclado onde as teclas focadas não podem ser rastreadas e, em segundo lugar, à grande variedade de comportamentos do utilizador. Alguns participantes interagiram rapidamente com o dispositivo e não esperaram que o leitor de ecrã leia os elementos inteiramente, focando tantos como 136 elementos. Outros exploram a tela meticulosamente e lentamente através da análise por toque, focando apenas em oito elementos desistindo depois de acreditar em terem navegado todos os elementos do ecrã. Observe que isso aconteceu mesmo com o objetivo sendo lido em voz alta pelo nosso sistema, algo que nós criamos e esperávamos que fosse uma solução para contrariar as descrições erradas fornecidas pelos autores.

O desvio do tutorial não impediu de alguns utilizadores de completar o tutorial.

Embora tenha provado ser um esforço difícil, em quatro casos, os utilizadores conseguiram recuperar depois de terem se desviado do tutorial pretendido. No total, 40% dos tutoriais bem-sucedidos têm um desvio no seu percurso. Em todos os casos, exceto um, os participantes voltaram para um estado anterior do tutorial para retomar, o mais frequentemente era para o inicio (por exemplo, ecrã inicial). Em um caso, um participante tomou um caminho alternativo e acabou ignorando uma das etapas do tutorial após dois desvios do caminho, encontrando-se num caminho alternativo.

Os participantes focaram mais elementos antes de se desviarem do caminho do tutorial. Em média, os utilizadores focaram 11,87 elementos (DP = 13,77) antes de

executarem a seleção correta. Nas etapas em que os utilizadores se desviaram do tutorial, eles focaram em média 19,70 elementos (DP = 29,39). O valor do desvio padrão alto foi causado pelas etapas em que o anúncio do objetivo levou ao utilizador a selecionar erroneamente o primeiro item focado.

O feedback áudio inesperado impediu o sucesso. No terceiro passo de T3, todos os

tutoriais instruíram o utilizador a entrar numa estação de rádio. Quando realizaram o passo, a música imediatamente começou a tocar. No terceiro passo, nenhum autor informou de forma preventiva que a música do utilizador começaria a ser reproduzida nem a forma de desligar a música. Os utilizadores não conseguiram entender o tutorial e o que fazer em seguida e, como tal não conseguiram completar a tarefa. Apenas um participante concluiu com êxito esta tarefa.

47

Instruindo o utilizador

Os utilizadores esperavam descrições detalhadas das interações necessárias.

Nenhuma instrução dada por SP continha descrições de interação. Embora 52% das instruções dos BP incluíam, ainda não eram suficientes. Em T1, os participantes tentaram, sem sucesso, navegar numa lista. Alguns não estavam conscientes de como executar um scroll, outros tentaram para controlar o scroll dos itens e passaram o objetivo várias vezes. Os participantes relataram que as instruções não devem apenas dizer-lhes para deslizar o ecrã, mas também deve incluir em qual direção fazê-lo. Além disso, mesmo para as interações mais básicas, como uma seleção, os participantes explicaram que se a instrução dissesse “Pressione” em vez de “Duplo toque”, eles não saberiam sobre como proceder. No caso particular de interação com um teclado, nenhum tutorial explicou como usá-lo. No T3, seis utilizadores não conseguiram utilizar o teclado no período requerido.

Os utilizadores esperam os nomes exatos do objetivo, qualquer coisa menos conduzida a autoexplicação. Da mesma forma, para as descrições das interações, os

utilizadores relataram estar confusos quando os autores deram instruções com diferentes nomes do objetivo. Nas instruções dos SP, isso foi exacerbado por uma completa falta de conhecimento sobre a descrição textual de itens visuais (por exemplo, a seta verde descrita como “avançar” seria “próximo”; o ícone avançar como “reenviar”). No entanto, algumas instruções dos BP também não forneceram uma descrição exata. No T3, uma das etapas exigia que os utilizadores selecionassem um elemento com “Ícone Rádio BFRP”, mas vários autores descreveram apenas o objetivo como “Rádio BFRP”. Um dos participantes mencionou que se não fosse para o anúncio do objetivo, ele teria procurado obsessivamente o objetivo “nova mensagem” dada pela gravação do áudio do passo, em vez de tentar passar por “nova conversa”.