Criação e reprodução de tutoriais em contexto para melhoria da acessibilidade de dispositivos móveis

2018

UNIVERSIDADE DE LISBOA FACULDADE DE CIÊNCIAS DEPARTAMENTO DE INFORMÁTICA

Criação e reprodução de tutoriais em contexto para melhoria da

acessibilidade de dispositivos móveis

Leonardo Andrés Coelho Camacho

Mestrado em Engenharia Informática

Especialização em Sistemas de informação

Dissertação orientada por:

Agradecimentos

Primeiramente, o meu especial agradecimento ao meu orientador, Professor Doutor Tiago Guerreiro e coorientador, André Rodrigues, por todo o seu apoio, partilha de conhecimentos e motivação ao longo desta jornada que auxiliaram na realização desta dissertação.

Ao LASIGE pelas condições fornecidas durante a realização do meu trabalho. À minha família, em especial à minha mãe, irmão, tia e avó, por todo o apoio e motivação demonstrado durante estes anos difíceis de faculdade, sem nunca me deixarem desistir. Apesar da distância, estiverem sempre presentes e guiaram-me na concretização de mais um sonho.

A todas as pessoas que partilharam a sala 34, que sempre deram forças e ajudaram ao longo da realização deste projeto, sem eles esta caminhada teria sido muito mais árdua de alcançar.

A todos os amigos que apoiaram nesta fase, principalmente à Elizabeth e a Catarina que, mesmo não estando dentro do assunto, estiveram sempre presentes e tentavam sempre ajudar nos momentos menos bons.

À Fundação Raquel e Martin Sain que estiveram sempre disponíveis a auxiliar na validação do projeto e a todos os participantes que se mostraram disponíveis a contribuir para a minha dissertação.

Por fim, à Faculdade Ciências da Universidade de Lisboa e aos Serviços de Segurança Social da Universidade de Lisboa, que forneceram todas as ferramentas e deram estabilidade para poder alcançar este grande marco na minha vida.

i

Resumo

Assistimos a uma evolução dos dispositivos móveis com teclas físicas para equipamentos com um grande ecrã tátil. Esta evolução trouxe algumas dificuldades para as pessoas cegas, tornando o manuseamento deste tipo de equipamentos uma tarefa muito complexa e por sua vez tenham de recorrer a amigos e familiares para os auxiliarem em algumas tarefas.

Perante este problema, nós apresentamos o Alfroid um sistema de tutoriais em contexto não visuais para suporte na adoção e uso de um smartphone. O processo de criação de tutoriais é efetuado por demonstração. Posteriormente, é possível partilhar o tutorial criado de forma a poder contribuir para que outros utilizadores possam usufruir deste. Para a reprodução dos tutoriais, existe um botão sempre presente no topo do ecrã, que uma vez clicado lista todos os tutoriais que passam pelo ecrã presente. Quando selecionado um tutorial, em cada passo, é fornecido uma descrição/dica do passo a realizar. De forma a fornecer um nível de ajuda adicional, implementamos a sonificação este fornece um feedback auditivo composto por 2 toques e quanto mais próximos estes estiverem significa que o utilizador está a aproximar do objetivo.

Apresentamos um primeiro estudo sobre o processo de criação de tutoriais em contexto não visuais por participantes cegos e normovisuais, identificando as diferenças entre as instruções fornecidas. As instruções fornecidas pelos participantes normovisuais eram mais concisas, tinham menos e, às vezes, enganavam com a informação do objetivo devido às dificuldades na conversão da referência visual a descrições precisas.

Por fim, no segundo estudo realizado em que 11 participantes cegos seguiram os tutoriais criados no primeiro estudo verificámos que o Alfroid enriqueceu cada tutorial com o anúncio do elemento alvo. Contudo, não houve diferenças na sua eficácia dos tutoriais entre os diferentes grupos. Os participantes obtiveram uma baixa taxa de sucesso (36%), com os principais motivos para a falha foram o desvio do caminho do tutorial e não conseguirem encontrar o objetivo no ecrã.

Palavras-chave: Acessibilidade móvel, Tutoriais em contexto interativos, Crowdsourcing, Smartphone, Android

iii

Abstract

In the last decade we have witness an evolution of mobile devices shifting from physical keys to the equipment’s with a large touchscreen. This change created additional difficulties for blind people. Interacting with touchscreens with no bezel or any other tactile feedback can be very difficult for people that have grown accustomed to rely on physical keys. This leads to blind people having to rely on friends and family to perform some of the tasks that they want.

To address this issue, we present Alfroid, a system that enables the authoring and playthrough of in context smartphone tutorials. To create tutorials users simply must perform a demonstration of the required steps while explaining the process. Afterwards it is possible to share the tutorial created so other users can have access to it as well. To see a list of all the tutorials users can rely on a button that is always available on the top of the screen. When a tutorial is chosen, users are guided step by step and in each the description/tip recorded during the authoring process is announced to the user as well as the target element. To improve the quality of assistance, we implemented a sonification technique that provide auditory feedback composed by two intermittent sounds when an element is focused; the shorter the duration between sounds is the closer they are to their target.

We present the first study on the authoring process of in-context tutorials for blind people created by both sighted and blind people. In this study we identify the differences between the given instructions of both groups. We found the instructions given by sighted participants were concise, had less details and sometimes had deceiving information. Sighted participants had difficulties in converting visual reference to accurate target descriptions (e.g. green arrow instead of confirm option).

Lastly, on the second study we exposed eleven blind participants to the tutorials created. In this study we were able to assess how effective were the tutorials created using Alfroid and how the different instructions provided affected the participants ability to follow through. Surprisingly, we found no significant different between the effectiveness of tutorials created by blind and sighted people. The participants had a low success rate (36%). The main issue identified was participants often deviated from, the tutorial path and were unable to recover even with the additional assistances and alerts provided by Alfroid.

Keywords: Mobile Accessibility, In context tutorials, Crowdsourcing, Smartphone,

v

Conteúdo

Capítulo 2 Trabalho Relacionado ... 5

2.1 Acessibilidade móvel ... 5

2.2 Ajuda crowdsourced ... 9

2.3 Tutoriais em contexto interativos ... 10

2.4 Sumário ... 14

Capítulo 3 Conceção ... 16

3.1 Cenários dos problemas ... 17

3.1.1 Cenário 1: Primeira interação com um smartphone ... 17

3.1.2 Cenário 2: Dúvida mais específica ... 17

3.1.3 Cenário 3: Ajuda a distância ... 18

3.2 Descrição da abordagem proposta ... 18

3.2.1 Tutoriais em contexto ... 18

3.2.2 Criação dos tutoriais ... 19

3.2.3 Reprodução dos tutoriais ... 19

3.2.4 Sonificação ... 19

3.2.5 Partilha dos tutoriais ... 20

3.3 Cenários de interação... 20

3.3.1 Resposta Cenário 1: Primeira interação com um smartphone... 20

3.3.2 Resposta Cenário 2: Dúvida mais específico ... 20

3.3.3 Resposta Cenário 3: Ajuda a distância ... 21

3.4 Requisitos ... 21

vi

3.4.2 Requisitos não funcionais... 22

Capítulo 4 Implementação ... 23 4.1 Arquitetura ... 23 4.2 Componentes ... 24 4.2.1 ServiceTutorial ... 24 4.2.2 Overlay ... 25 4.2.3 Biblioteca ... 25

4.2.4 Componentes auxiliares e estrutura de dados ... 27

Gravação do tutorial ... 29 4.2.5 Reprodução do tutorial ... 30 Capítulo 5 Avaliação ... 34 5.1 Perguntas de investigação ... 34 5.2 Criação de tutoriais ... 34 5.2.1 Participantes ... 34 5.2.2 Dispositivos ... 35 5.2.3 Desenho da tarefa ... 35

5.2.4 Dicas para a criação de tutoriais acessíveis ... 36

5.2.5 Procedimento ... 36

5.2.6 Análise ... 37

5.2.7 Resultados ... 37

5.3 Utilização dos tutoriais ... 42

5.3.1 Pré-processamento dos tutoriais ... 42

5.3.2 Participantes ... 43

5.3.3 Dipositivo ... 43

5.3.4 Procedimento ... 43

5.3.5 Resultados ... 44

5.4 Discussão ... 47

5.4.1 Conteúdo das instruções ... 47

vii

5.4.3 Suporte de criação de tutoriais por pessoas não profissionais ... 49

5.4.4 Instruções fornecidas ... 49

5.4.5 Reprodução sem desvios ... 49

5.4.6 Tutoriais personalizáveis ... 50

Capítulo 6 Conclusão ... 51

6.1 Limitações ... 52

6.2 Trabalho Futuro ... 53

ix

Lista de Figuras

Figura 1: Gestos utilizados no SlideRule ... 5

Figura 2: Exemplo de interação com o NavTouch ... 6

Figura 3: A esquerda é um teclado Braille físico e a direita é um tablet com teclado Braille BrailleTouch ... 7

Figura 4: Exemplo de interação com o JustSpeak ... 8

Figura 5:Exemplo de interação com o Vizwiz ... 9

Figura 6:Exemplo de interação do VizLens ... 10

Figura 7: O overlay para os gestos no EverTutor: (a) Toque (b) Toque longo (c,d) Ampliação/Redução (e) Duplo Toque (f) Swipe (g) Deslocament: ... 13

Figura 8:Diagrama de alto nível das componentes do sistema ... 24

Figura 9: Obtenção do texto ou descrição do elemento através dos filhos ... 26

Figura 10 Excerto de representação do tutorial de criação de uma nota na aplicação SimpleNote ... 28

Figura 11: Exemplo de interação na gravação de um tutorial... 30

Figura 12: Exemplo de interação de uma reprodução do tutorial com sucesso ... 32

Figura 13: Cálculo da distancia linear entre elementos ... 33 Figura 14: Taxa de sucesso dos passos por tarefa (um participante só está incluído no calculo da taxa de sucesso de uma etapa, se for concluída com sucesso a anterior) . 44

xi

Lista de Tabelas

Tabela 1: Resumo das caraterísticas dos sistemas analisados ... 15 Tabela 2:Descrição das tabelas ( TT significa Tutorial de Treino) ... 35 Tabela 3: Frequência dos códigos nas instruções dos tutoriais ... 38

1

Capítulo 1

Introdução

Nos dias de hoje, observamos uma adesão massiva da sociedade aos smartphones e, por sua vez, o desaparecimento dos telemóveis com teclas físicas. Este sucesso advém da grande evolução de um equipamento que servia somente para comunicar para uma ferramenta imprescindível no nosso quotidiano, em tarefas de produtividade, lazer e sociais. O grande poder de processamento, a oportunidade de estar sempre com acesso a internet e a possibilidade de instalar inúmeras aplicações são caraterísticas que antes só eram possíveis de obter recorrendo a um computador.

1.1 Motivação

Apesar dos diversos benefícios dos smartphones, os ecrãs táteis, que são característicos destes dispositivos, não são acessíveis a todas as pessoas. Uma pessoa cega ao utilizar um smartphone é confrontada com diversos desafios na navegação do dispositivo [11,17,26] e também na entrada de texto [8,16,20]. A adaptação a estes equipamentos é muito difícil e frustrante o que faz com que algumas pessoas cegas voltem a utilizar os telemóveis com teclas físicas, onde estes problemas não existem e o que as torna excluídas socialmente. Tem havido um esforço na integração de soluções permitindo que os smartphones se tornem mais acessíveis para as pessoas cegas diminuindo o período de adaptação e tornando a utilização destes equipamentos mais simples. Existem duas abordagens utilizadas:

• Aplicações personalizadas (Custom-made application) • Soluções globais (System wide)

As aplicações personalizadas têm a vantagem de poder aumentar a experiência de utilização através da adaptação das aplicações ao público-alvo. Contudo, o desenvolvimento das mesmas é muito dispendioso, pois consome muito tempo para a sua realização e é limitada às aplicações desenvolvidas, impedindo o utilizador de se manter a par dos restantes, sempre que uma nova aplicação ou funcionalidade é disponibilizada.

2

Por outro lado, temos as soluções globais que, como o próprio nome indica, é global ao sistema e não específico a uma aplicação. Esta abordagem permite que os utilizadores com capacidades variáveis possam navegar e usar os seus equipamentos. O Talkback1 _e

o VoiceOver2 _{são sistemas globais muito populares entre as pessoas cegas, pois permitem} a acessibilidade a smartphones, Android e iOs respetivamente, por pessoas cegas. Nestes casos, com o auxílio de um leitor de ecrã, o utilizador é informado do elemento que está selecionado e toda a navegação é feita através de toques ou gestos.

Embora as soluções descritas tenham melhorado a experiência de utilização de smartphones das pessoas cegas, o estudo realizado por Rodrigues et al. [19] mostra que os utilizadores continuam com dificuldades na adoção a um smartphone devido a várias razões, incluindo a frustração de não dominar o equipamento como desejado e falhar na comunicação com a família e amigos. Numa primeira abordagem, estes utilizadores são confrontados com a falta de suporte e um conjunto de inconsistências no comportamento dos equipamentos/serviços de acessibilidade. Na conclusão do estudo, os participantes mantêm as suas preocupações iniciais, mas mesmo assim, as pessoas cegas valorizam os benefícios na utilização destes dispositivos e mostram-se dispostos a continuar a explorar e melhorar a sua habilidade no uso dos mesmos. Os resultados deste estudo revelam as falhas das ferramentas de acessibilidade corrente que são sentidas pelos utilizadores cegos que se encontram a dar os primeiros passos na adoção destes equipamentos.

De forma a ultrapassar os obstáculos encontrados, os utilizadores recorrem aos amigos e familiares para os auxiliarem ou até mesmo realizando pesquisas, sejam estas em fóruns ou tutoriais online. A assistência de terceiros é a forma mais eficaz de um utilizador cego colmatar os seus problemas, mas isto requer a disponibilidade do ajudante o que nem sempre se verifica. Por sua vez, a assistência através de conteúdos online, requer que o utilizador consiga efetuar uma boa pesquisa, compreender as soluções fornecidas e conseguir adaptar ao seu equipamento. Outra dificuldade na utilização deste tipo de assistência deve-se à constante mudança de atenção entre a descrição fornecida para colmatar o problema e a realização da tarefa onde surgiu a dúvida.

O HintMe, solução desenvolvida por Rodrigues et al. [18], vem simplificar o processo de expor a sua dúvida ou até mesmo procurar por questões previamente colocadas por outros utilizadores. Todas as questões realizadas ficam associadas com o contexto onde foram realizadas de forma a que os utilizadores que fornecerem uma resposta possam facultar a informação mais indicada para a situação em concreto.

1 _{https://support.google.com/accessibility/android#topic=, última visita: 19-09-2017} 2 _{https://www.apple.com/accessibility/iphone/vision/, última visita: 19-09-2017}

3

1.2 Objetivos

O objetivo principal a alcançar nesta dissertação é o desenvolvimento de um sistema de criação e reprodução de tutoriais em contexto e interativos que possibilita uma melhoria na experiência de utilização de smartphones às pessoas cegas. Com esta melhoria, pretende-se que as pessoas cegas possam usufruir dos equipamentos sem dependerem diretamente de amigos ou familiares. Para poder alcançar este grande objetivo é necessário:

• Permitir de forma simples e intuitiva a criação de tutoriais em contexto, através da demonstração da tarefa desejada.

• Permitir a reprodução de tutoriais partilhados por outros utilizadores de maneira que possam resolver as suas dúvidas de uma forma clara e eficaz. • Avaliar a criação de tutoriais por pessoas cegas e normovisuais de forma a

perceber a exequibilidade da abordagem proposta.

• Avaliar a reprodução dos tutoriais de forma a compreender se os tutoriais foram concluídos com sucesso ou os problemas destes para o insucesso.

1.3 Abordagem utilizada

Os tutoriais são uma ferramenta amplamente utilizada na aprendizagem e na resolução de problemas. Os tutoriais mais partilhados englobam-se em duas grandes categorias: os tutoriais em formato estáticos e os tutoriais em vídeo (ex: no YouTube), com canais dedicados a acessibilidade tal como Tech Accessibility Tutorial [22]. Apesar da sua ampla utilização, estes tutoriais têm a desvantagem que o utilizador é forçado a dividir a atenção entre o tutorial e a tarefa a realizar. Os tutoriais em contexto vêm colmatar este problema devido à reprodução do tutorial ser apresentada no mesmo ambiente onde a tarefa descrita será realizada. Ainda que estes tutoriais forneçam uma aprendizagem mais simples e eficaz, a sua desvantagem é a sua criação, por ser um processo mais complexo.

Um exemplo deste tipo de tutoriais, no contexto de páginas web, foi implementado por Chilana et al. [5] ao desenvolverem o LemonAid. Esta ferramenta permite, sem a necessidade de alterar o código fonte de uma página web, que os utilizadores coloquem questões através da seleção de um nome, um widget, um link ou outro elemento gráfico que tenha suscitado dúvidas. Estas questões podem ser respondidas pelos outros utilizadores da ferramenta, e assim, todos os utilizadores contribuem para o enriquecimento da clareza da ferramenta.

Inspirado no exemplo anterior, Rodrigues et al. conceberam o Hint Me [18]. Esta ferramenta permite dar assistência na utilização de smartphones aos utilizadores cegos. Através de um botão sempre presente em todos os ecrãs, o utilizador pode colocar uma

4

questão ou pesquisar todas as questões relacionadas com a aplicação que está a utilizar, ecrã atual ou com um elemento específico selecionado.

Após a análise destes trabalhos e de forma a agilizar o processo de criação e reprodução dos tutoriais em contexto, idealizamos um sistema em que o processo de criação fosse a realização da tarefa, em que em cada passo é dada uma breve descrição da ação a efetuar, sendo que no fim da criação o utilizador apenas tem de dar um título e uma breve descrição do tutorial. Utilizando um botão que está sempre presente, permite o utilizador pesquisar tutoriais que passem por este ecrã, quando selecionado um tutorial, este começa com a descrição do passo a realizar e, em seguida, é dada uma dica que consiste no elemento clicado pelo criador do tutorial. Ao longo da reprodução do tutorial, no topo do ecrã, existe um botão para poder repetir a descrição e a dica dada naquele passo.

Após a implementação da ferramenta, apresentamos a abordagem a um grupo de utilizadores cegos experientes para estes poderem dar dicas de como dar instruções a pessoas cegas. Numa primeira fase, realizamos um estudo em que avaliávamos os tutoriais criados por pessoas normovisuais e cegas. Por fim, realizamos um estudo apenas com pessoas cegas, utilizando os tutoriais criados no estudo anterior de forma a compreender se as pessoas cegas concluíam os tutoriais com sucesso ou levantavam problemas que não as levassem a acabar o tutorial.

1.4 Contribuições

As contribuições desta dissertação são:

• Nova abordagem e sistema que fornece assistência para utilizadores

cegos: Através da abordagem criada é possível, pela primeira vez, fornecer

assistência a utilizadores cegos de uma forma simples e intuitiva. O sistema permite a criação de tutoriais em contexto interativos pelo meio da demonstração. Após a sua criação é possível partilhar os tutoriais criados para outros utilizadores usufruírem de ajuda nas dúvidas que possam existir. • Avaliação da criação dos tutoriais por diferentes populações:

contribuímos com uma comparação compreensível entre tutoriais criados por pessoas normovisuais e cegas.

• Avaliação da reprodução dos tutoriais: após um primeiro estudo sobre o processo de criação, realizamos uma avaliação da reprodução dos tutoriais criados anteriormente e analisamos se os tutoriais foram realizados com sucesso ou os problemas que levou a não serem realizados corretamente.

5

Capítulo 2

Trabalho Relacionado

Nesta secção serão explorados os trabalhos realizados no passado em temáticas que se enquadram na solução proposta. Com isto, é pretendido não só a compreensão dos problemas existentes, mas também ficar a conhecer os sistemas que foram desenvolvidos anteriormente, analisando as suas vantagens e limitações.

2.1 Acessibilidade móvel

Os telemóveis têm evoluído de equipamentos que serviam apenas para comunicar, para um pequeno computador no qual temos uma grande variedade de serviços ao nosso dispor. Uma das coisas que se perdeu com esta evolução foi a interação através de botões físicos, a qual passou a ser realizada através do ecrã táctil. Nos ecrãs tácteis a interação é realizada ao carregar diretamente no ecrã sem usar equipamentos intermédios. Para uma pessoa cega, esta evolução foi difícil a nível de adaptação, dado que, é uma nova maneira de interação na qual não têm nenhum feedback físico. Vários investigadores ajudaram a melhorar a acessibilidade nos smartphones principalmente em tarefas mais complexas, tais como interação através de gestos e entrada de texto. Através das investigações realizadas, a utilização de smartphones por pessoas cegas foi simplificada.

Inicialmente, Kane et al. [11] apresentaram o SlideRule, um sistema que, através de um conjunto de técnicas de interação multi-toque baseado em áudio, permitia às pessoas cegas ter acesso a equipamentos com ecrã tácteis. Este usa um conjunto de 4 gestos básicos para a interação: (1) explorar listas com apenas um dedo, (2) 2 dedos para selecionar o item, (3) gestos multidirecionais para realizar ações adicionais, e (4) gesto de seleção em L para navegar em informação hierárquica. A Figura 1 mostra os gestos básicos usados no SlideRule.

6

Outro trabalho que explora uma técnica de interação diferente é o NavTouch apresentado por Guerreiro et al. [8]. Esta técnica consiste na utilização da capacidade do utilizador em executar gestos direcionais e através disso navegar no alfabeto. O alfabeto é dividido pelas vogais, assim obtendo cinco listas nas quais o primeiro valor será sempre uma vogal. Através dos gestos direcionais o utilizador pode navegar entre as letras. A Figura 2 mostra a interação efetuada pelo utilizador.

Com este método de navegação, o utilizador não é forçado a memorizar ou adivinhar a localização no ecrã. Ações especiais estão nos cantos do ecrã por estas serem mais fáceis de identificar.

A Google e a Apple, a fim de tornarem os seus sistemas operativos acessíveis, desenvolveram as soluções TalkBack e VoiceOver respetivamente. Estas soluções são muito semelhantes, o que torna simples a mudança de equipamentos com estes sistemas. O funcionamento consiste na utilização de um leitor de ecrã que lê o item que está selecionado e através de gestos pode navegar entre os vários itens existentes no ecrã.

Outro grande problema na acessibilidade móvel está relacionado com a entrada de texto no equipamento. Inicialmente, existiam equipamentos portáteis com 6 botões para a escrita em Braille. Embora estes fossem grandes e estranhos, eram muito úteis e eficazes para as pessoas cegas. Contudo, a sua aquisição era muito dispendiosa. Tendo em conta este problema, Southern et al. [20] realizaram uma avaliação ao BrailleTouch, um teclado para um smartphone acessível para pessoas cegas com a finalidade de comprovar se um teclado Braille eletrónico pode ser substituído por um teclado de software. Na Figura 3 podemos ver um teclado Braille tradicional e um tablet com o BrailleTouch. A conclusão deste estudo mostra que o BrailleTouch tem potencial e pode substituir teclados acessíveis físicos.

7

Uma solução semelhante à descrita anteriormente é o BrailleType proposta por Oliveira et al. [16]. Este sistema usa um método de entrada de texto baseado no alfabeto Braille e pretende tornar a interação mais simples. O BrailleType permite que as pessoas cegas consigam introduzir texto como se estivessem a escrever braille usando as matrizes tradicionais de 6 pontos. Estes botões são grandes e estão colocados nos cantos e nas extremidades do ecrã o que permite uma procura fácil. Sempre que um utilizador clica ou arrasta um dedo num novo botão, o número do ponto correspondente é anunciado audivelmente, mas o botão não é imediatamente selecionado. Existe um pequeno temporizador que previne seleções involuntárias. Este temporizador pode ser facilmente configurado, permitindo uma maior adaptabilidade diminuindo ou eliminando o tempo de espera.

Outra abordagem para a entrada de texto, foi desenvolvida por Azenkot et al. [1], o Perkinput, um método de entrada de texto em Braille. Através do Input Finger Detection (IFD) o input detetado é através do toque no ecrã com vários dedos onde cada dedo corresponde a 1 bit diferente, dos 6 bits necessários para representar um caracter em Braille. Este método de entrada de texto permite introduzir um caracter com as duas mãos, utilizando 3 dedos de cada mão. Já quando o utilizador apenas utiliza uma mão, este introduz 3 bits de cada vez. É possível com este sistema utilizar um segundo ecrã para o utilizador poder introduzir o texto 2 vezes mais rápido.

Aproveitando a experiência por parte dos utilizadores cegos na entrada de texto em Braille e na oportunidade de melhorar a precisão da escrita de acordes em superfícies planas, Nicolau et al. [14] desenvolveu um novo sistema de correção para entrada de texto que utiliza o próprio acorde como base para a analise de semelhança entre palavras. Os resultados experimentais obtidos por este sistema mostram um aumento na eficácia na correção instantânea de acordes não reconhecidos e ao nível da palavra, onde supera os populares corretores ortográficos fornecendo sugestões corretas para 72% das palavras incorretas.

Uma outra possibilidade de interação entre as pessoas cegas e os smartphones poderá ser realizada através de comando de voz. O JustSpeak desenvolvido por Zhong et al. [26] é uma solução de controlo universal para o acesso de pessoas cegas ao sistema operativo

Figura 3: A esquerda é um teclado Braille físico e a direita é um tablet com teclado Braille BrailleTouch

8

Android. Esta solução oferece duas contribuições quando comparado com os sistemas existentes explicados anteriormente: primeiro, permite o acesso do controlo de voz do Android para qualquer aplicação instalada na qual é fornecido um conjunto de comandos de voz baseados no contexto da aplicação em utilização e, segundo, fornece uma integração mais eficiente e natural com suporte de vários comandos de voz na mesma expressão, como por exemplo, “Abre o Gmail e atualiza”. O controlo de voz é uma forma eficiente e eficaz de interação com um utilizador cego pelo facto de não requerer localização do alvo. O JustSpeak é executado em segundo plano como um serviço que pode ser ativado com um simples gesto, um botão ou NFC. O áudio capturado é transcrito para texto e analisado pelo computador para fornecer o comando pedido pelo utilizador. Na Figura 4 observamos uma interação de um utilizador com o JustSpeak a efetuar uma vídeo chamada utilizando do Hangouts.

Uma das formas de quebrar algumas barreiras encontradas pelas pessoas cegas ao utilizarem os smartphones pode ser através de Macros. Rodrigues et al. [17] apresentam as Assistive Macros, um serviço de acessibilidade que permite que aos utilizadores executarem uma sequência de comandos com uma única seleção. As Assistive Macros permitem gravar uma sequência de interação inacessível por uma pessoa cega. Esta sequência pode ser realizada com a ajuda de um amigo ou familiar. Uma vez a macro concretizada, pode ser acessível diretamente no dispositivo ou partilhada para outras pessoas poderem usufruir desta macro.

No estudo realizado por Rodrigues et al [19] é possível conhecer as maiores preocupações, expectativas, desafios, barreiras e as experiências que os utilizadores cegos enfrentam no período de adaptação a um smartphone. A maior preocupação por parte das pessoas cegas é não conseguirem dominar o smartphone e que isso possa impedir de comunicar com amigos ou familiares. Os resultados obtidos revelam ainda as diversas falhas das ferramentas de acessibilidade atuais o que abre caminho para melhorias em ferramentas de suporte e resolver as inconsistências das mesmas que os utilizadores

9

encontram todos os dias. As ferramentas atuais não são suficientes e podem ainda fornecer estímulos errados para utilizadores noviços. Em consequência, existe a necessidade para melhorar estas ferramentas tendo em conta a evolução necessária pelos participantes de assistência.

2.2 Ajuda crowdsourced

O Crowdsourcing tornou-se uma maneira muito popular e uma forma eficaz de resoluções de problemas com a participação de um grande número de pessoas. Consiste na colaboração de voluntários que auxiliam outras pessoas ao responder às suas dúvidas e também ao partilharem resoluções de algumas tarefas que posteriormente podem ajudar outros utilizadores. Com a ajuda destes voluntários, conseguimos obter uma grande variedade de respostas às questões, num curto espaço de tempo. Devido a sua eficácia na resolução de problemas, diversos sistemas integram esta forma de ajuda para melhorar a experiência dos seus utilizadores. Bigham et al. [3] introduzem o VizWiz, uma aplicação que permite as pessoas cegas realizarem questões a pessoas na web. O utilizador tira uma fotografia com o seu telemóvel, faz uma questão, e depois recebe a resposta em formato áudio, como podemos verificar na Figura 5. O VizWiz utiliza o crowdsourcing para ter respostas num curto espaço de tempo para os seus utilizadores.

Um outro sistema que utiliza crowdsourcing para responder às questões dos utilizadores foi introduzido por Li et al. [12] o PPTutorial. É um sistema de criação e partilha de tutoriais para desktop (o seu funcionamento será descrito na secção seguinte). Este sistema foi desenvolvido como uma plataforma de crowdsourcing que permite ao utilizador partilhar eficientemente, modificar, e procurar por mais tutoriais. Através desta

10

plataforma, os utilizadores conseguem resolver os seus problemas mais rapidamente e também contribuir para o enriquecimento da plataforma.

Por fim, Guo et al. [9] introduzem o VizLens, uma aplicação móvel de acessibilidade e com um backend de suporte robusto que pode interactivamente ajudar pessoas cegas a usar qualquer interface que possam encontrar. Os utilizadores da aplicação capturam uma foto a interface inacessível e depois envia a múltiplos crowd workers, que trabalham paralelamente para fazer a descrição dos elementos da interface. A aplicação móvel ajuda o utilizador a receber a interface e usar a visão do computador para interactivamente descrever a parte da interface que está abaixo do dedo do utilizador. A vantagem desta aplicação é a capacidade de resposta num curto espaço de tempo o que torna as interfaces físicas mais acessíveis aos invisuais de forma rápida e eficaz. É possível observar um exemplo de interação na Figura 6.

Podemos observar que a acessibilidade crowdsourced é uma característica com muito potencial, pois através de vários voluntários conseguimos obter respostas as dúvidas colocadas por outros utilizadores num curto espaço de tempo.

2.3 Tutoriais em contexto interativos

Hoje em dia, os tutoriais são uma ferramenta fundamental na aprendizagem e no auxílio de tarefas mais complexas. Os tutoriais são frequentemente partilhados de 2 formas dominantes: os tutoriais estáticos e os tutoriais em vídeo. Na versão estática, normalmente são compostos por imagens e texto o que facilita a sua exploração, mas não são eficazes a descrever interações dinâmicas. Em contraste, os tutoriais em vídeo, mostram toda a manipulação em detalhe, mas é difícil navegar ao longo do tutorial.

Na tentativa de potenciar os benefícios dos formatos existentes, Chi et al. [4] colocam em hipótese a geração de tutoriais mistos automáticos, com instruções estáticas

11

e vídeos de cada passo. O MixT segmenta a captura de vídeo em passos usando logs dos comandos da aplicação e eventos de input, aplica técnicas de composição de vídeo para focar a informação mais importante e destaca as interações através do movimento do rato. Apesar destes formatos de tutoriais terem-se tornado populares na web, ambas as formas requerem que o utilizador toque a sua atenção entre o tutorial e o contexto da aplicação. Com esta troca de contexto podemos observar 2 problemas de usabilidade – atenção dividida e prática atrasada.

Os tutoriais em contexto interativo conseguem tratar dos problemas de usabilidade referidos anteriormente e assim oferecendo uma experiência mais natural e eficiente de aprendizagem ao utilizador, mas são difíceis de desenvolver porque a sua criação requer conhecimentos de programação. Os problemas de usabilidade são resolvidos através da colocação das instruções do tutorial dentro da aplicação em utilização. Devido ao problema de criação de tutoriais em contexto interativos ser uma tarefa algo complexa surgiram várias abordagens para facilitar este processo.

Uma das primeiras abordagens surgiu pelas mãos de Bergman et al. [2] em que implementaram uma nova classe de documentação a que chamaram de follow-me documentation wizard. Esta nova classe consiste em guiar o utilizador através da representação do procedimento destacando porções do texto. A captura automática é feita através da observação dos especialistas a efetuar o procedimento. O follow-me documentation wizard fornece a documentação que mostra continuamente ao utilizador a posição onde se encontra no procedimento, destacando os controlos relevantes da aplicação e pode também automatizar partes do procedimento.

Outra abordagem foi apresentada por Yeh et al. [24] em que desenvolveram o Sikuli, um sistema de procura e automação utilizando capturas de ecrã. Este sistema permite que os utilizadores tirem uma captura de ecrã de um elemento da interface gráfica e usem para perguntar algo ao sistema de ajuda, em vez do tradicional texto. Fornece ainda uma API de scripting visual para automatizar interações com a interface gráfica, usando padrões de capturas de ecrã para direcionar o cursor do rato e para eventos de teclado. Para facilitar a criação, o Sikuli permite que os utilizadores façam referências a elementos da interface gráfica. O utilizador pode inserir o elemento desejado com uma captura de ecrã diretamente e especificar que ação de teclado ou rato é realizada quando encontrado o elemento no ecrã, automatizando as interações com os elementos da interface gráfica. Mais tarde, usando as potencialidades da biblioteca Sikuli, desenvolvida anteriormente, Yeh et al. [25] apresentam uma ferramenta para a criação de ajuda contextual que permite aos utilizadores aplicarem conhecimentos básicos de informática – tirar uma captura de ecrã e escrever um pequeno texto. Este depois é executado com uma análise dos pixéis

12

da captura de ecrã para que a ferramenta seja aplicável em todas as aplicações e em todas as plataformas sem ter o acesso ao código fonte.

Uma solução semelhante a anterior foi desenvolvida por Chilana et al. [5] ao apresentarem o LemonAid. Este sistema ajuda os utilizadores a conseguirem resolver os seus problemas através da seleção de um nome, um widget, um link ou outro elemento gráfico. Com este sistema, a ajuda é integrada na interface gráfica e os utilizadores podem fornecer respostas a outros utilizadores e procurar por ajuda sem nunca deixarem a aplicação. Um ponto forte deste sistema passa por não existir a necessidade de modificação do código fonte para adicionar este sistema a sua página web.

Inspirados na solução anterior, Rodrigues et al.[18] desenvolveram o Hint Me!, uma ferramenta que permite dar assistência aos utilizadores cegos na utilização do smartphone em qualquer aplicação instalada. Ao utilizar este sistema, os utilizadores conectam-se a uma rede de pessoas dispostas a fornecer assistência. Ao colocar uma questão, associa-se o contexto em que esta foi colocada de forma a dar mais informação para uma resposta. Como é um serviço independente, ele está disponível em todo o sistema em qualquer aplicação, e suporta ainda a orientação do workflow (por exemplo como executar uma ação?), descrição de um layout, descrição de elementos e aprendizagens para contornar conteúdo inacessível.

Figura 7: Interface do LemonAid

Figura 8: A) Plataforma web do voluntário. Mostra 2 questões respondidas, uma com um elemento especifico destacado. B) HintMe! com o botão sempre disponível no topo do ecrã, e a notificação que o utilizador recebe com a resposta.

13

Outra abordagem foi realizada por Li et al. [12] em que apresentam o desenho e implementação do PPTutorial (Peer-to-Peer Tutorial), este sistema gera eficientemente tutoriais contextuais em grande parte das aplicações. Quando um utilizador está a criar um tutorial o PPTutorial captura as operações com informação de contexto. Após a finalização do tutorial, o criador pode editar, anotar e submeter o seu tutorial. Por outro lado, o aprendiz pode pesquisar por tutoriais através de palavras chave ou ainda através da seleção de um elemento gráfico relacionado. Quando o tutorial começa, o PPTutorial irá mostrar as instruções contextuais e indicações numa janela flutuante por cima do elemento gráfico correspondente na aplicação. PPTutorial ajuda a criar tutoriais não intrusivos e melhora a experiência de utilização tanto dos criadores como também dos aprendizes. O EverTutor é um sistema criação de tutoriais interativos para smatphones desenvolvido por Wang et al. [23]. Este sistema grava os toques no ecrã feitos pelo utilizador a fim de detetar os gestos e identificar os alvos no ecrã. Com a informação recolhida é criado um guia passo a passo das operações a realizar. Além disso, o sistema também injeta um scroll ou swipe para encontrar uma região que não está visível ao utilizador. Estes tutoriais não são acessíveis, pois as indicações têm elementos visuais e não são complementadas com informações alternativas.

Muitos sistemas guardam as operações realizadas para poder desfazê-las (undo) se for necessário. Tipicamente, esta informação é perdida quando o documento é guardado. Infelizmente, com a perda desta informação descartamos dados ricos com fluxos de trabalhos que o utilizador fez que poderiam ser importantes para a criação de futuros tutoriais. Guardar a história do fluxo de trabalho do documento, e fornecer ferramentas para a visualização e exploração, faz com que qualquer documento seja uma ferramenta poderosa de aprendizagem. Para aproveitar esta informação desperdiçada, Grossman et al. [6] desenvolveram um sistema que permite que os utilizadores explorem a história do fluxo de trabalho de um documento. Para a criação do documento, o Chronicle captura um vídeo da história do documento gráfico, e fornece ligações entre o conteúdo e as áreas

Figura 7: O overlay para os gestos no EverTutor: (a) Toque (b) Toque longo (c,d) Ampliação/Redução (e) Duplo Toque (f) Swipe (g) Deslocament:

14

de maior relevância da história. O próprio utilizador pode indicar conteúdo específico de interesse, e visualizar os fluxos de trabalho, ferramentas e definições necessárias para reproduzir os resultados associados, ou melhor entendimento.

2.4 Sumário

Inicialmente, analisámos a acessibilidade móvel e verificámos que os maiores problemas encontrados são: a interação através de gestos e entrada de texto. O Slide Rule utiliza um sistema de navegação através de gestos muito à semelhança ao que, hoje em dia, temos no TalkBack e no VoiceOver. Já por sua vez, o NavTouch utiliza a interação através de gestos para a entrada de texto. O alfabeto é divido pelas vogais, ou seja, teremos 5 listas em que o primeiro elemento serão as vogais. Assim a navegação pelas listas é feita utilizando a interação através de gestos o que facilita a entrada de texto. Uma solução utilizada pelas pessoas cegas para facilitar a entrada de texto é o teclado Braille. Algumas soluções tiram partido da familiarização a estes teclados. Foi realizada uma avaliação ao BrailleTouch a fim de verificar se este teclado de software económico pode ser um substituto aos teclados físicos muito dispendiosos. A conclusão deste estudo foi que o BrailleTouch tem muito potencial. Por outro lado, uma solução semelhante é o BrailleType uma forma de entrada de texto em Braille, este método de entrada utiliza 6 botões nas extremidades do ecrã para ser mais fácil de localizar. A interação com este método é muito simples porque tira partido do facto das pessoas cegas estarem familiarizadas com o Braille.

Embora tenha havido um esforço para melhorar a experiência de utilização, não existem soluções que simplifiquem ou ajudem os utilizadores em operações complexas. Com isto, a utilização de smartphones é, ainda, uma tarefa que as pessoas cegas são diretamente dependentes de outras pessoas que os possam auxiliar.

Posteriormente analisamos a ajuda crowdsourced. O crowdsourcing consiste na colaboração de voluntários que ajudam outras pessoas ao responder as suas dúvidas e também partilham resoluções de algumas tarefas que posteriormente podem ajudar outras pessoas. Com os sistemas que utilizem esta forma de assistência, permite obter respostas a uma dúvida num curto espaço de tempo.

Por fim, exploramos os tutoriais em contexto interativos. Com a implementação destes tutoriais é possível fornecer uma aprendizagem mais natural e simples aos diversos utilizadores. Os tutoriais em contexto interativos não são uma forma de auxiliar muito explorada nas plataformas móveis, nas soluções analisadas, apenas o EverTutor e o Hint Me! são sistemas de tutoriais para Android, todos os outros são soluções para desktop. Uma característica importante analisada é: como é realizado o processo de criação do tutorial, para tal foram utilizadas duas abordagens, sendo que a mais comum é aquela que

15

permite que qualquer utilizador criar um tutorial. A principal vantagem desta é que permite uma resposta rápida a uma questão colocada, no entanto, não é seguro que o conteúdo seja o correto. Esta desvantagem pode ser minimizada caso seja possível fornecer diversas respostas a mesma questão. A outra abordagem foi utilizada pelo DocWizard em que os tutoriais são realizados por especialistas, assim, permite garantir que o conteúdo dos tutoriais é sempre confiável, mas em contrapartida o tempo de resposta será maior porque normalmente o número de especialistas é muito reduzido quando comparado com o número de utilizadores. A acessibilidade é uma característica que não é muito abordada nos sistemas analisados, apenas o Hint Me! tem um grande foco nesse campo. A sua solução é baseada em pergunta/resposta, sendo possível ainda dar orientação do workflow (por exemplo como executar uma ação?), descrever um ecrã e ensinar a contornar conteúdo inacessível. A tabela seguinte resume as características analisadas nos vários sistemas explorados.

Desktop/ Aplicação Móvel Criação de tutoriais Partilha dos tutoriais com o sistema Tipo de media Acessível por pessoas cegas Níveis de ajuda

DocWizard Desktop Apenas por especialistas

Não

diretamente Texto Não Não

Sikuli Desktop Qualquer pessoa

Não

diretamente Imagens Não Não

Chronicle Desktop Qualquer pessoa

Não

diretamente Vídeo Não Não

Creating Context help for GUI’s Using Screenshots Desktop Qualquer pessoa Não diretamente Imagens e

texto Não Não

MixT Desktop Qualquer pessoa

Não

diretamente Multimédia Não Não

LemonAid Desktop Qualquer

pessoa Sim Texto Não Não

EverTutor Aplicação

móvel

Qualquer

pessoa Sim Multimédia Não Não

PPTutorials Desktop Qualquer

pessoa Sim

Imagens e

texto Não Não

Hint Me! Aplicação

móvel

Qualquer

pessoa Sim Texto Sim Não

16

Capítulo 3

Conceção

Os smartphones são equipamentos cada vez mais imprescindíveis no quotidiano. Como comprovado anteriormente, no estudo realizado por Rodrigues et al [19], a adoção de smartphones por pessoas cegas é muito complexa e apesar dos participantes valorizarem os seus benefícios, são confrontados com falta de suporte e também com um conjunto de inconsistências no comportamento dos equipamentos/serviços de acessibilidade.

Os resultados mostram que os utilizadores demoram na adoção a um smartphone devido a várias razões, iniciando pela preocupação de não ser possível dominar o equipamento como desejado e falhar a comunicação com a família e amigos. Mesmo assim, apesar da sua ineficiência e ineficácia na comparação com as características dos equipamentos, os participantes valorizam os benefícios de usar a tecnologia. Apesar disso, eles mostram resiliência e disposição para continuar a explorar e melhorar a sua habilidade no uso desses equipamentos.

Vimos que as ferramentas atuais não são suficientes e podem fornecer estímulos errados aos utilizadores. Existe a necessidade de melhorar as ferramentas de suporte de adoção que tem em conta a evolução dos participantes da assistência.

Embora existam trabalhos realizados nesta área para fornecer uma melhor experiência de utilização aos utilizadores cegos, estes continuam a ser confrontados com dificuldades. De maneira a colmatar estas dificuldades e a falta de suporte encontrado, as pessoas cegas recorrem a familiares e amigos para os auxiliarem ou realizam uma pesquisa online [18,19]. Contudo, estas soluções encontradas pelos utilizadores não são ideais, no caso da assistência dada pelos amigos ou familiares nem sempre está disponível. Já por sua vez, a assistência online é uma tarefa complexa que não está ao alcance de todos os utilizadores, que por vezes é difícil expor a dificuldade encontrada, analisar as respostas fornecidas e por vezes exige que o utilizador adapte as respostas oferecidas ao seu caso.

17

3.1 Cenários dos problemas

Tendo em conta os problemas anunciados anteriormente e todo o estado de arte analisado, descrevemos 3 cenários diferentes, onde são enunciados problemas encontrados e como atualmente são resolvidos. Com a análise destes cenários pretende-se perceber bem as dificuldades encontradas pelos utilizadores cegos.

3.1.1 Cenário 1: Primeira interação com um smartphone

O João, utilizador cego, adquiriu recentemente um smartphone para poder estar sempre conectado às suas redes sociais e poder responder aos emails em qualquer sítio.

Como a aquisição do smartphone era recente, precisava de configurar as suas contas. Apesar de não saber como se realiza esta tarefa, decidiu aventurar-se e tentar descobrir como se procede.

Após 10 minutos de navegação sem sucesso, sentindo-se frustrado, decidiu pedir ajuda a um amigo para poder concretizar a tarefa. O seu amigo tentou explicar como realizar a tarefa, mas este estava a ter dificuldades na explicação para não dar pistas visuais. Como o seu amigo não sabia como mexer no Talkback, a solução encontrada foi o seu amigo dava as instruções e o João realizava a tarefa, pois este já estava familiarizado com o Talkback.

Após das várias dificuldades enfrentadas, o João conseguiu realizar a tarefa desejada.

3.1.2 Cenário 2: Dúvida mais específica

A Maria, uma utilizadora cega já muito familiarizada na utilização de smartphone, precisa de enviar um contato ao Manuel.

Embora seja uma utilizadora com alguma experiência, não sabe como se realiza a operação, mas como precisa de enviar o contato com alguma urgência decide navegar na web à procura de perceber como se realiza a tarefa.

Após algumas uma procura exaustiva na web, encontrou como se realiza a operação. Ao tentar realizar a operação, tinha que por vezes voltar a página web porque como a tarefa mais complexa não conseguia memorizar toda a tarefa.

Visto esta ser uma operação complexa e que possivelmente poderia necessitar de realizá-la novamente, gravou a página web nos marcadores de forma a que sempre que não souber realizar uma etapa da tarefa possa consultar e saber como se realiza o passo.

18

3.1.3 Cenário 3: Ajuda a distância

A Sofia, utilizadora cega, ao ser confrontada com a dificuldade de como reencaminhar uma mensagem e decide entrar em contacto com o seu amigo Rui, a fim deste poder explicar como se realiza a tarefa.

Apesar do Rui saber como realizar esta operação, não estava a conseguir explicar com sucesso através da chamada. Esta dificuldade advém da dificuldade de explicar a tarefa sem dar pistas visuais. Apesar das várias tentativas de explicação da tarefa, não conseguiram realizar a tarefa.

Por fim, acabaram por combinar um encontro para o Rui poder auxiliar à Sófia visto que através da chamada não estava a ter sucesso. Quando se encontraram, o Rui ainda tentou explicar como se realizava, mas o Talkback continuava a ser um obstáculo. Dada a urgência em reenviar a mensagem, a Sofia desligou o Talkback para o Rui poder realizar a tarefa. Apesar de ter conseguido reenviar a mensagem, a Sofia não aprendeu em como realizar a tarefa e novamente que precisar de efetuá-la necessitara de ajuda.

3.2 Descrição da abordagem proposta

Tendo em vista os problemas enunciados no início deste capítulo e a descrição dos cenários com problemas apresentados por esta população, verificámos uma falta de suporte a uma pessoa cega na utilização de smartphones. De forma a minimizar estes problemas, propomos uma abordagem para potenciar a assistência a terceiros de forma assíncrona, como já é feito nos tutoriais existentes e fóruns, porém fornecendo uma forma de assistência menos exigente e mais eficaz para os utilizadores cegos.

3.2.1 Tutoriais em contexto

De modo a alcançar os objetivos propostos, analisamos os diferentes tipos de tutoriais existentes de forma a escolher o mais indicado para este caso. Embora os tutoriais estáticos e em vídeo sejam muito comuns e fáceis de criar, é necessário estar constantemente a mudar de contexto entre o tutorial e a tarefa a realizar o que torna o processo de aprendizagem mais complexo. De maneira a não ter estes problemas de usabilidade, decidimos utilizar os tutoriais em contexto, uma vez que estes são executados no contexto onde a tarefa será realizada, aprovisionando assim, uma aprendizagem simples e natural.

19

3.2.2 Criação dos tutoriais

Apesar dos benefícios encontrados neste tipo de tutoriais, o processo de criação costuma ser algo complexo o que faz com que estes tutoriais não sejam tão populares. Embora os utilizadores cegos preferirem o auxílio de pessoas com o conhecimento de leitores de ecrã, optamos pelo processo de criação que pode ser realizado por utilizadores cegos, mas também por utilizadores normovisuais. Esta decisão foi tomada de forma a plataforma ser escalável, mas também podermos avaliar as diferenças entre os tutoriais criados pelas diferentes populações. É essencial que a interação com a plataforma não interfira com a utilização normal do smartphone. De maneira a cumprir com este requisito, será apresentado um overlay com um botão no topo do ecrã (e no topo da hierarquia do ecrã (view)) de forma a ser fácil a sua identificação por parte dos utilizadores cegos. O processo de criação é realizado por demonstração da tarefa, ou seja, o utilizador realizará a tarefa e em cada passo o utilizador irá descrever o passo e posteriormente irá realizá-lo. Esta descrição será guardada, assim como todo o contexto quando realizado a interação. Como o overlay com o botão está sempre visível, é possível começar a gravar o tutorial em qualquer momento.

3.2.3 Reprodução dos tutoriais

Com o processo de criação, obtemos um tutorial segmentado em passos efetuados, em que em cada um destes passos tem o áudio gravado com a descrição do passo a realizar e o elemento em que é necessário clicar para avançar para o passo seguinte. Para reproduzir um tutorial, existe um overlay com um botão no topo do ecrã que lista todos os tutoriais que passam por aquele ecrã. A sua colocação no topo do ecrã é pela mesma razão anunciada anteriormente, para uma fácil identificação por parte de um utilizador cego. Após a seleção de um dos tutoriais, este começa por reproduzir o áudio gravado com a descrição fornecida pelo criador e no fim é anunciada uma dica do próximo elemento (ex.: próximo passo: Mensagens). No topo do ecrã quando estamos a executar um tutorial, o botão que anteriormente tinha a opção de listar os tutoriais, substituído pela opção de poder repetir o áudio da descrição do passo e a dica associada. No caso de o utilizador realizar o passo com sucesso, é apresentado ao passo seguinte. Por outro lado, se o utilizador não realizar o passo com sucesso o sistema anunciará que o utilizador se está a afastar do tutorial e que para voltar ao tutorial tem que voltar a um passo deste.

3.2.4 Sonificação

De forma a auxiliar os utilizadores menos experientes na utilização de smartphones, e em analogia com um sensor de estacionamento, que quanto mais perto do objeto vai apitando com mais intensidade, decidimos colocar sonificação de forma aos utilizadores terem um feedback de proximidade ao objetivo. A ideia é utilizando dois apitos, quanto

20

mais próximos estes apitos estiverem é sinal de que o utilizador se está a aproximar do objetivo e se estes se estiverem a afastar é sinal de que o utilizador se está a afastar do objetivo.

3.2.5 Partilha dos tutoriais

No estudo realizado por Rodrigues et al. [19], verificámos que os utilizadores cegos beneficiam se as explicações sejam dadas por pessoas próximas e, estes utilizadores costumam ajudar-se uns aos outros, espalhando o conhecimento adquirido. Aproveitando esta partilha de conhecimento, decidimos que seria importante que os tutoriais pudessem ser partilhados para que outros utilizadores possam usufruir deste conhecimento e enriquecer a plataforma. Para isto, utilizamos uma base de dados de tempo real para que mal um tutorial seja partilhado todos os outros utilizadores possam usufruir deste.

3.3 Cenários de interação

Após a apresentação detalhada da abordagem e a exposição dos cenários com os problemas, são apresentados os cenários de interação, cenários estes que descrevem as situações anteriormente definidas. Com isto pretende-se perceber como a abordagem utilizada poderá resolver os problemas enunciados.

3.3.1 Resposta Cenário 1: Primeira interação com um smartphone

O João pretendia configurar as suas contas de forma a poder aceder ao seu email e as redes sociais. Como não sabe como realiza esta tarefa, decidiu utilizar o Alfroid a fim de obter alguma ajuda. Ao abrir a aplicação, tem acesso uma lista de tutoriais que passam por aquele ecrã. Após uma pequena pesquisa encontra um tutorial que satisfaz a sua necessidade e decide efetuá-lo. O tutorial irá guiá-lo passo a passo até ao seu objetivo final. A cada passo realizado, é fornecido uma breve explicação do que tem de ser realizado e como pode ser efetuado a ação necessária para o mesmo.

3.3.2 Resposta Cenário 2: Dúvida mais específico

A Maria, é uma utilizadora cega já com alguma experiência na utilização de smartphones, sentiu a necessidade de enviar um contacto telefónico ao Manuel.

Apesar da Maria ser uma utilizadora ser experiente na utilização de smartphones, não sabia como realizar essa tarefa. Sentiu a necessidade de utilizar a aplicação Alfroid,

21

de forma a aprender rapidamente como se realiza a tarefa desejada. Após uma pequena pesquisa, encontrou o tutorial desejado.

Com o tutorial é realizado no mesmo ambiente em que a tarefa é efetuada conseguiu rapidamente realizar a tarefa e ao mesmo tempo aprender como executá-la.

3.3.3 Resposta Cenário 3: Ajuda a distância

A Sofia, utilizadora cega, foi confrontada com uma dificuldade, pois não sabia como reencaminhar uma mensagem. Realizou uma pesquisa na aplicação Alfroid, a fim de encontrar um tutorial que satisfaça a sua necessidade. Como não encontrou um tutorial, pediu ao seu amigo Rui que criasse um tutorial para ajudá-la e poder ajudar outras pessoas que possam ter a mesma dificuldade.

Passado pouco tempo, já se encontrava disponível e assim conseguiu concluir a tarefa com sucesso, ficando também disponível para poder ajudar outros utilizadores. Desta forma não só realizou a tarefa desejada de uma forma mais eficiente, ficou a saber como realizar a tarefa.

3.4 Requisitos

Após os problemas encontrados e a descrição detalhada da abordagem utilizada, existem alguns requisitos necessários a satisfazer na implementação do sistema, sendo que, estes os requisitos funcionais (funcionalidades do sistema) e os requisitos não funcionais (propriedades do sistema).

3.4.1 Requisitos funcionais

• Simplicidade: o processo de criação dos tutoriais deve ser fácil para incentivar aos utilizadores criarem os seus próprios tutoriais.

• Partilha dos tutoriais: contribuir para o auxílio dos outros através da partilha de tutoriais e assim a plataforma ter uma maior variedade de tutoriais.

• Aprendizagem eficaz: através da reprodução dos tutoriais pretende-se que seja uma forma eficaz de aprendizagem sem os problemas de usabilidade das soluções existentes.

• Nível de ajuda: através da sonificação pretende-se que seja um método de auxílio para os utilizadores enriquecendo a aprendizagem por parte de utilizadores menos experientes.

22

3.4.2 Requisitos não funcionais

• Acessível: não obstrui a interação normal do utilizador com o smartphone. • Abrangente: funcionar em todo o sistema independentemente das aplicações

instaladas.

23

Capítulo 4

Implementação

Na secção anterior vimos uma descrição da abordagem utilizada e as funcionalidades desejadas a colmatar os problemas encontrados. Tendo em conta isto vamos descrever detalhadamente a implementação realizada de forma a superar os problemas anteriormente encontrados.

4.1 Arquitetura

Para uma melhor separação das funcionalidades desejadas na aplicação, agilidade na modificação das componentes implementadas e facilidade na inclusão de novas funcionalidades. utilizamos o padrão MVC. Este padrão de desenvolvimento permite manter a aplicação com uma complexidade reduzida, pois possibilita ter camadas bem definidas, mantendo assim uma estrutura uniforme. O padrão está divido em 3 camadas, o model, o controller e a view. O Model é a camada responsável pelo comportamento e dados da aplicação. É responsável ainda por responder a pedidos de informação, mudanças de estado da informação e notificar que houve mudanças na informação. Já por sua vez, a View é encarregue da apresentação dos dados oriundos do model para o utilizador. É responsável ainda de receber as interações do utilizador e fornece a seguinte camada. Por fim, o Controller é o intermediário entre as camadas descritas anteriormente. Recebe os dados da View e converte para um comando para ser compreendido pelo Model. De forma a ser possível a implementação deste sistema, utilizamos os serviços de acessibilidade de forma a obter mais informação sobre a interação do utilizador com o dispositivo. Na plataforma Android, uma vez ativado os serviços de acessibilidade cada interação do utilizador com o equipamento, são lançados diversos eventos com informação importante sobre essa interação que pode ser utilizada como um método alternativo de navegação aos utilizadores em todas as aplicações instaladas no seu equipamento. Este serviço pode ainda comunicar ao utilizador por exemplo a conversão de um texto em fala ou ainda fornecer um feedback haptic quando o utilizador está em torno de uma área importante. Exemplos de serviços de acessibilidade na plataforma Android são:

• Switch Access • Voice Access • Talkback

24

No nosso projeto utilizamos o Talkback, este fornece informação de todas as interações realizadas pelos utilizadores e fornece ao utilizador feedback auditivo dessa interação ou das operações que são possíveis realizar.

Com a informação concedida pelos eventos é possível obter os elementos que representam a interface atual e todas as mudanças que estas possam vir a ter. É possível também obter os elementos com que o utilizador interagiu, o que para o nosso sistema é uma informação de relevância, pois um tutorial será a gravação de todas as interações que o utilizador tiver com o equipamento.

4.2 Componentes

Para o desenvolvimento deste sistema, são necessários diversos componentes para cumprir com as funcionalidades desejadas. A Figura 8 representa o diagrama de alto nível das componentes e as suas ligações.

4.2.1 ServiceTutorial

Os serviços de acessibilidade são executados para correr em background e recebem callbacks do sistema quando o AccessibilityEvent é disparado. Estes eventos lançados pelo sistema retratam uma mudança no estado da interface do utilizador que pode ser resultante da mudança de foco, de um botão que foi clicado, entre outros. Os eventos

25

dispõem de uma vasta informação sobre os mesmos, mas também sobre qual foi o elemento que fez com que este evento fosse lançado. Após a receção destes eventos, são enviados aos respetivos controladores para o seu tratamento. Como esta classe arranca logo que o serviço é ativo, ele é também responsável pelo arranque do overlay, que será descrito na próxima secção, criado que o utilizador irá interagir.

4.2.2 Overlay

Como anunciado anteriormente, pretendemos que o sistema seja discreto e que não interfira com a interface das aplicações nem com as interações do utilizador com o smartphone, para isso implementámos um overlay que está sempre presente no topo do ecrã (e no topo da hierarquia) ao longo das interações do utilizador com o equipamento. Para alcançar o pretendido, utilizamos o WindowManager.LayoutParams com a flag TYPE_PHONE3_{. Esta flag foi utilizada para que o overlay seja sempre colocado acima}

de todas as aplicações, mas que ainda seja possível interagir com as views abaixo. Esta classe é responsável pela interface que o utilizador vai interagir e onde receberá a informação fornecida pela ferramenta. Toda a interface está feita em XML e conforme a utilização do utilizador irá atualizando o overlay.

4.2.3 Biblioteca

De forma a simplificar a implementação da solução e centralizar todas as operações com a informação proveniente dos serviços de acessibilidade, desenvolvemos esta camada de mais alto nível que será utilizada quando desenvolvido os outros componentes e assim simplificando o processo de implementação

É nesta componente onde todas as operações com os eventos capturados são realizadas. É possível obter as descrições e o texto dos elementos, popular as listas de elementos visíveis ao utilizador e por fim, popular a lista dos elementos mais semelhantes ao objetivo pretendido no passo corrente.

Obter uma descrição ou texto de um elemento

Alguns elementos da interface são representados com diversos nós, como é mostrado na Figura 9. Informação sobre a descrição ou texto do elemento nem sempre está disponível no nó corrente, mas sim nos seus filhos. Este comportamento foi detetado principalmente quando o elemento em foco está inserido numa lista. Desta forma, se detetarmos a não existência desta informação, percorremos os seus filhos, se existirem, a procura de informação sobre a descrição ou texto sobre o elemento. Para uma melhor

26

compreensão, veremos o seguinte exemplo. Na Figura 9, podemos observar que o nó corrente é um RelativeLayout que não possui qualquer informação sobre a descrição ou texto desse elemento focado. Então verificamos que tem 3 filhos, iremos analisar cada

um destes individualmente a procura da informação desejada. O primeiro filho, corresponde ao ícone, que também não possui informação sobre o texto do elemento nem a descrição do conteúdo. Já por sua vez, o segundo e o terceiro filhos, que são ambos uma TextView, contêm informação sobre o texto que identifica o elemento em foco.

Obter a lista dos elementos visíveis ao utilizador

A interface gráfica é composta por vários nós. É necessário percorrer todos os elementos do ecrã e verificando se os elementos são clicáveis ou se é possível realizar um clique longo. No caso de esse elemento ainda não se encontrar na lista, adicionamos esse nó a lista. Como percorremos todos os elementos do ecrã é necessário garantir que se estivermos a analisar o filho de algum elemento já adicionado não é necessário adicionar novamente.

Obter a lista dos elementos mais semelhantes ao objetivo

Como anunciado anteriormente, a interface gráfica é composta por diversos nós. Quando reproduzindo um tutorial, é necessário verificar se qual dos elementos visíveis para o utilizador se assemelha ao objetivo. Para isso, convertemos todos os elementos em MyNodes para poder compará-los com o objetivo através de um método fornecido por esta estrutura. Os parâmetros de comparação são:

• Rácio do tamanho do elemento • Rácio da sua posição

• Nome da classe do elemento • Texto do elemento

• Descrição do elemento

Figura 9: Obtenção do texto ou descrição do elemento através dos filhos