Questionário para avaliação da satisfação dos utilizadores

Para avaliar o grau de satisfação dos utilizadores, foi elaborado um questionário baseado no questionário SUMI. O SUMI foi desenvolvido pelo Human Factors Group (HFC) da University College e é entendido como sendo um método consistente para estimar a qualidade do software do ponto de vista do utilizador final, podendo assim ajudar na deteção de falhas de usabilidade.

O questionário elaborado foi composto por 21 questões, onde é inquerido a capacidade de utilização do site, a aprazibilidade da navegação e interface, a pertinência do conteúdo e da estrutura e o grau de satisfação de utilização e eficácia. O questionário pode ser consultado nos anexos, em anexo 4.

4.5.5. Apresentação e análise dos resultados

Os resultados dos testes foram obtidos através das análises da grelha de observação (anexo 3) e do questionário de satisfação.

Através da grelha de observação foram recolhidas as dificuldades e comentários dos utilizadores, bem como, o tempo de resposta, número de recomeços e recuos. Os testes foram feitos por cinco utilizadores (denominados por U1, U2, U3, U4 e U5), sendo que dois dos

118 utilizadores têm um bom domínio na utilização da internet (U2 e U5) e os restantes um domínio médio (U1, U3 e U4).

Na tabela 40, encontra-se disponível para consulta, o número e tipologia de tarefas concluídas por cada utilizador, assim como o número e tipologia de tarefas em cada ordem de atividade.

Tabela 40 – Resultados eficácia: Conclusão ou não da tarefa por cada utilizador

Tarefa (T) U1 U2 U3 U4 U5 Conclusão

da tarefa

Não conclusão

da tarefa

1 Sim Sim Não Sim Sim 4 1

2 Sim Sim Sim Sim Sim 5 0

3 Não Sim Sim Sim Sim 4 1

4 Não Não Sim Não Sim 2 3

5 Sim Sim Sim Sim Sim 5 0

6 Sim Não Sim Sim Sim 4 1

7 Sim Não Sim Sim Sim 4 1

Percentagem de conclusão das tarefas

71,43% 57,14% 85,71% 85,71% 100% --- ---

Pela tabela 40, pode concluir-se que: T(2) e T(5) foram concluídas por todos os utilizadores, na T(4) o número de utilizadores que não conseguiram concluir a tabela é superior ao número de utilizador que concluíram. Nas T(1), T(3), T(4), T(6) e T(7) 80% dos utilizadores concluíram as tarefas. Apenas o U5 conseguiu concluir todas as tarefas. Os U3 e U4 concluíram 85,71% das tarefas e todos os utilizadores concluíram mais de 50% das tarefas.

119 Tabela 41 - Resultados eficácia: conclusão ou não da tarefa

Tarefa Conclusão da tarefa

Não conclusão

da tarefa

Média Desvio Padrão Coeficiente de variação 1 4 1 2,5 1,5 60% 2 5 0 2,5 2,5 100% 3 4 1 2,5 1,5 60% 4 2 3 2,5 0,5 20% 5 5 0 2,5 2,5 100% 6 4 1 2,5 1,5 60% 7 4 1 2,5 1,5 60%

Mais se acrescenta, os desvios relativamente à media para T(1), T(3), T(6) e T(7) atingem 60% e para T(4) atingem os 20%.

Tabela 42 - Resultados eficiência: n.º de tentativas (recomeços e recuos) para a conclusão da tarefa

Tarefa N.º de recomeços N.º de recuos Média

1 0 0 0 2 0 0 0 3 0 3 1,5 4 0 1 0,5 5 0 0 0 6 0 1 0,5 7 1 0 0,5

Na tabela 42, é consultável o número de tentativas para a conclusão da tarefa, seja em recuos ou em recomeços. Verifica-se ainda que as tarefas T(1), T(2) e T(5) foram executadas à primeira tentativa, ou seja sem que algum dos utilizadores sentisse necessidade de recuar ou recomeçar a tarefa. Nas tarefas T(4), T(6) e T(7) alguns dos utilizadores não conseguiram concluir a tarefa à primeira tentativa, uma vez que a média para essas tarefas é 0,5 tentativas. Relativamente à tarefa T(3) verifica-se que houve 3 recuos e que, por isso, também essa tarefa não foi concluída à primeira tentativa.

Os tempos, em segundos, obtidos durante a execução dos testes estão representados na tabela 43.

120 Tabela 43 – Resultados eficiência: Execução das tarefas por cada utilizador em segundos

Tarefa U1 U2 U3 U4 U5 1 150 60 * 120 120 2 150 40 40 40 40 3 * 60 60 60 60 4 * * 120 * 180 5 420 350 360 360 420 6 240 * 300 120 180 7 138 * 60 120 180

*tarefas que não foram concluídas

Relativamente à primeira tarefa, apenas um utilizador não conseguiu concluir, os restantes terminaram-na numa média de 450 segundos. O utilizador U3 não conseguiu terminar a tarefa, porque a descrição “SIA” do logótipo não lhe causava qualquer sugestão. O acrónimo não é suficientemente sugestivo na necessidade de informar que a plataforma se trata de um Sistema de Itinerários Acessíveis. Relativamente aos utilizadores que concluíram a tarefa, também mencionaram a dificuldade de não entender esse acrónimo, contudo ao explorarem toda a página principal, inclusive as hiperligações, associaram que o assunto da plataforma passava pela temática da acessibilidade em edifícios e itinerários.

A segunda tarefa foi concluída por todos os utilizadores com uma média de 62 segundos. O U1, utilizador com baixa visão, manifestou ter dificuldade na leitura do menu principal, por causa do reduzido tamanho das letras. Referiu, também não saber o significado da palavra “home”, não conseguindo por isso associar que através dessa palavra/hiperligação poderia voltar à página inicial sempre que necessário. Os restantes utilizadores concluíram as tarefas sem qualquer problema, uns pelo menu principal, outros pela funcionalidade listar links.

Na execução da tarefa três, o U1 tentou encontrar os contactos pela funcionalidade pesquisar, no entanto, esta não funcionou e por isso não conseguiu concluir a tarefa. Os restantes utilizadores terminaram a tarefa sem problemas, numa média de 60 segundos. Uns acedendo à palavra contactos, existente na parte inferior da página inicial, outros pela funcionalidade listar links. Indicaram, ainda que seria importante e mais intuitivo se o e-mail da entidade gestora da plataforma fosse uma hiperligação com ligação direta à caixa de

121 correio eletrónico. Esta ligação seria preventiva, diminuindo erros de cópias do endereço do e- mail fornecido.

A tarefa quatro, só foi concluída por dois utilizadores, estes completaram-na numa média de 150 segundos. Os restantes não conseguiram terminar a tarefa, por causa das caixas de combinação (que permitem a inserção/escolha de opções). O U1 teve problemas na escrita da origem e do destino, pelo facto de ter decidido escrever manualmente as designações das ruas e edifícios, em vez de os procurar e escolher entre as opções fornecidas. Ao serem escritas manualmente, as terminologias divergiam das sugeridas/disponibilizadas pela plataforma. Sempre que o utilizador cometeu erros de escrita, procedeu de imediato à sua correção. Contudo, constatou-se que mesmo após a correção dos erros, continuava a aparecer a mensagem de erro inicial, não sendo percetível qual o problema, tendo em conta que aparentemente já não existia qualquer problema. O U2, não conseguia ter acesso a lista de opções fornecidas, a lista não carregava, no entanto ao tentar escrever nas caixas de combinação também não conseguiu, porque o texto digitado no teclado não era admitido pelas caixas. Este problema pode ter acontecido pela versão do leitor de ecrã que apoiou este utilizador. Relativamente ao U4, este tentou fazer a pesquisa de duas formas diferentes, ambas não funcionaram. Uma pela escolha das opções sugeridas, porque a opção que ficava ativa nunca era a que o utilizador escolhia e a outra, pela inserção de texto, porque a forma como este era escrito, não era igual à forma como surge nas opções. Quando os utilizadores tentavam corrigir os erros, não se percebia quais eram os erros de escrita, as mensagens de erro fornecidas não indicavam o erro muito menos a forma de o corrigir.

Todos os utilizadores conseguiram concluir a tarefa cinco, numa média de 382 segundos. Importa referir que esta tarefa dependia da conclusão da anterior e nos casos dos utilizadores que não tinham conseguido concluir a tarefa anterior T(4), o observador executou essa tarefa, para que fosse possível prosseguir a sessão. Apesar de todos os utilizadores terem executado a T(5), ou seja terem conseguido identificar os troços com obstáculos seja de escassa acessibilidade ou acessibilidade parcial, alguns apontaram algumas dificuldades e/ou sugestões, tais como:

 Relativamente ao percurso que é mostrado no mapa, não é percetível qual o ponto de início e qual o ponto de fim/destino, uma vez que estes são marcados de igual forma, como se pode ver pela figura 73;

122 Figura 73 - Exemplo de um itinerário, onde não é percetível qual é o ponto de origem e qual o ponto

de destino

 Todos os obstáculos deveriam ter uma descrição do que são, mas não existe essa descrição. No percurso calculado uma das possíveis indicações é classificada como parcialmente acessível. No entanto, não diz o motivo, não sendo claro se é por causa de um obstáculo e no caso de ser, de que tipo é;

 Relativamente à descrição de obstáculos, os utilizadores mencionaram sentir necessidade ter uma descrição mais completa. Onde diz “passeio inferior a 1,5 m” precisam que os informe tratar-se de uma largura ou altura;

 Ainda no que diz respeito à descrição feita, o U5 referiu que as indicações dadas são estranhas e nem sempre correspondem à realidade, principalmente nos cruzamentos. Disse ser importante existirem indicações sobre as localizações dos obstáculos e distâncias por exemplo: “daqui a 500 metros…”. Uma vez que são descritas as passadeiras, o utilizador propôs o acrescento de informação relativa a semáforos;

 A escala utilizada para descrever a condição de acessibilidade dos itinerários e edifícios, foi classificada como estranha e pouco intuitiva, uma vez que os utilizadores não entendem o que se pretende dizer com escassa acessibilidade e acessibilidade parcial. Portanto, a escala deveria ser modificada ou, como alternativa, ser explicada.

123 Na execução da T(6) o U2 não a conseguiu concluir, os outros terminaram-na numa média de 210 segundos. Nesta tarefa pretendia-se verificar como os utilizadores faziam uma nova pesquisa. Foi possível concluir que alguns dos utilizadores escolhiam outra opção através da lista fornecida, outros foram ao menu principal e clicaram de novo em calcular itinerário. Por esse motivo, parece ser importante a inserção de um botão que apague a informação escrita/escolhida dentro das caixas de texto, de forma a que o utilizador não precise voltar ao início ou apagar letra a letra. Para esta tarefa, ao ler a descrição do itinerário que calculou, o U5 identificou algumas descrições incoerentes e estranhas. Para o itinerário escolhido, o utilizador teria que andar de metro e mudar de linha entre estações. Quando o percurso passa pela necessidade de mudança de linha a orientação dada não é simples e intuitiva. Nestas situações, o utilizador é convidado a sair da estação e regressar à mesma para seguir o circuito na nova linha. Este facto leva a concluir ser fundamental rever as descrições dadas para todos os percursos. O utilizador que não conseguiu concluir a tarefa, teve dificuldades na inserção de informação nas caixas de origem e destino, tal como acontecia na T(4).

A T(7) foi concluída por quatro utilizadores, em média, em 124,5 segundos. Estes utilizadores não tiveram dificuldades na conclusão da tarefa, contudo o U1 mencionou que a informação da legenda deveria limitar-se ao edifício em análise, não deveriam ser visualizados em legenda, os símbolos de obstáculos não existentes. O U5 chamou à atenção para o facto de as caixas de combinação se desativarem sozinhas. Mais uma vez, o utilizador que não conseguiu concluir a tarefa foi o U2, por causa das caixas de combinação. Foi possível concluir que este problema só existiu com este utilizador, nas tarefas que pediam a inserção/escolha de informação em caixas, provavelmente por motivos de incompatibilidade da versão do leitor de ecrã. Ainda, sobre esta tarefa é importante referir que um dos utilizadores mencionou a importância de serem uniformizados os conceitos, por exemplo “Edifícios” e “Equipamentos”.

Comparando os resultados do U2 e do U5 (identificados com um bom domínio na utilização da internet) e apesar do problema resultante da versão do leitor de ecrã do U2, estes utilizadores, em média, apresentam um tempo de conclusão das tarefas inferior ao tempo gasto pelos restantes utilizadores.

Além das sugestões feitas ao longo das sessões, os utilizadores apresentaram ainda alguns comentários finais, como:

124

 Necessidade de a plataforma ter cabeçalhos identificados, para facilitar a organização e navegação;

 Necessidade de rever a escala da condição de acessibilidade e como esta se apresenta, tendo em conta que à condição de acessibilidade não está associada uma tipologia de incapacidade;

 Classificar a degradação do passeio, ou seja, detalhar a degradação do pavimento, por exemplo: trata-se de um buraco, o piso é irregular, há presença de pedras soltas ou areia, etc;

 Disponibilizar mais informação útil para cegos e melhorar informação sobre cruzamentos, passadeiras e semáforos.

Como referido anteriormente, no fim de cada sessão composta pelas sete tarefas previstas no guião, foi pedido a cada utilizador que respondesse a um questionário de avaliação ao grau de satisfação.

Pela tabela 44, podem consultar-se os resultados desse questionário, onde às respostas dos utilizadores concordo, indeciso e não concordo, foi atribuído 2, 1, 0, respetivamente.

Tabela 44 – Resultados do questionário de satisfação

Questão U1 U2 U3 U4 U5 Média Desvio

padrão

1. O site é fácil de usar 2 2 0 2 1 1,4 0,8

2. O site é demasiado lento 0 0 0 0 0 0 0

3. Recomendaria o site a outras pessoas 2 0 2 2 2 1,6 0,8 4. São necessários muitos passos para concretizar

tarefas 0 0 0 0 0 0 0

5. Este site é um desperdício de tempo 0 0 0 0 1 0,2 0,4 6. É difícil aprender a utilizar as potencialidades

do site 0 0 0 1 0 0,2 0,4

7. O site nem sempre fez o que eu esperava 2 2 2 1 1 1,6 0,5 8. É fácil mudar de uma parte do site para outra 0 2 2 2 2 1,6 0,8 9. É fácil visualizar as opções em cada página 2 2 2 2 2 2 0

125 10. É fácil aprender a navegar no site 2 2 2 2 2 2 0 11. Algumas vezes senti-me “perdido” 2 0 2 2 1 1,4 0,8 12. É fácil avançar e retroceder no site 2 2 2 2 2 2 0 13. Foi possível voltar atrás sempre que

necessário 2 2 2 __ __ 2 0

14. É fácil saber em que parte do site estou e

como chegar até onde pretendo ir 2 2 0 1 2 1,4 0,8

15. As ligações (links) são claras 2 2 2 0 2 1,6 0,8 16. A apresentação do site é organizada 2 2 0 2 1 1,4 0,8 17. Os títulos das páginas são intuitivos 2 2 2 2 1 1,8 0,4 18. A informação disponibilizada é

compreensível 0 2 2 2 1 1,4 0,8

19. A informação disponibilizada é útil 2 2 2 2 1 1,8 0,4 20. O site é visualmente agradável 2 __ __ __ __ 2 0 21. O conteúdo do site é suficiente e adequado 2 2 2 1 1 1,6 0,5

Analisando as respostas dos utilizadores às questões sobre a estrutura do site (de 1 a 9), verificou-se que três dos utilizadores consideraram o site fácil de usar, quatro deles o recomendariam a outras pessoas, quatro consideraram ser fácil alternar entre diferentes partes do site e todos consideram que ser fácil visualizar as opções em cada página. Todos os utilizadores consideraram que o site não é lento nem é um desperdício de tempo e três consideraram que o site nem sempre fez o que esperavam.

Relativamente às questões de navegação (ou seja da questão 10 à 15), todos consideraram fácil aprender a navegar no site, sendo fácil avançar e retroceder. Três dos cinco utilizadores consideraram ter-se sentido perdidos no site, embora sendo fácil saber em que parte do site estão e como chegar até onde pretendem ir, quatro consideraram que os links são claros.

As respostas às questões 16,17 e 20 dizem respeito à interface e verificou-se que um utilizador considerou o site visualmente agradável (utilizador com baixa visão), três consideraram o site organizado e quatro acharam os títulos intuitivos.

126 No que diz respeito aos conteúdos, questões 18, 19 e 21, três utilizadores consideraram que a informação disponibilizada é compreensível e que o conteúdo é suficiente e adequado. Quatro utilizadores acharam que a informação disponibilizada é útil.

Relativamente ao número de indecisos usados pelos utilizadores, é importante dizer que estes referiram que a atribuição do indeciso se devia ao facto de terem tido pouco contacto com a plataforma e por isso pouco de tempo de exploração.

Pela tabela 45, podem consultar-se os resultados da classificação global da plataforma, onde às respostas dos utilizadores Excelente, Muito Bom, Bom, Razoável e fraco, foi atribuído E, MB, B, R e F respetivamente.

Tabela 45 - Resultados do questionário de satisfação no que diz respeito à classificação global da plataforma

Escala U1 U2 U3 U4 U5 Média

Classificação global B R MB R B B

Gráfico 6 – Resultados do questionário de satisfação no que diz respeito à classificação global da plataforma

A análise do gráfico 6 sugere que no que toca à classificação global da plataforma: 20% dos utilizadores consideraram muito bom, 40% bom e os restantes 40 % razoável.

20%

40%

40% Muito Bom

Bom Razoável

127 Em suma, apesar de em média terem considerado o site com uma classificação global de bom, os utilizadores realçaram ser premente tornar o site mais acessível, bem como a necessidade de existir mais informação, para o público com deficiência visual.

128

5. Conclusão e trabalho futuro