Testes de usabilidade com utilizadores – Processo 159

Foram testadas e avaliadas algumas partes da plataforma para gestão de conteúdos de entretenimento – Pentamer. No entanto, não existiu uma visão completa de todas as funcionalidades da plataforma. Foi seguida esta opção devido à similaridade de funcionalidades

entre os diferentes conteúdos de entretenimento a serem geridos. Por exemplo foram utilizados cenários em torno da gestão de Séries Televisivas, pois este conteúdo seria aquele que poderia ser mais complexo de interagir sendo que uma relação de sucesso em relação a este pode traduzir-se numa maior probabilidade de uso correto e de interpretação dos restantes conteúdos de entretenimento. Foram também utilizados os jogos pois existiam algumas questões ao nível das funcionalidades e informação apresentada que era necessário serem esclarecidas.

Assim, o propósito do teste de usabilidade ao Pentamer foi de recolher feedback acerca do modo como os utilizadores utilizam a página web Pentamer, quais os problemas que poderiam encontrar na sua utilização e que melhorarias estes podiam propor de modo a melhorar a experiência proporcionada pela plataforma.

O foco deste teste de usabilidade esteve igualmente na obtenção de dados que pudessem ser analisados e apresentados em contexto de validação investigativa de uma interface para gestão de conteúdos de entretenimento desenvolvida no âmbito de um projeto de mestrado.

Por forma a possuir um documento estruturado que focasse as considerações a ter durante testes de usabilidade, foi elaborado um plano de testes. Este contemplava:

• A descrição do problema e objetivos do teste; • Localização e organização;

• Os perfis de utilizadores presentes nos testes;

• A metodologia de teste, cenários de percurso e validação (Anexo E – Cenários de Percurso e Validação);

• Documentação a entregar no final dos testes;

• Inquéritos e outros materiais a serem utilizados durante o teste:

o Documento de consentimento de gravação e tratamento de dados (Anexo I); o Inquérito Pós-Teste (Anexo J).

Descrição do problema e objetivos gerais para a investigação

O teste de usabilidade da página do Pentamer providencia dados que permitem compreender qual a experiência que os utilizadores obtém com a plataforma. Assim os objetivos desta investigação foram os seguintes:

1. Avaliar a experiência dos utilizadores e eficiência do Pentamer através da realização de tarefas por parte dos utilizadores. A saber:

o Registo na plataforma;

o Obtenção de informações sobre conteúdos de entretenimento; o Adição de conteúdos de entretenimento a listas pessoais;

o Registo de progresso efetuado em relação a um conteúdo de entretenimento; o Definição de itens como sendo privados;

o Alteração de preferências através da página de definições.

2. Identificar obstáculos que impeçam a conclusão de qualquer uma destas tarefas; 3. Avaliar a satisfação geral dos utilizadores em relação ao Pentamer;

4. Obter dados que permitam afinar e melhorar a interface;

5. Obter dados que permitam a elaboração de conclusões em contexto de um projeto de Mestrado.

Perguntas de Investigação

Adicionalmente, o estudo tentou responder às seguintes questões:

• O sistema de cores empregue permite uma identificação eficiente dos diferentes conteúdos de entretenimento?

• A informação sobre os conteúdos de entretenimento é bem apresentada e em quantidade suficiente?

• É necessária mais informação sobre o funcionamento do Pentamer? • A organização de conteúdos por listas é percetível?

• A nomenclatura/linguagem utilizada ao longo da interface é percetível e acessível? Existem erros de tradução ou de compreensão?

• As notificações apresentadas no topo da interface são detectadas?

• É percetível que existe a possibilidade de acrescentar mais informação a um item adicionado à coleção pessoal?

• A iconografia empregue na interface é percetível/compreendida?

• O sistema de apresentação de outros conteúdos existentes no mesmo universo do conteúdo pesquisado é percetível?

• Qual o processo utilizado para descobrir mais conteúdos relacionados com o conteúdo com que tinham interagido anteriormente?

• A página das definições é suficientemente clara?

• Que percursos os utilizadores seguem para atingir os cenários propostos? • Quais as questões apresentadas pelos participantes ao longo dos cenários? • Quais os aspetos que os utilizadores gostam e quais os aspetos que não gostam? No final do teste foram obtidos dados quantitativos:

• Se os participantes conseguiram completar os cenários: foi possível saber se os participantes conseguiam completar os cenários não obstante de cometerem erros durante o percurso;

• Número de participantes que conseguiu completar cada cenário com ou sem ajudas do moderador;

• Número de participantes que não conseguiu completar cada cenário; • Número de problemas encontrado em cada cenário;

• Através do questionário, foi possível recolher informações relativas à compreensão dos utilizadores em relação a questões demográficas, utilidade, facilidade de utilização, facilidade de aprendizagem, satisfação e questões relacionadas com o que mais os agradou na interface assim como a experiência da sessão de testes.

Foram igualmente obtidos dados qualitativos:

• Erros em relação a completar um cenário com sucesso: foi possível saber quando e quais os links que os utilizadores utilizaram de modo errado;

• Através do emprego do método Think-aloud, os participantes forneceram indicações acerca da generalidade da interface, o que os confundiu e porquê;

• Através do registo através de vídeo foi igualmente possível confirmar expressões faciais que expressassem sentimentos como confusão, dúvida ou prazer.

Localização e organização

Os testes foram conduzidos em ambiente universitário na Faculdade de Engenharia da Universidade do Porto, utilizando um computador portátil Macbook Pro com ecrã de 13 polegadas, sistema operativo OSX 10.8.4 e com recurso ao software Apple Keynote.

O portátil possuía o software Silverback (Clearleft Limited), que foi utilizado para gravar o vídeo do ecrã do computador onde estavam a ocorrer as interações do participante com a interface assim como a sua voz e expressão corporal e facial.

Perfis dos participantes

De modo a recrutar participantes que representem o tipo de utilizadores efetivo do

Pentamer, foram escolhidas pessoas que se enquadrassem no perfil das personas elaboradas

anteriormente.

Assim, todos os 9 participantes (6 homens, 3 mulheres), possuíam idades compreendidas entre os 20 e os 35 anos, demonstravam estar genericamente à vontade com a utilização de tecnologias e redes sociais e todos eles normalmente estavam em contacto com pelo menos 1 tipo de conteúdo de entretenimento. Adicionalmente, os participantes poderiam ter experiência prévia de utilização de SCS.

Foram excluídas pessoas que não possuíssem à vontade em termos de utilização de computadores ou redes sociais assim como pessoas que raramente estão em contacto com conteúdos de entretenimento.

Metodologia e Cenários

Esta seção descreve a metodologia empregue nos testes de avaliação de usabilidade. São igualmente apresentados os tempos para cada fase da sessão assim como os cenários que foram utilizados com os 9 participantes em sessões de 45 minutos.

Ainda que não exista atualmente uma resposta científica final sobre o número ideal de utilizadores a serem empregues em testes de usabilidade por forma a obter um nível percentual mais elevado de problemas de usabilidade detetados (estudos apontam para 4 ou 5 participantes serem capazes de encontrar entre 80% a 85% de problemas numa interface (Virzi 1990; Virzi 1992), enquanto outros afirmam que apenas 35% dos erros são descobertos com 5 participantes e somente entre o 13º e 15º participantes são descobertos erros graves e impeditivos de utilizar a interface (Spool and Schroeder 2001)).

Tendo estes aspetos em conta, foi considerada uma aproximação intermédia ao número de participantes. Foi entendido que 9 participantes seriam nesta situação o número ideal a ser utilizado.

O tempo total de cada sessão de testes foi de 40 minutos. Estas incluíram:

• Introdução, leitura e assinatura do documento de consentimento: 5 minutos; • Cenários de percurso e validação: 25 minutos;

• Inquérito pós-teste: 10 minutos;

Os tempos para cada cenário estão indicados posteriormente neste documento quando são referidos os cenários na página 142.

Procedimentos de teste

Não era permitido aos participantes utilizar quaisquer recursos que não os existentes na interface apresentada para o Pentamer. No caso dos participantes tentarem utilizar outros recursos para além do anteriormente definido, eram notificados pelo moderador do teste que aquela ação não era permitida no contexto da avaliação.

A mesma situação ocorria no caso dos utilizadores tentarem utilizar o teclado.

Preparação da sessão

Antes de cada sessão eram realizados procedimentos padrão:

• A apresentação no keynote era colocada no diapositivo correspondente ao ecrã inicial da interface;

• Os papéis referentes aos cenários eram dispostos de modo a serem acessíveis durante a sessão;

• Era confirmada a existência do documento de consentimento para gravação da sessão; • O inquérito na plataforma GoogleDocs era preparado de modo a ser fácil e rápido

proceder ao seu preenchimento após os testes.

No final de cada sessão:

• Era confirmado que os resultados do inquérito tinha sido submetidos com sucesso; • Era confirmado que a gravação da sessão tinha sido gravada com sucesso;

• No caso de algum acontecimento foram do comum acontecer durante a sessão de testes, este era anotado.

Papel do Moderador

O moderador esteve presente na sala e sentado durante o processo da sessão de testes. Fez a introdução, entregou o consentimento de autorização e introduziu os cenários quando era apropriado. Uma vez que o estudo possuía também uma vertente exploratória, por vezes foram colocadas questões adicionais, não planeadas, aos participantes de modo a esclarecer alguns comportamentos.

Tendo em conta o contexto académico deste projeto de partilha de conhecimento e o interesse demonstrado pelos participantes, no final de cada cenário era igualmente explicado quais as funcionalidades da plataforma e qual o significado da iconografia.

O moderador também registou notas acerca de comportamentos e expectativas dos participantes.

As gravações provenientes das sessões de testes foram analisadas pelo moderador para que fosse possível registar reações e procedimentos dos participantes que pudessem não ter sido visualizadas durante a sessão presencial de testes.

Por fim, com os resultados obtidos, o moderador tentou responder às questões apresentadas no inicio deste documento.

Introdução/leitura e assinatura do documento de consentimento

Esta etapa teve a duração de 5 minutos. O participante foi cumprimentado pelo moderador e foi-lhe entregue o documento de consentimento para gravação da sessão de avaliação para que este o pudesse ler e eventualmente assinar.

De seguida o participante é informado do procedimento geral do teste e é-lhe pedido que tente o máximo possível pensar em voz alta sobre o porquê das suas decisões.

A introdução realizada aos participantes seguiu a seguinte lógica de pensamento:

“Antes de mais obrigado por aceitar participar nesta investigação. O meu nome é Sandro e gostaria de entregar este documento de consentimento para gravação desta sessão.

Durante esta sessão a minha interação será baseada em guias previamente definidas que fazem com que as instruções que dou sejam iguais em todos os testes e para todos os participantes.

O objetivo de hoje é que eu aprenda como é que a plataforma que vou apresentar poderá ser capaz de permitir que as pessoas possam catalogar o entretenimento que veem, leem, jogam ou ouvem.

Durante a sessão irei entregar folhas, cada uma correspondente a um cenário de utilização da plataforma que pede que faça algumas coisas com o site apresentado. Durante esse tempo, eu estarei a observar. Peço-lhe que tente agir de modo mais natural possível.

Pedia-lhe igualmente que tentasse pensar alto enquanto interage com o site. Pode dizer-me o que quer que seja que lhe esteja a passar pela cabeça. Não estou a testar a si portanto não existem respostas erradas. O que está a fazer irá ajudar-me a compreender o que funciona e não funciona no site”.

Por ultimo, pedia que fosse o mais honesto(a) na opinião que expressa. Preciso de saber exatamente o que pensa e não o que você pensa que eu quero ouvir.

A sessão poderá ter um tempo máximo de 45 minutos incluindo o tempo de preenchimento de um inquérito no final.

Durante o teste não poderá utilizar o teclado. Só poderá utilizar o botão direito do rato. Gostaria também de avisar que uma vez que o protótipo foi feito em keynote, não é possível simular a funcionalidade de mouse-on-hover. Portanto quando a interface aceitar esse

tipo de interação, é apresentado um ícone em forma de cursor de rato numa zona aproximada ao elemento que tem a funcionalidade de hover. Deverá clicar nesse ícone do rato.

Tem alguma pergunta antes de começarmos?”

Cenários

• Cenário de percurso 1: Fim de semana ocupado (5 minutos);

• Cenário de percurso 2: Fim de semana ocupado: Parte 2 (4 minutos); • Cenário de percurso 3: Fim de semana ocupado: Parte 3 (5 minutos); • Cenário de percurso 4: Fim de semana ocupado: Parte 4 (5 minutos); • Cenário de validação 1: Privacidade por favor! (5 minutos).

Uma maior descrição dos cenários pode ser lida na secção 6.9 Definição de Cenários de

Percurso e Cenários de Validação. Poderão ser consultadas as versões completas dos cenários

no Anexo E.

6.12.3 Resultados das sessões de Usabilidade

Após as sessões de testes de usabilidade com 9 participantes, os dados obtidos foram analisados e compilados com o objetivo de alcançar conclusões relativas ao protótipo apresentado a testes e a fornecer indicações para alterações na interface de maneira a corrigir os problemas encontrados.

Tabela 6.1: Número total de cenários completos

Cenário 1 2 3 4 5

Número de

participantes 9 9 8 9 8

Percentagem 100% 100% 89% 100% 89%

Entre os 5 cenários existentes e os 9 participantes, apenas 2 cenários e por 1 participante não ficaram completos. Estes incluem cenários completos com ajuda do moderador ou que tenham acontecido erros durante o progresso. Estes valores podem indicar que existe uma elevada taxa de sucesso do utilizador alcançar os seus objetivos enquanto usa o Pentamer (Tabela 6.1).

Tabela 6.2: Número total de cenários completos com ajuda

Cenário 1 2 3 4 5

Número de

participantes 1 1 2 0 7

Percentagem 11% 11% 22% 0% 77%

Apenas o último cenário exigiu um nível elevado de ajuda. Ainda assim é importante referir que esta não se tratou efetivamente de uma ajuda mas sim de relembrar os utilizadores que ao ativarem as opções de privacidade nas definições, apenas o estariam a fazer para novos conteúdos e não para os anteriormente submetidos. Através desta informação, os participantes à exceção de um, foram capazes de posteriormente procurar e encontrar o ícone para tornar os conteúdos anteriores privados (Tabela 6.2).

Em relação ao cenário 1, a ajuda foi fornecida porque o participante não se apercebeu que a zona das informações sobre a série televisiva não fazia parte da sinopse.

No cenário 2, o participante considerou que a adição dos conteúdos era feita através do menu lateral, foi-lhe dada uma dica que essa funcionalidade se encontraria na zona principal da página e a partir desse momento apercebeu-se dos botões.

As ajudas no terceiro cenário foram no sentido de instigar os participantes a aceder ao menu de adição ou à barra de progresso no topo.

Tabela 6.3: Número total de cenários completos sem ajuda

Cenário 1 2 3 4 5

Número de

participantes 8 8 6 9 1

Percentagem 89% 89% 67% 100% 11%

Em sentido inverso, pode constatar-se que a maioria dos utilizadores não precisou de ajuda para completar os cenários. Realçar o 4º cenário onde era pedido que fosse adicionado um jogo à lista. Este cenário foi sempre completado sem qualquer ajuda e de modo muito rápido, eficiente e decidido. Por esta altura os participantes já tinham tido algum contacto com a plataforma e já identificavam com facilidade as suas principais funcionalidades de catalogação. Este número revela que é fácil aprender e recordar o funcionamento da plataforma (Tabela 6.3).

Tabela 6.4: Número total de cenários Incompletos

Cenário 1 2 3 4 5

Número de

participantes 0 0 1 0 1

Os cenários 3 e 5 não foram completados com sucesso pelo mesmo utilizador. Mesmo depois de serem oferecidas dicas, o participante não conseguiu identificar nenhuma das duas barras de progresso para registar os 2 episódios vistos. No caso do quinto cenário, conseguiu completar a parte das definições, mas não foi capaz de encontrar o ícone do globo para tornar o conteúdo privado (Tabela 6.4).

Tabela 6.5: Número de cenários completos com erros

Cenário 1 2 3 4 5

Número de

participantes 5 6 4 0 0

Percentagem 11% 44% 44% 0% 0%

Nesta situação, o cenário com mais erros é o segundo. Estes erros reportam-se a duas situações: Utilização das ligações para as listas no menu lateral em detrimento dos botões abaixo da imagem da série televisiva e na adição da série à lista errada (Tabela 6.5).

Os 5 erros do primeiro cenário podem ser divididos em duas categorias: (1) Erro de usabilidade, (2) má interpretação da leitura do cenário. No primeiro caso, o utilizador para tentar aceder à informação sobre a duração de episódio tentou clicar no botão para adicionar o conteúdo a lista To-Do (o ícone é um relógio). Os restantes 4 casos deram-se porque os participantes não prestavam atenção ao nome da série televisiva escrita no cenário e quando presentes na interface, clicavam no primeiro item que lhes aparecia e que tinha no nome “Star

Wars”. Esta situação resultava nos participantes a acederem à página do jogo e não da série

televisiva.

Os erros no terceiro cenário, acabam apenas por ser a não perceção do significado da iconografia apresentada nas barras de progresso. Contudo, os participantes conseguiam identificar que o registo de progresso teria de ser feito com recurso à barra e aos seus ícones.

O quinto cenário, apesar de ser necessário fornecer ajuda a 8 dos participantes, não contemplou qualquer tipo de erro. Os utilizadores ativaram corretamente as opções nas definições e depois investigaram a interface na procura de um ícone relativo à funcionalidade de tornar o conteúdo privado.

Tabela 6.6: Número total de erros não repetidos por cenário

Cenário 1 2 3 4 5

Número de

erros 2 3 1 0 0

No cenário 1 o ícone do To-Do foi interpretado como sendo capaz de indicar a duração da série e alguns participantes confundiram o nome do conteúdo pedido no cenário de percurso, acedendo desse modo ao conteúdo errado (Tabela 6.6).

No cenário 2 aconteceram 3 tipos de erros: Os participantes clicavam nas ligações para as listas na barra lateral; Clicaram no botão para adicionar à lista errada (neste caso pode também estar relacionado mais uma vez com uma leitura menos atenta do cenário); Os participantes clicaram nas indicações estatísticas presentes na página de informação.

O erro do cenário 3 reporta-se ao facto dos ícones da barra de progresso não serem corretamente interpretados;

Definição de problemas

Os resultados obtidos nas sessões de testes permitiram elaborar uma tabela (Tabela 6.7), onde estão identificados os principais problemas, o número de utilizadores afetado por eles e o seu nível de gravidade.

Estes foram subdivididos em 3 categorias:

• Requisitos de funcionalidades: São funcionalidades que os utilizadores querem e esperam mas não encontraram;

• Layout: A organização dos elementos na página e a sua eficiência a indicar o percurso para os objetivos dos utilizadores;

• Estética: A aparência da interface e se é ou não funcional;

Opiniões dos participantes

Estas são algumas das opiniões recolhidas ao longo das sessões de testes empregando o método Think-aloud:

Positivas:

Participante #4 em relação à sua página de Dashboard: “Tinha o que eu queria. Bem percetível!”. O mesmo participante, em relação à apresentação da informação de duração média de um jogo referiu: “Gosto bastante disto. O tempo médio para acabar o jogo. Irrita-me muito ter de ir ao Google procurar.”

O participante #5, em relação a não ser obrigado a adicionar detalhes aquando da adição de conteúdo a uma lista: “Acho que isso é muito bom”.

O participante #1 em relação às páginas de conteúdos individuais e à apresentação de dados sobre quantos utilizadores têm o item nas suas listas: “É útil porque se há tantas pessoas que gostam? Vou ver também”.

O participante #1 em relação às notificações: “... mesmo o add details, normalmente não reparo nisso mas nesta [página do Pentamer] reparei”

Participante #8 em relação ao significado dos ícones na barra de progresso: “À pouco quando fiz mouse-hover ao ícone da série, apareceu 5 seasons. Agora já faz sentido. Então isto colapsa, aparecem as 5 bolinhas grandes e cada bolinha grande é uma season”.

Negativas:

As opiniões negativas resumiram-se normalmente a expressar um “Oh, não sei” quando os participantes não conseguiam logo descobrir como proceder. Outra participante (#9), expressou uma opinião curiosa, apesar de compreender o modo de funcionamento e os nomes das listas, disse: “ouves uma música uma vez e não estás Done de ouvir a música”.

O participante #6 admitiu-se bastante agradado com a zona da barra lateral, chegando a dizer que estava “fantástica”. Contudo disse que parte onde o conteúdo era apresentado era o

No documento Plataforma para Gestão de Conteúdos de Entretenimento UX: Design da Investigação ao Protótipo" (páginas 159-176)