Variáveis Dependentes

As variáveis independentes foram os dois sistemas: EyesWeb e marine. Visando mensurar as diversas dimensões da usabilidade, definimos as seguintes variáveis

dependentes, de acordo com as propostas para medição de usabilidade de

Quesenbery (QUESENBERY, 2001):

 Execução da Tarefa (efetividade): variável dicotômica definida como a “ativação de exibição bem sucedida de qualquer projeção de imagem interativa”, considerada completa quando os participantes ajustavam o sistema de maneira apropriada e adentravam o palco, de fato ativando a interatividade; a execução da tarefa não implicava o fim da sessão de testes, uma vez que mesmo completando a tarefa, os participantes poderiam continuar experimentando com o sistema até o final da sessão;

 Tempo para Executar a Tarefa (eficiência): variável discreta definida como o tempo, em segundos, decorrido entre o início da sessão e a execução da tarefa;

 Proporção de Tempo no Palco (efetividade): variável contínua definida pela razão entre o tempo total utilizado no palco e o tempo total de experimentação do respectivo sistema;

 Desistência (engajamento): variável dicotômica, ocorrida quando, durante a experimentação de cada sistema, o participante solicitava a interrupção do teste antes de terminados os 30 minutos da sessão; independentemente de haver completado a tarefa ou não, os participantes podiam solicitar a interrupção do teste a qualquer momento;

 Tempo até a Desistência (engajamento): variável discreta definida como o tempo, em segundos, desde o início da experimentação do sistema até o momento em que os participantes desistiam do teste; esta variável foi computada apenas para os casos em que houve desistência;

 System Usability Scale – SUS (percepção de usabilidade): variável contínua definida pela pontuação obtida na aplicação do questionário SUS, conforme proposto por Brooke (BROOKE, 1996); e

 Learnability (percepção de facilidade de aprendizado): variável contínua definida pela pontuação obtida nas questões Q4 e Q10 do questionário SUS, conforme proposto por Lewis e Sauro (LEWIS; SAURO, 2009).

Maiores taxas de execução da tarefa e menores tempos para executar a

tarefa evidenciam uma maior facilidade em transpor a barreira de entrada em

usabilidade. Uma maior proporção de tempo no palco é evidência de que o sistema proporciona mais experimentação de fato, uma vez que a exploração de possibilidades poéticas acontece majoritariamente no palco, durante a interação com o sistema. Partindo do pressuposto que uma menor barreira de entrada em usabilidade melhora o engajamento, uma menor incidência de desistências, com maior tempo até a desistência, medem o engajamento e o impacto da barreira de entrada, especialmente se as desistências estiverem relacionadas à ausência de

execução da tarefa ou maiores tempos para execução da tarefa. Por fim, SUS e Learnability são métodos estabelecidos para mensuração das percepções de

usabilidade e facilidade de aprendizado. A Tabela 2 resume as hipóteses a respeito de cada variável dependente.

Tabela 2. Resumo das hipóteses sobre as variáveis dependentes.

Variável Dependente EyesWeb marine

Execução da Tarefa Menos ocorrências Mais ocorrências

Tempo para Executar a Tarefa Mais longo Mais curto

Proporção de Tempo no Palco Menos tempo no palco Mais tempo no palco

Desistência Mais desistências Menos desistências

Tempo até a Desistência Menos tempo até a

desistência

Mais tempo até a desistência

System Usability Scale – SUS Menor pontuação Maior pontuação

Learnability Menor pontuação Maior pontuação

9.5 Ambiente

Microsoft Kinect posicionado no palco, um computador com os dois sistemas instalados, e um projetor apontando para o piso do palco, como mostrado na Figura 48.

Figura 48. Planta baixa da infraestrutura física do experimento: (a) área de projeção e área aproximada de captura de movimento; (b) sensor mocap (Microsoft Kinect); e (c) computador com o EyesWeb e o marine instalados.

Ambos os sistemas foram disponibilizados para os participantes nas versões em inglês, da forma como se encontram após a instalação (Figuras 49 e 50). Exceção se fez pelas janelas “Search Bar” e “Properties”, tornadas visíveis no EyesWeb, uma vez que acreditamos que seria mais fácil para os participantes encontrarem e entenderem os comportamentos dos componentes de que precisassem. Os participantes foram solicitados a não utilizar as funcionalidades “abrir” ou “importar” de qualquer dos sistemas, construindo suas experimentações a partir de arquivos em branco.

Figura 49. Captura da tela inicial do marine.

9.6 Protocolo

Nós aplicamos o protocolo mostrado na Figura 51, que incluiu oito etapas. Na

introdução, os participantes eram brevemente apresentados ao ambiente de testes,

às bases da tecnologia mocap utilizada, às etapas do experimento, e às seguintes instruções:

(1) A tarefa consistia em acionar projeções interativas e realizar uma livre experimentação com elas;

(2) O trânsito entre o computador e o palco era livre durante todo o período de experimentação;

(3) O pesquisador não forneceria qualquer informação relacionada à forma de utilização dos sistemas; e

(4) Os dados coletados seriam utilizados anonimamente.

Figura 51. Protocolo de experimentação.

Observe-se que a possibilidade de desistência não era explicitada aos participantes a priori, sendo necessário que expontaneamente a requeressem.

Após a introdução, os participantes eram, então, convidados a responder um

questionário sobre seus perfis, incluindo, entre outras, informações como

experiência prévia com tecnologias digitais e sensores de movimento em espetáculos de dança. Em seguida, de acordo com um sorteio previamente realizado, cada participante iniciava experimentando livremente o EyesWeb (o “Sistema Laranja”) ou o marine (o “Sistema Verde”), durante trinta minutos cada.

Imediatamente após a experimentação com cada sistema, um questionário

sobre a experiência do usuário era respondido pelo participante. As dez primeiras

mostradas na Tabela 4 do Apêndice A. O SUS é tido como uma opção de baixo custo e aceitável confiabilidade para medição de usabilidade, apresentando boa correlação com outras medidas subjetivas de usabilidade (BROOKE, 1996). Visando evitar viés relacionado ao nível de proficiência em inglês de cada participante, as perguntas foram traduzidas para o português, visto haver evidência de que isso manteria similar confiabilidade interna (SAURO, 2011).

As outras três questões são perguntas exploratórias traduzidas do trabalho de Calegário (CALEGARIO, 2017), exibidas na Tabela 5 do Apêndice A, que visavam explorar um pouco mais o sentimento subjetivo do usuário sobre a experiência com cada sistema. Calegário alerta para as recomendações da literatura sobre a necessidade de testes extensivos de questões baseadas na escala Likert antes de sua utilização, de forma a evitar más interpretações (BROOKE, 1996; CALEGARIO, 2017). Entretanto, embora com um grau de confiabilidade menor, acreditamos que essas questões poderiam agregar mais informação sobre a experiência do usuário.

Uma vez que ambos os sistemas haviam sido experimentados, um questionário

comparativo era aplicado. O questionário comparativo continha dezesseis perguntas,

adaptadas e traduzidas de Calegário (CALEGARIO, 2017), e mostradas na Tabela 6 do Apêndice A, para as quais os participantes deveriam escolher uma entre as opções “ambos”, “laranja”, “verde” ou “nenhum”. Esse questionário objetivava obter um melhor entendimento do sentimento subjetivo dos usuários de maneira comparada entre os sistemas, como forma de verificar a consistência das demais informações colhidas.

Por fim, visando identificar fatores que influenciaram positiva ou negativamente a experiência dos participantes, conduzimos uma entrevista semiestruturada, com roteiro adaptado de Calegário (CALEGARIO, 2017). A Figura 52 mostra uma participante experimentando comportamento interativo no palco.

Figura 52. Participante experimentando comportamento interativo com o marine no palco, durante sessão de testes.