O principal objetivo deste estudo foi o desenvolvimento de uma abordagem metodológica sumativa, de baixo custo e fácil aplicação, que envolvesse, de forma sistémica, a avaliação da Usabilidade e da Experiência de Utilização de um produto físico de lazer para locomoção, nomeadamente, a bicicleta ELIP.
A revisão da literatura revelou lacunas no que diz respeito à utilização de metodologias de Usabilidade e de UX, numa forma combinada, para avaliação de produtos físicos, particularmente bicicletas (Petrie & Bevan, 2009). Paralelamente, foi evidenciado o
61
facto de que metodologias alternativas para a avaliação de produtos físicos se prendiam, essencialmente, à análise de parâmetros fisiológicos e biológicos, que exigem altos custos financeiros, equipamentos especializados e maior número de recursos humanos (Esposito et al., 2012; Orr et al., 2013; Pasini, 2009).
Dado isto, e uma vez que são vários os investigadores que têm apontado a experiência e resposta emocional dos utilizadores aos produtos ou serviços como tão essencial para a sua total avaliação e compreensão, quanto os aspetos relacionados com o desempenho e funcionamento (Hassenzahl, 2004; Thüring & Mahlke, 2007), optou-se pela criação de uma metodologia de base, combinada e desenvolvida para a avaliação deste produto, a bicicleta ELIP.
Recolhida a informação necessária sobre este tipo de metodologias, constatou-se que a melhor opção seria a construção de um questionário dirigido para questões relacionadas com a Usabilidade. O questionário, método ideal para recolha de informação objetiva e subjetiva (Naumann & Wechsung, 2008), era constituído por 17 questões, divididas em 4 grupos, maioritariamente cotadas sob a forma de escala, assim como questões dicotómicas de “Sim” e “Não”. No sentido de avaliar a Experiência de Utilização na sua totalidade, acrescentaram-se, ao questionário, duas ferramentas eficazes na análise da reação emocional, o Self Assessment-Manikin e o
Geneva Emotional Wheel. Importa referir que o recurso a questionários e a este tipo
de ferramentas é útil e eficaz, mas pode apresentar limitações, no sentido em que o momento em que são sentidas as emoções e perceções e o momento do seu preenchimento podem estar distantes demais para se obter uma resposta o mais real possível (Agarwal & Meyer, 2009). No entanto, nesta investigação, este facto foi tido em conta, procurando apresentar as ferramentas avaliativas, logo posteriormente à conclusão de cada teste.
A presente investigação foi desenvolvida em duas fases, nomeadamente, Estudo I – estudo decorrente da interação com a bicicleta ELIP, e Estudo II – estudo decorrente da observação da bicicleta ELIP, com recurso a uma avaliação sumativa, isto é, comparando esta a uma bicicleta considerada normal. A metodologia foi utilizada em ambos os estudos, sendo que no primeiro se utilizou tanto o questionário como as ferramentas, no entanto, no segundo apenas se recorreu às ferramentas de avaliação das respostas emocionais.
Estabelecida a metodologia, procedeu-se à realização de pré-testes que permitiram compreender quais seriam os últimos ajustes no sentido de uma aplicação adequada e recolha de dados válida. Aquando da realização dos testes com os participantes, constatou-se que a metodologia desenvolvida era de fácil aplicação e se encontrava clara e concreta, bastante percetível para todos os participantes. A utilização das mesmas questões nos dois estudos foi conseguida sem limitações e bem compreendida entre os participantes, enquadrando-se em ambos. É também possível afirmar que é uma metodologia de muito baixo custo.
Relativamente ao tempo de aplicação, no Estudo I, com a extensão de uma hora de duração, aproximada, por necessidade, verificou-se que não era cansativo para os participantes, o que também se devia ao facto de ser uma atividade apelativa e motivadora para estes. De acordo com Sproll et al. (2010), a avaliação dos produtos deve ser realizado em contacto com os utilizadores e num contexto de utilização natural, para que tenham uma experiência o mais semelhante à realidade possível. Assim, a presente investigação procurou ir de encontro a uma experiência o mais natural possível, aquando da interação, decorrendo no exterior, em ambiente semicontrolado.
62
No sentido de verificar a eficácia da metodologia desenvolvida na discriminação de diferenças nas várias variáveis focadas, procedeu-se à sua aplicação, em contexto natural de interação com a bicicleta ELIP, nas suas várias oscilações, e com a mesma bicicleta, mas com rodas normais. A investigação direcionou-se para a descrição dos dados recolhidos e para a verificação da existência de diferenças significativas, nos parâmetros avaliados, entre cada bicicleta e oscilação, recorrendo-se a testes estatísticos adequados a cada situação em análise.
Neste primeiro estudo, focou-se uma amostra de 30 participantes, em número equitativo de género, isto é, 15 participantes do género masculino e 15 participantes do género feminino, e com idades compreendidas entre os 18 e os 40 anos (M = 22,2; DP = 3,910). Na sua maioria eram praticantes de desporto, com regularidade.
Uma vez que os resultados podem variar com as características amostrais e dado que este é um estudo-piloto da eficácia desta metodologia, sugere-se prudência na interpretação e aceitação das conclusões retiradas desta análise.
A partir dos resultados obtidos, um dos primeiros aspetos a referir relaciona-se com o facto de, em todos os parâmetros focados, nomeadamente, adaptação, esforço, controlo, equilíbrio, segurança e nível de dificuldade, o valor médio atribuído pelos participantes vai aumentando significativamente, desde a bicicleta Normal à bicicleta ELIP Máxima. Este crescendo indica que é a bicicleta ELIP Máxima que apresenta uma maioria de avaliações negativas e que exige mais dos seus utilizadores.
Outro aspeto a reportar é o facto de que, embora se verifiquem diferenças nos valores médios de cada variável, de um momento de avaliação para outro, esta diferença não é, na sua maioria, significativa. Isto é, mesmo com algum tempo de utilização das bicicletas, a perceção dos participantes face aos parâmetros analisados, não muda significativamente. De modo geral, o valor decresce ou mantém-se idêntico, de um primeiro momento para o outro.
É de notar que, como referido por Hassenzahl e Roto (2007) e Roto et al. (2009), uma avaliação de UX não deve ser baseada apenas num único momento de avaliação, para que se consiga uma análise o mais adequada possível (Hassenzahl e Roto, 2007; Roto et al., 2009). Assim, cada variável foi avaliada em dois momentos distintos do percurso realizado, no sentido de permitir ao participante familiarizar-se com o produto em avaliação.
Dado que a amostra apresentava equidade de géneros, verificou-se ainda se este era um fator influente na perceção e desempenho nas bicicletas e diferentes oscilações. Verificou-se que, de modo global, as diferenças entre géneros não eram significativas. No que refere à adaptação, o género feminino apresentou uma avaliação mais positiva, em todas as bicicletas, facto revelador de uma adaptação mais fácil. No entanto, os restantes parâmetros avaliados demonstram uma variação entre géneros. Focando a variável esforço, identificam-se valores médios mais negativos por parte do género feminino, o que acontece simultaneamente com as variáveis do controlo e segurança nas bicicletas. Contrariamente, ao nível do equilíbrio e das dificuldades sentidas é o género masculino que apresenta maiores valores atribuídos, o que indica uma perceção mais negativa.
Uma vez que, de modo geral, as diferenças entre géneros não são significativas e os valores médios atribuídos pelos participantes são também bastante oscilatórios, encontram-se limitações ao assumir que o fator género possa influenciar a perceção de usabilidade nestas bicicletas e sugere-se maior investigação. Retém-se o facto de que, globalmente, é a bicicleta Normal que apresenta melhores resultados e a bicicleta
63
ELIP Máxima que apresenta os piores resultados, em todos os parâmetros avaliados e por cada género.
A resposta emocional foi também avaliada, com recurso a duas ferramentas, SAM e GEW, de onde se destaca o facto de a bicicleta ELIP, nas suas diferentes oscilações, apresentar resultados menos positivos do que a bicicleta Normal, nomeadamente, ao nível do prazer que garante aos seus utilizadores e do domínio desta. No entanto, embora identificada, geralmente, como difícil e exigente na sua utilização, é também a melhor avaliada quando referenciado o entusiasmo que transmite durante a mesma. Este destaque positivo global face à bicicleta Normal pode estar associado à familiarização individual dos participantes a esta bicicleta, demonstrada inclusivamente no sentimento de nostalgia identificado pelos participantes durante a interação, o que não acontece com a bicicleta ELIP. O seu carácter diferenciador pode remeter para alguma estranheza e, consequentemente, para a perceção de maiores dificuldades no seu manuseamento, face à primeira. No entanto, é evidenciado paralelamente o interesse e espanto que este carácter traz consigo.
No sentido de confirmar se este carácter inovador ou diferenciador poderia, paralelamente, ser impulsionador de curiosidade e cativação face à bicicleta ELIP, foi introduzido um segundo estudo, um estudo focado exclusivamente na observação das bicicletas em utilização e, consecutiva resposta emocional dos participantes. Neste teste foi utilizada parte da metodologia desenvolvida, nomeadamente, a que se encontra associada às respostas emocionais. Os dados do presente estudo serão analisados paralelamente, de seguida.
Neste segundo estudo, foi focada uma amostra total de 50 participantes. No entanto, para facilitar a análise dos dados e retirar conclusões mais concretas e úteis, optou-se pela divisão da amostra de acordo com os momentos de recolha dos dados, o que deu origem a dois momentos distintos, estudo do Momento de Recolha A e do Momento de Recolha B.
A amostra do Momento de Recolha A era constituída por 36 participantes, com idades compreendidas entre os 18 e os 26 anos (M=19,66; DP=1,570), à qual se requereu a avaliação da bicicleta Normal e da bicicleta ELIP Máxima. Por sua vez, no Momento de Recolha B, contou-se com 14 participantes com idades compreendidas entre os 19 e os 27 anos (M=19,87; DP=2,140), que avaliaram a bicicleta Normal e da bicicleta ELIP Nula.
Analisando os dados recolhidos a partir da aplicação das ferramentas SAM e GEW, para o Momento de Recolha A, destaca-se o facto de que a avaliação da ELIP Máxima é significativamente mais positiva do que a avaliação da bicicleta Normal, demonstrando que assegura maior prazer e entusiasmo aos observadores e estando associada a sentimentos de interesse, diversão e surpresa. Também no domínio, esta bicicleta está associada a maior controlo, embora com pouca diferença para a bicicleta Normal, por sua vez identificada com mais sentimentos de indiferença.
Já, no Momento de Recolha B, verifica-se novamente uma avaliação significativamente mais positiva da bicicleta ELIP Nula, despertando entusiasmo e prazer aos observadores, e sendo referenciada como interessante, maravilhosa e motivo de orgulho e exaltação. Uma vez mais o domínio apresenta valores mais próximos, mas inferiores na bicicleta Normal, à qual se associaram sentimentos de algum interesse mas maioritariamente de indiferença e até de irritação e desilusão. Estes resultados contrariam os resultados encontrados no estudo de interação onde a bicicleta Normal é avaliada com valores mais positivos, o que revela que o carácter comum a ela associado, na observação, acaba por não ser tão apelativo quanto o carácter diferenciado/inovador da ELIP. Importa evidenciar, simultaneamente, que as
64
dificuldades demonstradas aquando da utilização desta segunda podem ser determinantes na perceção dos utilizadores.
Segundo Mugge e Schoormans (2012), a inovação de um produto pode ser sinónimo de avanço tecnológico e consequentemente de uma melhor qualidade de interação, o que pode também justificar a avaliação dos observadores no Estudo II.
Para se compreender, de forma concreta, e pesadas todas as variáveis presentes naquilo que é a Usabilidade e Experiência de Utilização de cada individuo, pretendeu- se ainda registar qual seria o interesse destes na reutilização, compra ou aluguer das bicicletas. Determinou-se que, na sua maioria, os participantes teriam interesse em voltar a utilizar apenas a bicicleta Normal e a bicicleta ELIP Nula, que alugariam. Para efeitos de compra apenas a bicicleta Normal foi evidenciada.
Em suma, identificam-se dificuldades significativas na utilização da bicicleta ELIP, principalmente ao nível da oscilação máxima, que, conjugadas com o carácter comum da bicicleta Normal, pode dificultar a aceitação desta bicicleta por parte do público e, consequentemente, ao nível do mercado. No entanto, destaca-se durante toda a investigação o interesse e espanto face à bicicleta ELIP que, contornados os obstáculos, continua a ser, de forma evidente, a bicicleta que mais entusiasma os seus utilizadores e também os seus observadores. O carácter inovador e invulgar desta bicicleta é um ponto forte que, associado a uma utilização mais facilitada e confortável poderá tornar este produto num sucesso.
Uma vez mais, evidencia-se a necessidade de alguma cautela na interpretação dos dados desta investigação, dado tratar-se de um estudo piloto, que deve ser continuado com uma amostra maior e mais variada.
A análise dos dados recolhidos permitiu compreender que a metodologia é claramente eficaz na distinção de grupos e níveis, nos diferentes parâmetros avaliados e bicicletas. A identificação de diferenças significativas em muitas das análises reforça esta dedução.
A necessidade de desenvolvimento de metodologias de análise para diferentes produtos e contextos, é essencial na garantia do sucesso do produto entre os utilizadores (Kort et al., 2007; Väänänen-Vainio-Mattila et al., 2008). No entanto, é importante ter em conta que esta avaliação deve envolver a totalidade da Experiência de Utilização percecionada por cada participante. De acordo com Park et al. (2013), a UX não deve ser dissociada de Usabilidade, assumindo-se sempre que a primeira envolve a segunda, remetendo para a análise das componentes de performance, complementada pela análise das respostas emocionais. Roto e Rautava (2008) corroboram este conceito.
Numa fase inicial, pretendeu-se que esta investigação fosse um contributo para a criação de metodologias de avaliação da Usabilidade e Experiência de Utilização, em produtos físicos. Os resultados obtidos permitiram identificar a sua importância e utilidade, bem como a capacidade de análise globalizada de uma situação de interação com esse mesmo produto e, consequentemente, das suas qualidades e limitações.