4 Resultados da Etapa 1: Concepção e Implementação do Youubi
4.5 Avaliação do Youubi
Para o experimento de avaliação do ambiente Youubi, no final da Etapa 1, foram selecionados cinco participantes, conforme justificado na Seção 3.2.7. Primeiramente e presencialmente, junto com o pesquisador, eles foram convidados a responder um questionário para identificação de perfil (Apêndice A). Em seguida, eles receberam algumas instruções sobre instalação do aplicativo, onde puderam explorá-lo de modo ad hoc e tiveram oportunidade para esclarecerem suas dúvidas (Figura 17). Em seguida, os participantes receberam um roteiro composto por tarefas que refletem as funcionalidades principais do aplicativo (Apêndice B).
Figura 17 – Encontro inicial com pesquisador e participantes
Fonte: o autor
Por se tratar de um aplicativo que explora requisitos de ubiquidade, sem barreiras entre ambientes formais e informais de aprendizagem, os participantes tiveram a liberdade para utilizar o aplicativo e executar o roteiro proposto durante quinze dias, nos locais e momentos que preferirem. Após esse período, eles também foram convidados a responderem um questionário de aceitação (Apêndice C).
Finalmente, logo após a coleta dos dados, foi iniciada a fase de análise, que tem como objetivo estruturar os dados coletados e interpretá-los. As informações provenientes da fase de análise serviram de base para as correções e consequente evolução do aplicativo Youubi
A seguir, a Tabela 10 traz o resumo das médias das avaliações feitas pelos participantes. Para cada conjunto de critérios, os participantes puderam adicionar comentários sobre suas impressões em relação ao aplicativo e ao sistema de modo geral. Com isso, foi possível identificar os pontos positivos (Quadro 9) e negativos (Quadro 10), juntamente com suas respectivas causas.
Tabela 10 – Resumo quantitativo das respostas
Critério Média
[1-5]
1. Reações gerais 4,1
1.1 Reação geral (Terrível – Admirável) 4,2
1.2 Reação geral (Frustrante – Satisfatório) 4,0
1.3 Reação geral (Tedioso – Estimulante) 3,4
1.4 Reação geral (Difícil – Fácil) 3,8
1.5 Reação geral (Inadequado – Adequado) 4,8
1.6 Reação geral (Rígido – Flexível) 4,4
2. Reações sobre as telas 4,2
2.1. Caracteres na tela (Difícil de ler – Fácil de ler) 3,8
2.2. O layout da tela foi útil (Nunca – Sempre) 4,2
2.2.1. Quantidade das informações exibidas (Inadequada – Adequada) 4,6
2.2.2. Arrumação da informação exibida (Ilógica – Lógica) 4,2
2.3. Sequência de telas (Confusa – Clara) 4,2
2.3.1. Próxima tela na sequência (Imprevisível – Previsível) 4,2
2.3.2. Voltando para a tela anterior (Impossível – Fácil) 3,8
2.3.3. Progressão do trabalho (Confusa – Clara) 4,2
3. Reações sobre a terminologia 4,8
3.1. Termos, palavras e conceitos usados (Inconsistentes – Consistentes) 5,0
3.2. Execução de uma tarefa leva a um resultado previsível (Nunca – Sempre) 4,6
4. Reações sobre o aprendizado do sistema 3,9
4.1. Início do uso (Difícil – Fácil) 3,6
4.2. Tempo para aprender a usar o sistema (Demorado – Rápido) 4,2
5. Reações sobre os recursos multimídia 4,1
5.1. Qualidade das imagens (Ruim – Boa) 4,2
5.2. Cores usadas (Inadequadas – Adequadas) 4,0
Quadro 9 – Resumo qualitativo das respostas, especificamente relacionadas às causas das avaliações positivas
1 Reações Gerais (positivas)
Atende os requisitos de usabilidade: “Tem um layout legal e agradável à visão”, “Interface com ótima usabilidade”.
Requisitos básicos para ambientes ubíquos, encontrados em outros sistemas, foram atendidos: “Gostei do aplicativo porque mostrou ser uma mistura de várias configurações de outros apps em um só, então ao invés de ter uns três a quatro apps no meu cell agora posso ter só um”.
Sistema inovador: “Adorei, achei super inovador e se tudo der certo quero usá-lo muito com meus amigos”. Aprovação de estratégias de gamification: “A ideia das medalhas é interessante”.
2. Reações sobre as Telas (positivas)
Atende aos requisitos de usabilidade: “Todas [telas] são bem legais” , “Bastante intuitivo”.
3. Reações sobre a Terminologia (positivas)
Atende aos requisitos de usabilidade: “De fácil entendimento, termos do dia-a-dia”, “Clara e objetiva”.
4. Reações sobre o Aprendizado do Sistema (positivas)
Atende aos requisitos de usabilidade: “A barra lateral de funções é organizada, dá para desenrolar bem rápido”, “Bem fácil”, “Achei fácil mexer, tem varias caixinhas onde estão bem dividas”.
5. Reações sobre os Recursos Multimídia (positivas)
Uso de cores neutras: “O tom de azul é agradável”.
Fonte: o autor
Quadro 10 – Resumo qualitativo das respostas, especificamente relacionadas às causas das avaliações negativas.
1 Reações Gerais (negativas)
O reduzido número de usuários afeta a motivação dos participantes: “Não é tão estimulante pois não encontrei usuários em comum”.
O desempenho do Youubi Server provavelmente foi a causa de avaliações negativas referentes à lentidão e transição de telas: “Passa muito tempo travado”.
2. Reações sobre as Telas (negativas)
Necessita de testes em mais aparelhos com telas de diferentes tamanhos: “Os caracteres são, às vezes, menores que o tamanho usual dos demais apps”, “Na tela do meu smartphone deu um pouco de trabalho para visualizar tudo”.
Necessidade de adicionar mais recursos de personalização: “Acho que deveria ser feita uma configuração na qual o próprio usuário tem a possibilidade de personalizar sua tela conforme seja desejado”.
3. Reações sobre a Terminologia (negativas)
Não houve comentários negativos.
4. Reações sobre o Aprendizado do Sistema (negativas)
Necessita de um atalho na tela inicial do dispositivo: “O ícone na área de trabalho, não era fácil de visualizar e instalei três vezes o programa”.
5. Reações sobre os Recursos Multimídia (negativas)
Aumentar a qualidade das imagens exibidas: “Quando carrega a imagem do perfil, fica distorcida”. Fonte: o autor
Com base nesses resultados, novas versões do aplicativo Youubi Android e dos componentes do Youubi Server puderam ser desenvolvidas, de modo a sanar as queixas levantadas pelos participantes. Da mesma forma, os pontos que receberam avaliações e comentários positivos foram também aprimorados e melhor explorados. Por exemplo, podem ser citadas as seguintes melhorias no Youubi que foram resultado dessa atividade de avaliação com os usuários: foi removido o fundo transparente do ícone da aplicação; a tela de notificações passou a receber todas as interações dos demais usuários sobre os conteúdos do usuário conectado; para evitar essa sensação de “vazio” relatada pelos participantes, a versão utilizada na Etapa 2 passou a ter diversos objetos pré-carregados (postagens, lugares, eventos e desafios); a camada de comunicação passou a comprimir os dados antes de envia-los de modo a melhorar a eficiência; foram realizadas melhorias nos algoritmos de recomendação para reduzir os riscos de travamento; a funcionalidade de chat foi melhorada para incentivar a comunicação entre os participantes; a exibição de imagens foi padronizada para evitar quebra no layout; o tamanho das fontes foi padronizado para que os textos pudessem ser exibidos em dispositivos com telas pequenas; o layout foi adequado para que a aplicação pudesse ser exibida em tablets; além de outras melhorias de eficiência e apresentação dos elementos de interface gráfica.
4.6
Conclusão
Este capítulo teve como objetivo descrever o processo de concepção, desenvolvimento e avaliação do Youubi, no que se refere a aplicação Youubi Android e sua integração com o
Youubi Server. Foram apresentados os padrões adotados, os esquemas da arquitetura de
referência, a lista de requisitos funcionais, o modelo de dados as entidades elementares, as tecnologias adotadas na implementação, e a preocupação em disponibilizar os artefatos de
software sob uma licença open source. Por fim, com base na avaliação com os usuários, os
artefatos de software foram corrigidos e preparados para serem utilizados no experimento da Etapa 2 do método de pesquisa, conforme será apresentado no próximo capítulo.