PRÉ-TESTES

Com o objetivo de detectar erros de função, de lógica ou de implementação e alguns aspectos preliminares de usabilidade do SE_TTool, foram executados pré-testes, com seu público-alvo, ou seja, professores, sem conhecimento prévio de design instrucional, das áreas contempladas pelo protótipo. Selecionaram-se cinco professores, seguindo a recomendação de Nielsen (2000), que afirma que, para estudos qualitativos tradicionais, geralmente recomendam-se cinco participantes dado que esse número apresenta a melhor relação custo-benefício.

Para Nielsen (2012), a usabilidade é um atributo de qualidade relacionado à facilidade de utilização de interfaces de usuário. O autor explica que usabilidade pode ser definida com base em cinco componentes:

1. Facilidade de Aprendizado: facilidade de realizar tarefas básicas, pelo usuário, na primeira vez em que ele se depara com o design.

2. Eficiência: rapidez com que as tarefas podem ser realizadas, uma vez que os usuários aprenderam o design.

3. Facilidade de Memorização: facilidade de se restabelecer proficiência, quando os usuários retornam ao projeto após um período sem usá-lo.

4. Suporte a Erros: erros que os usuários cometem, graus de severidade associados e com que facilidade pode-se recuperá-los.

5. Satisfação: O quanto o design é agradável de ser usado.

Consideraram-se, para este pré-teste, as seguintes métricas, baseadas no componente 1, relativas à primeira experiência de uso do sistema:

 Prático mecanismo de uso;

 Navegabilidade;

 Interação com o sistema;

 Identificação dos resultados;

 Utilidade do tutorial de uso e textos de ajuda nas interfaces.

Os professores, que não conheciam o modelo TTool, foram solicitados a realizar o acesso ao sistema e executar as seguintes tarefas: (1) Fazer o cadastro no sistema; (2) Acessar o curso com o e-mail e a senha definida; (3) Cadastrar um novo curso; (4) Definir o Perfil do Profissional, Perfil do Aluno e apenas um Objetivo Específico; (5) Verificar as saídas do sistema; (6) Responder ao questionário de avaliação preliminar (LORANGER, 2016).

A elaboração dos questionários seguiu as sugestões propostas por Hill e Hill (1998), constando de uma parte introdutória que visou informar aos professores o contexto da pesquisa, objetivos do questionário, agradecimento pela cooperação em respondê-lo e garantia de total confidencialidade. Em seguida, incluíram-se as instruções para o preenchimento do questionário, deixando claros os tipos de questão e a forma de respondê-los.

Para as questões fechadas utilizou-se a escala de Likert (LIKERT, 1932) como instrumento que definiu as alternativas associadas a cada uma das questões, sendo que essas alternativas correspondem a: ‘concordo totalmente’, ‘concordo parcialmente’, ‘não concordo, nem discordo’, ‘discordo parcialmente’, ‘discordo totalmente’. Esta mensuração é utilizada principalmente para observação de atitudes, opiniões e avaliações. Como relação à questão aberta, optou-se por incluí-la ao final do questionário para capturar as opiniões não cobertas pelas questões fechadas. O questionário elaborado encontra-se no APÊNDICE X.

A partir da execução das atividades por parte dos respondentes foi possível realizar a coleta dos dados para que pudessem ser apresentados os resultados, destacados a seguir.

Foi possível verificar, por meio da consolidação dos dados apresentados no gráfico da Figura 18, que 70% dos respondentes concordam totalmente ou parcialmente com a operacionalidade e usabilidade do SE_TTool.

Figura 18. Consolidação das respostas do pré-teste do SE_TTool

Para identificar melhor quais métricas influenciaram o grau de discordância ou neutralidade dos respondentes, compilou-se a Tabela 14, conforme pode ser verificado a seguir.

Tabela 14. Resultados detalhados da pré-avaliação do SE_TTool

Concordo

Totalmente

Concordo Parcialmente

Nem concordo nem discordo

Discordo Parcialmente

Discordo totalmente

Prático mecanismo de uso 40% 40% 20% 0% 0%

Navegabilidade 40% 60% 0% 0% 0%

Interação com o sistema 20% 40% 20% 20% 0%

Identificação dos resultados 0% 100% 0% 0% 0%

Utilidade do tutorial de uso e textos de ajuda nas interfaces

20% 40% 20% 0% 20%

Analisando-se as respostas individualmente e comparando-as com os comentários escritos na questão aberta, pôde-se compreender melhor o grau de discordância ou neutralidade com relação às métricas. Desta forma, algumas melhorias puderam ser feitas no sistema, de forma a atender às sugestões da maioria dos professores:

 Inclusão de mais textos de ajuda nas interfaces;

 Possibilidade de edição de objetivos específicos, mantendo a estrutura de criação de objetivos (ABCD) de Mager (1976);

 Realce de botões importantes de forma que o usuário não perca informações digitadas, por não salvar antes de sair da interface;

 Inclusão de exemplos para o Propósito Geral do curso associados às famílias disponíveis;

 Mudança do botão "Cancelar" para "Voltar";

 Mais exemplos para ajudar o preenchimento dos campos de respostas abertas (campos de texto livre);

24%

56%

12%

4% 4% Concordo Totalmente

Concordo Parcialmente Nem concordo

nem discordo Discordo Parcialmente Discordo totalmente

 Formatação do relatório - estrutura do curso, principalmente a opção de download para DOC.

Outras sugestões foram anotadas para aprimoramento futuro da interface:

 Preparar um vídeo de aproximadamente 05 minutos de uso do sistema;

 Melhorias no tutorial de uso, com inclusão de exemplos completos de redação de objetivos específicos, maior dificuldade encontrada no uso do sistema;

 Na interface de cadastro no sistema, para criação do login, acrescentar opções de conexão com logins já existentes em redes sociais (Facebook, por exemplo) ou outras contas, tal como o GMAIL;

 Trocar o campo idade por data de nascimento, evitando informações desatualizadas com o passar dos anos;

 Acrescentar "dicas" que possibilitem a edição, o seja, copiar/colar, por exemplo, no campo a ser preenchido;

 Acrescentar um mecanismo que avise ao usuário quais passos ele já executou (Definições do Curso), de forma a facilitar o direcionamento das interfaces.

Os resultados do pré-teste do protótipo foram fundamentais para avaliar o uso do sistema por professores, mesmo de forma preliminar, coletando subsídios para seu aperfeiçoamento contínuo.

O próximo capítulo aborda a prova de conceito realizada com o objetivo de obter indícios sobre a viabilidade de uso do TTool, por meio do protótipo SE_TTool.