De modo a realizar a avaliação experimental, foi reunido um conjunto de 14 utiliza- dores para que pudessem usar a ferramenta. O grupo de participantes varia de vários estabelecimentos quanto à sua formação. É constituído por um grupo de 14 indivíduos, 12 pertencem à Faculdade de Ciências e Tecnologias da Universidade Nova de Lisboa e Instituto Politécnico de Setúbal, frequentando a Licenciatura e Mestrado de Engenharia Informática. Os restantes 2 indivíduos são pessoas cegas, um com conhecimentos téc- nicos em Informática e outro com Mestrado em Engenharia Informática proveniente da Faculdade de Ciências da Universidade de Lisboa. Entre os participantes, 12 tem con- tato visual com a ferramenta, i.e., não usam venda. As próximas secções vão detalhar o experimento, como é que os dados vão ser analisados e a discussão dos resultados.
7.2
Planeamento para a avaliação experimental
O processo de planeamento consistiu em primeiro lugar estabelecer critérios para ele- ger o grupo de utilizadores, nomeadamente pessoas que tenham conhecimentos a nível superior em informática e participantes cegos - motivação da dissertação. Também foi feita uma análise de quais as ferramentas que os utilizadores poderiam utilizar para es- tabelecer um termo de comparação em relação à ferramenta VoiceToModel.
Foram definidas as tarefas que os participantes iriam executar, aplicando um caso de estudo para os modelos KAOS, conceptual e de features usando a ferramenta VoiceToMo- del. Por fim, foi detectada uma possível limitação que poderia prejudicar a avaliação. As próximas subsecções abordam estes aspectos de forma mais aprofundada.
7.2.1 Processo de eleição dos utilizadores
De forma a eleger o grupo de utilizadores para experimentar a ferramenta foram es- tabelecidos os seguintes pré-requisitos: não tivessem conhecimento de como funciona a aplicação ou nunca o tivessem experimentado; conhecimentos no mínimo técnicos a nível informático e falar Inglês de forma adequada. A razão pela qual solicitava-se no mínimo conhecimentos técnicos em Informática e não de Licenciatura/Mestrado em En- genharia Informática deve-se ao facto do desejo de incluir no experimento pessoas cegas e como foi bastante difícil encontrar pessoas com essas características e com disponibili- dade, os requisitos mínimos fixaram-se ao nível técnico visto que o framework se destina ao público de desenvolvimento de software. A inclusão de utilizadores cegos enquadra-se na motivação da dissertação e oferece a possibilidade de analisar o seu comportamento perante a aplicação nas mais variadas situações.
A inclusão dos utilizadores cegos deveu-se graças à colaboração com a Associação dos Cegos e Amblíopes de Portugal (ACAPO) que, com base nos requisitos mínimos dos conhecimentos que teriam de ter para usar a aplicação, foram fornecidos os contactos necessários para comunicar com essas pessoas para saber se estariam interessadas em participar no processo de avaliação.
7. AVALIAÇÃO 7.2. Planeamento para a avaliação experimental
7.2.2 Relação com outras ferramentas
Durante o processo de avaliação seria interessante incluir ferramentas que usassem uma abordagem semelhante à aplicação VoiceToModel para os utilizadores experimen- tarem e estabelecer termos de comparação a nível de usabilidade e modelação dos requi- sitos entre as ferramentas. A ferramenta VoCoTo [LP03], discutida na subsecção5.3.3do capítulo de Trabalhos Relacionados, é a mais próxima no contexto da dissertação porque possibilita a modelação em UML usando sistemas de reconhecimento de voz.
A aplicação VoCoTo não se encontra disponível online para fazer o download do pro- grama e a alternativa passou por contactar os autores. Após o contacto, foi dito que a aplicação está obsoleta, isto é, seria necessário como requisitos mínimos o Windows XP, a API Microsoft Speech (SAPI) 5.1, Rational Rose Enterprise, algumas ferramentas adicionais para o Rose e uma versão antiga do Visual Studio. Perante estas adversidades, e para além do facto do preço de uma licença do Rational Rose de 2004 pela IBM ser muito alto, a decisão recaiu em não incluir a aplicação VoCoTo no experimento.
As ferramentas populares de modelação Objectiver [IT14], MagicDraw [Mag14] e Fe- atureIDE [Kas+05] que permitem modelar modelos KAOS, modelos conceptuais e mo- delos de features, não foram incluídas no processo de avaliação porque não oferecerem nenhuma estratégia de acessibilidade, acabando por não se incluir ferramentas adicio- nais no experimento.
7.2.3 Especificação das tarefas
Depois de definido o grupo de utilizadores e a análise das ferramentas disponíveis para comparação, o próximo passo foi delinear as tarefas para a avaliação. Foram cria- das 6 tarefas para cada utilizador executar no experimento. Em todas as tarefas o ponto comum é sobre o caso de estudo: considera-se um sistema de Email que permite enviar, receber e notificar sobre a recepção de um email. O envio do email só pode ser feito com o uso de texto ou imagem e a recepção só pode ser feita em casa ou no trabalho. O objec- tivo da avaliação não é a apresentação de um caso de estudo complicado para modelar usando a aplicação VoiceToModel, mas sim apresentar um sistema bastante comum para todos os utilizadores e realizar a sua modelação, já que o objectivo é analisar como o uti- lizador se comporta ao usar a ferramenta.
Na primeira tarefa pede-se a modelação do sistema do Email através do modelo KAOS, na segunda tarefa usando o modelo conceptual e na terceira tarefa através do modelo de features. Estas são as tarefas principais da avaliação porque permitem aos utilizadores te- rem um primeiro contacto com a ferramenta e usarem todos os comandos que o sistema oferece. As tarefas 4, 5 e 6 solicitam ligeiras alterações nos modelos criados nas tarefas anteriores e a obtenção de informação sobre o modelo, tais como perguntar ao modelo quantos goals e agentes há no modelo e quais os nomes dos sub goals do goal Email no mo- delo KAOS, o número total e o nome das classes que havia no modelo no que diz respeito ao modelo conceptual e obter informação sobre as features no modelo de features.