Dois grupos, de três participantes cada, foram selecionados para a participação neste estudo de caso. Antes disso, três diferentes testes-piloto foram executados com outros 8 usuários para avaliar os procedimentos e todo o material preparado para as avalia- ções. Por se tratar de um teste em que o cenário de utilização criado para ilustrar o uso da ferramenta estava completamente relacionado com o cotidiano no campus da Universidade Federal de Minas Gerais, todos os participantes deveriam ser membros da comunidade acadêmica da universidade. Além disso, pela complexidade das funci- onalidades e componentes da ferramenta escolhida, foram selecionados somente alunos
5.2. Preparação 67
ou ex-alunos dos cursos de Ciência da Computação ou Sistemas de Informação, que possuíam, assim, grande familiaridade com recursos da tecnologia. Os participantes tinham idade entre 24 e 36 anos. Era importante para o teste também que eles não conhecessem a ferramente avaliada, mas que já tivessem tido contato com algum soft- ware para o trabalho colaborativo. A seleção desses perfis acabou sendo feita por meio de um questionário pré-teste (apêndice A).
Para orientar a execução de toda a avaliação, foi criado um roteiro. Como pri- meiro passo do roteiro, foi apresentado aos participantes um termo de consentimento de participação voluntária na avaliação. O termo de consentimento descrevia a pesquisa e seus objetivos principais, além das diretrizes éticas para sua realização (apêndice A). Depois de terem lido o termo, cada participante teve a liberdade de decidir se continuaria ou não participando do teste.
O segundo passo consistiu em uma apresentação preliminar pelos avaliadores do cenário criado para ilustrar o uso da ferramenta, bem como a composição de todo o teste que, para contemplar aspectos síncronos e assíncronos de interação, foi dividido em três momentos distintos. No primeiro momento, depois de ter sido apresentado a eles um cenário de contextualização e uma tarefa comum a ser realizada pelo grupo, os membros deveriam se reunir de forma on-line para conhecer a ferramenta e discutir uma possível divisão de tarefas entre eles. Em um segundo momento, cada membro iria acessar individualmente (em tempos distintos e com ordem aleatória) o espaço compartilhado pelo grupo e executar a tarefa de sua incumbência que havia sido acordada entre eles (atividade assíncrona). Os participantes não eram informados da ordem de execução de cada um para que, ao acessar o sistema, eles não soubessem se os outros já o tinham feito ou não. No terceiro e último momento do teste, eles voltariam então a se reunir para definirem uma proposta de solução conjunta e finalizarem o procedimento. Vale ressaltar que durante as etapas síncronas os participantes foram colocados em salas separadas e não viam ou ouviam os demais. Ou seja, toda a interação entre eles só era possível pelo sistema (explicamos o ambiente em detalhes na subseção 5.2.1).
Participaram dos testes 3 avaliadores. Um deles, o autor, era o responsável maior pela pesquisa, e os outros trabalharam como auxiliares na aplicação e observação das etapas síncronas da avaliação. Todos eles já haviam participado de outros procedimen- tos de avaliação com usuários utilizando o MAC, porém em ambientes mono-usuário. Dois dos avaliadores já haviam executado procedimentos de avaliação analíticos para Sistemas Colaborativos. Porém, para o terceiro aquela seria a primeira experiência de avaliação de um SiCo. Sendo assim, antes do início dos testes, os avaliadores discutiram alguns aspectos do uso e da avaliação de SiCo’s, como forma de preparação prévia para o acompanhamento dos usuários. Como material para o teste, também foram criados
68 Capítulo 5. Avaliação preliminar da proposta de extensão
roteiros de acompanhamento para os avaliadores, e de condução de uma entrevista com os participantes ao final do teste (apêndice A). O objetivo da entrevista foi conhecer a opinião dos participantes sobre a ferramenta (o que consideravam de melhor e pior), tentar discutir com eles as dificuldades que haviam tido durante a realização das tare- fas, além de tentar tirar possíveis ambiguidades e entender melhor a interação. Com isso, seria possível descobrir se haveria ou não divergência de opinião entre eles sobre os pontos fortes e fracos do Twiddla, além de descobrir aspectos da interação com a ferramenta que uns perceberam e os outros não. Toda a interação dos participantes com a ferramenta foi gravada através do software Camtasia2
, e as entrevistas ao final dos testes foram também gravadas, porém com auxílio de câmeras digitais.
5.2.1
Ambiente dos testes
Para impedir o contato visual e a comunicação entre os membros durante as atividade síncronas, foi preparado um ambiente de teste dividido em duas salas, com, ao todo, três compartimentos completamente isolados (acústica e visualmente). Além disso, foi passado para os participantes no cenário que toda e qualquer comunicação entre eles só poderia ocorrer por meio da ferramenta. Cada participante utilizou um computador com acesso a Internet, e foi acompanhado durante todo o teste por um avaliador com a incumbência de orientá-lo e fazer anotações relevantes. A figura 5.2 apresenta uma ilustração do ambiente de teste descrito.
Figura 5.2. Organização do ambiente de teste
Cada participante fez uso durante os testes de equipamentos com diferentes con- figurações de hardware. O desempenho, e até mesmo a resolução da tela de cada máquina eram diferentes. Na sala 1, havia um monitor de 22"(instalado em uma má- quina desktop com processador i5 e 4GB de RAM); na sala 2, um laptop de 15"(com
2
5.2. Preparação 69
processador Core Duo e 1GB de RAM); e, na sala 3, outro laptop de 14"(Com processa- dor Core 2 Duo e 4GB de RAM). Essa diferença de resolução e desempenho foi definida de forma proposital, de modo que se aproximasse o máximo possível de uma situação real em que os participantes provavelmente trabalhariam juntos com a ferramenta a partir de diferentes máquinas. As diferentes resoluções resultaram em um campo visual da ferramenta bastante diferenciado para cada participante. A figura 5.3 oferece uma ideia melhor da situação descrita.
70 Capítulo 5. Avaliação preliminar da proposta de extensão