Seleção da amostra de usuários

É difícil estimar o universo de potenciais usuários da BDP, e, conseqüentemente, o tamanho da amostra, pois uma vez na Internet, qualquer pessoa poderá acessá-la.

NIELSEN (2000b) afirma que são necessários pelo menos 15 usuários para se descobrir todos os problemas relacionados à usabilidade de um site, o que parece pouco diante da quantidade e diversidade de possíveis usuários. Ele demonstra que o primeiro usuário observado já revela praticamente um terço dos problemas de usabilidade que devem ser encontrados. Quando se observa o segundo usuário, novas descobertas são feitas, mas muitas observações se sobrepõem àquelas já feitas com o primeiro usuário. O mesmo ocorre com o terceiro usuário e os próximos participantes do teste, o que mostra que se aprende menos com cada usuário acrescentado, pois serão observadas cada vez mais características que já haviam sido

vistas antes. Desta forma, NIELSEN (2000b) coloca que após o 15O participante do

teste, o examinador estará desperdiçando o seu tempo, já que muito pouco aprendizado será acrescido ao que foi observado anteriormente.

44

A área de concentração de cada tese/dissertação ainda está sendo cadastrada. Portanto, são poucas as informações que podem ser recuperadas através desta consulta. Por esta razão, decidiu-se não avaliar este tipo de busca.

Sendo assim, NIELSEN (2000b) demonstra que o número de usuários ideal é 15, mas recomenda que ao invés de se realizar um teste de usabilidade com 15 participantes, se façam 3 testes, cada um com 5 participantes. Desta forma, o software alterado em decorrência dos problemas descobertos num primeiro teste poderia ser novamente testado para que seja comprovado que a solução dada foi suficiente para se resolver o problema e esta não causou novos problemas. Isto gera um ciclo, formado pelo teste, as alterações e novo teste, para avaliar e continuamente melhorar um sistema.

É importante ressaltar que estes números não são válidos para sites que foram desenvolvidos para o atendimento de grupos de usuários extremamente distintos, como NIELSEN (2000b) exemplifica com um software que foi desenvolvido para ser usado por crianças e também por seus pais. A fórmula mostrada é válida para usuários que podem ser comparáveis e que usarão o site para objetivos semelhantes.

No caso da Biblioteca Digital da Puc Minas, concluiu-se que seria possível seguir a fórmula explicada acima por duas razões. Em primeiro lugar, porque o seu público alvo é composto por pessoas que de alguma maneira relacionam-se à pesquisa (seja ela da graduação ou da pós-graduação) e, portanto, podem ser comparáveis. Em segundo lugar, porque a BDP é composta por poucas funções e é utilizada basicamente para o mesmo fim: a busca por informação. Além disso, BATTLESON et al (2001) seguiram a fórmula proposta por NIELSEN (2000b), utilizando 11 usuários para testar a usabilidade do site da Biblioteca da Universidade de Búfalo, confirmando a exeqüibilidade desta.

Portanto, 15 usuários representa um número aceitável para se tentar descobrir o máximo de problemas de usabilidade do site. A recomendação dada por NIELSEN (2000b) para se dividir os usuários em pequenos testes não pôde ser seguida pois o tempo gasto com os testes e com as alterações da interface certamente excederia a duração do curso de mestrado.

A amostra desta pesquisa é caracterizada como não probabilística intencional, pois foram escolhidos casos para sua constituição. Dois fatores fizeram com que os alunos da pesquisa de graduação e mestrado da Puc-Minas fossem apontados para serem os participantes dos testes: a) acredita-se que a maioria das pessoas interessadas nas teses e dissertações da BDP seja aluno da pós-graduação ou deseje se tornar um aluno da pós-graduação, e b) a autora, sendo funcionária da Puc-Minas, tem facilidade para conseguir a participação dos alunos nos testes.

Durante a elaboração dos testes, foi proposta a participação de alunos de pelo menos dois tipos de formação: ciências humanas e ciências exatas, com o objetivo de se tentar encontrar fatores relacionados ao contexto dos alunos que pudessem

influenciar o comportamento de busca das pessoas através da comparação entre alunos de uma formação e outra. Portanto, os mestrados de engenharia elétrica e de letras foram escolhidos para representarem suas áreas de conhecimento, já que a BDP possui um número razoável de teses e dissertações defendidas nestes cursos, tornando a pesquisa destes temas mais interessante para os usuários.

Um professor de cada curso foi contatado para que se pudesse explicar aos alunos a pesquisa e agendar os testes com os voluntários durante uma parte da aula cedida pelo professor.

No curso de engenharia elétrica, vários alunos se prontificaram. Seria desejável para a pesquisa a participação de um mesmo número de homens e mulheres, mas a turma possuía apenas 2 alunas, o que reflete a característica de um curso relacionado às ciências exatas. Sendo assim, foram marcados 9 testes (7 homens e 2 mulheres) e apenas um não pôde comparecer, sendo substituído por um aluno de outra turma, mas também do mestrado de engenharia elétrica. As duas únicas mulheres estavam cursando uma disciplina do mestrado, mas eram alunas da iniciação científica da graduação. Os demais estavam cursando o mestrado.

No curso de letras, cinco pessoas se prontificaram, mas apenas duas alunas (ambas do mestrado) compareceram à avaliação. Mesmo depois de um novo contato com a turma, não houve interesse por parte dos alunos, que alegaram falta de tempo. Diante desta situação, outro programa de pós-graduação foi contatado: o curso de Tratamento da Informação Espacial, que agrupa alunos principalmente da geografia e da arquitetura. O número de dissertações existentes na BDP relacionadas a este curso é bem menor que o do curso de Letras, mas suficiente para a realização dos testes. Ao contrário da engenharia elétrica, a grande maioria da turma era do sexo feminino e, então, foram agendados 4 testes, sendo todas as participantes mulheres, duas do curso de graduação de geografia e duas da arquitetura e ambas alunas da pesquisa da graduação.

Apesar da grande dificuldade para se conseguir voluntários, seja pela ausência de gratificação para o participante ou pela falta de interesse ou apreensão por parte do usuário, a formação da amostra se tornou relativamente equilibrada em relação ao número de homens (7) e mulheres (8) , ao número de pessoas com formação da área de exatas (9), representada pelo curso de Engenharia Elétrica e da área de humanas (6), representada pelo curso de Tratamento da Informação Espacial e Letras e, por fim, ao número de estudantes de graduação (6) e de mestrado (9).

Após a coleta de dados, as afirmações colocadas por NIELSEN (2000b) puderam ser confirmadas. Os erros mais graves apareceram logo nos primeiros testes e, de fato, a quantidade de problemas de usabilidade revelados diminui a cada novo

teste, pois muitos se repetem mesmo para usuários com características diferentes, o que pode ser observado nas tabelas em que os resultados são apresentados no ANEXO 7. Mas é preciso ressaltar que apesar da observação de poucos usuários apresentar ótimo custo/benefício, a verificação de que um problema ou uma forma de comportamento se repete é importante para que se possa fazer generalizações.