O planejamento da avaliação de Sistemas Colaborativos precisa ser muito bem cons- truído, já que, como vimos, estaremos lidando com diferentes desafios. Como em pro- cedimentos quaisquer de avaliação, é preciso definir os objetivos e o tipo de avaliação que será realizada, as dimensões do que se deseja avaliar e os métodos de avaliação que serão utilizados. O objetivo da avaliação pode ser bastante genérico, como verificar se o software foi bem compreendido e é usável pelo grupo. Entretanto, na preparação o avaliador precisa definir critérios relevantes ou prioritários a serem verificados, de modo que o objetivo desejado com a avaliação seja alcançado e seus pontos críticos possam ser testados [Prates & Barbosa, 2003]. No trabalho de Ramage [1999], é proposta uma divisão da avaliação de Sistemas Colaborativos em 5 tipos:
• Tipo 1: Efeitos do SiCo em uma organização - Estudos de campo são re- alizados usando métodos etnográficos, guiados por uma variedade de estruturas
2.4. O planejamento de avaliações de SiCo’s 15
teóricas diferentes, incluindo etnometodologia [Harper, 1997], teoria de estrutu- ração [Orlikowski & Gash, 1994], cognição distribuída [Rogers, 1994] e tipos de aprendizado de Bateson [Star et al., 2000]. O modelo típico desses estudos de ava- liação é o seguinte: o avaliador pede ou é solicitado para ir à organização; assiste ao que está acontecendo e realiza entrevistas; estrutura suas idéias em termos de uma teoria adequada e, então, apresenta uma conclusão para os membros da organização.
• Tipo 2: Avaliação formativa de SiCo’s - A necessidade de avaliação é o desenvolvimento de sistemas mais usáveis e mais apropriados aos usuários pre- tendidos ou reais. A avaliação formativa também é relacionada à prototipação iterativa, frequentemente referenciada dentro da literatura da área de IHC como sendo uma maneira de melhorar um sistema enquanto ele está sendo desenvol- vido, dizendo aos usuários o que seu sistema fará [Nielsen, 1993]. O primeiro tipo de avaliação formativa ocorre frequentemente sem que seja reconhecido explicita- mente. Entretanto, os que escrevem sobre o assunto, costumam usar frases-chave, como “experiências iniciais” e “alguns problemas que precisam ser refinados”. Es- ses estudos tendem a ser conduzidos mais pelas necessidades dos desenvolvedores do que pelas dos usuários e tenderão a ocorrer em configurações como laborató- rios de usabilidade. O segundo tipo é o procedimento beta-testing utilizado por muitas firmas comerciais, onde um produto semi-acabado é disponibilizado para um grupo de usuários para que sejam acertados alguns detalhes. Um exemplo é dado por Abbott & Sarin [1994], que falam sobre o desenvolvimento de diferentes versões de um sistema de workflow, baseado na experiência dos usuários com ele. • Tipo 3: Desenvolvimento conceitual - Nem todo o desenvolvimento de sis- temas é voltado para o mercado comercial; muitos sistemas são desenvolvidos puramente através de interesses de pesquisas. O que se quer avaliar não são sim- plesmente os efeitos do sistema em uso, ou tentar desenvolvê-lo novamente para uso futuro, e sim avaliar quais são os conceitos contidos no sistema e onde eles são aplicáveis.
• Tipo 4: Foco nas pessoas - A tarefa principal é descobrir se um grupo se en- contra em um processo de aprendizagem organizacional. Além de observar como o grupo funciona, é preciso verificar se ele é diferente de uma equipe de pesquisa padrão e se essa característica afeta de algum modo a pesquisa desenvolvida. Os principais motivos da avaliação não são os mecanismos de comunicação que são usados, mas como eles funcionam dentro do grupo.
16
Capítulo 2. Avaliação de Sistemas Colaborativos: trabalhos relacionados • Tipo 5: Decisão na compra de software - A avaliação é um exercício que examina alternativas e pesa prós e contras para chegar a uma conclusão sobre a compra de um produto. Como tomar a decisão? Um começo seria obter informação dos fornecedores e fabricantes sobre os produtos. Tipologias podem parecer mais prescritivas do que descritivas, além de serem muito úteis no sentido de levar o avaliador a compreender que tipo de avaliação ele está realizando.
2.4.1
Dimensões da avaliação
Depois que o tipo de avaliação for definido, o primeiro passo no planejamento de uma avaliação de um Sistema Colaborativo é a definição do que se deseja avaliar. Segundo de Araujo et al. [2002], durante a avaliação do sistema, podemos nos direcionar para avaliá-lo sob quatro diferentes dimensões:
• Contexto do grupo: avaliar e descrever o contexto sobre o qual a aplicação será utilizada. O contexto do grupo influencia todas as outras dimensões. É quase impossível encontrar dois grupos que apresentem os mesmos valores para atender a variáveis independentes em experimentos. Uma caracterização do grupo observado é essencial para a interpretação e a discussão do resultado da avaliação. Na avaliação do contexto, alguns aspectos devem ser considerados: o número de membros em um grupo, a proximidade dos membros, o compromisso (motivação e envolvimento dos membros), a composição (sexo, idade e níveis sócios-culturais), a organização do grupo (hierarquia) e a cultura organizacional [Mendes de Araujo et al., 2004];
• Usabilidade: avaliar forças e fraquezas da usabilidade da aplicação. A usa- bilidade está relacionada com a adequação ao uso por parte dos usuários, em um determinado contexto de utilização. A avaliação da usabilidade de Sistemas Colaborativos é particularmente difícil, porque é preciso distinguir problemas causados pelo projeto da interface daqueles existentes em contextos sociais; • Nível de colaboração: avaliar o nível de colaboração atingido durante o uso
da aplicação. Dependendo da natureza e dos objetivos da tarefa do grupo, a co- laboração pode ocorrer em vários níveis. Para avaliar a colaboração, é necessário especificar as medidas ou variáveis que determinam a maneira como um grupo colabora. Em um fórum de discussão, por exemplo, uma possibilidade para medir a colaboração é contar o número das contribuições geradas pelo grupo. Entre- tanto, a colaboração em um fórum é somente eficaz se as contribuições forem não somente introduzidas, mas lidas por outros participantes;