Modelo de Teste Semântico e Sintático
(Semantic and Syntactical Testing Model – SSTM)
Hernane Borges de Barros Pereira
Universidade Estadual de Feira de Santana, Departamento de Ciências Exatas, Feira de Santana, Brasil [email protected] - [email protected]
Josep Maria Monguet
Universitat Politècnica de Catalunya, Departament d’Expressió Gráfica a l’Enginyeria, Barcelona, España [email protected]
Resumo
Atualmente, nós podemos observar que muitos projetos estão considerando os testes de usabilidade. Neste artigo apresentaremos um modelo de teste de usabilidade chamado Modelo de Teste Semântico e Sintático – SSTM. O modelo SSTM é basicamente composto por agentes, itens de interesse e critérios de avaliação. Contudo, consideramos as análises das inter-relações entre os elementos mencionados como parte adjacente do modelo. Ademais, este modelo foi inicialmente concebido para a avaliação de sistemas interativos multimídia utilizados em educação. Seu principal objetivo é definir a aceitabilidade e a usabilidade dos materiais de apoio à educação considerando as novas tecnologias da informação e da comunicação. Nossa intenção é explicar como o modelo SSTM pode ser usado durante o ciclo de vida de desenvolvimento de software para garantir sistemas interativos multimídia mais eficientes e de boa qualidade.
Palavras chave: Teste de usabilidade, modelo de teste, agentes, itens de interesse, critérios de avaliação
Abstract
Nowadays, we can note that several projects are taking into account usability testing issues. In this paper, we will present one model of usability testing named Semantic and Syntactical Testing Model - SSTM. The SSTM Model is basically composed of agents, interest issues, and evaluation criteria. However, we consider the analyses of the relationships among the referred elements as adjacent part to model. In addition, this model is applied to the multimedia interactive systems used in education, and its main objective is to define the acceptability and usability of the education support materials taking into account the new communication and information technologies. Furthermore, it is our intention to explain how SSTM Model can be used in the software development life cycle in order to guarantee more efficient interactive multimedia systems.
1. Introdução
Muitos autores argumentam que diversas aplicações não são avaliadas durante o ciclo de vida de processo de software, tampouco a nível organizacional. Nestes campos, identificamos sérios problemas envolvendo as avaliações das aplicações, especialmente nas inter-relações entre os agentes: usuário, informação e aplicação. Portanto, utilizamos os testes de usabilidade como nossa ferramenta de trabalho para melhorar (1) a interface de usuário de sistemas interativos multimídia usados em educação e (2) o processo de software de tais sistemas.
Autores tais como [Mayhew 1998], [Mehlenbacher 1993], [Rubin 1994], [Sulaiman 1996], [Bloomer, Croft e Wolfre 1998], [Rosenbaum, Humburg e Rohn [1998a], [Rosenbaum, Humburg e Rohn 1998b], [Koruso e Kashimura 1995], [Hammontree, Weiler e Nayak 1994], [Nielsen 1994], [Perlman 1996], [Bastien, Scapin e Leulier 1996], [Elgin 1995], [Henninger, Lu e Faith 1997], [Kantner e Rosenbaum 1997] argumentam sobre a importância do grau de usabilidade de um produto nos níveis organizacional e de aplicação e sobre as implicações diretas no sucesso do produto.
O Modelo de Teste Semântico e Sintático - SSTMi é aplicado aos sistemas interativos multimídia usados em educação. Seu objetivo principal é definir a aceitabilidade e a usabilidade dos produtos desenvolvidos. A aceitabilidade está diretamente ligada ao grau de usabilidade de um produto. Outro objetivo deste modelo é melhorar o processo de desenvolvimento de software interativo multimídia.
Este artigo apresenta o modelo SSTM e como pode ser utilizado durante as fases do ciclo de vida de desenvolvimento de software para garantir a produção de aplicações multimídia mais eficientes e de boa qualidade. As informações adquiridas para realizar esta pesquisa estão baseadas em (1) estudos prévios listados nas referências bibliográficas, (2) um trabalho de apoio sobre testes de usabilidade apresentado em [Pereira e Monguet 1999], e (3) os resultados da avaliação das seis primeiras disciplinas do curso de Graduação em Multimídia a Distância – GMMDii.
Iniciamos o presente artigo com uma breve descrição sobre o problema que concerne aos testes de usabilidade e uma visão geral sobre nossa pesquisa. Na segunda seção apresentaremos o modelo SSTM e seus elementos. Na seção seguinte, apresentaremos o método de aplicação do modelo SSTM. Na quarta seção, comentaremos sobre o trabalho conduzido, incluindo a análise de alguns resultados. As conclusões e futuras atividades de pesquisa serão fornecidas na quinta seção. Finalmente, encerraremos o artigo com as referências bibliográficas utilizadas como material de apoio para a realização deste trabalho.
2. O modelo SSTM
O Modelo de Teste Semântico e Sintático – SSTM – é uma proposta prática dos estudos prévios de [Pereira e Monguet 1999]. Nosso interesse é indicar as significâncias semânticas e sintáticas dos testes de usabilidade aplicados a sistemas interativos multimídia usados em educação. Deste modo, a equipe de desenvolvimento será capaz de melhorar todo o projeto desde as fases iniciais às fases finais e a aplicação propriamente dita. O modelo SSTM é basicamente composto por (ver Figura 1):
!!!! Agentes: Usuário, Informação e Aplicação;
!!!! Itens de interesse: Conteúdo, arquitetura, apresentação, interação, operação, atualização e feedback;
!!!! Critérios de avaliação: Compreensão, intuição, desempenho, consistência, precisão, aparência, de indicação, veracidade, quantidade, funcionalidade e manutenção; Além da estrutura apresentada anteriormente, o modelo SSTM possui um método de aplicação que envolve as análises das inter-relações entre os agentes: Usuário vs. Aplicação, Usuário vs. Informação e Informação vs. Aplicação (ver Seção 3).
2.1 Agentes
Como comentado anteriormente, nossa atenção é dirigida a três agentes envolvidos na utilização ITENS DE INTERESSE: F e e d b a c k USUÁRIO APLICAÇÃO INFORMAÇÃO " Interação " Operação " Atualização " Arquitetura " Conteúdo " Apresentação " CRITÉRIOS DE AVALIAÇÃO: * Compreensão * Intuição - Desempenho * Consistência * Precisão * Aparência - Indicação * Veracidade * Quantidade * Funcionalidade * Manutenção * grau de força (maior peso)
de sistemas interativos multimídia: (1) usuário, (2) informação e (3) aplicação. A seguir, apresentamos as considerações que nos levaram à seleção destes agentes.
• Usuário: Como em todo sistema informático que considera os temas de interação homem-computador, nossa proposta também o faz. As aplicações multimídia, normalmente, prendem a atenção do usuário pela sua dinâmica de navegação (ver Seção 2.2). A satisfação do usuário, neste caso, está relacionada principalmente com os critérios de avaliação – compreensão, intuição e desempenho – explicados na Seção 2.3. O modelo SSTM considera os níveis (iniciante, intermediário ou experto) do usuário. Alguns métodos de análise apresentados por autores como [Mehlenbacher 1993], [Rubin 1994], [Grice e Ridgway 1989], [Rosebaum 1989] e outros, argumentam sobre a escolha do grupo de usuários (com nível apropriado) na fase de definição dos mesmos. Portanto, o revisor deve proceder com as análises do modelo SSTM para cada grupo de usuários.
• Informação: Consideramos a informação (incluindo a análise de seu desenho) como elemento fundamental, o que significa o tratamento da concepção de uma linguagem comum. Estamos de acordo com [Mok 1998] quando argumenta que o desenho da informação é o planejamento dos modelos organizacionais para oferecer contexto e significado à informação. O modelo SSTM considera basicamente os princípios semânticos (e.g. metáforas, mnemônicos, estrutura da informação, etc.) comentados por [Pereira e Monguet 1999] para proceder à análise deste agente. É importante observar que mesmo sendo parte do agente aplicação, a informação deve ser posta em evidência separadamente devido à sua característica dinâmicaiii.
• Aplicação: Este elemento fecha a tríade dos agentes. Quando examinamos uma aplicação multimídia, levamos em consideração basicamente os princípios sintáticos propostos por [Pereira e Monguet 1999]. Estes princípios estão fortemente associados às funções operacionais da aplicação, como por exemplo os erros de programação. Ademais, observamos principalmente o grau de manutenção da informação devido aos benefícios que as novas tecnologias da informação e da comunicação possam oferecer como suporte à transferência da informação. Isto garante que se cumprirá o objetivo de “guiar o usuário” pela aplicação mantendo a sua aprendizagem.
2.2 Itens de interesse
conexão de conduta entre os agentes e os critérios de avaliação. Estes itens são importantes porque permitem uma rápida identificação (por intuição) de muitos problemas por parte do revisor, durante os processos de teste (verificação, validação e usabilidade).
• Conteúdo: Consideramos conteúdo o que está contido em cada agente, por exemplo no agente usuário o conteúdo é usado para identificar qual o nível de conhecimento do mesmo. Enfocando-nos nos agentes informação e aplicação, o revisor pode usá-lo para encontrar muitas peças de dados associados a vários contextos. Esta associação implica em um importante guia de testes semânticos de usabilidade. • Arquitetura: Consideramos a arquitetura um item necessário para a identificação
dos requerimentos de hardware e software. Sem embargo, podemos usá-la como uma ferramenta de apoio usada na leitura e análise da estrutura do modelo cognitivo da informação (agente).
• Apresentação: Os sistemas interativos multimídia utilizam principalmente as linguagens visual e auditiva. Ao uso destas linguagens deve ser dado uma preocupação especial já que se trata do primeiro impacto com o usuário. Consideramos a aparência um fator de peso na análise da usabilidade de interfaces e, portanto, o item apresentação, na maioria dos casos, define a qualidade de uma aplicação multimídia.
• Interação: Este item é utilizado para identificar as percepções, entendimento e desempenho do usuário, ou seja, seu sistema sensorial. Sob o ponto de vista do agente aplicação, este item dirige as atenções ao canal de comunicação usado para conectar o usuário à organização educacional ou a outro material de apoio.
• Operação: Basicamente, consideramos este item para analisar as funções operacionais do sistema, ou seja, realizamos um teste sintático. Por outro lado, este procedimento nos conduz a uma verificação semântica, devido ao uso gerencial do sistema realizado pelo usuárioiv.
• Atualização: Consideramos a atualização um item de manutenção. Este procedimento possui dois enfoques: (1) quando identificamos importantes mudanças conotativas na informação (agente) e (2) quando as novas tecnologias da informação e da comunicação possibilitam o uso de novos modelos que podem ser usados na transferência da informação, como por exemplo o uso de novos equipamentos, protocolos ou modelos em um sistema de autoriav.
aprendizagem do usuário, quando a análise está direcionada ao agente usuário, e (2) a usabilidade da aplicação avaliada, neste caso quando a análise está direcionada ao agente aplicação. Deste modo, podemos usar este item para melhorar os sistemas interativos multimídia aumentando a compreensão e desempenho do agente usuário e transformando o agente aplicação em um tutor.
Muitos autores analisam aplicações multimídia baseando-se em distintos modelos. No que diz respeito ao item conteúdo, [Garzotto, Mainetti e Paolini 1995] o definem como peças de informação incluídas na aplicação. Ademais, [Mok 1998] define este item como a organização das estruturas informativas. Quanto à arquitetura, [Mok 1998] argumenta que a arquitetura da informação é um elemento do desenho da informação e a integração de estruturas que compõem um sistema. Quanto à apresentação, [Mok 1998] afirma que a linguagem visual deveria ser tão importante quanto as linguagens escrita e oral. Quanto ao feedback, [Hix e Hartson 1993] apresentam este item como um guia para o desenho da interação do usuário. [Mehlenbacher 1993] comenta sobre a associação entre técnicas de usabilidade (por exemplo “Talk-Aloud method”) e feedback.
Podemos mapear as principais correlações entre os agentes e os itens de interesse. Como resultado teremos guias para proceder a identificação correta dos erros, o que nos sugerirá em que fase do projeto podemos solucionar determinados problemas. Tal procedimento nos levará a uma melhora no processo de software e consequentemente a novos modelos de aplicação. Na Tabela 1 apresentamos uma visão geral desta correlação.
Tabela 1. Visão geral das correlações entre os itens de interesse e os agentes. Itens de
interes-se vs. Agentes
Usuário Informação Aplicação Conteúdo Conhecimento do usuário Dado + Contexto Estrutura de dados +
Algoritmos
Arquitetura Estrutura cognitiva do
modelo
Requerimentos de hardware e software
Apresentação Percepção Aprendizagem do usuário
Interação Sistema sensorial Canais de comunica-ção e
o usuário
Operação Gerenciamento e escolha Funções
Atualização Reciclagem do pensamento humano e “evolução” Mudanças conotativas e denotativas Incorporação do feedback
Feedback Informação sobre: (1) a aprendizagem do usuário e (2) a usabili-dade da aplicação Guia de tarefas, manutenção e novas versões
A partir destes itens, nós definimos os critérios de avaliação que serão apresentados na próxima seção.
2.3 Critérios de avaliação
Os critérios de avaliação devem ser considerados como requerimentos do sistema, já que podem existir futuras implicações causadas pelos problemas de usabilidade durante o ciclo de vida do processo de software, o que torna débil a relação entre o planejamento do processo de software e os critérios de avaliação. A seguir, apresentamos as respectivas descrições de cada critério de avaliação.
• Compreensão: Consideramos este critério quando estamos realizando os testes de usabilidade com usuários (de teste ou reais). Os problemas relacionados com a falta de entendimento da informação que se deseja transmitir são identificados como problemas de compreensão. Para resolver tais problemas devemos incluir um pedagogovi na equipe de desenvolvimento do projeto.
• Intuição: Percepção imediata de alguma coisa pela mente. Este critério deve ser considerado pelo revisor para que este seja capaz de identificar se a aplicação multimídia possui elementos intuitivos e se tais elementos conseguem envolver ou não o usuário. Podemos citar como exemplo de conseqüência da intuição a velocidade com que os usuários executam as tarefas solicitadas pela aplicação. • Desempenho: Consideramos este critério para identificar se um usuário é capaz de
realizar as tarefas designadas com eficácia. Durante a observação devemos notar as restrições impostas pelo sistema (por exemplo, limitação de tempo e grau de dificuldade de um exercício) para decidir sobre os problemas de desempenho. • Consistência: Este critério é usado para identificar o grau de aproximação de uma
medição entre os resultados de várias medições do mesmo uso da informação e função. A consistência nos conduz ao entendimento, à facilidade e à qualidade. • Precisão: Consideramos este critério para identificar problemas relacionados aos
três agentes, como por exemplo os problemas gramaticais, a estrutura da aplicação multimídia ou mal uso dos recursos por parte do usuário.
• Aparência: Utilizamos este critério para identificar os problemas relacionados com a apresentação dos conteúdos, ou seja, uma figura mal editada, um texto mal posto na tela ou um gráfico que sobrepõe algum outro elemento. Um bom exemplo de uso deste critério é apresentado por [Kurosu e Kashimura 1995]. A maioria dos problemas encontrados durante a realização de nossos testes em várias aplicações foram problemas de aparência.
• Indicação: A utilização de processos, objetos ou tipologias que estão associados a um significado ou de simulações de espaços conhecidos (respectivamente mnemônicos e metáforas) são recursos muito úteis em sistemas interativos multimídia. Portanto utilizamos este critério para identificar se os elementos inseridos na aplicação estão realizando corretamente sua tarefa.
• Veracidade: Este critério é utilizado para identificar quando uma determinada informação é falsa. A análise é realizada considerando o conteúdo da informação e o revisor encarregado para realizar esta tarefa deve conhecer o tema abordado pela aplicação.
• Quantidade: Consideramos este critério para identificar se a quantidade de informação de uma determinada página em uma aplicação multimídia (incluindo a aplicação como um todo) é adequada para a compreensão e, consequentemente, aprendizagem do usuário. Através da completeza (subcritério do critério quantidade) podemos determinar se existe demasiada informação ou carência da mesma.
• Funcionalidade: Os problemas operacionais estão profundamente relacionados com este critério. Os problemas de funcionalidade são os acontecimentos não previstos na fase de análise ou falhas produzidas na fase de programação do sistema, os quais podemos identificar durante a execução de uma aplicação ou de seus protótipos.
• Manutenção: Em termos gerais, este critério é proposto para preservar um estado determinado de uma atividade ou função. Em termos específicos, se identificamos que uma aplicação multimídia, além de garantir este critério em termos gerais, garante reciclagem de sua estrutura devido a novos requerimentos de hardware e software, podemos dizer que tal aplicação possui um bom grau de manutenção e isso significa que a produção de novas versões é um processo mais simples e menos custoso.
Considerando nossa prática, acreditamos que podemos associar os critérios de avaliação às fases de desenvolvimento do softwarevii (para mais detalhes ver Seção 3). Por exemplo, quando encontramos um problema de aparência sabemos que tal problema ocorreu no processo de edição.
Na Figura 2, nós mostramos o mapa conceitual das inter-relações entre os critérios de avaliação propostos para aplicação genérica.
3. Método de aplicação do Modelo SSTM
Depois da análise das correlações entre os agentes e os itens de interesse e da primeira seleção dos critérios de avaliação, iniciamos o procedimento de aplicação do modelo SSTM. O método de aplicação está definido por três níveis de análise representados pelas inter-relações entre os agentes (ver Figura 3). Cada nível está relacionado com uma ou mais fases gerais do projeto (ver Figura 4) que são formadas por grupos de processos identificados no plano de trabalho de projeto.
3.1Níveis de análise
Os níveis de análise são os estágios de execução dos testes considerando os agentes do modelo SSTM. Desempenho Indicação Aparência * Precisão * Veracidade * Quantidade * Manutenção * Funcionalidade * Intuição * Compreensão * Consistência *
* grau de força (maior peso)
Figura 2. Mapa conceptual dos critérios de avaliação do modelo SSTM: Aplicação genérica.
conduz a depende de Informação vs. Aplicação Usuário vs. Aplicação Usuário vs. Informação Fase Inicial Fase Intermediária Fase final
Níveis de análise Plano de trabalho
de projeto
Tipos de teste
Figura 3. Método de aplicação do modelo SSTM.
O primeiro nível, Informação vs. Aplicação, é executado com o objetivo de verificar e validar os prototipos ou as versões preliminares da aplicação multimídia. Neste nível não consideramos os critérios de avaliação relacionados com os usuários, já que procuramos identificar principalmente os problemas de natureza técnica.
No segundo e terceiro níveis, Usuário vs. Aplicação e Usuário vs. Informação, passamos a estabelecer o agente usuário como o enfoque principal de análise. Nesses estágios, utilizamos uma estratégia de teste composta por: (1) “captura” automática e análise dos dados quantitativos obtidos pela aplicação multimídia (e.g. tempos de dedicação, médias das respostas corretas na auto-avaliação e no teste final, etc.), (2) análise dos dados coletados no primeiro nível (comentados anteriormente), (3) uso de um laboratório de teste e (4) análises estatísticas das correlações de todos os dados coletados (i.e. itens 1 e 2 da estratégia apresentada acima).
A seguir, apresentamos mais detalhes dos níveis de análise (inter-relações entre os agentes) do modelo SSTM:
• Informação vs. Aplicação: Geralmente, durante a análise desta relação não enfocamos nossas atenções no agente Usuário (de teste ou final), devido à preocupação depositada no funcionamento geral da aplicação multimídia. Ademais, utilizamos basicamente os critérios relacionados com os agentes Informação e Aplicação (ver Figura 1), o que nos conduz a uma avaliação relacionada com os problemas semânticos e sintáticos em termos específicos.
• Usuário vs. Aplicação: A partir deste procedimento de análise identificamos o envolvimento do agente Usuário. Nossa atenção é basicamente dirigida aos problemas sintáticos (principalmente os de funcionalidade) identificados na operação do agente Aplicação e ao desempenho do agente Usuário durante a realização de determinadas tarefas.
• Usuário vs. Informação: Este procedimentos de análise, além de considerar o agente Usuário, leva em consideração o tratamento do agente Informação. Observamos principalmente os problemas semânticos que são mais sutis que os sintáticos. Deste modo, devemos levar em consideração temas como a compreensão e a intuição do agente Usuário com relação ao conteúdo proposto na aplicação multimídia (agente Informação).
Durante a aplicação do modelo SSTM, podemos encontrar problemas e erros, além de sugerir recomendações para possíveis mudanças que podem ser usadas para melhorar a aplicação multimídia. Deste modo, quando identificamos um problema ou erro, devemos
registrar esta ocorrência no Relatório de Problemas e Erros, aonde as sugestões para possíveis mudanças também podem ser propostas.
3.2 Tipos de teste
Podemos identificar os processos de teste durante todo o ciclo de vida de software. Autores como [Pressman 1995], [Koomen e Pol 1999], [Pol e van Veenendaal 1998] e [Burnstein, Suwannasart e Carlson 1996] comentam que as estratégias e contextos utilizados para os testes de software são classificados em dois grupos: verificação e validação.
Os testes de verificação são avaliações aplicadas aos produtos intermediários (e.g. módulos do programa, protótipos e documentação) identificados nas fases de desenvolvimento, ou seja, necessitamos saber se estamos desenvolvendo de maneira correta o produto. Por outro lado, os testes de validação são aplicados ao produto final e, portanto, necessitamos saber se desenvolvemos o produto correto. Não existe um limite bem definido entre os testes de verificação e validação, já que um tipo de teste pode ser complementado com algumas características do outro.
Não obstante, os testes de usabilidade vão mais além dos grupos comentados anteriormente. Os testes de usabilidade são os procedimentos de análise de acordo com critérios previamente seleccionados no qual se verifica o grau de eficiência e eficácia com que um usuário desempenha suas tarefas sob os requerimentos e restrições de um produto e seu entorno. Desta maneira, eles deverão ser aplicados às fases de desenvolvimento e ao produto final.
Según [Rubin 1994] o objetivo geral dos testes de usabilidade é identificar e corrigir as deficiências de usabilidade em equipamentos eletrônicos existentes baseados em computador e os materiais de apoio que o acompanham antes de ser lançados no mercado. O autor utiliza o termo “teste de usabilidade” da seguinte maneira:
"(...) I will use the term usability testing to refer to a process that employs participants who are representative of the target population to evaluate the degree to which a product meets specific usability criteria. (...)"
Portanto, para realizar a aplicação dos testes de usabilidade é importante contextualizar nosso objeto de estudo. [Sullivan 1989] argumenta que para conseguir esta contextualização é necessário definir o enfoque da análise, as restrições do produto, a fase do ciclo de desenvolvimento do produto, o perfil do usuário, os métodos usados e o tipo de resultado fornecido pelo usuário.
3.3 Plano de trabalho de projeto
O processo de produção das aplicações multimídia realizadas pelo grupo GIMviii está caracterizado por cinco grandes fases (ver Figura 4). Cada fase compreende uma série de processos onde podemos identificar e realizar as correlações entre os problemas encontrados e os processos onde tais problemas foram produzidos. Com este procedimento de agrupação, conseguimos um maior controle do processo de produção, o que implica em, por exemplo, redução dos custos de um determinado projeto.
Cabe ressaltar que nas fases inicial, intermediária e final são produzidos os protótipos que serão submetidos à revisão (processo de teste). Desta maneira, conseguimos diminuir o número de falhas durante o desenvolvimento das aplicações multimídia. Na Tabela 2, apre-sentamos os principais processos identificados no ciclo de vida de desenvolvimento de ditas aplicações desenvolvidas por GIM de acordo com as fases gerais apresentadas na Figura 4.
Tabela 2. Correlação entre as fases gerais e os principais processos do ciclo de vida de desenvolvimento das aplicações multimídia desenvolvidas por GIM.
Fase prévia Fase inicial Fase intermediária Fase final Produto
4. Edição: 4.1 Progra-mação 4.2 dos Mídia
10. Revisão por parte do autor
1. Informação e formação aos autores
5. Integtração 11. Processo de teste del protótipo beta 2. Redação do
conteúdo
6. Revisão por parte do autor
12. Modificações necessárias e sugeridas 8. Processo de teste
del protótipo alfa 0. Concepção e desenho dos modelos multimídia (conteúdo e programação) 3. Controle e adaptação dos conteúdos 9. Modificações necessárias e sugeridas 13. Produção em série do produto final 14. Entrega
Plano de trabalho de projeto
Figura 4. Fases gerais para o ciclo de vida de desenvolvimento das aplicações multimídia desenvolvidas por GIM. Esquema derivado do V-Model.
3.4 Ferramentas de apoio
As ferramentas de apoio são um dos instrumentos base utilizados em um processo de teste que permitem melhorar e estruturar dito processo. Elas oferecem suporte principalmente àquelas fases em que se produz algum tipo de revisão, a exemplo dos processos representados em cinza (3, 6, 8, 10 e 11) na Tabela 2.
Koomen e Pol (1999) argumentam que o uso de distintos tipos de ferramentas de apoio permitem definir a qualidade de um processo de teste. Burnstein, Homyen, Grom e Carlson (1998) comentam que estas ferramentas são importantes porque garantem: (1) consistência, reduzindo a subjetividade da avaliação e (2) validade, usabilidade e comparabilidade dos resultados da avaliação.
Nos estágios iniciais da concepção do modelo SSTM, o procedimento de teste era realizado utilizando como ferramenta de apoio o processador de texto Microsoft® Word 97, com o qual escrevíamos o Relatório de Problemas e Erros (ver Figura 5).
Devido à grande quantidade de informação produzida, sentimos a necessidade de criar uma base de dados que fosse capaz de gerenciá-las mais facilmente, considerando principalmente as análises estatísticas posteriores. Deste modo, escrevemos uma aplicação em Microsoft Visual C++® 6.0 que é capaz de (1) acessar a base de dados do modelo SSTM e (2) preparar o Relatório de Problemas e Erros e os dados necessários para as análises estatísticas pertinentes. Na Figura 6 apresentamos uma das funcionalidades da nova ferramenta de apoio do modelo SSTM.
4. Trabalho realizado
4.1 Precedentes
Iniciamos nossa pesquisa em testes em 1998 analisando o projeto Curso GIM 1 em formato CD-ROM, com o título “Metodología y herramientas para la formación a distancia”, e cujo objetivo é ensinar aos estudantes como desenvolver materiais multimídia para a auto-aprendizagem mediante a própria metodologia do grupo GIM.
Os primeiros testes estavam caracterizados pela aplicação de técnicas e métodos recompilados a partir da literatura existente. Com os resultados obtidos e posterior análise dos mesmos, começamos a perceber algumas implicações do processo de teste no ciclo de vida de desenvolvimento de aplicações multimídia, como por exemplo determinadas mudanças em alguns processos de produção. Deste modo, partimos para a concepção de um modelo de teste que tivesse características adequadas dirigidas às avaliações de materiais didáticos de conteúdo multimídia.
4.2 Primeiros passos do modelo SSTM
A primeira versão do modelo SSTM foi aplicada ao projeto GMMD – “Graduado Multimedia a Distancia” em formato CD-ROM, citado em la Seção 1. O primeiro ano do curso está composto
Figura 6. Aplicação de apoio do modelo SSTM. Funcionalidade: Criação do Relatório de Problemas e Erros.
por seis disciplinas de 75 horas de estudo cada uma. Cada disciplina possui uma quantidade variável de módulos. Ditos módulos estão compostos por uma quantidade variável de temas abordados definidos por seus respectivos autores, onde além de conteúdo podemos encontrar auto-avaliação e testes gerais para cada módulo.
Inicialmente, realizamos os testes nas seis disciplinas e nossa análise foi concentrada nas fases intermediária e final (ver Figura 4), devido aos problemas cronológicos do projeto. Muitos dos problemas identificados nessas fases poderiam ter sido identificados e resolvidos na fase inicial.
Ademais, aplicamos o modelo SSTM considerando o primeiro nível de análise, ou seja, os agentes Informação vs. Aplicação (ver Seção 3.1). A próxima etapa de aplicação do Modelo SSTM será analisar os testes de usabilidade considerando o agente Usuário (níveis de análise dois e três comentado na Seção 3.1).
4.3 Outros projetos
Além do projeto comentado anteriormente, também aplicamos o modelo SSTM a outras aplicações multimídia desenvoldidas pelo grupo GIM, como por exemplo o curso titulado “Medi ambient i tecnologia: Educació ambiental a l’enginyeria” da Cátedra UNESCO da UPC e 64 lições (em total serão 80 lições sob a responsabilidade de GIM) dos cursos sobre Internet (16 lições realizadas), Photoshop (16 lições realizadas) e Corel Draw (32 lições realizadas) oferecidos pela empresa AIDEA.
4.4 Resultados e implicações
A maioria dos problemas identificados foram semânticos. Os principais pontos relevantes estão relacionados com os critérios consistência, aparência, indicação, precisão e funcionalidade. Utilizamos estes critérios para analisar as fases (e os processos) de desenvolvimento da aplicação multimídia e seus processos.
De acordo com o Modelo SSTM e as características do desenvolvimento do projeto GMMD, identificamos que os problemas de aparência são problemas provenientes dos processos de Redação de conteúdo e Edição (2 e 4 na Tabela 2) e podem ser resolvidos nas fases inicial e intermediária. O critério consistência possui as mesmas características de indicador que o critério aparência, porém existe a possibilidade de que alguns problemas tenham sido produzidos no processo de Concepção e desenho dos modelos multimídia (0 na Tabela 2) da fase prévia.
Muitos dos problemas de indicação são problemas provenientes do processo de Redação de conteúdo (2 na Tabela 2) pelo autor e se encontram principalmente na fase inicial. Os problemas de precisão estão relacionados aos indicadores que apontam ao processo de Edição e aos processos de Informação e formação aos autores e Redação de conteúdo. Tais processos (1, 2 e 4 na Tabela 2) se encontram nas fases inicial e intermediária.
E os problemas de Funcionalidade usualmente são indicadores para o processo de programação que se encontra em quase todo o projeto, ou seja, desde a fase prévia, onde uma má concepção/definição dos modelos multimídia pode influenciar no desempenho da aplicação, até a fase final, onde possíveis modificações sugeridas podem alterar ditos modelos.
Na Tabela 3 apresentamos a correlação entre os critérios de avaliação (com maior incidência) e as fases gerais do ciclo de vida de desenvolvimento das aplicações multimídia desenvolvidas por GIM. O resultado desta correlação é a identificação dos processos de acordo com o tipo de problema encontrado.
Tabela 3. Identificação dos processos do ciclo de vida de desenvolvimento das aplicações multimídia desenvolvidas por GIM segundo os critérios de
avaliação (com maior incidência) e as fases gerais. (*)
Critérios Fase Prévia Fase Inicial Fase Intermediária Fase Final
Aparência 2 4
Consistência 0 1, 2 4
Indicação 1, 2 4
Precisão 1, 2 4
Funcionalidade 0 2 4, 5, 9 12, 13
(*) Para melhor compreensão da leitura da Tabela 3 (i.e. identificar o nome dos principais processos), devemos compará-la com a Tabela 2.
Outras aplicações multimídia foram e estão sendo analisadas através do Modelo SSTM. Entretanto, descobrimos que a depender da proposta dos materiais multimídia apresentada pelos clientes, o procedimento de especificação dos problemas recebe novas características, como por exemplo codificação de eventos, o que torna mais clara a identificação do lugar onde ocorreu um determinado erro ou problema específico. Este tipo de situação nos levou a repensar alguns dos procedimentos iniciais do nosso modelo que estão sendo levados em consideração para a nova versão do modelo SSTM.
5. Conclusões e futuras atividades de pesquisa
A aplicação dos processos de teste, desde as fases iniciais do ciclo de vida de desenvolvimento de aplicações multimídia, permitirá a melhora do processo de produção de ditas aplicações, reduzindo assim o tempo do projeto e, consequentemente, os custos do mesmo.
Desta maneira, o modelo SSTM fornece suporte ao processo de teste, definindo diretrizes metodológicas provenientes das significâncias semânticas e sintáticas, para proceder as verificações, validações e os testes de usabilidade com mais eficiência e eficácia.
A partir de nossas experiências vamos aperfeiçoar o Modelo SSTM. Portanto, será necessário aplicá-lo a muitos projetos multimídia que possuam características estruturais distintas. Como comentado anteriormente, vamos realizar as análises que envolvem o agente Usuário, ou seja, os níveis dois (Usuário vs. Informação) e três (Usuário vs. Aplicação) comentados na Seção 3.1.
Desta maneira, nosso objetivo, a curto prazo, é fornecer indicadores chave a partir da informação adquirida (e.g. problemas encontrados e resultados das análises estatísticas) durante a produção e execução das aplicações multimídia. Esses indicadores serão utilizados como requerimentos para as fases (e os processos) de análise, planejamento e execução dos sistemas interativos multimídia.
Para tanto estamos desenvolvendo um módulo adicional para a ferramenta de apoio ao modelo SSTM que consiste em preparar os dados coletados durante os testes para posterior análise estatística no sistema de análise estatística SPSS©.
Nossas atividades futuras de pesquisa em testes de usabilidade serão realizadas em duas direções. Primeiro, aplicaremos o modelo SSTM em outros sistemas interativos multimídia usados em educação com o objetivo de aumentar nossa mostra para futuras análises estatísticas. Além disso, é importante verificar como o modelo SSTM se comporta frente a outras aplicações multimídia com estruturas diferentes das que foram e são produzidas por GIM.
Em seguida, buscaremos generalizá-lo com o objetivo de usá-lo em um nível organizacional. Ademais, acreditamos que o procedimento de teste baseado no Modelo SSTM fornecerá guias que ajudarão a melhorar o processo de teste e, consequentemente, melhorar o processo de software.
Referências bibliográficas
Bastien, J. M. C., Scapin, D. L. e Leulier, C., “Looking for Usability Problems with the Ergonomic Criteria and with the ISO 9241-10 Dialogue Principles”, CHI '96, Vancouver, April, (1996), pp. 77-78.
Bloomer, S., Croft, R. e Wolfre, S., “Selling Usabiliity to Organisations: Strategies for Convincing People of the Value of Usability”, CHI'98 - Conference on Human Factors in Computing Sustems, Los Angeles, April, (1998), pp. 153-154.
Burnstein, I., Homyen, A., Grom, R. e Carlson, C. R., “A Model to Assess Testing Process Maturity”. Crosstalk, November (1998).
Burnstein, I., Suwannasart, T. e Carlson, C. R., “Developing a testing maturity model: Part I”, (1996).
Elgin, B., “Subjective Usability Feedback from the Field over a Network”, CHI '95, Denver, May, (1995), p. 340.
Garzotto, F., Mainetti, L. e Paolini, P., “Hypermedia design, analysis, and evaluation issues”, Communications of the ACM, 38, 8 (1995), pp.74-86.
Grice, R. A. e Ridgway, L. S., “A Discussion of Modes and Motives for Usability Evaluation”, IEEE Transactions on Professional Communications, (1989), pp. 230-237.
Hammontree, M., Weiler, P. e Nayak, N., “Remote Usability Testing”, Interactions of ACM, (1:3), July, (1994), pp. 21-25.
Henninger, S., Lu, C. e Faith, C., “Using Organizational Learning Techniques to Develop Context-Specific Usability Guidelines”, Designing interactive systems: processes, practices, methods, and techniques, The Netherlands, August, (1997), pp. 129-136.
Hix, D. e Hartson, H. R., Developing Users Interfaces: Ensuring Usability Through Product and Process, John Wiley and Sons, New York, 1993.
Kantner, L. e Rosenbaum, S., “Usability Studies of WWW Sites: Heuristic Evaluation vs. Laboraoy Testing”, 15th annual international conference on Computer documentation, Snowbird, October, (1997), pp. 153-160.
Koomen, T. e Pol, M., Test Process Improvement: A paractical step-by-step guide to structured testing, ACM Press and Addison-Wesley, Harlow, 1999.
Kurosu, M. e Kashimura, K., “Apparent Usability vs. Inherent Usability: Experimental analysis on the determinants of the apparent usability”, CHI'95 Mosaic of Creativity, May, (1995), pp. 292-293.
Mayhew, D. J., “The Usability Enineering Lifecycle”, CHI'98 - Conference on Human Factors in Computing Sustems, Los Angeles, April, (1998), pp. 127-128.
Mehlenbacher, B., “Software Usability: Choosing Appropriate Methodos for Evaluating Online Systems and Documentation”, Proceedings on the 11th annual international conference on Systems documentation, Kitchener, October, (1993), pp. 209-222.
Mok, C., El diseño en el mundo de la empresa. Madrid: Ediciones Anaya Multimedia, 1998. Nielsen, J., “Usability Inspection Methods”, CHI '94, Boston, April, (1994), pp. 413-414. Pereira, H. B. B. e Monguet, J. M., “Taxonomias e considerações metodológicas sobre testes de
usabilidade em sistemas interactivos multimídia”, Artigo submetido (aceito) a Revista Iberoamericana de Educação a Distância in November, 1999.
Perlman, G., “Practical Usability Evaluation”, CHI '96, Vancouver, April, (1994), pp. 348-349. Pol, M. e van Veenendaal, E., Structured Testing of Information Systems: an Introduction to
Tmap, Kluwer BedrijfsInformatie, Deventer, 1998.
Pressman, R. S., Engenharia de Software, Makron Books, São Paulo, 1995.
Rosenbaum, S., “Usability Evaluations Versus Usability Testing : When and Why?”, IEEE Transactions on Professional Communications, 32, 4 (1989), pp. 210-216.
Rosenbaum, S., Humburg, J. e Rohn, J., “SIG on Unpacking Strategic Usability: Corporate Strategy and Usability Research”, CHI'98 - Conference on Human Factors in Computing Sustems, Los Angeles, April, (1998a), p. 382.
Rosenbaum, S., Humburg, J. e Rohn, J., “Unpacking Strategic Usability: Corporate Strategy and Usability Research”, CHI'98 - Conference on Human Factors in Computing Sustems, Los Angeles", April, (1998b), p. 205.
Rubin, J., Handbook of Usability Testing: How to plan, design, and conduct effective tests, John Wiley and Sons, New York, 1994.
Sulaiman, S., “Usability and The Software Production Life Cycle”, CHI '96, Vancouver, April, (1996), pp. 61-62.
Sullivan, P., “Beyond a narrow conception of usability testing”, IEEE Transactions on Professional Communications, (1989), pp. 256-264.
Notas:
i
Utilizaremos a sigla SSTM que deriva do inglês: Semantic and Sintactical Testing Model. ii
GMMD é a sigla do curso de graduação “Graduado Multimedia a Distancia” oferecido pela Universitat Oberta de
Catalunya y Universitat Politècnica de Catalunya.
iii
Partimos da premissa que cada projeto possui temas distintos que serão utilizados por usuários distintos.
iv
No caso de sistemas interativos multimídia usados em educação, consideramos como um usuário realiza as escolhas propostas pelo sistema para proceder suas tarefas.
v
Este último está relacionado com a melhora de processo de software. vi
A quantidade de profissionais está definida pela dimensão máxima do projeto. vii
É importante modelar todo o processo de desenvolvimento de software, porque através do modelo SSTM podemos associar problemas encontrados a um processo específico. Este procedimento ajuda a diminuir o custo (tempo e dinheiro) de produção.
viii
