2.3. Qualidade de um site
2.3.5. Avaliação de sites
Um site pode estar direccionado para um tipo de utilizador, mas pode não respo
racterísticas de Eficiência de um site
A
rador da Internet ou a outro software do computador onde vai ser utilizado. A
Acessibilidade verifica se o site permite a sua utilização por pessoas com algum tipo
de deficiência. O governo português foi um dos primeiros países a encorajar os organismos públicos a tornarem os seus sites acessíveis, em que as informações “devem ser escolhidas de forma a permitirem ou facilitarem o seu acesso pelos cidadãos com necessidades especiais” (RCM, 1999), nomeadamente a “leitura possa ser feita sem recurso à visão, movimentos precisos, acções simultâneas ou a dispositivos apontadores” (RCM, 1999; Fernandes & Godinho, 2001: 5).
As sub-características das características Manutenção e Portabilida descritas por extrapolarem os objectivos desta investigação.
publicações em papel, na Web não existe uma certificação ou censura da informação disponibilizada, embora aqui o controlo seja efectivamente mais difícil do que na imprensa. O funcionamento da Web é coordenado por entidades que não certificam a qualidade dos sites na Web. Alguns sites ostentam um símbolo sugerindo a ideia de alguma qualidade sem esclarecer se existe alguma avaliação e como ela é feita, surgindo genuínas dúvidas sobre a atribuição de qualidade de um site. O prestigiado consórcio W3C (cf. secção 2.1.2) fornece símbolos como o da figura 2.10 aos sites que verificam algumas regras na redacção do código HTML.
10. Símbolo “W3C HTML 4.
Figura 2. 0”
or outro lado, um utilizador leva os seus valores quando navega na Web. Const
um ponto imaginário do
O diferentes, têm
neces
Figura 2.11. Referenciais do utilizador perante a informação das páginas Web
P
rói um percurso de conhecimento autónomo e único, atribuindo maior destaque ao que considera mais relevante.
“A assimilação da informação se produz em
presente, mas com forte referência ao passado informacional do indivíduo e uma considerável ponderação das perspectivas de suas possibilidades e atuação no futuro” (Barreto, 2002: s/p).
s utilizadores são diferentes, vivem em contextos
sidades diferentes, têm diferentes competências, desenvolvem diferentes papéis sociais, possuem conhecimentos diferentes, têm desempenhos diferentes. Assim, é natural que utilizadores diferentes esperem diferentes níveis de usabilidades nos sites, atribuam diferentes tipos de qualidades às informações e exijam diferentes graus de confiança aos seus autores (Carvalho et al., 2004), de acordo com as necessidades e satisfações do momento (figura 2.11). Cada utilizador, declaradamente ou de forma subjacente, considera a informação encontrada como interessante ou desinteressante, vantajosa ou prejudicial,
Usabilidade do site Confiança na autoria Qualidade da informação Declaradas Subjacentes Necessidades Satisfações
preciosa ou pobre, potenciadora ou atrofiadora.
Um dos maiores problemas da Web é a fraca usabilidade em relação à facilidade de utilização das páginas Web. Se a página não for fácil e agradável de usar, o ode não aceder ação ou desistir d tilizador pretende tom decisões rapidament rande esforço. Ste g (2001: 11) propõe que os responsáveis pela produção de páginas Web assumam o princípio “Não me faça pensar!”. Nã ue os utilizadores são preguiçosos mas, pelo contrário, reconhece que o webdesign deve ser construído para que esma. Óbvia.
rodução e ava
nálise de sites. Também existem textos sobre a utilização educativa da Web e com formulários para auxiliar o aluno ção de uma página (e.g., em McLachlan, 2002). De seguida, apresentam-se alguns critér
documentação; navegabilid
aspectos ergonómicos.
utilizador p à inform ela. O u
ar e e sem g ve Kru
o insinua q
o utilizador quando “olhar uma página Web, ela deve ser evidente por si m
Auto-explicativa” (Krug, 2001: 11). Por outro lado, “a Web deve ser utilizada dentro de um determinado contexto, com um propósito” (Carvalho, 2004).
Estas considerações levam à conclusão de que, atendendo aos tão diversos interesses dos utilizadores, não se pode esperar que exista uma certificação única para sites Web. A solução passa pela assumpção de critérios de qualidade durante o ciclo de vida, pela realização de testes de usabilidade e pela implementação de estudos de avaliação de sites (Carvalho, 2001a).
2.3.5.1. Critérios
No universo da investigação, existem autores que reflectem sobre a p
liação de sites, gerais ou específicos. Alguns apenas indicam critérios, outros sugerem grelhas (e.g., avaliação no desenvolvimento de ambientes telemáticos de aprendizagem por Guyver & Close, 2001) ou questionários a aplicar por um especialista ou por utilizadores como os indicados por Simões (2003c) numa selecção comentada de links sobre avaliação e a
a avaliar a informa
ios provenientes de diversos estudos.
Para a avaliação de sites educativos, Correia & Dias (2003: 522) propõem critérios sobre o conteúdo (“credibility, clearness and succinctness, accuracy and coverage, currency”), o design instrutivo (“instructional objectives, practice opportunities, feedback”) e o design da interface (“design and layout, consistency, information structure and organization, navigation, visual appeal”). Kalinke propõe sete critérios para a análise de sites: disponibilidade de ferramentas de interacção; erro como possibilidade de nova abordagem; ambiente dinâmico; ferramentas e tecnologias que permitem modelações e simulações; legibilidade;
ade (Kalinke, 2003: 117). Os quatro primeiros são relativos a aspectos construtivistas da aprendizagem e os restantes três critérios inscrevem-se nos
Betsy Richmond (1996: s/p) propõe os seguintes dez critérios quando se avaliam recursos na Web: conteúdo, credibilidade, pensamento crítico, direito de autores, citações, continuidade, censura, conectividade, comparabilidade e contexto. Lund (2001: s/p) propõe um teste de usabilidade onde os utilizadores são questionados nas categorias utilidade, facilidade de utilização, facilidade de aprendizagem e satisfação. Keevil (1998: s/p) disponibiliza um teste com 203 questões nas categorias: encontrar a informação; compreender a informação; tarefas do utilizador; segurança técnica da avaliação; apresentação da avaliação.
Sobre a testagem de aplicações Web, Molinari propõe que os sites devem possu
o direct
ir “confiabilidade, recuperabilidade, segurança, usabilidade, performance” (Molinari, 2003: 179). Segundo Jennifer Fleming (1998: s/p), a navegação para funcionar deve: “be easily learned; remain consistent; provide feed-back; appear in context; offer alternatives; require an economy of action and time; provide clear visual messages; use clear and understandable labels; be appropriate to the site´s purpose”.
Para incentivar a produção de sites com qualidade e acessibilidade, o consórcio W3C sugere uma lista de pontos de verificação (quadro 2.18) que sã
ivas de acessibilidade à informação de sites, pensadas, principalmente, para pessoas com algum tipo de deficiência.
1- Fornecer alternativas ao conteúdo sonoro e visual 2 - Não recorrer apenas à cor
3 - Utilizar correctamente anotações e folhas de estilo 4 - Indicar claramente qual a língua utilizada
5 - Criar tabelas passíveis de transformação harmoniosa
6 - Assegurar que as páginas dotadas de novas tecnologias sejam transformadas harmoniosamente 7 - Assegurar o controlo do utilizador sobre as alterações temporais do conteúdo
8 - Assegurar a acessibilidade directa de interfaces do utilizador integradas 9 - Pautar a concepção pela independência face a dispositivos
10 - Utilizar soluções de transição
11 - Utilizar as tecnologias e as directivas do W3C 12 - Fornecer contexto e orientações
13 Fornecer mecanismos de navegação claros -
14 - Assegurar a clareza e a simplicidade dos documentos
Quadro 2.18. Directivas para a acessibilidade de sites Web (W3C, 1999a)
O estado português tem realizado alguns esforços no sentido de melhorar a qualidade os sites directamente dependentes da sua administração, destacando-se as seguintes quatro iniciativas: resolução do Conselho de Ministros 96/99 (RCM, 1999), onde apresenta uma lista ponderada dos critérios de avaliação; o “método de avaliação dos Web sites dos organismos da administração directa e indirecta do estado”, que incide sobre a qualidade e a maturidade e os seus critérios de avaliação apontam para uma valorização equitativa entre conteúdos, actualização
de e facilidades para cidadãos com
nec os “requisitos de visitabilidade dos
site es & Godinho, 2001); e o Programa Acesso
edi Est
odem efectuar dois tipos liação manual, feita com base em e uma avaliação automática, feita com base de. Podem também
s do
processo de desenvolvimento do sítio Web, ao Programa ACESSO da
o caminho de navega ata about u Pa ine, pode-se ao Cynthia W) (http:// o
OpenW a navegação dos utilizadores apresentando um
relató
rregamento, os links quebrados ou mortos, os erros HTML
conteúdos, acessibilidade, navegabilidade essidades especiais (PCM-UMIC, 2001: 7); s da administração pública” (Fernand
tou “acessibilidade à Web por cidadãos com necessidades especiais” (PA, 2003). a última apresenta as directrizes do W3C comentadas e sugere:
“Os designers e criadores de páginas Web p de teste às páginas Web: uma ava
algumas ajudas técnicas
em software que produz relatórios de acessibilida
olicitar relatórios de acessibilidade, de preferência ao longo
UMIC” (PA, 2003: 20).
Finalmente, na Universidade do Minho foi criado o Laboratório de Estudo e Desenvolvimento da Sociedade da Informação em colaboração com a UMIC - Unidade de Missão Inovação e Conhecimento - no qual desenvolveram o “Guia de boas práticas na construção de Web sites da administração directa e indirecta do Estado” (Oliveira et al., 2003).
Outra modalidade de avaliação de sites passa pelos laboratórios de usabilidade, onde os utilizadores são observados e questionados atentamente enquanto interagem com o site. No entanto, subsistem alguns problemas não desprezíveis na avaliação da usabilidade de sites, por exemplo, a dificuldade em encontrar e seleccionar um número adequado de utilizadores. Existem softwares com diversas funcionalidades para os servidores monitorizarem
ção dos utilizadores, acreditando que é “useful to have quantitative d ser behaviour while surfing” (Lanfranchi & Baravalle, 2002: s/p).
ra obter relatórios de acessibilidade executados por um software on-l recorrer ao Bobby (http://bobby.watchfire.com/bobby/htm/index.jsp), Says (www.cynthiasays.com) e ao Test Accesibilidad à la Web (TA tawdis.net). Alguns softwares têm aplicações específicas, como ebSurvey que controla
rio de usabilidade (Lanfranchi & Baravalle, 2002: s/p) ou o Nomore404 (www.nomore404.com) e o Xenu (Hausherr, s/d) que apresentam um relatório das hiperligações quebradas. O software on-line Webmasterplan efectua uma avaliação on-line a partir do seu URL de uma página, apresentando sugestões sobre a metainformação, o tempo de ca
e a compressão de imagens (http://pt.webmasterplan.com). O NetMechanic avalia cada página on-line, numa escala de uma a cinco estrelas, os erros das hiperligações, o tempo de carregamento, a compatibilidade com os exploradores da
Internet e os erros de código HTML (Netmechanic, 2003: s/p).
As indicações até aqui expostas são preciosas para averiguar a usabilidade de um site, referindo-se à funcionalidade, à utilização e à satisfação do utilizador. Pouco a pouco, a usabilidade tem vindo a ganhar relevo na análise da qualidade de software e, em particular, de sites, deixando de ser uma exigência supérflua (Carv
veness, effiency and satisf e publicaç o utilizado res e exper A da
usabilid , consistindo em “having a small set of evaluators exam
ocumentation” (Nielsen, s/d: s/p). alho, 2002b). A usabilidade considera o Homem em interacção com o site como base de observação para, posteriormente, aperfeiçoar o produto testado.
“Usability has multiple components and is traditionally associated with these five usability attributes: Learnability (…) easy to learn; Efficiency (…) efficient to use; Memorability (…) easy to remember; Errors (…) have a low error rate; Satisfaction (…) pleasant to use (…)” (Nielsen, 1993: 26).
Conforme afirma Jakob Nielsen, um especialista reconhecido, “usability is a quality attribute that assesses how easy user interfaces are to use. The word "usability" also refers to methods for improving ease-of-use during the design process” (Nielsen, www.useit.com). Outra definição de usabilidade, especialmente dirigida à avaliação de software, incluindo a observação de utilizadores, é dada pela norma de qualidade ISO 9241-11 (1998: 3): “the extent to which a product can be used by specified users to achieve a specified goals with effecti
action in a specified context of use”.
Há especialistas reconhecidos que adoptaram metodologias diversas para a avaliação da usabilidade de software, como heurísticas, observação, entrevista ou estudos experimentais (Carvalho, 2001b: 141). O site UsabilityNet (2003: s/p) apresenta uma listagem dos métodos de usabilidade de software distribuídos pelas fases de planeamento e praticabilidade, requisitos, design, teste e medição
ão (“Post Release”). Este site evidencia os métodos oportunos quando r selecciona as opções tempo/recursos limitados, sem acesso a utilizado iência/competências limitadas.
avaliação heurística destaca-se como um método para a inspecção ade de um software
ine the interface and judge its compliance with recognized usability principles, the “heuristics”” (Nielsen, 1993: 155). Os problemas da interface de um site podem ser detectados por especialistas munidos de heurísticas, como as dez seguintes:
“visibility of system status; match between system and the real world; user control and freedom; consistency and standards; error prevention; recognition rather than recall; flexibility and efficiency of use; aesthetic and minimalist design; help users recognize, diagnose, and recover from errors; help and d
Para compreender melhor a usabilidade, alguns sites disponibilizam informações: www.useit.com, destacando-se a secção AlertBox; www.asktog.com, contendo princípios de usabilidade para a construção de software; www.bls.gov/ore/htm_papers/st960150.htm do departamento do trabalho do governo dos EUA, apresentando critérios para “Usability testing of World Wide Web sites”; www.research.att.com/conf/hfweb/proceedings/kirakowski/, apresentando o resultado de um estudo de avaliação usando software “Human centered measures of success in Web site design”; www.nomos.se; www.usabilitynet.org; www.
m empresas
Recorrem a um conjun )
que são in ns
sites (Santo por
repartições min
alguns estudos sobre a
unt and variety of product information), interactivity (customization and siveness (feedback options and FAQs)”
os foram atribuídos, em grande parte, à falta
usabilidade.com, contendo artigos em português; www.ucc.ie/hfrg/questionnaires/wammi/, contendo os testes WAMMI.
2.3.5.2. Estudos realizados
Para saber se um site tem grande aceitação pelos utilizadores existe de sondagens e estatísticas, tais como a NetSonda e a Marktest.
to pré-estabelecido de utilizadores (denominado por painel quiridos sobre as suas frequências e percepções na utilização de algu
s, 2004). Existem estudos acerca da qualidade de sites promovidos isteriais, universidades ou especialistas. De seguida, apresentam-se
avaliação de sites.
Jonathan Palmer realizou três estudos aplicados em 1997, 1999 e 2000 com três métodos de análise: um júri; um questionário de escalas a utilizadores; e um agente de software (“a jury, third-party ratings, and a software agent”). Os resultados obtidos por Palmer validam a usabilidade, o design e algumas métricas de sites, concluindo que
“Web site success is a first-order construct. Moreover, Web site success is significantly associated with Web site download delay (speed of access and display rate within the Web site), navigation (organization, arrangement, layout, and sequencing), content (amo
interactivity), and respon (Palmer, 2002: 151).
Num estudo sobre a qualidade dos sites das câmaras municipais nacionais levado a cabo pelo GAVEA em 2000, consideraram-se as categorias “serviços de informação on-line, informação do município, informação da autarquia” (Santos & Amaral, 2000; Santos, 2003). Das 305 autarquias, perto de metade (153) tinham site, dos quais apenas 6% receberam a classificação excelente e 20% foram classificados com bom. Estes maus resultad
(Santos & Amaral, 2000: 71). O estudo foi novamente aplicado em 2002, tendo recorrido ao inquérito por questionário às câmaras municipais, a uma avaliação on- line dos sites e a uma avaliação de qualidade da utilização do e-mail, concluindo que as realidades das autarquias dependem da sua dimensão e que “os resultados quantita embora ou seja, co Ál em Portuga et” (Rocha, os
de melh Web para que atingissem um patamar de qualidade positi
oncluiu que
b es pobre, - en consideración de un perfil de
presas do m
tivos revelam uma evolução muito positiva em relação ao último estudo” os sites continuem, “na generalidade, posicionados no 1º e 2º estágios, m baixa maturidade” (Santos & Amaral, 2002: 77).
varo Rocha verificou que das 171 instituições de ensino superior l, em Janeiro de 2002 existiam 31 (18%) “sem presença na Intern 2003: 659), concluindo que “a maioria (71%) tinha de encetar process
oria dos seus portais vo” (Rocha, 2003: 659).
Noutro estudo realizado aos sites das juntas de freguesias do Minho, foram avaliados nos seus conteúdos, interactividade, concepção e tecnologia, concluindo- se que “são muito poucas as que já adoptam e usam formas de e-government, sendo incipiente a qualidade da maioria dos Websites” (Rocha et al., 2003).
Luis Olsina (1999) fez um estudo comparativo das normas ISO 9126 e IEEE 1061, donde resultou uma “árvore de requerimentos de qualidade” (Olsina, 1999: 64-65), consistindo numa listagem de atributos seleccionados para um certo tipo de sites previamente especificados. Apresenta uma metodologia de avaliação quantitativa de sites que aplicou a seis universidades de todo o mundo, com uma ponderação para determinar as “preferencias parciales para las características de más alto nivel”. A ponderação foi distribuída em 30% para a usabilidade, 30% para a funcionalidade (onde está incluída a informação do site), 20% para a confiança e 20% para a eficiência (Olsina, 1999: 112). Dos resultados, c
“En general factores esenciales de los sitios Web como Esquema de Organización Global del sitio, Mecanismos de Búsqueda, Mecanismos de Orientación y Navegación, entre otros, no superan en conjunto una disponibilidad de 45% (lo que confirmaría para este caso la declaración que el diseño en la We
usuario y para el dominio específico)” (Olsina, 1999: 223-224).
Nielsen & Tahir (2002) efectuaram um estudo a 50 homepage de sites, seleccionados “porque se destacavam de alguma maneira” (Nielsen & Tahir 2002: 55), tais como listas dos dez mais importantes sites, listas das maiores em
undo, órgãos governamentais, pequenas empresas bem administradas e instituições sem fins lucrativos. Como síntese, apresentam 113 directrizes de usabilidade e uma análise de cada uma das 50 homepages, incluindo o objectivo do site, o título da janela, o URL e um estudo das percentagens das áreas ocupadas.