Na Avaliação de Desempenho seleccionam-se um conjunto de medidas ou indicadores que melhor representam a estratégia e os objectivos da empresa. Estes indicadores dos níveis de desempenho devem ser determinados pelos factores críticos de sucesso do negócio em causa.
(Neves, 2003, p. 7)
A avaliação de sistemas, como referem alguns autores, é um conceito amplo que coloca algumas dificuldades. Parece não existir consenso do que deve ser entendido por avaliação, do que, como e quando avaliar. Entendendo avaliação como um estudo concebido e conduzido para ajudar a avaliar o mérito e valor de um objecto, e qual a extensão para o qual cada objectivo declarado foi alcançado, iremos neste capitulo descrever alguns dos entendimentos reportados pela literatura. Tentaremos mostrar o que deve ser entendido por avaliação, como avaliar e o que avaliar, com o enfoque nos sistemas de informação e, especialmente nos sistemas baseados em conhecimento, mais concretamente os Sistemas Periciais.
O capítulo está dividido em três partes: na primeira descreveremos alguns conceitos sobre avaliação, na segunda as questões que devem ser colocadas e as dificuldades encontradas e por ultimo apresentaremos algumas abordagens metodológicas mencionadas na literatura.
O objectivo da avaliação é: avaliar o valor global de um sistema, além de avaliar níveis aceitáveis de desempenho, analisar se os sistemas são utilizáveis, eficientes e os custos efectivos (Turban e Aronson, 2000); reflectir a aceitação do sistema pelos utilizadores, o desempenho na sua aplicação e mostrar a sua utilidade ((Wentworth, Knaus e Aougab, 1995); verificar o sucesso do sistema, através de um standard mínimo aceitável (Anumba e Scott, 2001).
As dificuldades colocadas na avaliação de um sistema, prendem-se com: a não existência de uma maneira formal para provar se uma dada resposta é correcta ou a melhor possível (Waterman, 1986); as expectativas, relativas ao desempenho dos sistemas, serem muitas vezes nebulosas (Jackson, 1999); qualquer julgamento do potencial do sistema (ex ante) ou do retorno (ex post) depender de vários factores, frequentemente relacionados. Não é claro como medir o sucesso do sistema, ou até qual o “sucesso” que realmente interessa (Klecun-Babrowska e Conford, 2001).
Turban e Aronson (2000) apontam como dificuldades, na avaliação de um Sistema Pericial: (1) Que características devem ser avaliadas? - O desempenho é o factor principal. No entanto, o interface do sistema, ou a facilidade de utilização, parecem ser, também, a chave para a sua aceitação; (2) Como deve o desempenho ser avaliado? - Devido à natureza das aplicações dos Sistemas Periciais não é fácil definir um standard em relação ao qual comparar o desempenho do sistema. (3) Como devem ser seleccionados os problemas de teste? - Em certas áreas é difícil arranjar estudos realistas; (4) Como deve uma avaliação detectar os erros de programa? - Em certas áreas tem interesse a procura de padrões de erro, os tipos de enganos.
Existem várias formas de avaliar e comparar Sistemas Periciais, mas a mais óbvia é a comparação com um perito humano. No desenvolvimento do sistema, o perito e o engenheiro do conhecimento trabalham juntos num conjunto de exemplos críticos até o programa os conseguir resolver todos. A avaliação envolve exemplos não testados pelo sistema e a análise se os seus conselhos coincidem com os do perito (Jackson, 1999).
Barr (1999), refere que a avaliação de um sistema baseado em conhecimento é um problema multifacetado, com numerosas abordagens e técnicas. Os resultados gerados pelo sistema devem ser avaliados junto com as suas características, a usabilidade do sistema, a facilidade de melhoramentos do sistema e o impacto nos utilizadores face à não utilização. O desempenho do sistema deve também ser avaliado à luz da utilização pretendida. Se o Sistema Pericial é para funcionar como um assistente inteligente então deve satisfazer o critério de ser um útil adjunto para resolver o problema. Em 2001, Barr refere que, se um sistema inteligente é construído baseado na interpretação do domínio do problema, com a expectativa que ele se comporte de forma equivalente ao comportamento do perito, o desempenho humano deverá ser o padrão usado para avaliar o sistema. Turban e Aronson, em 2000, apontam que o método para avaliar um Sistema Pericial deve ser a comparação do seu desempenho com um critério aceite, tal como, a decisão de um perito. Hollnagel (1992), citado por Boritz (1992), sugere que o desempenho dos Sistemas Periciais devem ser comparados com o desempenho dos peritos. A avaliação dos resultados gerados pelo sistema envolve a comparação dos seus resultados com os do sistema actual.
O sucesso de um sistema de informação, geralmente, pode ser avaliado através de: Qualidade da informação proporcionada aos utilizadores (a satisfação do utilizador com a informação é provavelmente a medida de sucesso mais usada), medidas de eficácia organizacional focam-se nos resultados actuais, a satisfação do utilizador foca-se no processo; Impacto do sistema no pensamento, decisões e acções dos utilizadores (o impacto individual, nos utilizadores, pode ser medido utilizando a aprendizagem, tomada de decisão e mudanças de comportamento); Impacto do sistema ao nível dos custos e benefícios organizacionais (a medida dos custos e benefícios foram as mais utilizadas).
Os investigadores académicos têm tendencialmente evitado medidas de desempenho organizacional devido às dificuldades em isolar o esforço do Sistemas de Informação de outros efeitos que influenciam o desempenho organizacional (Grover et al., 1996). Na prática, avaliações ex-ante são utilizadas mais frequentemente, enquanto os académicos tem preferido avaliações ex-post (Parker et al.. 1988).
Waterman (1986) aponta que, para avaliar o desempenho do sistema (protótipo), devemos colocar o seguinte tipo de questões: O sistema toma as decisões que os peritos, na generalidade, acham apropriadas?; As regras de inferência são correctas, consistentes e completas?; O sistema dá explicações adequadas, descrevendo como e porquê tomou as decisões?.
Na avaliação da utilidade, devem ser colocadas as questões: A solução do problema ajuda o utilizador de forma significativa?; As conclusões do sistema estão apropriadamente organizadas e apresentam um grande nível de detalhe?; O sistema é
suficientemente rápido para satisfazer o utilizador?; O interface é suficientemente amigável?
Hitt e Brynjolfsson (1996) referem que é útil entender que o valor das tecnologias não é uma única questão, mas sim composta por vários assuntos relacionados, porém bastante distintos: produtividade, rentabilidade empresarial e valor para o consumidor.
Relacionado com a primeira questão, a pergunta é se as tecnologias facultam mais “outputs” para uma mesma quantidade de “inputs”. A segunda considera se a empresa é capaz de usar as tecnologias para ganhar vantagem competitiva e lucros substanciais. A questão final preocupa-se com a magnitude dos benefícios passados aos consumidores, ou talvez reclamados por estes. Demonstram que para os mesmos dados, as tecnologias parecem incrementar a produtividade e proporcionar benefícios substanciais para os consumidores, mas não é clara uma ligação empírica entre os benefícios e a rentabilidade da empresa ou o preço das acções. Aumento na eficiência (e portanto na produtividade) pode ajudar a criar competitividade nas empresas, eliminando ineficiências, e consequentemente a reduzir os preços, logo, não se reflecte nos lucros, mas sim em ganhos para o consumidor.
Uma das metodologias, referida por Turban e Aronson (2000), tem por base os Factores Críticos de Sucesso (FCS), onde escolhemos os factores que são realmente importantes numa situação específica e estudamo-los com cuidado e debaixo de um plano de controlo apertado.
Menzies (2000) apresenta também um método para uma avaliação objectiva baseada nas Métricas Criticas de Sucesso, i.e., alguma medida deduzida do sistema, a qual demonstre conclusivamente que o sistema é um sucesso. Se uma tal medida é observada, então o sistema será julgado como um sucesso, indiferentemente de outras medidas críticas menores. A métrica deverá ser fundamental para o negócio. Não devem partir do sistema, não se referem às propriedades internas do sistema, mas sim derivadas de utilizadores ligados ao negócio.
Na área industrial, os Sistemas Periciais podem, frequentemente, serem avaliados por experimentação. Implementando um sistema e comparando com outro equipamento sem sistema, por ex., na manutenção preventiva. A taxa de paragens, reparações e custos de manutenção sob os dois métodos podem ser comparadas para determinar qual é superior (Turban e Aronson, 2000)
Hayes-Roth et al. (1983), citado por Anumba e Scott (2001), advogam que a melhor forma para avaliar e testar a eficiência do sistema é torná-lo satisfatório para os utilizadores e responder ao seu feedback. Rafea e Mahmoud (2001) referem que a avaliação é o processo segundo o qual asseguramos a usabilidade, qualidade e utilidade dos Sistemas Periciais.
Através da definição dada pela ISO 9241 (Ergonomic requirements for Office work with visual display terminals) Part 11 (Guidance on usability) de usabilidade, Parker (1999) aponta a eficácia, eficiência e satisfação como um critério crítico que influenciam a
usabilidade do interface. Para avaliar este critério, ele precisa ser decomposto em sub- critérios e, finalmente, em medidas de usabilidade.
Medidas de eficácia relacionam a exactidão e perfeição, com a qual os utilizadores executam as tarefas especificadas. Medidas de eficiência relacionam os recursos que são necessários despender para executar as tarefas. Medidas de esforço cognitivo são derivadas indirectamente do esforço mental investido nas tarefas. Carga cognitiva pode ser medida por meios objectivos ou subjectivos. Satisfação é uma resposta subjectiva dos utilizadores para interacção com o sistema.
Segundo Turban e Aronson (2000) os sistemas são avaliados e analisados através das duas principais medidas de desempenho: eficácia e eficiência. Eficácia é o grau para o qual os objectivos são alcançados. Está então relacionada com os outputs do sistema (tais como vendas totais ou lucros por acção “earnings per share”). Eficiência é a medida da utilização dos inputs (ou recursos) para alcançar os outputs (ex. Quanto dinheiro é utilizado para gerar um certo nível de vendas).
Avaliação de sistemas tempo real foca-se tipicamente no desempenho do software: quão bem o sistema responde dentro de um determinado período de tempo, quão boa é a precisão, degradação do desempenho do sistema ao longo do tempo, desempenho na transição de estados e reversibilidade (Grabowski e Sanborn, 2001).
Pelos casos reportados, podemos verificar que as ideias chave da avaliação do desempenho dos sistemas, no que respeita às abordagens, estão relacionadas com a comparação com um critério aceite, por ex., o perito humano e/ou o sistema actual, com
a utilização pretendida para o sistema, com o impacto nos utilizadores, com os custos e benefícios para a organização e com os factores críticos de sucesso fundamentais para o negócio.
Não existe uma metodologia padronizada, para avaliação dos sistemas. No entanto verificamos, que as técnicas de avaliação podem ser divididas em dois grupos: Qualitativas – empregando comparações subjectivas de desempenho (satisfação, aceitação, interface, etc.),
Quantitativas – empregando técnicas estatísticas para comparar o desempenho contra casos de teste ou peritos humanos (eficiência, eficácia, impacto nos custos, etc.).
No que respeita à abordagem, podemos mencionar a baseada nos factores críticos de sucesso, para avaliar o desempenho dos Sistemas Periciais e o seu impacto na organização. A utilização desta metodologia e o critério de comparação, entre o desempenho com e sem sistema, parece-nos a melhor forma de avaliar os Sistemas Periciais.