Avaliação de sistemas de recuperação da informação

Descobrir pontos falhos em um SRI que compõe o serviço de informação é primordial para a avaliação de serviço de informação, pois, o SRI é um dos principais elementos do serviço de informação. Falhas neste SRI podem comprometer o serviço como um todo.

Verifica-se nos autores estudados uma forte tendência em avaliar SRI a partir da percepção que o usuário (atendente) tem do sistema. Em outras palavras, avaliam- se as saídas ou os resultados que o sistema apresenta ao atendente, por exemplo: confiabilidade na informação recebida, satisfação do atendente com o sistema, relevância das respostas providas pelo sistema e precisão das respostas. Este tipo de avaliação é também conhecido como macro-avaliação. Outra forma de avaliação muito utilizada em avaliação de SRI é a micro-avaliação. Neste tipo de avaliação, pretende-se descobrir as causas dos problemas que levam os usuários a avaliar de forma negativa os sistemas de informação.

Observa-se, também, um alto grau de subjetividade envolvendo o ato de avaliar. Fatores como o grau de satisfação do atendente com o serviço responde por um alto grau de subjetividade, uma vez que envolve a opinião pessoal destes usuários. Com base na literatura estudada foram adotados neste trabalho tanto aspectos objetivos, que não dependem da percepção do atendente, quanto aspectos subjetivos, que estão diretamente ligadas ao padrão de exigências de cada atendente. Estes aspectos são demonstrados no ANEXO Q e no item Metodologia.

Marchand (1990) ressalta grande dificuldade na descrição e na medição da qualidade da informação providas pelos SRI devido ao alto grau de subjetividade envolvido. Este autor propõe oito dimensões para realização da análise da qualidade da informação, alertando sobre a possibilidade de inter-relação entre as oito dimensões, com melhora de uma em detrimento de outra ou, ainda, a possibilidade de associações entre dimensões, que podem ser produtivas a todas. Essas dimensões se tratam principalmente de avaliar o grau de satisfação dos atendentes com relação às informações providas pelo sistema. A descrição

detalhada das variáveis de avaliação de Marchand pode ser encontrada no ANEXO E.

Um dos autores que mais trabalhou no campo da avaliação de SRI foi Lancaster. O autor aponta que, para que uma avaliação de SRI seja bem sucedida, ela deve considerar a avaliação da performance geral do sistema.

Na visão de Lancaster (1993), o atendente em geral não tem interesse em entender o funcionamento interno do SRI. Pelo contrário, ele avalia o sistema de acordo com o resultado que este lhe apresenta durante as buscas. Portanto, fatores como precisão e revocação devem ser consideradas, já que são frequentemente observados pelos atendentes. Lancaster vai mais adiante, dizendo que deve-se avaliar um SRI “em função de sua utilidade ao responder a várias necessidades de informações”.

VARIÁVEIS PARA AVALIAÇÃO DE SRI

O campo de estudo de avaliação de SRI é abrangente. Neste item foi realizada uma revisão da literatura de avaliação de SRI, no entanto, sem a intenção de ser uma revisão abrangente. Buscou-se selecionar exemplos representativos de variáveis de avaliação tratadas na literatura que viessem contemplar os objetivos do trabalho. Em geral, observou-se que a avaliação de SRI contempla três aspectos: O conteúdo da base de dados do sistema, os processos e as saídas ou resultados do sistema. No caso do conteúdo são considerados aspectos da qualidade da base de dados, por exemplo, a acuidade, a autoridade, a objetividade, a atualização e a cobertura da base de dados. Já no caso dos processos, são considerados aspectos como interface amigável, adaptabilidade, economia de tempo, redução de ruído e acessibilidade. Por fim, no caso das saídas ou resultados do sistema, são considerados aspectos, principalmente, ligados à satisfação do usuário com a performance do sistema, por exemplo, o grau de confiabilidade na informação percebida, o nível de utilidade da informação, o impacto do sistema na rotina de trabalho. Esta divisão em 3 aspectos de avaliação do SRI pode ser melhor

visualizada na FIGURA 4.

FIGURA 4: Aspectos de avaliação do SRI. Fonte: O autor.

Apresenta-se a seguir exemplos representativos de variáveis de avaliação tratadas na literatura que contemplaram os objetivos deste trabalho.

Taylor (1985) sustenta um modelo de avaliação de sistemas utilizando três pilares: Usuário, interface e os processos do sistema. Taylor estabelece as seguintes variáveis que podem ser utilizadas na avaliação de um SRI: facilidade de uso, redução de ruído, qualidade, adaptabilidade, economia de tempo e economia de custos. A descrição detalhada das variáveis de avaliação de Taylor pode ser encontrada no ANEXO A.

Nascimento (2000) avalia SRI através do ponto de vista dos atendentes em relação à qualidade da base de dados. Ele avalia a acuidade, a autoridade, a objetividade, a atualização e a cobertura da base de dados. A descrição das variáveis de avaliação de Nascimento pode ser encontrada no ANEXO B.

Delone e McLean (2003) trabalham tanto no campo da macro como da micro avaliação, e definem, entre outras características, a qualidade do SRI como característica primordial em uma avaliação. Os fatores a serem considerados, que também se encontram no ANEXO C deste trabalho são: acessibilidade da

informação, flexibilidade de uso do sistema, integração de tarefas através da informação, tempo de resposta às solicitações realizadas, confiabilidade na informação recebida, facilidade de uso do sistema e nível de utilidade da informação. Ives e Olson (1984) também atuam tanto no campo da macro como da micro avaliação, e definem classes de variáveis para a avaliação de sistemas, centradas na percepção do usuário: Qualidade e Aceitação do sistema de informação. As classes propostas por Ives e Olson compreendem as variáveis: usabilidade do sistema, impacto na operação das tarefas executadas pelo atendente, comportamento do atendente, satisfação com a informação.

Galletta e Lederer (1989) seguem uma linha similar à linha centrada no usuário de Ives e Olson e verificam a fidedignidade da avaliação de sistema de informação através da satisfação do atendente. Os autores consideram fatores de usabilidade e impacto na rotina de trabalho como pontos fundamentais a serem considerados. Myers, Kappelman e Prybutok (1997) propõem a avaliação da percepção de valor do usuário como um conjunto de variáveis e o impacto destas variáveis no desempenho individual e posteriormente no grupo de trabalho.

Almeida (2000) adota algumas medidas de desempenho que devem ser consideradas na avaliação de um SRI. As medidas de desempenho citadas pela autora são, por exemplo: acessibilidade, tempo de resposta do sistema, cobertura e relevância da base de dados. A descrição completa das medidas de desempenho de Almeida pode ser encontrada no ANEXO F.