Avaliação da qualidade

Cleverdon (1962), em seu projeto Aslib-Cranfield, desenvolvido na Universidade de Cranfield, investigou a eficiência de sistemas de indexação, e é considerado o precursor das medidas de relevância precision (precisão) e recall (revocação). Essas medidas foram e ainda são amplamente usadas na avaliação da qualidade dos sistemas de RI. A força delas decorre do fato de envolvem usuários como os juízes da eficácia do desempenho e, por outro lado, o ponto fraco é o mesmo, ou seja, pelo fato de depender do julgamento de usuários, possui todos os perigos da sua subjetividade e variabilidade (SARACEVIC, 1999).

Quanto ao papel dos índices de precisão em um processo de busca e recuperação de informação, Araújo Junior (2007) destaca que eles devem “[...] dar noção exata se o que está sendo recuperado na base de dados é útil ao usuário” (p. 83). O autor também observa que, apesar de trazer imprecisões, a sua utilização deve servir de ponto de partida para melhoria contínua dos sistemas de RI, mas, tudo começa pela compreensão clara da demanda informacional. Mesmo após quatro décadas, Araújo Junior (2007), Kelly (2009), Baeza-Yates e Ribeiro-Neto (2011) e Kelly e Sugimoto (2013) destacam as medidas ‘precisão’ e ‘revocação’ como bem estabelecidas e aceitas pela comunidade para a RI clássica, ou seja, aquela que não envolve interação do usuário.

Figura 15 – Medidas: precisão e revocação

Fonte: Elaboração própria

A Figura 15 representa as medidas de precisão e revocação, juntamente com as equações (5) e (6), onde:

B: é a base de documentos;

R: é o conjunto formado por todos os documentos relevantes para o usuário; |R|: é a quantidade dos documentos relevantes, presentes na base;

A: conjunto formado por todos os documentos recuperados na busca; |A|: é a quantidade de documentos recuperados;

R ∩ A: é a intersecção entre os conjuntos dos documentos relevantes pra o usuário e dos documentos recuperados na busca;

|R ∩ A|: é a quantidade de documentos presente no conjunto dos relevantes e recuperados.

|R ∩ A|

revocação = ———— (5) |R|

|R ∩ A|

precisão = ———— (6)

|A|

Conforme a equação 5, a revocação de uma operação de recuperação de informação é mensurada pela razão entre a quantidade de documentos relevantes ao usuário e que também foram recuperados pela busca, dividida pela quantidade total de documentos relevantes na base. De acordo com a equação 6, a precisão de uma operação de recuperação de informação é mensurada pela razão entre a quantidade de documentos relevantes ao usuário e que também foram recuperados pela busca, dividida pela quantidade total de documentos recuperados pela busca.

Kelly e Sugimoto (2013) caracterizam ‘precisão’ e ‘revocação’ como medidas de desempenho, ou seja, equivalem ao quão bem sucedido um usuário foi em realizar uma tarefa de recuperação de informação junto a um sistema de TI, e ainda são derivadas da medida de relevância. A que a precisão é inversamente proporcional a revocação, ou seja, quanto maior for uma menor será a outra. Cleverdon (1972), de forma empírica, foi o primeiro a observar essa relação entre ‘precisão’ e ‘revocação’, conforme mostra o Gráfico 2.

Gráfico 2 – Relação típica entre as medidas ‘precisão’ e ‘revocação’

Fonte: Cleverdon (1972)

Gordon e Kochen (1989), também de forma empírica, apresentaram um gráfico próximo do resultado obtido por Cleverdon. Vários outros autores observam essa relação inversa entre ‘precisão’ e ‘revocação’, sendo que Araújo Junior (2007) destaca que em função disso, há necessidade de gestão da precisão que é apoiada em dois elementos básicos: (i) controle da revocação e da exaustividade40, com o objetivo de aumentar o índice de precisão no processo de busca e recuperação de informação; e (ii) aperfeiçoamento contínuo da interação dos usuários com os sistemas, para aperfeiçoar a análise das medidas de precisão.

Buckland e Gey (1994) também questionam esse típico resultado entre a relação de ‘precisão’ e ‘revocação’, sugerindo, em seu experimento, a adoção de outra estratégia para minimizar essa relação inversa. Eles mostraram melhoria simultânea em ambas as medidas por intermédio de dois estágios na estratégia de recuperação: uma busca inicial, dando foco maior em uma alta revocação, em seguida, outra busca no conjunto de informações recuperadas para melhorar a precisão. Eles também propõem continuidade desse processo em vários estágios de recuperação. Essa recuperação em múltiplos estágios foi também sugerida por Porter (1983 apud BUCKLAND; GEY, 1994) e Buckland et al. (1992).

Gráfico 3 – Situação hipotética do relacionamento entre ‘precisão’ e ‘revocação’ em uma recuperação perfeita

Fonte: Adaptado de Buckland e Gey (1994)

40 _{Exaustividade diz respeito a capacidade do sistema em indexar um documento em profundidade sendo uma}

A melhor situação possível para as duas medidas seria o valor absoluto de índice igual a 100% para cada uma medida de forma independente. Buckland e Gey (1994) apresentam como seria uma situação hipotética como essa, no Gráfico 3.

Como uma única medida para representar ‘precisão’ e ‘revocação’, calcula-se a média harmônica entre elas, conforme ilustra a equação (7), chamada de F-measure no contexto da RI (BAEZA-YATES; RIBEIRO-NETO, 2011):

(precisão x revocação)

F-measure = 2 x ——————————— (7)

(precisão + revocação)

A seleção e interpretação de qualquer medida para avaliação de desempenho devem ser embasadas nos objetivos do sistema e a tarefa que o usuário realiza (KELLY, 2009). As pesquisas na área de RI têm explorado muitas técnicas, mas os sistemas modernos de recuperação tendem a ser instrumentos fechados, recuperando muitos documentos não relevantes, com elevados erros de precisão, e deixando de recuperar muitos documentos relevantes. Nesse caso, o usuário fica com a importante tarefa de ler ou analisar os resultados obtidos, para determinar se na verdade eles têm as informações solicitadas, e de descobrir como reformular um pedido para novamente verificar se existem documentos relevantes que foram perdidos na busca (WOODS, 2004).

No contexto de emprego de técnicas para indexação e resumo de bases de dados bibliográficas, Lancaster (2003) indica que a avaliação da base não deve ser feita de forma isolada, mas em função de sua capacidade em responder demandas informacionais. O autor cita quatro critérios que devem ser considerados nessa avaliação:

 Cobertura: a existência de documentos na base sobre um determinado assunto e

de um determinado período;

 Recuperabilidade: a capacidade de recuperação de documentos segundo

estratégias de busca viáveis;

 Previsibilidade: a possibilidade do usuário em aferir a importância dos itens

recuperados;

 Atualidade: capacidade em fornecer itens novos ou atualizados e não