A avaliação da indexação é compreendida como uma ferramenta para medir a qualidade da indexação nas unidades informacionais. A qualidade da indexação é avaliada por meio de métodos que variam de acordo os aspectos a serem analisados e com os objetivos da unidade.
Para Chaumier (1988), a indexação é considerada adequada quando se atribui um valor satisfatório ao sistema de informação, desta forma, a indexação é apontada como bem sucedida, “quando permite a quem realiza as buscas, localizar itens de que precisa sem ter de examinar muitos de que não precisa” (LANCASTER, 2004, p. 135).
Avaliar a qualidade da indexação não é uma tarefa simples, pois além de requerer tempo, baseia-se num julgamento de todo o processo subjetivo pelo qual a indexação foi submetida anteriormente, ou seja, a qualidade da indexação está diretamente relacionada à análise temática realizada pelo profissional indexador.
De acordo com Inácio (2012), a avaliação é um instrumento imprescindível para melhorar produtos e serviços dentro de uma unidade informacional. Para a autora, a avaliação “permite
inquirir tanto sobre o fazer da atividade de indexação quanto sobre os sistemas de recuperação da informação, e, ao mesmo tempo, mensurar a satisfação informacional dos usuários” (INÁCIO, 2012, p. 10).
Considerando que o produto da indexação reflete diretamente na recuperação da informação nas bases de dados, bem como na qualidade do atendimento das necessidades informacionais dos usuários, é fundamental que o profissional indexador conheça o público do qual a unidade de informação se destina, para que os objetivos da unidade sejam alcançados, proporcionando assim, a satisfação das necessidades informacionais.
Lancaster (2004) afirma que na recuperação da informação é preciso levar em consideração as estratégias de busca e a base de dados, ambos devem estar em linha para possibilitar o diálogo entre o usuário e o indexador.
Na figura 1 o autor apresenta os fatores que interferem no resultado das buscas dos usuários:
Figura 1: Fatores que influem na busca em base de dados
Fonte: Lancaster, 2004, p. 84.
Na Figura 1, podemos identificar os fatores que influem na qualidade da indexação. Estes fatores estão diretamente relacionados às atividades que envolvem a indexação, de forma que,
um interfere no outro, sendo necessário o consenso entre os profissionais envolvidos quanto à política de indexação, linguagem de indexação, características dos usuários e o sistema de informação adotados durante todo o processo.
Neste sentido Gil Leiva (2008) concorda com Lancaster (2004) ao afirmar que os fatores que mais intervém na qualidade da indexação são basicamente três: o indexador, o objeto analisado e o contexto. O autor aponta que a formação, a experiência, o domínio do assunto e o profissionalismo do indexador são as principais causas que interferem diretamente na indexação.
Com relação ao fator objeto analisado, o autor aponta que a complexidade, as características, as propriedades e o tamanho, entre outros, agem como pontos de interferência no resultado da indexação. Se tratando do fator contexto, o autor explica que a política de indexação, os tipos de usuários, bem como a carga de trabalho e tempo dedicado à indexação influenciam diretamente em seus resultados.
Em seus estudos, Gil Leiva (2008) ressalta que a qualidade da indexação está relacionada a alguns elementos que caracterizam o processo e o resultado da indexação. Os elementos que implicam diretamente na qualidade da indexação apontados pelo autor são:
Exaustividade: está relacionada com a quantidade de conceitos que caracterizam o conteúdo completo de um documento e nunca com o número de descritores atribuídos a um objeto indexado;
Consistência: é o grau de concordância na representação da informação essencial de um documento por meio de um conjunto de termos de indexação selecionados por cada um dos indexadores de um grupo. A consistência na indexação pode ser estudada tendo como referência a um único indexador ou a vários. Quando um mesmo profissional indexa o mesmo documento em momentos diferentes, falamos de intraconsistência. Quando vários profissionais indexam o mesmo documento com o fim de comparar o seu resultado ou enfrentar dois indexadores de diferentes unidades, falamos sobre Interconsistência.
Especificidade: é a exatidão com que um termo de indexação representa fielmente um conceito particular presente no documento que está sendo objeto de análise;
Correção: também conhecida como ausência de erros, consiste em falhas na indexação. As falhas podem ser por omissão (quando um termo que representa o conteúdo de um documento é omitido), ou por inclusão (quando há o acréscimo de termos desnecessários) (GIL LEIVA, 2008, p.70-72, tradução nossa).
Todos estes elementos estão diretamente associados à qualidade do atendimento das necessidades dos usuários, porém têm-se observado que o elemento predominante em pesquisas de avaliação da indexação é a consistência.
Acerca dos estudos da consistência da indexação, Saracevic (1987) aponta que no geral, o índice de consistência serve para determinar como indexadores, com certas características em
comum, produzem os mesmos resultados quando realizam a mesma tarefa, ou, caso existam divergências, qual a amplitude da diferença. A avaliação da consistência visa justamente a comparação dos resultados.
Gil Leiva (2008) afirma que ao estudar a consistência, três elementos devem ser levados em consideração: o indexador, o objeto e o contexto, pois interferem em seus resultados. O autor ressalta que, ao avaliar uma unidade informacional, por meio da consistência, deve-se levar em consideração o máximo de elementos que a influenciam conforme podemos verificar no Quadro 4:
Quadro 4: Elementos considerados numa comparação de indexações
INDE
XADR
- Formação e experiência em indexação: indexador experiente contra principiante - Conhecimento da matéria
- Domínio das ferramentas da indexação (linguagens de indexação) - Profissionalismo
CO
NT
E
XT
O - Políticas de indexação marcadas pela instituição
- Objetivo da indexação: temas principais contra especificidade - Tipos e necessidades dos usuários
- Carga de trabalho e tempo dedicado
O B J E T O
- Complexidade do objeto indexado: livro infantil contra patentes
- Características e propriedades do objeto indexado: material textual contra material gráfico ou audiovisual
- Tamanho: indexação de textos curtos contra textos compridos
M O M E N T O
- A comparação executa-se com as palavras-chave pinçadas diretamente do texto ou também, uma vez convertidas essas palavras-chave em descritores, após sua filtragem com o vocabulário controlado. F Ó RM UL A
- São variadas as fórmulas matemáticas utilizadas para conseguir os índices de consistência.
Fonte: LEIVA, 2008, p. 75, tradução nossa.
É fundamental que o indexador tenha o controle sob os fatores que influenciam a indexação, bem como os que norteiam a consistência, para que de fato, a indexação possa representar o conteúdo dos documentos e assim, satisfazer aos usuários.