O Teste de avaliação

A experiência conhecida, relativamente à avaliação de SRI, permitiu-nos ter ao nosso alcance os ins- trumentos necessários para realizar um teste de avaliação das duas bases de dados que construímos. Embora — se exceptuarmos o trabalho de Richard Lytle38 — não sejam conhecidas experiências

de avaliação de recuperação de informação em Arquivos, os procedimentos a desenvolver em tal avaliação e as medidas a utilizar estão suficientemente estudados, testados e difundidos, pelo que é perfeitamente viável a execução de um teste de avaliação da eficácia de uma base de dados com material arquivístico.

3.1. Objectivo do teste

O principal objectivo do teste de avaliação que realizámos foi o de comparar a eficácia — em termos de recuperação de informação — das duas bases de dados construídas: a base de dados A, sem qualquer tipo de controlo na linguagem de indexação utilizada; e a base de dados B, com controlo de autoridade na mesma linguagem.

Não pretendemos determinar a eficácia de cada uma das bases isoladamente, o que implicaria o cálculo das taxas de revocação e precisão para cada uma delas, mas sim comparar os resultados de pesquisas iguais, efectuadas nas duas bases.

Este estudo comparativo permitiu, não só atingir o objectivo pretendido, ou seja, determinar qual das bases de dados se revela mais eficaz, mas também determinar qual delas é mais eficiente na recuperação de informação.

M Cf.: CLEVERDON, C.W. - On the Inverse Relationship of Recall and Precision. "Journal of Documentation", London, 28 (3) Sept. 1972, p. 195-201: SAI.TON, Gerard; MCGILL. Michael J. (o. c , p. 168).

" Ver, por exemplo: CLEVERDON, C.W., et al. (o. c); LANCASTER, F. W. - Factors Affecting Performance of an Information Retrieval System, in "Information Retrieval Systems. Characteristics. Testing and Evaluation" (o. c, p. 64-78).

* Ver, por exemplo: CHAUMIER, Jacques (o. c , p. 48-50); LANCASTER, F.W. - Information Retrieval Systems... (o. c, p. 84-96). i7 Ver literatura citada a propósito de Cranfield II, neste mesmo capítulo, nota 8.

"LYTLE, Richard (o. c ) .

3.2. Concepção e desenvolvimento do teste 3.2.1. Escolha das questões e dos utilizadores

A falta de estudos sobre as necessidades informativas dos utilizadores dos Arquivos e, no caso presente, do A.H.M.P., sem dúvida que prejudica qualquer estudo de avaliação, pois não é possível definir perguntas-tipo que possam ser usadas como amostra num teste deste género.

No A.H.M.P. não há qualquer registo das perguntas dos utilizadores que ocorrem, oralmente, no serviço de leitura. Apenas é possível analisar as questões que são colocadas por via postal ou telefonicamente, pois essas são anotadas de uma forma sistemática. Na sala de leitura, faz-se o registo das consultas e do tipo de utilizadores, para fins estatísticos. Todavia, é muito difícil asse- gurar o registo sistemático das perguntas directamente relacionadas com cada pesquisa.

Assim, tentámos fazer um estudo apenas das questões, provenientes do exterior, durante os anos de 1989-1991. No entanto, verificou-se que a grande maioria delas não podiam ser respondidas a partir da informação disponibilizada num inventário. Regra geral, eram perguntas muito especiali- zadas. Daí que não tenham sido usadas para efeito do teste. De igual modo, as conclusões a que chegámos após a análise das pesquisas por assuntos, feitas em quatro Arquivos, ao longo de dois meses (ver capítulo 1, ponto 4. e quadros 13-16) permitem exactamente demonstrar a inviabili- dade da utilização de tais questões para este teste.

A falta de uma caracterização correcta do perfil dos utilizadores também inviabiliza a selecção de uma amostra válida para realização do mesmo teste.

Face a tais dificuldades, decidimos realizar o teste num ambiente real, ou seja, com a colabo- ração dos utilizadores mais assíduos do A.H.M.P., tendo deixado ao seu critério a escolha das questões a colocar às bases de dados. Determinámos, apenas, o número de questões por utili- zador: 3 questões.

A selecção dos utilizadores foi feita do seguinte modo: a partir da análise das requisições que foram preenchidas no serviço de leitura, nos anos de 1989, 1990 e 1991, verificámos que consul- taram o A.H.M.P. 369 pessoas, das quais 325 apenas recorreram ao Arquivo uma única vez; das restantes, seleccionámos aquelas que apresentavam maior número de presenças, tendo determi- nado um mínimo de 20 como significativo para considerar um utilizador assíduo. Com mais de 20 presenças, identificámos 26 utilizadores, tendo conseguido contactar 22 para colaborar no teste. Devido ao objectivo que norteou o teste, e porque pretendíamos que os utilizadores participantes nele emitissem juízos sobre a relevância dos registos recuperados, considerámos mais adequado tra- balhar com peritos do que com utilizadores ocasionais. Para um utilizador esporádico, desconhece- dor dos fundos do Arquivo, seria, naturalmente, muito mais difícil formular uma opinião sobre o grau de relevância dos registos recuperados, sugerir pistas para pesquisa, indicar falhas, etc.

Foram, portanto, aqueles 22 utilizadores, considerados como população regular do A.H.M.P., que colaboraram no teste. Não trabalhámos, por isso, com uma amostra, mas sim com os reais utiliza- dores que, mais regularmente, frequentam o Arquivo.

Os 22 utilizadores colocaram, no total, 66 questões, que foram testadas em cada uma das bases de dados.

3.2.2. Método usado na execução do teste

A cada um dos 22 utilizadores, enviámos um breve texto em que explicámos o objectivo do teste e indicámos o tipo de informação que poderia ser obtida a partir das bases de dados. Nesse texto, incluímos também um exemplo da forma como um registo incluído nas bases de dados

pode ser visualizado no ecrã do computador, para poderem ter uma ideia mais concreta da infor- mação disponibilizada a partir das mesmas bases. Igualmente distribuímos aos utilizadores os quadros de classificação dos fundos incluídos nas bases de dados e colocámos à sua disposição, para consulta, a lista de termos de indexação, utilizada como instrumento do controlo de autori- dade, na base de dados B. Solicitámos a cada um cios utilizadores que preenchesse uma ficha com três questões, para serem utilizadas no teste.

A pesquisa nas bases de dados foi efectuada por nós, visto que pretendemos não entrar em linha de conta com uma variável impossível de controlar, que seria o conhecimento (ou, na quase tota- lidade dos casos, o desconhecimento) que os utilizadores teriam do sistema informático e das suas possibilidades de pesquisa.

A realização das pesquisas foi acompanhada directamente pelos utilizadores, tendo sido seguido o seguinte método:

— Relativamente a cada uma das três questões, foi interrogada primeiro a base de dados A, tantas vezes quantas as consideradas necessárias, até esgotar todas as possibilidades de pesquisa (impu- semos como limite máximo 20 interrogações) e seguidamente a base de dados B, também as vezes necessárias, igualmente até ao máximo de 20 interrogações.

— As interrogações feitas às bases de dados, com vista à pesquisa sobre cada questão, em muitos casos, foram apoiadas pelos utilizadores, que sugeriam termos para pesquisa (sobretudo no caso da base de dados A, sem controlo na linguagem de indexação). Não raras vezes, manifestavam a sua satisfação por verificarem que a informação que conheciam era recuperada, ou porque encontravam documentação nova. Também indicavam falhas, quando sabiam que havia mais documentação relevante que não era recuperada.

— Face ao resultado de cada interrogação, os utilizadores pronunciavam-se sobre a relevância dos registos recuperados; determinámos 4 graus de relevância (muito relevante / relevante / pouco relevante / não relevante) e solicitámos aos utilizadores que emitissem uma opinião o mais objec- tiva possível, isto é, independente do valor que cada registo teria para os próprios (isto é, da perti- nência da informação recuperada), mas sim baseada na relevância face à questão colocada'9.

— Os resultados das interrogações feitas, relativamente a cada uma das questões, nas duas bases de dados, bem como a opinião dos utilizadores sobre a relevância de cada um dos registos recu- perados, foram anotados à medida que procedíamos âs pesquisas, num impresso próprio, que concebemos para esse efeito (ver Fig. 4).

3-2.3- Dispositivos de pesquisa utilizados

O "software", Mini-Micro CDS/ISIS, que serve de suporte às bases de dados elaboradas encerra diversas possibilidades no que concerne à execução da pesquisa'".

w Na generalidade dos casos, os utilizadores colocaram questões relacionadas com os seus trabalhos de investigação, pelo qtie já conheciam praticamente toda a documentação relevante existente no A.H.M.P. Por isso. foi-lhes possível emitir uma opinião sobre a relevância dos registos recuperados em face da descrição apresentada no ecrã do computador; só muito raramente foi necessário analisarem os próprios originais para formularem o seu juízo sobre a relevância.

Foi-nos grato verificar, por diversas vezes, que as bases de dados possibilitavam o acesso a informação a que os utilizado- res não tinham acedido através do sistema manual do A.H.M.P., mesmo aqueles que haviam trabalhado durante largos perí- odos no Arquivo e supunham ter consultado toda a documentação de interesse para os seus estudos. Os pontos de acesso, no sistema manual eram, regra geral, os mesmos. No entanto, as combinações de termos, possibilitadas pelo sistema auto- mático, permitem uma recuperação mais eficaz, quer em termos de rcvocaçâo, quer em termos de precisão.

"' Cf.: UNESCO. Division of Software Development and Applications. Office of Information Programmes and Services - Mini-Micro CHS/ISIS... (o. c , p. 95-107).

ARQUIVO HISTÓRICO MUNICIPAL DO PORTO