• Nenhum resultado encontrado

4.2 APLICAÇÃO DO MÉTODO DE AVALIAÇÃO COM OS USUÁRIOS

4.2.1 Bibliotecários

Na primeira etapa da avaliação, foi realizada uma entrevista pré-teste. O roteiro semiestruturado foi composto por questões sobre contexto, perfil e prática de pesquisa do participante e conhecimentos sobre o sistema de busca.

1ª Etapa – Resultados entrevista pré-teste

Este grupo foi formado por 03 bibliotecários do Sistema de Bibliotecas da UFMG. Estes bibliotecários disseminam a informação e orientam os usuários na busca e na seleção de documentos. Desde a formação já são preparados para desenvolver habilidades de estratégias de busca de informação. Como profissionais estão envolvidos no atendimento e treinamento de usuários para terem acesso à informação e em outras atividades, como gestão de unidades de informação, seleção, aquisição, organização, recuperação de coleções para o público. Este grupo foi identificado por participante 1, participante 2 e participante 3.

Quanto ao sexo, os participantes 1 e 3 são do sexo feminino e o participante 2 do sexo masculino. Em relação à idade, os participantes 1 e 2 têm idade entre 31 a 40 anos e o participante 3 entre 51 a 60 anos. No que concerne aos serviços de informações utilizados, os 03 participantes declaram utilizar o Portal de Periódicos da CAPES, o catálogo

online do Sistema de Bibliotecas da UFMG e catálogos online de bibliotecas universitárias

brasileiras e estrangeiras para realizar pesquisas relacionadas às demandas profissionais, ainda 01 dos participantes afirma consultar o Catálogo Coletivo Nacional. De acordo com os 03 participantes, as fontes de informações mais demandadas pelos usuários são os artigos e livros.

No que diz respeito ao tempo de uso do Portal de Periódicos da CAPES para atender as demandas, principalmente, dos alunos de graduação e pós-graduação, o participante 1 tem 04 anos de uso e os participantes 2 e 3 têm 05 anos. Quanto ao nível de conhecimento sobre o sistema de busca do Portal, o participante 1 tem experiência sobre as ferramentas e recursos de recuperação da informação, domínio na elaboração de estratégias de busca e acessa o Portal diariamente. Os participantes 2 e 3 possuem

habilidades de estratégias de busca de informação para serem usado sem qualquer sistema, conhecem as possibilidades de aplicar a busca simples e avançada do Portal de Periódicos da CAPES e acessam de 01 a 02 vezes por semana.

2ª Etapa – Resultados das tarefas de interação e entrevista durante o teste

Foram avaliadas 03 ferramentas de busca do Portal de Periódicos da CAPES: Buscar Assunto, Buscar Periódico e Buscar Base. Cada participante realizou 03 tarefas, sendo que a primeira tarefa foi realizar uma busca livre, ou seja, sobre o tema desejado e em qualquer uma das ferramentas de busca disponibilizadas pelo Portal e mais 02 tarefas de busca para serem realizadas nas outras ferramentas que o usuário ainda não tivesse utilizado na primeira tarefa. Na segunda e terceira tarefa, o usuário também faria uma busca livre, no entanto, de acordo com o tipo de fonte de informação disponível em cada ferramenta, como por exemplo, localizar periódicos no Buscar Periódico e base de dados no Buscar Base.

A realização da pesquisa no Buscar Assunto pode ser feita a partir da inserção de um termo ou mais termos, e a consulta ocorre simultaneamente nas várias coleções do Portal. O Buscar Assunto disponibiliza a busca simples, a busca avançada e permite escolher as bases de dados onde serão realizadas as pesquisas. No que se refere à apropriação das ferramentas e recursos do Buscar Assunto pelos participantes, esta ferramenta foi escolhida por todos eles para fazer a primeira tarefa de busca. Todos participantes iniciaram a pesquisa pela busca simples os participantes 2 e 3 declararam utilizar, primeiramente, este tipo de busca para realizar uma pesquisa exploratória. Ao longo da pesquisa, todos os participantes utilizaram a busca avançada sendo que os participantes 2 e 3 também aplicaram os filtros para refinar os resultados. Apenas o participante 3 fez uso da “Aba Detalhes” para obter mais informações sobre alguns dos resultados recuperados pelo sistema.

O Buscar Periódico permite fazer a pesquisa por tipo de busca, por título, área do conhecimento, ISSN, editor/fornecedor realizada para encontrar o periódico, a ser consultado na pesquisa bibliográfica. Disponibiliza a busca simples e três opções de busca avançada. No que se refere à apropriação das ferramentas e recursos do Buscar Periódicos, os participantes 2 e 3 iniciaram a pesquisa pela busca simples e o participante 1 iniciou a pesquisa pela busca avançada. Ao longo da pesquisa, o participante 3 mudou da busca simples para a opção de busca por área do conhecimento da busca avançada e o participante 1 que já iniciou a pesquisa pela busca avançada também escolheu usar a opção de busca por área do conhecimento disponível dentro da busca avançada. Ainda, em

relação à busca avançada do Buscar Periódico, o participante 1 avalia que desconhece o uso da opção buscar referência pelos usuários do Portal de Periódicos da CAPES e ainda comenta que:

A opção buscar referência, normalmente, eu não uso, porque pede dois campos obrigatórios ISSN e palavra no título do periódico. Não conheço nenhum caso do usuário ao pegar a referência do periódico, lembrar da informação sobre o ISSN. Para localizar o número de ISSN é necessário que o usuário realize outra pesquisa, então acho que esta opção de busca não faz sentido. (BIBLIOTECÁRIO DO SISTEMA DE BIBLIOTECA DA UFMG, 2014)

O Buscar Base possibilita pesquisar por título, área do conhecimento, editor/fornecedor e tipo (conteúdo), realizada para encontrar a base de dados a ser consultada na pesquisa bibliográfica. Disponibiliza a busca simples e três opções de busca avançada. No que se refere à apropriação das ferramentas e recursos do Buscar Base, o participante 2 utilizou a busca simples e todos participantes empregaram as opções de busca por título e área do conhecimento da busca avançada.

No tocante as estratégias de busca utilizadas, o participante 1 empregou estratégias mais elaboradas como os operadores booleanos, caracteres curingas e expressões de busca e os participantes 2 e 3 utilizaram termos livres em português, busca pelo título do periódico e título da base. O participante 3 também escolheu empregar a busca por autor.

No que concernem às razões para mudanças das estratégias de busca, cada participante interpretou a resposta do sistema e teve ações diferentes para modificar a consulta. O participante 1 realizou mudança de ferramenta de busca disponibilizada para verificar dados sobre um determinado documento, executou alteração dos termos de busca, fez nova busca do documento no site do periódico ao qual foi direcionado e realizou refinamento dos resultados da busca. O participante 2 fez inicialmente uma busca exploratória, executou nova buscado documento no site do periódico ao qual foi direcionado e tentou localizar o documento através da aba “Exibir Online”. O participante 3 executou a primeira busca para verificar os resultados apresentados pelo sistema, alterou os termos de busca, mudou da busca simples para a busca avançada e utilizou os filtros de refinamento para melhorar a qualidade dos resultados. Observou-se que a mudança dos termos da busca foi à estratégia mais utilizada pelos participantes para melhorar os resultados da consulta. A disponibilização de instrumentos como cabeçalhos de assunto, vocabulários controlados e exibir as palavras-chaves dos documentos podem auxiliar os usuários na escolha de termos mais adequados para a consulta.

No tocante as motivações dos usuários para uso do Portal de Periódicos da CAPES, surgiram durante as análises quatro elementos: interface, conteúdo, sistema de busca e características do comportamento do usuário.

O participante 1 considera que a interface é fácil de usar. Em relação ao conteúdo, observa que o Portal de Periódicos da CAPES proporciona o acesso à comunicação científica de qualidade disponibiliza diversos tipos de fontes de informação, apresenta informações sobre as bases de dados e oferece informações para ajudar na seleção dos resultados. No tocante ao sistema de busca, o participante 1 aprecia a busca avançada, principalmente a opção de busca avançada por área do conhecimento do Buscar Periódico e Buscar Base, e considera que o sistema recupera rapidamente as bases de dados buscadas. Em relação ao comportamento do usuário, avalia que a prática facilita o uso do Portal de Periódicos da CAPES.

O participante 2 percebe que as informações exibidas nos resultados, a recuperação dos títulos de periódicos em ordem alfabética e os botões de ação disponibilizados na lista de resultados são características positivas da interface. Quanto ao conteúdo, avalia que o Portal permite o acesso à informação científica. Ainda, o participante 2 examina que o sistema de busca permite recuperar facilmente as bases de dados, que os filtros para refinar os resultados são satisfatórios, que o critério de ordenação por data é o mais importante, que há precisão na recuperação dos resultados do Buscar Base, que são disponibilizados recursos para a construção de boas estratégias de busca e que é positiva a exaustividade dos resultados no Buscar Assunto. Em relação ao comportamento do usuário, avalia que a ferramenta Buscar Assunto é a mais utilizada e através da prática fica mais fácil usar o Portal.

O participante 3 avalia que a interface tem como benefícios oferecer uma visão geral das ações para os usuários, que disponibiliza botões de ação e informações sobre as bases de dados. No tocante ao conteúdo, analisa que o Portal tem como vantagens disponibilizar o texto completo e possibilitar o acesso a uma grande quantidade de informações científicas. Já no que se refere ao sistema de busca, avalia que o sistema permite refinar e expandir os resultados oferece o recurso de ordenação dos resultados, que a ferramenta Buscar Base é fácil de usar e que possui uma infinidades de recursos de busca. Quanto ao comportamento de busca, considera que o Portal de Periódicos da CAPES é mais fácil de ser utilizado por especialistas e usuários experientes em busca de informação.

Em seguida, foram consideradas as barreiras para uso do Portal de Periódicos da CAPES em relação a: interface, conteúdo, sistema de busca e comportamento do usuário.

O participante 1 analisa a interface e observa que há a informação de disponibilidade do texto completo, porém não consegue acessá-lo, existem recursos que não funcionam, encontra barreiras para ver o número de páginas de resultados no Buscar Periódico e no Buscar Base, observa que houve dificuldades para compreender como

interagir com o sistema e acessar o documento, que o excesso de clicks e janelas desmotivam o uso. O participante 1 considera como problemas em relação ao conteúdo, que a maior parte do acervo disponível está em inglês, que não conseguiu ter acesso a alguns documentos e que o conteúdo disponibilizado é instável. O participante 1 ainda avalia que o sistema de busca recupera uma quantidade excessiva de resultados com baixa precisão, que não compreendeu a lógica para o ranking dos resultados, ficou com dúvidas sobre a lógica utilizada para apresentação das opções de filtros de refinamento no Buscar Assunto, perdeu muito tempo para ser direcionado ao site do periódico e não ao documento selecionado quando tenta acessá-lo e avalia que a função “Seleciona Bases de Dados” no Buscar Assunto e a opção buscar referência da busca avançada no Busca Periódico não são úteis. Quanto ao comportamento do usuário, sentiu-se frustrado quando não encontrou o documento desejado e que encontrou várias dificuldades durante a busca, portanto preferiu desistir de usar o sistema.

O participante 2 reconheceu na interface problemas no funcionamento de links e ícones para acessar os documentos. No tocante ao conteúdo, percebeu que não consegue acessar alguns documentos e que vários artigos publicados nos últimos anos não estão disponíveis para acesso gratuito. Em relação ao sistema de busca, avaliou como negativo ter sido direcionado para o site do periódico ao tentar acessar o artigo e que teve que realizar uma nova busca, considera que o critério de relevância para ordenação dos resultados é subjetivo e que é necessária experiência na elaboração de estratégias de busca para melhorar a qualidade dos resultados. Quanto ao comportamento do participante 2, declara ficar impaciente com o tempo de resposta do sistema.

O participante 3 considera como barreiras para uso da interface não conseguir localizar na busca avançada do Buscar Periódico a opção de busca por área do conhecimento. Quanto ao conteúdo, analisa que a maior parte dos documentos são de língua inglesa, que não são disponibilizadas as publicações do ano anterior e corrente, e a que teve dificuldade para acessaras publicações mais antigas dos periódicos. Em relação ao sistema de busca, o participante 3 examina que ao utilizar a opção de refinamento por tipo de documento da busca avançada do Buscar Assunto não obteve os resultados condizentes, que houve excesso de documentos recuperados e a qualidade não foi satisfatória, e que o usuário inexperiente terá que esforçar para ultrapassar dificuldades e ter sucesso na busca. Ao tratar do seu comportamento durante a busca, acredita necessitar de mais treinamento, sente-se confuso devido ação equivocada do sistema, que não possui domínio da língua inglesa, que prefere acessar as bases de dados pelo Google e não utiliza o Buscar Base.

Na terceira parte da avaliação, foi realizada a entrevista pós-teste. Neste roteiro semiestruturado há questões sobre dificuldades e facilidades encontradas durante a busca, expectativas e sugestões para aprimorar o sistema.

3ª Etapa

Resultados entrevista pós-teste

O participante 1 propõe aproximar o sistema de busca do Portal ao Google e utilizar a tecnologia disponível para aprimorar este sistema. O participante 2 avalia ser necessário melhorar o período de cobertura das assinaturas dos periódicos e que deve ser disponibilizado o acesso gratuito as publicações mais recentes, conforme o trecho abaixo:

Eu acho precisa de melhorias em relação às assinaturas. Tem revistas que constam estar disponíveis, mas na verdade, os últimos anos não estão. Isto tem sido muito negativo, pois o usuário pensa que o artigo está disponível, mas quando tenta acessá-lo tem que pagar $30 ou $40 dólares, no caso de um artigo pequeno. Parece que as bases de dados e as editoras têm retirado os artigos mais recentes. Quando precisa de informação mais recente, muitas vezes o usuário tem que pagar pelo artigo ou conseguir com um professor. (BIBLIOTECÁRIO DO SISTEMA DE BIBLIOTECAS DA UFMG, 2014)

Por fim, o participante 3 percebeu a necessidade de melhorar a orientação dos usuários para construírem uma boa estratégia de busca e como utilizar as várias ferramentas e recursos de busca disponibilizados pelo sistema.