Processo de Desenvolvimento da Metodologia para

IBICT

O intuito de verificar e fomentar o acesso e uso da informação segundo sua missão institucional consolidada na sociedade, levou o IBICT a aprimorar a pesquisa de métodos de avaliação de produtos na Ciência da Informação, desenvolvendo uma metodologia própria, cuja aplicação possibilita realizar ajustes na oferta de produtos e amoldar o gerenciamento e disponibilização da informação científica e tecnológica no país, contemplando demandas de produtos de informação, segundo as necessidades específicas de informação de indivíduos e sociedade. Assim, consciente da composição diversa do universo de usuários que atende e, do conjunto de diferentes produtos oferecidos pelo site, o IBICT produziu uma metodologia híbrida para avaliação composta de métodos qualitativos e quantitativos, desenvolvida por Eliana da Conceição Rocha e Márcia de Figueiredo Evaristo de Sousa, duas pesquisadoras do IBICT, sendo a primeira especialista em Administração de Sistemas de Informação e a segunda, Mestre em Ciência da Informação e, Coordenadora de Articulação, Geração e Aplicação de Tecnologia do IBICT.

Esta metodologia foi resultado da busca pelo IBICT de procedimentos eficientes para avaliação dos próprios serviços e produtos institucionais e sua recepção na sociedade, levando em conta, segundo essas autoras, a dificuldade de estabelecer uma metodologia avaliativa voltada para a relação entre usuário e produtos de informação no ambiente virtual da Internet onde “existem zonas de justaposição ou de complementariedade de produtos em diversos canais de informação”. (ROCHA E SOUSA, 2011, p. 13). Dito em outras palavras, as autoras, partindo da dificuldade empiricamente constatada de que a multiplicidade de canais de informação na Internet é um desafio para a identificação do usuário e do estabelecimento de amostra ou de um instrumento para análise de resultados à luz das metas, objetivos, produtos próprios de cada instituição, sentiram a necessidade de desenvolver um método “abrangente e inédito” para avaliação dos produtos do IBICT.

Este método teve enfoque nos usuários do IBICT e base teórica interdisciplinar, compreendendo a aplicação de três procedimentos: 1) avaliação qualitativa com base na abordagem Sense-Making, de Brenda Dervin, por meio de entrevistas estruturadas. Para a análise dos resultados, a metodologia do IBICT aplica a técnica dos incidentes críticos de John C. Flanagan; 2) avaliação quantitativa a partir de formulários eletrônicos disponibilizados nos sites dos produtos avaliados; 3) aplicação das heurísticas de Jakob Nielsen para avaliação da usabilidade das páginas Web dos produtos.

132 Conforme (Rocha e Sousa, 2011, p. 15-16) a conjunção deste método híbrido possibilitou identificar e avaliar criticamente:

a) práticas informacionais dos usuários; b) condições de uso dos produtos oferecidos; c) grau de satisfação dos usuários;

d) alcance do acesso e uso dos produtos; e) interação usuário/interface dos produtos.

As autoras identificaram dois aspectos fundamentais a serem considerados na metodologia: “a) a heterogeneidade do público usuário de informação em ciência e tecnologia; b) diversidade dos produtos disponibilizados, em todo ou em parte, em ambiente virtual.” (ROCHA e SOUSA, 2011, p. 13). Conforme relato das autoras, inicialmente houve certa dificuldade em estabelecer uma metodologia avaliativa sobre a relação do usuário com o IBICT no uso de produtos deste Instituto, na Internet, devido à “multiplicidade de canais de informação no contexto virtual”, já mencionados, o que “dificulta o estabelecimento de procedimentos de controle para saber quem acessa a informação”. Daí emergiu “a dificuldade de se definir uma amostra ou um instrumento para análise de resultados à luz das metas institucionais e dos objetivos dos serviços oferecidos” (ROCHA e SOUSA, 2011, p. 13).

Por isso, as autoras perceberam a necessidade do IBICT desenvolver um método próprio, interdisciplinar, mas que possibilitasse a “convergência e complementaridade de diferentes abordagens tanto qualitativas como quantitativas”. Formularam, então, a ideia de uma “triangulação metodológica alternativa que contemplasse a flexibilização de métodos de natureza quantitativa e qualitativa”. Isto porque a abordagem quantitativa possibilita a “mensuração da extensão do acesso, do uso e do grau de satisfação de produtos”, enquanto a abordagem qualitativa “permite uma visão contextualizada das práticas informacionais dos usuários”, na interface com o IBICT. As autoras ressaltam que nas três abordagens que compõem a metodologia, o foco está no usuário. (ROCHA e SOUSA, 2011, p. 13).

Primeiramente, para instrumentalizar os procedimentos avaliativos, as autoras relatam que realizaram estudo exploratório sobre características de cada produto e serviço que seria avaliado, como exercício preliminar sobre “o que avaliar, como avaliar e qual o método mais adequado para este fim” (ROCHA e SOUSA, 2011, p. 14). Assim, foram testados produtos por meio de procedimentos formais e informais como consultas no site, navegação e análise da recuperação de informação, além de elaboração do levantamento das especificidades técnicas e das rotinas operacionais dos produtos com os coordenadores técnicos dos mesmos. Com isso, as autoras constataram que havia diferenças entre produtos no que se refere, por exemplo, a recursos tecnológicos, navegação e rotinas adequadas para busca e recuperação da informação. Estas observações preliminares possibilitaram detectar alguns dos atributos e variáveis que passariam a integrar a metodologia a ser criada.

Assim, em primeiro lugar, na avaliação qualitativa Rocha e Souza (2011, p. 14) buscaram verificar, em relação ao usuário, aspectos de valor, cognição, movimentos e percursos de busca e uso da informação. Na metodologia do IBICT o termo “uso da informação remete ao acesso e à apropriação de conteúdos informacionais de valor, que pode ser cognitivo ou prático” (ROCHA e SOUSA, 2011, p. 14). Por outro lado, no decorrer do processo de desenvolvimento da

133 metodologia do IBICT, as autoras relatam que se mostrou necessário buscar uma abordagem qualitativa complementar, para identificar critérios de levantamento de dados, diferentes daqueles encontrados na literatura, e até então utilizados em estudos de usuários de unidades de informação. As autoras ressaltaram que há controvérsias sobre o uso e aplicabilidade dos critérios já existentes na literatura por autores como Ferreira (1995) e, Baptista e Cunha (2007).

Em segundo lugar, na avaliação quantitativa, as autoras buscaram uma forma de aferir a “extensão do uso e do grau de satisfação dos usuários quanto aos produtos de informação” do IBICT. Com este fim, Rocha e Souza (2011, p. 15) pensaram num instrumental que fizesse coleta de dados de “amplo espectro, mediante avaliação de produtos pela Web”, permitindo que todos os usuários tivessem a mesma possibilidade de emitir juízo de valor sobre os “atendimentos e recursos oferecidos pelos produtos em avaliação” (ROCHA e SOUZA, 2011, p. 15). Este levantamento de dados foi feito com uso de formulários eletrônicos disponíveis nos produtos e na página do portal corporativo do IBICT.

O terceiro passo consistiu na avaliação da usabilidade – definida como interface entre o usuário e um sistema ou serviço de informação - das páginas Web. Para isso, Rocha e Souza (2011, p. 15) procuraram identificar o “grau de interatividade homem-computador possibilitado pelos produtos em avaliação” lançando mão das heurísticas de Jakob Nielsen (1992, c2005a, c2005b, 2001).

Dessa forma, foram traçados a estrutura e a direção que a metodologia em elaboração seguiria, a partir da constatação por Rocha e Souza (2011, p. 15) na pesquisa que realizaram, de não constar na literatura nenhum método completo que atendesse à abrangência da demanda do processo de avaliação dos produtos do IBICT. A partir de então, isso levou as autoras a decidir sobre a criação de um modelo híbrido composto de três métodos distintos que “viesse a confluir em resultados consistentes e íntegros, oriundos da parte do avaliador e da parte de quem usa os recursos de informação a serem avaliados” (ROCHA e SOUZA, 2011, p. 15).

Além disso, Rocha e Souza (2011, p. 15-16) nas explorações preliminares que fizeram no ambiente do site, investigaram a existência de um conjunto de características dos produtos do IBICT, a serem avaliados que podem estar presentes ou não nos sites de uma forma geral, tais como:

a) fornecimento de produtos na Web;

b) fornecimento de produtos tecnológicos na Web;

c) propriedade dos acervos disponibilizados (outra instituição, Biblioteca do IBICT;

d) tipo de acesso ao documento demandado (cópia digital, fotocópia de documentos do acervo de outra instituição);

e) existência do cadastro de perfil dos usuários;

f) adaptação de produtos previamente existentes para o ambiente Web; g) operação em rede, disponibilização de pacotes tecnológicos de software

livre, agregação de provedores de dados dentro dos padrões para interoperabilidade nacional e internacional.

134 As autoras relatam que estas características possibilitaram a avaliação quantitativa (observação do grau de satisfação dos usuários); avaliação qualitativa (comportamento de busca e uso da informação pelo usuário e o real atendimento de suas necessidades); e, o grau de interação homem-máquina, a partir da disponibilização dos produtos na Web. (ROCHA e SOUZA, 2011, p. 16). As autoras afirmam, também que a ligação entre as três abordagens permitiu interpretar e analisar as práticas informacionais dos usuários no contexto do IBICT e, expor metodicamente as condições de uso dos seus produtos de informação. Acrescentam, ainda que: “Nos três procedimentos o ator principal é o usuário” (ROCHA e SOUSA, 2011, p. 26). Cabe destacar, que para as autoras, a conjugação das três abordagens forneceu consistência e integridade dos resultados seja do avaliador, como do usuário.

2.5.3 Elementos da Metodologia de Avaliação de Produtos de Informação do