CDU 001.89 371.214.114
PONMLKJIHGFEDCBA
P L A N E J A M E N T O
E A V A L I A Ç Ã O
D E
U M
P R O G R A M A
D E
P E S Q U I S A
B I B L I O G R Á F I C A
R e s u m o
baZYXWVUTSRQPONMLKJIHGFEDCBA
D e s e n v o l v i m e n t o d e u m p r o g r a m a d e P e s -q u i s a B i b l i o g r á fi c a d e s t i n a d o a a l u n o s d o s C u r s o s d e M e s t r a d o d a U n i v e r s i d a d e F e -d e r a l d o R i o G r a n d e d o N o r t e , fu n d a -m e n t a d o n o s p r i n c í p i o s d a T e c n o l o g i a E d u c a c i o n a l . S ã o d e s c r i t o s o p l a n o d e a ç ã o , d e c o r r e n t e d a a p l i c a ç ã o d a s t é c n i -c a s d e E n g e n h a r i a d e S i s t e m a s e o p l a n o d e a v a l i a ç ã o , c o m b a s e n o e s q u e m a c o n -c e i t u a l d e S t u ffl e b e a m . A m e t o d o l o g i a s i s t ê m i c a a p l i c a d a a o p l a n e j a m e n t o e a v a
-~ d o p r o g r a m a d e P e s q u i s a B i b l i o -. c a r e s u l t o u n o m o d e l o p a r a t e s t a -g e m d o d e s e n v o l v i m e n t o d e u m p r o g r a -m a i n s t r u c i o n a l d e P e s q u i s a B i b l i o g r á fi -c a , p a r a u s o r e g u l a r e e m l a r g a e s c a l a . P a r a p r o g r a m a s d e c u r t a d u r a ç ã o , s u g e -r e - s e u m m o d e l o s i m p l i fi c a d o , r e p r e s e n -t a d o p e l a d e t e r m i n a ç a o d o s o b j e t i v o s , a p a r t i r d o d i a g n ó s t i c o d e n e c e s s i d a d e s d a c l i e n t e l a , e r e c i c l a g e m d o s p r o g r a m a s , a n t e s d e s u a a p l i c a ç ã o . E s s a r e c i c l a g e m p o d e s e r fe i t a a t r a v é s d o j u l g a m e n t o d e e s p e c i a l i s t a s d e c o n t e ú d o . o u n o e n s i n o d a m a t é r i a e t e s t a g e m u m - a - u m c o m t r ê s
18
M a r i a A p a r e c i d a E s t e v e s C a l d a s *
zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
1.I N T R O D U Ç Ã O
Diagnóstico resultante de revisão de li-teratura e análise de programas existentes, revelou urna situação insatisfatória da ins-trução da Pesquisa Bibliográfica, no que diz respeito ao seu planejamento e avalia-ção.
Em decorrência, verificou-se ser
neces-sário o desenvolvimento da referida
ins-trução em bases científicas ..•tendo como
referencial teórico a Tecnologia
Educa-cional.
Nesse sentido, Kemp (1977), reforça o argumento quando informa que, antes da abordagem tecnológica do ensino, os
currículos eram planejados de modo
in-tuitivo. Porém, atualmente, graças aos
conhecimentos oriundos da psicologia
comportamental, das teorias de sistemas
e de comunicação, que servem de apoio
àTecnologia Educacional, sabe-se que é
preciso tentar controlar as variáveis que interferem no processo instrucional, para
• Bibliotecária da Universidade Federal do Rio Grande do Norte. Mestre em Educação.
Revista Brasileira de Biblioteconomia e Documentação17(1/2·) : 1842, jan.ljulho 1984
PLANEJAMENTO E AVALIAÇÃO DE UM PROGRAMA DE PESQUISA BIBLIOGRÁFICA UTILIZANDO A ABORDAGEM TECNOLÓGICA DO ENSINO
o u q u a t r o i n d i v í d u o s , r e p r e s e n t a t i v o s d a c l i e n t e l a - a l v o .
Descritores: P e s q u i s a B i b l i o g r á fi c a / P l a n e -j a m e n t o I n s t r u c i o n a l ; A v a l i a ç ã o l n s t r u c i o -n a l ; T e c -n o l o g t a E d u c a c i o n a l .
obter sucesso na aprendizagem.
Coerente com essa tendência,
decidiu-se planejar e implementar um programa
instrucional de Pesquisa Bibliográfica para alunos dos Cursos de Mestrado da Univer-sidade Federal do Rio Grande do Norte, utilizando o modelo de desenvolvimento
tecnológico. Foi pressuposto que
consti-tuiria uma solução para os problemas de efetividade da aprendizagem, ou seja, de
obtenção de resultados, que podem ser
pretendidos ou não pretendidos.
O modelo desenvolvimentista se
utili-za de uma metodologia baseada nos prin-cípios da abordagem sistêrnica ou Enfo-que Sistêmico.
De acordo com essa metodologia, o
processo de desenvolvimento instrucional consiste numa seqüência de etapas repre-sentadas pelo planejamento,
implementa-ção e implantaimplementa-ção do novo sistema. Tal
ordem seqüencial implica numa estreita relação entre as etapas, pois é, exatamen-te, tal interação dos componentes de um todo que caracteriza um sistema, objeto de estudo do Enfoque Sístêrníco.
A abordagem sistêrnica é conceituada por Bertü et a1ü (1977a) como "uma me-todologia que conduz logicamen te o pen-samento, através de uma análise formal e global do problema em estudo,
utilizan-do-se das premissas básicas da teoria
Ge-ral de Sistemas".
O conceito sistêmico aplicado ao
pla-nejamento e execução de projetos é
co-nhecidocomo Engenharia de Sistemas.
Descreve-se, aqui, a utilização da
re-ferida metodologia na etapa de
planeja-Revista Brasileira de Biblioteconomiae Documentação
JIHGFEDCBA
1 7 ( 1 / 2 ) : 1842,jan./julho 1984 19BIBLIOT:::::CA CENTRAL
Maria Aparecida EstevesCaldas
zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
mento do programa instrucional de
Pes-quisa Bibliográfica, proposto no início
deste trabalho.
Segundo Recart I. (1980), o planeja-mento da ação educativa se processa em duas etapas sucessivas, porém interrela-cionadas: a previsão da ação e avaliação dos resultados.
A previsão da ação inclui a identifica-ção de necessidades, o estabelecimento de
objetivos para atender às necessidades
prioritárias e a programação da ação, a
qual antevê o funcionamento futuro do
sistema. Os riscos dessa antevisão podem ser reduzidos com a inclusão do teste-pi-loto do novo sistema, na etapa de
plane-jamento, aumentando a possibilidade de
sucesso da implemen tação.
A avaliação dos resultados consiste no
estabelecimento do plano de controle e
acompanhamento do programa. A rigor,
trata-se, também, de um plano de previ-são, integrando-se ao plano de ação, pois dentro do Enfoque Sistêmico, a avaliação é parte do sistema e não um sub-sistema.
No planejamento do Programa de
Pes-quisa Bibliográfica foram levados em con-sideração duas etapas acima descritas, re-sultando nos planos de ação e de avalia-ção apresentados a seguir. Porém, deve-se ter em mente que o plano, de avaliação
representou um desdobramento do plano
geral de ação.
2. MEroOOWGIA
2.1 Plano de ação
Objetivou-se com esse plano especifi-car, de forma detalhada e sistemática, as atividades e recursos envolvidos no
desen-volvimento do Programa de Pesquisa Bi-bliográfica, tanto na etapa de planejamen-to, como implementação.
A sua elaboração fundamentou-se na
Engenharia de Sistemas que, como foi
es-clarecido, é uma metodologia sistêmica
aplicada ao planejamento e execução de
projetos.
A Engenharia de Sistemas distingue
dois conjuntos de etapas no processo de
elaboração de projetos: o seu
baZYXWVUTSRQPONMLKJIHGFEDCBA
p l a n e j a m e n-t o e sua e x e c u ç ã o . O primeiro conjunto
compreende as etapas de identificação
da situação, planejamento preliminar e/ou
final. O segundo conjunto abrange as
eta-pas de execução, teste ou operação do
sistema e controle.
No p l a n e j a m e n t o , projeta-se, em pri-meiro lugar, a operação do sistema, isto é,
o q u e se quer, em termos de
funciona-mento do sistema; depois, a obtenção do
sistema, ou seja, c o m o fa z e r para
cons-truir e testar o protótipo do sistema. Na execução do projeto são acionadas,
primeiramente, as atividades para obter
ou construir o sistema e, em segundo, pa-ra fazê-lo funcionar de forma experimen-tal.
Portanto, um projeto, elaborado de
conformidade com a metodologia da
Engenharia de Sistemas, inclui tanto as
etapas de planejamento, como
imple-mentação de um sistema.
Inicia-se o planejamento,
identifican-do-se as i t u a ç ã o - p r o b l e m a . Coletam-se
da-dos e informações sobre as condições de
funcionamento do sistema atual, define-se
o problema que limita tal funcionamento e levantam-se alternativas de solução.
Escolhida a alternativa mais viável, de-
cbaZYXWVUTSRQPONMLKJIHGFEDCBA
20 Revista Brasileira de Biblioteconomia e Documentação17(1/2) : 18-42, jan.ljulho 1984
--UFPf.\ ~ BC/SA
êllBLlOTECA
PLANEJAMENTO E AVALIAÇÃO DE UM PROGRAMA DE PESQUISA BIBLlOGRAFICA UTILIZANDO A ABORDAGEM TECNOLÓGICA DO ENSINO
terminam-se os o b j e t i v o s d e m u d a n ç a do
sistema, sendo estabelecidos de forma ge-ral e específica. Os objetivos específicos devem expressar as mudanças que se
pre-tende introduzir ou, noutras palavras, os
resultados que se quer alcançar. Devem,
também, sempre que possível, proverm e
-d i -d a s -d e r e n -d i m e n t o ou critérios para ava-liação dos resultados.
Depois de estabelecidos os objetivos,
procura-se identificar asr e s t r i ç õ e s , isto é,
as influências do meio em que vai operar o sistema e que podem interferir nos re-sultados, tanto na fase de operação como
obtenção. Essas restrições podem ser de
ordem administativa, financeiras,
políti-cas, sociais, entre outras.
Procede-se, então.vâ identificação das
a t i v i d a d e s ou tarefas que o sistema
execu-tará, quando em funcionamento, e osr e
-c u r s o s que serão consumidos; com outras
palavras, planeja-se a operação do sistema. Em continuação, identificam-se as
ati-vidades e recursos necessários para se
obter o sistema, ou seja, para sua cons-trução.
As atividades e recursos, tanto da fase de operação, como de obtenção do
siste-ma, são estruturados, graficamente, em
forma de árvore, vindo a constituir a
Estrutura de Divisão de Atividades (EDA) e Estrutura de Divisão de Recursos (EDR).
Cada estrutura representa os
compo-nentes (atividades e recursos) das fases de
obtenção e operação, dividindo-os por
níveis, do mais geral para o mais
especí-fico, em sentido descendente. Tem-se,
desse modo, uma visão geral das interre-lações de cada fase.
Para facilitar a execução do projeto, as atividades são detalhadas nas "folhas
de específícação", em Diagramas de
Flu-xo de Trabalho (DFT) , em cronogramas e outras técnicas para estimativas de tem-po e custo.
No caso de se ter soluções alternativas para estudar, a etapa de planejamento se desdobra em preliminar e final. As mes-mas técnicas são aplicadas para cada
alter-nativa, na etapa preliminar. Mediante
Análise de Sistemas
*
escolhe-se a melhoralternativa, que é, então, projetada com
detalhes, na etapa do planejamento final.
Completado o planejamento,
imple-menta-se o projeto, construindo-se o siste-ma e realizando-se o teste-piloto, poden-do-se testar todo o sistema ou, apenas, as partes relevantes.
A testagem representa um controle de qualidade, pois visa ao aprimoramento do
sistema antes do seu funcionamento
de-fínitívo, na etapa de implantação.
Esse controle não se verifica somente na etapa do desenvolvimento, mas é per-manente, ocorrendo antes, durante e após
o processo, possibilitando um fluxo de
informação e retroalimentação necessário
à tomada de decisões. Dessa forma ao
controle estão associadas as noções de
acompanhamento, retroalimentação e
avaliação, cujas funções estão voltadas pa-ra o aperfeiçoamento do sistema.
Toda essa sistemática foi aplicada na elaboração do plano que norteou o
desen-*
J:
definido por Reis (976) como "urnaabordagem que procura ajudar o planejador
na escõíha da melhHr alternativa para
solu-cionar um problema. .
Maria Aparecida Esteves Caldas
zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
volvimento do programa de Pesquisa Bi-bliográfica.
Segue a descrição sucinta dos compo-nentes do referido plano, representados pelos objetivos, medidas de rendimentó, restrições, atividades e recursos.
2.1.1 Objetivos
Estabeleceu-se como objetivo geral: - fornecer um programa de Pesquisa Bibliográfica, visando a melhoria da quali-dade da instrução.
Esse objetivo foi desdobrado em dois objetivos espec íficos:
- desenvolver o programa instrucional ; - acompanhar os resultados do progra-ma instrucional.
2.1 .2 Medidas de rendimento
Para se saber quando os objetivos esta-belecidos foram alcançados, serviram de medidas de rendimento:
a) relativas ao objetivo "desenvolver o
programa instrucional" - conjunto de
materiais instrucionais desenvolvidos, vali-dados e impressos;
b) relativas ao objetivo "acompanhar
os resultados do programa instrucíonal"
- relatório das avaliações formativa, so-mativa e "follow-up",
2.1.3 Restrições
Foram identificados como poss rveis
barreiras ao desenvolvimento do projeto: a) na fase de obtenção:
- tempo limitado para o planejamento e redação do material didático;
- orçamento reduzido para a
produ-ção do material didático;
- falhas na elaboração do material di-dático;
b) na fase de operação:
- alterações no calendário dos cursos de Mestrado relativas ao período de apli-cação do programa instrucional;
- falta de cumprimento das condições
e prazos estabelecidos para as atividades de aprendizagem;
- recursos bibliográficos inexistentes
ou deficientes nas bibliotecas da UFRN, para a realização dos trabalhos práticos.
2.1 .4 Atividades e recursos
Como exemplos, são apresentados, nos anexos I a 5, as Estruturas de Divisão de Atividades (EDA) e Recursos (EDR) o PERT e o Cronograma da fase de obten-ção, bem como o Diagrama de Fluxo de Trabalho da fase de operação.
2.2 Plano de avaliação
o
objetivo desse plano foi especificar asistemática de avaliação aplicada ao
de-senvolvimento do programa de Pesquisa
Bibliográfica, conforme previsto no plano de ação.
A elaboração do plano foi precedida
de uma extensa revisão bibliográfica em
busca de fundamentação teórica, a qual
demonstrou áreas críticas, algumas das
quais serão analisadas a seguir.
Segundo Brewer & Hills (1966) o
exa-me da literatura indica que seria vantajo-sa uma redefinição da natureza, finalida-de e metodologia da avaliação.
22 Revista Brasileira de Biblioteconomia e Documentação17( 1/2) : 1842. jan./julho 1984
PLANEJAMENTO E AVALIAÇÃO DE UM PROGRAMA DE PESQUISA BIBLIOGRÁFICA UTILIZANDO A ABORDAGEM TECNOLOGICA DO ENSINO
Focalizando a questão da natureza e
ifmalidade, l.ewy (1979) afirma que a so-lução desponta no campo da Educação,
como uma disciplina científica,
destina-da a proporcionar evidências sobre os re-sultados dos novos programas.
O seu conceito inicial a relacionava
com medida, pois era orientada para o
de-senvolvimento e interpretação dos testes
e medidas.
Surgiu, depois, o conceito de avaliação como congruência, voltado para a deter-minação do grau de consecução dos obje-tivos de.um curso ou programa.
Posteriormente, a avaliação foi
identí-fícada como julgamento profissional e,
finalmente, projeto experimental.
Stuffle beam (I978) considera que
ca-da um desses enfoques tem as suas
vanta-gens e limitações. Todas as abordagens
são tentativas de conferir rigor científico à avaliação, mas a focalizam como um processo terminal, isto é, oferecem, ape-nas, dados finais.
Tendo em vista essa limitação, Stuffle-beam (1978), propôs um novo conceito de avaliação, considerando-a um "proces-so de delinear, obter e fornecer informa-ções úteis para o julgamen to de decisões alternativas". '
Desse modo, avaliaçãopassa a ser
iden-tificada com tomada de decisões. Essas
decisões podem ser de planejamento,
es-truturação, implementação e reciclagem,
conforme a avaliação seja de contexto,
insumos, processo e produto.
De acordo com o modelo de Stuffle-beam, a cada tipo de avaliação correspon-de um plano, contendo as especificações
referentes às fases de delineamento,
obtenção e fornecimento de informações.
Esclarecimentos sobre essas fases serão
dados posteriormente.
Existem, ainda, outras formas de cate-gorizar a avaliação.
Scriven* , citado por Stufflebeam
(1978), identifica dois tipos de avaliação: formativa e somativa. A primeira é condu-zída durante o processo, para -aperfeíçoã-10 antes da conclusão. A segunda é retros-pectiva e conduzi da a nível de produto', permitindo aperfeíçoã-lo para o futuro.
O autor distingue, também, avaliação
intrínseca e extrínseca, podendo ambas
se relacionar com o processo ou produto
de um programa ínstrucional. A
caracte-rística da avaliação intrínseca é o
.julga-mento do instrumento de ensino m si,
independente de seus efeitos. O
julga-mento recai sobre os objetivos, o conteú-do, o material impresso, o desempenho
do professor, podendo ser efetuado
du-rante ou no final do processo. A
avalía-ção extrínseca ou de benefícios se
preo-cupa com os efeitos intermediários e
fí-nais dos instrumentos de ensino.
Os conceitos de avaliação formativa e somativa foram relacionados por Stuffle-beam (1978) ao seu esquema conceitual.
Cada um dos quatro tipos de avaliação
pode ser formativo ou somativo, confor-me seja prospectivo para tomada de
de-*
SCRIVEN, Michael. The methodology ofevaluation. In : Scriven, Míchael,
baZYXWVUTSRQPONMLKJIHGFEDCBA
P e r s p e c t i -v e s o n c u r r i c u l u m e v a l u a t i o n : Chicago, R.MacNa1ly, 1967.
I
I
I
II
I
I
II
zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
Maria Aparecida Estevas Caldas
cisões ou retrospectivo para verificação
da produtividade.
A avaliação é, ainda, definida quanto
às fontes de informação em formal ou
objetiva e informal ou subjetiva. Brewer
& Hills (1966) identificam a avaliação,
formal ou objetiva com abordagem
tradi-cional, caracterizada pela
pré-especifica-ção de áreas-problema, objetivos e
crité-rios pré-estabelecidos, dados objetivos,
esquema de pesquisa estruturado,
inter-pretação científica, tomada de decisões
como finalidade. A avaliação informal
ou subjetiva é considerada uma aborda-gem progressista, tendo como atributos:
extensa base de dados, tanto objetivos
como subjetivos, esquema de pesquisa
estruturado, porém flexível,
interpreta-ção humanista, coleta de evidências como finalidade.
AS avaliações preordenada e
responsi-va, mencionadas por Lancaster (1975)
correspondem aos conceitos de avaliação
formal/objetiva e infonnal/subjetiva,
res-pectivamente.
Mais recentemente, surgiu a avaliação
ilurninativa, que se aproxima do conceito de avaliação responsiva pelo fato de ser um esquema conceitual não padronizado. Harris (1977) considera uma abordagem adequada à avaliação de inovações, tendo em vista permitir a adoção de metodolo-gia eclética e ser adaptável às circunstân-cias. Isto significa que. a escolha das téc-nicas de pesquisa decorre de decisões em cada caso e os problemas definem os mé-todos. Não é dada ênfase aos objetivos e a técnicas elaboradas. Em vez de testar hipóteses, procura-se produzir "ínsíghts". Prefere o uso de observações e entrevistas
não estruturadas, dados qualitativos, tais
como as reações de alunos e professores,
embora, também, use dados
quantitati-vos, decorrentes de teste e outras medidas.
A avaliação ilurninativa vem sendo
apontada por diversos autores, entre os
quais Ah-tín & Valério (1979), Brewer e
Hills (1966), Fjallbrant (1977), Hills et
alii (1976), Harris (1977), Stevenson
(1977) e Taylor (1978), como capaz de oferecer um esquema de pesquisa mais adequado aos programas de instrução em biblioteca. Taylor (1978) justifica o uso
da avaliação iluminativa, quando afirma
que os participantes dos programas de
instrução em biblioteca são "contamina-dos" por interações de caráter informal,
decorrentes de ajuda do pessoal das
bi-bliotecas, de colegas e de professores. Daí a necessidade de se avaliar o programa
instrucional em interação com o meio
ambiente onde será utilizado.
Essas distintas abordagens de
avalia-ção se agrupam em torno de dois
paradig-mas de pesquisa, relacionados com as
Ciências agrícolas e Ciências antropoló-gicas. O primeiro se caracteriza pela obje-tividade científica, grande número de
su-jeitos e dados quantitativos. O segundo
enfatiza o pequeno número de sujeitos,
técnicas subjetivas, como meio de obter uma visão geral do programa, dados qua-litativos mais do que quantitativos.
Como esclarece Harris (1977) os
adeptos do método antropológico
reco-nhecem que as técnicas subjetivas podem
produzir Informações confusas e
írrele-vantes.
Daí a proposta de uma metodologia
eclétíca, combinando métodos e técnicas
cbaZYXWVUTSRQPONMLKJIHGFEDCBA
24 Revista Brasileira de Btblioteconornia e Documentação17(1/21 : 1842, jan.ljulho 1984
PLANEJAMENTO E AVALIAÇÃO DE UM PROGRAMA DE PESQUISA BIBLlOGRAFICA UTILIZANDO A ABORDAGEM TECNOLÓGICA DO ENSINO
objetivas e subjetivas, nos estudos de ava-liação, formulada por Lewy (1979).
Exemplos desse ecletismo empregado na instrução em biblioteca são os
traba-lhos de Fjallbran t (1977), Hills et alii
(1976), Kazlauskas (1976), Schreiner
(1980).
O exame desses trabalhos confirma a
observação de Ah-tin &Valério (1979) de
que a maioria dos estudos de avaliação da instrução em biblioteca é concentra-da nos efeitos imediatos.
Young & Brennan (1978) assinalam
que a pesquisa realizada por Fjallbrant* é uma das poucas que avaliou a instrução bibliográfica de modo completo e siste-mático, utilizando diferentes métodos.
A pesquisa foi conduzida na Chalmers
University of Technology Library,
Go-thenburg, Suécia, envolvendo três estágios de um programa de instrução dos usuá-rios, a nível de Graduação e Pós-Gradua-ção, a saber: orientaPós-Gradua-ção, cursos de intro-dução e avançado em recuperação da in-formação.
A metodologia empregada para a ava-liação do programa incluiu, como a
auto-ra esclarece, os métodos psicométricos,
ilurninatívo e socioló gíco; como técnicas, a testagem, a entrevista, a observação e o uso da Biblioteca; como instrumentos, testes, questionários, trabalhos práticos e o telefone.
Justificando o uso de métodos
varia-dos, Fja1lbrant (1977) argumenta que
per-* FJALLBRANT, Nancy ,Evaluation in a user
education programme.
JIHGFEDCBA
J .baZYXWVUTSRQPONMLKJIHGFEDCBA
L i b r . , London, 9 : 84-95, Apr. 1977.mite produzir o efeito de "tríangulação", mediante o qual os resultados podem ser confirmados de diferentes maneiras.
Se, por um lado, o uso de diferentes
métodos privilegia maior confiabilidade
dos resultados, por outro lado, aumenta a gama de problemas de avaliação.
Em conseqüência, surge a necessidade
de se estabelecer Um plano de avaliação
a fim de sistematizar os procedimentos
avaliativos e, desse modo, assegurar a
obtenção das informações requeridas.
Essa sistematização deve ser fundamenta-da num esquema conceitual de avaliação
de que é exemplo o de Stuff!ebeam
(1978).
Adotando-se o referido esquema para
organizar os procedimentos de avaliação
do programa de Pesquisa Bibliográfica,
levou-se em conta sua característica de
metodologia de investigação científica,
baseada nos princípios sistêmicos, estan-do, portanto, em consonância com a
fílo-sofia de planejamento do citado
pro-grama.
Por outro lado, observa-se amplo uso desse esquema na avaliação de programas inovadores, de que são exemplos os tra-balhos de Bertii et alii (1977c) Goldberg & Souza (1980) e Gonçalves (1978a),
demonstrando a sua viabilidade.
Com base no esquema teórico adota-do, o plano de avaliação do programa de Pesquisa Bibliográfica envolveu as
fa-ses de delineamento, obtenção e
forne-cimento de informação.
Relacionando essas fases com aquelas
do processo de Engenharia de Sistemas,
verifica-se que a fase de delineamento
1I
I
zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
1I
1I
I
I
1I
I
I
I
I"
11
I
ti I
I
Maria Aparecida EstevasCaldas
cisões ou retrospectivo para verificação
da produtividade.
A avaliação é, ainda, definida quanto
às fontes de ínformação em formal ou
objetiva e informal ou subjetiva. Brewer
& Hílls (1966) identificam a avaliação.
formal ou objetiva com abordagem
tradi-cional, caracterizada pela
pré-especifíca-ção de áreas-problema, objetivos e
crité-rios pré-estabelecidos, dados objetivos,
esquema de pesquisa estruturado,
inter-pretação científica, tomada de decisões
como finalidade. A avaliação informal
ou subjetiva é considerada uma aborda-gem progressista, tendo como atributos:
extensa base de dados, tanto objetivos
como subjetivos, esquema de pesquisa
estruturado, porém flexível,
interpreta-ção humanista, coleta de evidências como finalidade.
AS avaliações preordenada e
responsí-va, mencionadas por Lancaster (l975)
correspondem aos conceitos de avaliação
formal/objetiva e informal/subjetiva,
res-pectivamen te.
Mais recentemente, surgiu a avaliação
ilumínativa, que se aproxima do conceito de avaliação responsiva pelo fato de ser um esquema conceitual não padronizado.
Harrls (l977) considera uma abordagem
adequada à avaliação de inovações, tendo em vista permitir a adoção de metodolo-gia eclética e ser adaptável às circunstân-cias. Isto significa que. a escolha das téc-nicas de pesquisa decorre de decisões em cada caso e os problemas defrnem os mé-todos. Não é dada ênfase aos objetivos e a técnicas elaboradas. Em vez de testar hipóteses, procura-se produzir "insights". Prefere o uso de observações e entrevistas
24
não estruturadas, dados qualitativos, tais
como as reações de alunos e professores,
embora, também, use dados
quantitati-vos, decorrentes de teste e outras medidas.
A avaliação ilumínativa vem sendo
apontada por diversos autores, entre os
quais Ah-tin & Valério (l979), Brewer e
Hills (l966), Fjallbrant (1977), Hílls et
a1ií (1976), Harris (1977), Stevenson
(1977) e Taylor (1978), como capaz de oferecer um esquema de pesquisa mais adequado aos programas de instrução em
biblioteca. Taylor (l978) justifica o uso
da avaliação ilumínativa, quando afirma
que os participantes dos programas de
instrução em biblioteca são "contamina-dos" por interações de caráter ínformal,
decorrentes de ajuda do pessoal das
bi-bliotecas, de colegas e de professores. Daí
a necessidade de se avaliar o programa
instrucional em interação com o meio
ambiente onde será utilizado.
Essas distintas abordagens de
avalia-ção se agrupam em tomo de dois
paradíg-mas de pesquisa, relacionados com as
Ciências agrícolas e Ciências antropoló-gicas. O primeiro se caracteriza pela obje-tividade científica, grande número de
su-jeitos e dados quantitativos. O segundo
enfatiza o pequeno número de sujeitos,
técnicas subjetivas, como meio de obter uma visão geral do programa, dados qua-litativos mais do que quantitativos.
Como esclarece Harris (1977) os
adeptos do método antropológico
reco-nhecem que as técnicas subjetivas podem
produzir informações confusas e
írrele-vantes.
Daí a proposta de uma metodologia
eclética, combinando métodos e técnicas
Revista Brasileira de Biblioteconomia e Documentaçâo17(1/2) : 18-42, jan.ljulho 1984
PLANEJAMENTO E AVALIAÇÃO DE UM PROGRAMA DE PESQUISA BIBLlOGRAFICA UTILIZANDO A ABORDAGEM TECNOLÓGICA DO ENSINO
objetivas e subjetivas, nos estudos de ava-liação, formulada por Lewy (1979).
Exemplos desse ecletismo empregado na instrução em biblioteca são os
traba-lhos de Fjallbrant (1977), Hills et a1ií
(1976), Kazlauskas (1976), Schreíner
(1980).
O exame desses trabalhos confirma a
observação de Ah-tin & Valério (1979) de
que a maioria dos estudos de avaliação da instrução em biblioteca é concentra-da nos efeitos imediatos.
Young & Brennan (1978) assinalam
que a pesquisa realizada por Fjallbrant* é uma das poucas que avaliou a instrução bibliográfica de modo completo e síste-mático, utilizando diferentes métodos.
A pesquisa foi conduzida na Chalmers
Universíty of Technology Líbrary,
Go-thenburg, Suécia, envolvendo três estágios de um programa de instrução dos usuá-rios, a nível de Graduação e Pós-Gradua-ção, a saber: orientaPós-Gradua-ção, cursos de intro-dução e avançado em recuperação da in-formação.
A metodologia empregada para a ava-liação do programa incluiu, como a
auto-ra esclarece, os métodos psicométricos,
iluminatívo e socioló gico; como técnicas, a testagem, a entrevista, a observação e o
uso da Biblioteca; como instrumentos,
testes, questionários, trabalhos práticos e o telefone.
Justificando o uso de métodos
varia-dos, Fjallbrant (1977) argumenta que
per-* FJALLBRANT, Nancy , Evaluation in a user
education programms.
baZYXWVUTSRQPONMLKJIHGFEDCBA
J . L i b r . , London, 9 :84·95, Apr. 1977.
míte produzir o efeito de "triangulação", mediante o qual os resultados podem ser confirmados de diferentes maneiras.
Se, por um lado, o uso de diferentes
métodos privilegia maior confiabilidade
dos resultados, por outro lado, aumenta a gama de problemas de avaliação.
Em conseqüência, surge a necessidade
de se estabelecer um plano de avaliação
a fim de sistematizar os procedimentos
avaliativos e, desse modo, assegurar a
obtenção das informações requeridas.
Essa sistematização deve ser fundamenta-da num esquema conceitual de avaliação
de que é exemplo o de Stufflebeam
(1978).
Adotando-se o referido esquema para
organizar os procedimentos de avaliação
do programa de Pesquisa Bibliográfica,
levou-se em conta sua característica de
metodologia de investigação científica,
baseada nos princípios sistêmicos, estan-do, portanto, em consonância com a
mo-sofia de planejamento do citado
pro-grama.
Por outro lado, observa-se amplo uso desse esquema na avaliação de programas inovadores, de que são exemplos os
tra-balhos de Bertii et alii (l977c) Goldberg
& Souza (1980) e Gonçalves (1978a),
demonstrando a sua viabilidade.
Com base no esquema teórico adota-do, o plano de avaliação do programa de Pesquisa Bibliográfica envolveu as
fa-ses de delineamento, obtenção e
forne-cimento de informação,
Relacionando essas fases com aquelas
do processo de Engenharia de Sistemas,
verifica-se que a fase de delineamento
I I I
I
zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
11 I
1I
I
I I I
I
Maria Aparecida EstevesCaldas
corresponde ao planejamento da
infor-mação e as fases de obtenção e forneci-mento da informação, à execução do pIa-no de coleta de dados e divulgação dos resultados, como observam Bertti et alii (1977a).
No delineamento, caracteriza-se
pri-meiramente, o
JIHGFEDCBA
q u e avaliar, definindo-seos componentes, os propósitos e
objeti-vos e critérios. Depois, determÍna-se c o -
baZYXWVUTSRQPONMLKJIHGFEDCBA
m o avaliar, especificando-se os
procedi-mentos avaliativos, os quais incluem as
fontes, os instrumentos, o cronograma,
o tratamento e organização dos dados.
Na obtenção, são acionados os
pro-cedimentos, permitindo que a avaliação
se realize, gerando as informações neces-sárias para a tomada de decisões, durante
as etapas do desenvolvimento
instru-cional.
Dessa forma, o plano de avaliação do programa de Pesquisa Bibliográfica
espe-cifica os procedimentos avaliativos
rela-tivos ao planejamento e implementação
do referido programa.
A seguir, são descritos os componen-tes do referido plano.
2-2.1 Objeto da avaliação
Refere-se aos elementos do projeto
focalizados pela avaliação.
Na etapa de planejamento foi avaliada
a instrução da Pesquisa Bibliográfica, co-mo estava sendo realizada nos Cursos de Mestrado da UFRN e como deveria ser, na opinião de alunos e professores dos referidos Cursos.
Outro elemento dessa etapa, também
avaliado, consistiu na versão preliminar
(protótipo) do material instrucional.
Na etapa de implementação, a
avalia-ção teve· como objeto a versão revisada do material instrucional.
2.2.2 Propósito da avaliação
Relaciona-se com o tipo da informa-ção requerida. Se é informainforma-ção para de-terminar os objetivos e características ge-rais de um programa, a avaliação tem fina-!idade diagnóstica ou diagnosticativa.
O propósito é formativo ou somativo, conforme a avaliação deva fornecer dados
sobre o desenvolvimento de um
progra-ma, durante o processo ou no final, para determinar os efeitos produzidos e possí-veis reformulações.
Quando se tem em vista informações sobre o impacto do programa sobre
pro-fessores e alunos, o propósito da
avalia-ção é iluminativo. Os dados dessa forma
de avaliação complementam os anteriores, possibilitando a obtenção de informações não previstas.
Todas essas modalidades de propósito foram incoporados à avaliação do progra-ma de Pesquisa Bibliográfica.
Com finalídade diagnóstica a avaliação
forneceu informações sobre o contexto
da Pesquisa Bibliográfica, as quais
funda-mentaram as decisões de planejamento,
resultando na elaboração dos planos de
ação e de avaliação. Fundamentaram,
também, as decisões de estruturação, for-necendo dados sobre os insumos do pro-grama, decorrente da definição do propó-sito e objetivos do mencionado programa.
As avaliações com propósito
formati-vo, somativo e ilurninativo visaram o
pro-26 Revista Brasileira de Biblioteconomia e Documentação17(1/2) ; 1842, jan./julho 1984
PLANEJAMENTO E AVALIAÇÃO DE UM PROGRAMA DE PESQUISA BIBLIOGRÁFICA UTILIZANDO A ABORDAGEM TECNOLÓGICA DO ENSINO
cesso e o produto do programa
instrucio-nal, tanto no teste-piloto, da etapa de
planejamento, como no teste em campo,
da etapa de implementação.
2-2.3 Objetivos da avaliação
Consistem na operacionalização dos
propósitos, especificando que tipo de
in-formações se pretende
obter-Defmem-se os resultados a que se quer chegar com cada tipo de avaliação.
Tendo em vista os propósitos ou obje-tivos gerais da avaliação diagnostica,
for-mativa, somativa eilurninativa, foram
es-tabelecidos como objetos específicos para cada tipo, respectivamente:
- identificar relevância e
aprendiza-gem da instrução 'da Pesquisa Bibliográ-fica;
- caracterizar a instrução da Pesquisa
Bibliográfíca;
- coletar evidências para melhorar o
material instrucional, durante o
planeja-mento;
- verificar pontos falhos na instrução
el o u testes;
- estabelecer a efetividade da
instru-ção, a curto prazo;
- estabelecer a efetividade da
instru-ção, a longo prazo.
2.2.4 Componentes a avaliar
Correspondem às variáveis do
progra-ma ínstrucíonaí envolvidas no processo
de avaliação.
A sua identificação baseou-se na
'elas-sificação de variáveis educacionais de
Hammond*, citado por Bertü et aIii
(I977b), que distingue três grupos: a)
variáveis comportamentais, relativas ao
domínio cognitivo, efetivo e psicomotor da aprendizagem; b) variáveis instrucio-naís que envolvem elementos de conteú-do, metodologia e organização da
instru-ção; c) variáveis populacionais, relativas
à população direta ou indiretamente
en-volvida, na qual se incluem alunos e pro-fessores.
A avaliação do programa de Pesquisa Bibliográfica focalizou os seguintes com-ponen tes ou variáveis:
- comportamento cognitivo e afetivo
do aluno;
- características da instrução;
- características físicas do material
instrucional ;
- estratégias instrucionais;
- condições de funcionamento do
programa.
2.2.5 Questões avaliativas
Orientam o levantamento das informa-ções necessárias para a tomada de
deci-sões, durante o desenvolvimento de um
programa instrucional.
Referente ao programa de Pesquisa
Bibliográfica, foram formuladas algumas
questões, que serão apresentadas a
se-guir, relacionadas ao tipo de decisão que geraram.
Para decisões de estruturação;
*
Deixa-se de apresentar a referência biblío-gráfica por falta de dados.Revista Brasileira de Biblioteconomia e Documentação 17(1/2) ; 1842, jan./julho1984
--
cbaZYXWVUTSRQPONMLKJIHGFEDCBA
~I1
wvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
I
I
I
Maria Aparecida Esteves Caldas
- Existe diferença significativa quanto à relevância e aprendizagem' da Pesquisa Bibliográfica?
- Que características deve ter a
ins-trução da Pesquisa Bibliográfica para alu-nos da Pós-Graduação da UFRN?
Para decisões de implementação:
- O material instrucional apresenta
problemas quanto à clareza, precisão e
estrutura?
- Os objetivos instrucionais foram atin-gidos? Quais não foram alcançados?
- Quaís as possíveis causas da defi-ciência no atingimento dos objetivos?
Para decisões de reciclagem:
- A instrução ocasionou acréscimo de
conhecimentos e habilidades, conforme
especificados pelos objetivos?
- O material instrucional apresentou
boa qualidade quanto ao aspecto físico, linguagem, estratégias?
- O desenvolvimento da instrução
es-teve de acordo com o planejado? - Houve retenção da aprendizagem?
- Que comportamentos treinados
es-tão sendo utilizados nas atividades acadê-micas dos alunos?
- Quais as causas possíveis da não uti-lização?
- O programa foi efetivo?
- Quais as condições ótimas de funcio-namento do programa?
2.2.6 Indicadores
São medidas diretas e indiretas das in-formações delineadas pelas questões
ava-liatívas,
Seguindo recomendações de Goldberg
& Souza (1979), foram utilizados vários
28
indicadores na avaliação do programa de Pesquisa Bibliográfica, a saber:
compor-tamento cognitivo dos alunos, opinião
de alunos e professores, julgamento de
especialistas, observação do instrutor.
O comportamento cognitivo dos
alu-nos foi traduzido pelos índices de efeti-vidade de alcance por objetivos, ganho
por objetivo, domínio de objetivos,
ga-nho individual e grupal, os quais serão
explicitados na seção referente ao
trata-mento dos dados.
2.2.7 Critérios
Servem de base para o julgamento do
nível de desempenho do programa
ins-trucional.
Para as pesquisas avaliativas que em-pregam o delineamento de um único gru-po, como no caso presente, a compara-ção dos resultados é realizada com pa-drões de aceitação ou critérios.
O nível de aceitação dos dados
forne-cidos pelos indicadores fixa os limites
entre sucesso e fracasso de um programa instrucional.
Segundo Lewy (1979), a
determina-ção dos critérios deve se fundamentar em
princípios pedagógicos, de' comunicação
e curriculares. Cita como exemplo, entre outros, de padrão baseado em princípios
pedagógicos, o fornecimento adequado
de reforço, em princípios de comunica-ção, a clareza da apresentação e seqüên-cia correta e, em princípios curriculares, a correspondência entre objetivos e ativi-dades planejadas.
Se bem que apoiado em referencial
teórico, o estabelecimento de critérios é
Revist~ Brasileira de Biblioteconomia e Documentação17(1/21 : 18-42, jan.ljulho 1984
PLANEJAMENTO E AVALIAÇÃO DE UM PROGRAMA DE PESQUISA BIBLIOGRÁFICA UTILIZANDO A ABORDAGEM TECNOLOGICA DO ENSINO
uma tarefa que requer experiência, pois
não existe consenso arespeito dos
me-lhores padrões para julgar o valor de um programa, devendo ser tomadas decisões em cada caso particular, conforme suge-rem diversos autores entre os quais Gol-dberg & Souza (1979).
Por isso, a implementação de um
pro-grama inovador é, também, um teste pa- .
ra os padrões estabelecidos, ajudando a
identificar os valores ótimos, na opinião de Cottam (1978).
Portanto, os critérios defínidos no pla- ' no de avaliação do programa de Pesquisa ,
Bibliográfica foram submetidos a
julga-mento, 'juntamente com o programa,
muito embora tenham sido selecionados com base na experiência de especialístas,
principalmente Bertti et alii (1977d),
Gonçalves (1978) e Klausmeíer &
Good-win (1977).
No estabelecimento dós critérios,
fez-se distinção entre aqueles que fez-seriam uti-lizados como base de comparação para o desempenho dos alunos, durante o pro-grama, após a instrução, a curto e a longo prazos.
Durante o processo, o critério de de-sempenho dos alunos foi fixado em 100%, tendo em vista os princípios da
aprendi-zagem para o domínio, teorizados por
Gagné (1980).
O desempenho dos alunos, após a ins-trução, constituiu-se em indicador da efe-tividade do programa. Nele foram levados em conta não somente o
comportamen-to çognitivo dos alunos, resultante da
instrução ministrada, como também, o
seu comportamento afetivo, face à
ins-trução recebida.
Para os indicadores da efetividade, na área cognitiva, foram estabelecidos como padrões de desempenho: a) um mínimo de 80/60, significando que 80% dos obje-tivos deveriam ser dominados por 60% dos alunos; b) um mínimo de 60% de ga-nho grupal; c) um máximo de 50% de perda, após quatro meses do término da instrução.
Para os indicadores da área afetíva, fi-xou-se como critério 70/70, ou seja, 70%
dos componentes dos midulos e do
pro-grama submetidos à avaliação deveriam
ser considerados altamente satisfat6rios
ou satisfatórios pelos alunos.
Esses padrões foram considerados ra-zoáveis, tendo em vista que o programa
testaria metodologia nova para a
instru-ção da Pesquisa Bibliográfica, dentro da programação normal dos cursos de
Mes-tradoda UFRN, o que implica em carga
horária e período de realização flXOS.
Estabeleceu-se o mesmo padrão de 80/ 60 para os diversos indicadores do domí-nio cognitivo, tendo em vista possibilitar
a comparação entre eles.
Manteve-se, também, os mesmos
pa-drões para o teste-piloto e teste de cam-po, visando verificar a variação dos re-sultados entre as duas testagens.
Quanto ao padrão de correção dos
itens de teste, Gronlund (1979) sugere
que sejam aumentados ou diminuídos,
conforme a natureza dos objetivos e 'o
tipo dos itens de' teste.
Entretanto, considerando que, quando
Maria Aparecida Esteves Caldas
o domínio é a meta não existem itens de teste difíceis ou fáceis, foi mantido o pa-drão de 70% para todos os itens do pré
e pós-testes do programa de Pesquisa
Bibliográfica.
2.2.8 Fontes de dados
A identificação das fontes de coleta de dados para avaliação do programa de Pes-quisa Bibliográfica, envolveu várias deci-sões, relativas à população e amostragem.
A principal delas estabeleceu que os
dados seriam coletados junto a alunos e
professores dos cursos de Mestrado da
UFRN, bem como especialistas nas áreas
de Educação, Estatística, Metodologia
Científica e Biblioteconomia.
Alunos do Curso de Mestrado em Edu-cação, ingressos em 1979, e professores
constituíram amostra aleatória para a
tes-tagem do opinionário de avaliação
diag-nóstica.
Alunos do Curso de Mestrado em Ad-ministração, ingressos em 1978 e 1979, e professores, bem como alunos do Cur-so de Mestrado em Patologia Oral, ingres-sos em,19,79, e professores foram fontes de dados para a avaliação diagnóstica das necessidades da clientela, em termos de instrução da Pesquisa Bibliográfica. Tra-tou-se de uma amostra acidental, pois,
aplicou-se o opinionário aos alunos
pre-sentes em sala de aula e aos professores que se dispuseram a participar da
expe-riência, sendo, portanto, 'conside~ados
apenas os casos ocasionais.
Para as testagens do programa,
traba-Ihou.-~e com, a população, co~po~ta dos
alunos do Curso de Mestrado em
Odonto-logia Social e do Curso de Mestrado em Patologia Oral, ingressos em 1980, bem como alunos do Curso de Mestrado em Administração, ingressos em 1981. O pri-meiro grupo foi submetido ao teste-pilo-to e os dois últimos ao teste de campo.
Os mesmos grupos que participaram da testagem de campo foram fontes de dados para a avaliação por acompanha-mento.
Os especialistas foram juízes na
vali-dação do material instrucional e instruo
mentos de medida. Um deles, o estatísti-co, foi fonte de informação no tratamen-to dos dados do opinionário para iden
ti-ficação das necessidades instrucionais,
relacionadas com o' programa de Pesqui-sa Bibliográfica.
2.2.9htstrumentos de medidas
Constituem os meios ou recursos
ma-teriais .utilizados para coleta dos dados
ou evidências destinadas aos propósitos da avaliação.
Dessa forma, a escolha de um instruo mento de medida está relacionado com
a modalidade de avaliação (diagnóstica,
formativa, somativa e iluminativa), como também ao tipo de indicador (comporta-mento cognitivo, afetivo, opinião e obser-vação). Nesse sentido, Turra et alii (I975)
apresentam um interessante quadro no
qual estabelecem tal relação.
wvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
\
A mesma relação foi mantida no plano de avaliação do programa de Pesquisa Bi· bliográfica.
A escolha e elaboração dos instrumen tos de coleta de dados merecem um estu do especial, pois a obtenção de informa'
30 Revista 'Brasileira de Biblioteconom(a e Docurnentaçâoj 7q/2) : 18-42. jan./julho 1984
PLANEJAMENTO E AVALIAÇÃO DE UM PROGRAMA DE PESQUISA
BIBLlOGRAFICA UTILIZANDO A ABORDAGEM TECNOLOGICA DO ENSINO
ções úteis para tomada de decisões, du-rante o desenvolvimento de um programa instrucional, depende da precisão do ins-trumental empregado.
Segundo Gressler (1979), entre outros autores, as qualidades desejadas de um
instrumento de medição, utilizado para
pesquisas de caráter científico, são a vali-dade e a confiabilivali-dade.
A validade de um instrumento de
me-dida é definida por Bastos (1979) e ou-tros como a propriedade de medir o que se pretende que seja mensurado, podendo
ser conteúdo e objetivos, determinado
constructo* ou previsão do desempenho de um grupo em áreas correlatas. Daí os três tipos de validade registrada pela lite-ratura especializada: validade de conteú-do, de constructo e preditiva.
A confiabilidade ou fidedignidade de
um instrumento de medida é a sua capaci-dade de produzir os mesmos resultados, quando aplicado a um mesmo grupo, re-petidas vezes.
Essa precisão é relativa, pois,
confor-me diversos autores, entre os quais,
Gressler (I 979), qualquer instrumento
de medida gera erros de medição.
Para assegurar o maior grau possível
de validade e confiabilidade das
medí-das, os instrumentos são pré-testados,
antes de sua utilização.
Como se processou essa testagem em
relação aos instrumentos usados para
••• "Conceito deliberado e conscientemente
inventado ou adotado para uma finalidade
científica". Exemplos: inteligência,
densida-de, etc. (Bastos, 1979).
avaliação do programa de Pesquisa
Bi-bliográfica é o que será apresentado a
seguir.
Os opinionários (forma para alunos
e professores) de avaliação diagnóstica
foram submetidos à apreciação de três
especialistas em Pesquisa Educacional,
visando ao julgamento da qualidade do
conteúdo, em termos de clareza,
preci-são e estrutura ffsica,
Identificadas as falhas, os opinionários foram reescritos, reproduzidos e pré-testa-dos em dois estágios. No primeiro, foram
aplicados, individualmente, a grupos de
três alunos e três professores. No segundo
estágio, os opinionários foram
adminis-trados a grupos de cinco alunos e cinco
professores. Essa testagem foi
acompa-nhada de entrevista para retroalimenta-ção imediata.
Concluída a pré-testagem para valida-ção do conteúdo, procedeu-se ao teste de confiabilidade das metades ou "split-half".
O protótipo do material instrucional,
também, foi validado por três especialis-tas no assunto, para controle de
qualida-de. Depois de reformulado foi
pré-testa-do com pequeno grupo, nas mesmas con-dições em que se verificou .o teste em
campo, na etapa de implementação do
programa.
Os demais instrumentos de medida,
tais como pré e pós-testes, opinionãríos de avaliação da instrução a curto e longo prazos, ficha de registro de dificuldades e diários das observações do instrutor fo-ram testados com o protótipo do materiaI instrucional.
!III
I' I
II
1
zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
111 111
I
11111
111'
II1I1
1
I
I111
Maria Aparecida EstevesCaldas
Stone (1981) comenta a dificuldade de se isolar efeitos do material e dos
instru-mentos, quando ambos são testados,
si-multaneamente.
No caso do pré e pós-testes, a autora
considera que uma forma -de--contomar
a situação seria diminuir as possibilidades de viés nos resultados, através da elabora-ção de formas paralelas e ordenaelabora-ção alea-tória dos itens, crítica de especialistas e aplicação informal em indivíduos.
Procedimentos semelhantes foram
ado-tados no preparo dos testes utilizados
pe-lo programa de Pesquisa Bibliográfica.
Os itens do pré e pós-testes e dos testes
de unidades constituíram formas
parale-las distribuídas por sorteio. Além disso,
os testes de unidades foram analisados por especialistas e pré-testados por dois
deles, durante a validação do material
instrucional.
2.2.10 Cronograrna
Trata-se de um destaque dos
crono-gramas, anexos ao plano de ação do pro-grama de Pesquisa Bibliográfica.
Compreende os períodos de coleta de dados realizados antes, durante e após o
desenvolvimento do referido programa,
e relativos a avaliação de insumos,
pro-cesso e produto. A esses três momentos
correspondem as atividades de
delinea-mento do programa, controle do seu
de-senvolvimento e aompanhamento dos
resultados, parciais e fmais.
JIHGFEDCBA
N o anexo 4 é apresentado, como
exemplo, o cronograma da fase de obten-ção.
cbaZYXWVUTSRQPONMLKJIHGFEDCBA
32
2.2.11 Tratamento dos dados
Consistiu na sistematização e análise
dos dados de julgamento, de observação
e de aprendizagem.
Os dados de julgamento foram
decor-rentes da opinião emitida por alunos,
professores e especialistas, tendo como
base o opinionário de avaliação da
ins-trução a curto prazo, opinionário de ava-liação da instrução a longo prazo e rotei-ro de entrevistas.
Para análise dos dados foram
aplica-dos métoaplica-dos quantitativos e
qualitati-vos, conforme discriminação a seguir.
, Técnicas de análise quantitativa foram
utilizadas para tratamento dos dados do
opinionário de avaliação diagnóstica.
A opinião dos alunos e professores
sobre aspectos gerais, tais como metodo-logia, carga horária, corpo docente, entre
outros, foi computada mediante
percen-tagem simples. Relativo à relevância e
aprendizagem da Pesquisa Bibliográfica,
aplicou-se o teste de igualdade de
va-riança; com variáveis iguais foi usado o teste t' de Student e com variáveis dife-rentes, o teste t' de Aspin-Welch.
Pôde-se usar estatística paramétrica,
tendo em vista as amostras dos dois
gru-pos serem relativamente grandes, o que
acarreta uma aproximação para distribui-ção normal. Tentativa de análise não pa-ramétrica, empregando o teste de
Wílco-xon, demonstrou um número bastante
grande de empates, o que representa uma, restrição para o uso do referido teste.
O julgamento dos especialistas sobre o
protótipo do material instrucional
rece-beu tratamento qualitativo, mediante
des-Revista Brasileira de Biblioteconomia e Documentação17I1/21 : 1842, jan.ljulho 1984
PLANEJAMENTO E AVALIAÇÃO DE UM PROGRAMA DE PESQUISA BIBLIOGRÁFICA UTILIZANDO A ABORDAGEM TECNOLÓGICA DO ENSINO
crição das opiniões formuladas no pró-prio texto do documento.
Também foram submetidos à análise
qualitativa, os dados da ficha de registro das dificuldades, anotadas pelos alunos, durante o teste-piloto.
Os dados do opinionário de avaliação
da instrução a curto prazo, aplicado após o término do processo instrucional
rece-beram tratamento quantitativo e
quali-tativo. A análise quantitativa consistiu
na aplicação de uma escala de
classifica-ção das respostas (em altamente
satisfa-tório, parcialmente satisfatório e
insatís-fatório), computação de freqüência das
respostas e somatório do julgamento em reações favoráveis (valores altamente
sa-tísfatório e satisfató rio e desfavoráveis
(valores parcialmente satisfatórios e ínsa-tisfatórios ).
A análise qualitativa resultou em
sín-teses dos comentários e sugestões
apre-sentadas.
Os dados do opinionário de avaliação
da instrução a longo prazo, coletados
após três meses do término do curso,
foram tratados quantitativamente,
me-diante contagem de freqüência e percen-tagem simples.
Procedeu-se à análise qualitativa dos
dados do roteiro da entrevista aos
pro-fessores, coletados após quatro meses do término da instrução, visando saber se os alunos estavam aplicando os conhecimen-tos e habilidades adquiridas.
Os dados de observação do instrutor, registrados no seu diário de ocorrências,
durante a administração do programa,
foram, também, analisados
qualitativa-mente, através de descrição das
obser-vações.
Na análise dos dados de aprendizagem, utilizou-se método quantitativo, mediante aplicação dos índices de alcance por
obje-tivo, ganho
*
por objetivo, domínio deobjetivos, ganho individual e grupal. O índice de alcance por objetivo
re-presenta uma relação percentual entre o
número de alunos que atingiu cada obje-tivo no pós-teste e o número total de
alu-nos (POS
baZYXWVUTSRQPONMLKJIHGFEDCBA
S j N x 100).O índice de ganho por objetivo consis-te na relação percentual entre ganho real observado e ganho possível. O ganho real é indicado pela diferença entre número de alunos que atingiu determinado obje-tivo no pós-teste e o número que o atin-giu no pré-teste. O ganho possível é ex-presso pela diferença entre o número to-tal de alunos e o número que atingiu o objetivo no pré-teste. (POS - PREjMÁ-XIMO - PRÉ x 100).
O índice de domínio por objetivo indi-ca a percentagem de alunos que atingiu
determinada percentagem de objetivos,
no pós-teste ( X [ Y x 100).
O índice de ganho individual expressa
a relação percentual entre ganho real e
ganho possível (POS pREjMÁXIMO -PRÊ x 100).
No caso de "perda" ou "desaprendiza-gem", em que o resultado do pós-teste foi inferior ao pré-teste, aplicou-se a seguinte
*
Indíce de ganho é uma representaçãonumé-rica da aprendizagem (Gonçalves, 1978b).
Maria Aparecida EstevesCaldas
zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
fórmula: PRÉ - POS/pRÉ - MfNIMO x 100, sendo o escore mínimo representado pelo númro zero.
Essa fórmula foi usada para analisar os dados do reteste (POS-RETESTE/pOS-MINIMO x 100).
O índice de ganho grupal é computa-do com base na média computa-do grupo no teste e no escore médio máximo no pós-teste (X PÚS-X PRÉ
JIHGFEDCBA
j X MÁXIMO - XPRÉ x 100).
Em relação ao reteste fez-se uma
adaptação da fórmula, considerando "per-da'; grupal (X pOS - X RETESTEjX pOS - MINIMO x 100).
2.2.12 Organização dos dados
Refere-se às normas de apresentação dos dados brutos, isto é, não trabalhados estatisticamente, como também, os resul-tados decorrentes de tratamento estatís-tico.
Na presente pesquisa os dados resul-tantes da análise quantitativa foram orga-nizados em tabelas e gráficos.
Os resultados da análise qualitativa fo-ram apresentados em quadros ou de for-ma descritiva.
2.2.13 Fornecimento da informação
Concluída a descrição dos componen-tes das fases de delineamento e obtenção das informações, resta apresentar algumas considerações sobre a fase se fornecimen-to de informação, prevista pelo esquema conceítual de avaliação empregado.
Em primeiro lugar, é preciso esclarecer que não foi explicitada no plano de
ava-liação, pois constou do plano de ação, conforme pode ser observado no Diagra-ma de Fluxo de Trabalho (anexo 4).
Tomando co~o exemplo o DFT de
Operação, os blocos de atividade 12.0 e 16.0 representam a elaboração de relató-rios parciaís, sendo determinada a forma de apresentação desses relatórios.
Foi previsto, também, o preparo de
um relatório final, reunindo as informa-ções dos relatos parciaís.
Situando-se numa área mediana entre a Educação e a Biblioteconornia, as infor-mações foram apresentadas de tal modo que possibilitassem a decodíficação tanto por bibliotecários, como tecnólogos edu-cacionaís.
3. RESULTADO E DISCUSSÃO
A aplicação do enfoque sistêrnico na organização dos procedimentos
metodo-lógicos para planejar e implementar o
programa de Pesquisa Bibliográfica resul-tou no modelo de desenvolvimento ins-trucional apresentado na Figura 1.
O referido modelo evidencia algumas das vantagens da metodologia sistêrnica. A mais importante delas é a de permitir
o controle de qualidade do programa
e conseqüente aperfeiçoamento, median-te um processo contínuo de avaliação e revisões.
Essa estratégia reduz os riscos de se
adotar um programa, previamente
orga-nizado, sem antes verificar se constitui solução para os problemas da instrução, A identificação desses problemas, atra-vés da avaliação de necessidades, aumen·
ta a probabilidade de planejamento de
34 Revista Brasileira de Biblioteconomia e Documentação17(1/2) : 18-42. jan.!julho 1984
PLANEJAMENTO E AVALIAÇÃO DE UM PROGRAMA DE PESQUISA
BIBLIOGRÁFICA UTILIZANDO A ABORDAGEM TECNOLOGICA DO ENSINO
1
cbaZYXWVUTSRQPONMLKJIHGFEDCBA
Etap~d~ p1an.jament~ (obtenção do .i.t~ma)2 Etapa d~ imple~ntação
(op~r.ção do.iat~m3)
1.0 2.0 3.0
_.
- -.I
PONMLKJIHGFEDCBA
I d e n t i f i c a r n~
HGFEDCBA
Produzir progr,! I Conduzir ens.io•... cesaidadea lIIa do progr••••
....-
,...1.1 2.'1 3.1
Construir ma Administrar
f----l C o l ! t a r i n f o ! ,
f-.-i
t e r i a } e i n ! : , I---i instruçÃo emaçoes trume:ntos aplicar in!.
trumentos
1.2 2.2 3.2
Validar C01II A V I . l i a r ef~~
f---J Avaliar resul
1---1
E s p e c i a l i s t . a i I---t vid ade a CU!I
t a d o s - t o p r a z o
1.3 2.3 3.3
Definir prop~ Analisar r~ Avaliarvídade •.efeti
lon
~ sito e objeti ~ sultados e f---J
vos rrvisar I g o p r a z o
I
.-
II 3.4
2.4 I
Conduzir t e s
I Determinar
~ tr-piloto - II ~ usocondiçõesdo progr.!de
I ma
I
2.5
Avaliar re
f--+
sultadose
revisaf
2.6
I I
I l-4 Reproduzir
I I I
Ar
ma
I I I
L _
--- __ - 1
Figura 1
Modelo para testagem do desenvolvimento de um programa de instrução em Pesquisa Bibliográfica
Revista Brasileira de Bibliotecon~mia e Documentação1 7 ( 1 /2 ) :18-42, jan.!julho 1984 35
--I
II1
zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
1 Maria Aparecida Esteves Caldas
um programa realista que atenda aos
in-teresses e expectativas da clientela-alvo.
Além disso, o modelo privilegia a
par-ticipação de professores, especialistas e
estudantes no planejamento da instrução,
tornando-o mais produtivo do que se o
bibliotecário-docente assumisse total
res-ponsabilidade pela organização do
pro-grama instrucional.
De acordo com Cottam (1978), essa
cooperação predispõe o corpo docente
e discente à aceitação de um programa
inovador. Tal suposição não foi
confir-mada na presente verificação empírica
do modelo em discussão.
Constatou-se que diversos fatores
po-dem contribuir para o sucesso ou
fracas-so da utilização do modelo.
Um desses fatores é a cronogramação das atividades a fim de possibilitar tem-po para as revisões substanciais do
mate-rial instrucional e dos instrumentos de
medida.
Essas revisões representam momentos
críticos, principalmente, tendo-se em
vis-ta a probabilidade de erros de
julgamen-to na identificação dos problemas e
pos-síveis causas.
Outro fator importante que deve ser
levado em conta é o preparo do professor para uso da metodologia proposta, já que ele deve atuar como elaborador e
avalia-dor de currículo. Como sugere Harlen
(1979) esse treinamento pode se realizar
através de experiência direta com a
me-todologia e assessoramento de
especialis-ta em desenvolvimento de currículo.
Obstáculos de ordem administrativa
podem, também, dificultar a utilização
do modelo. Nesse sentido constitui um
passo importante assegurar apoio
logfs-tico junto à direção dos cursos
envolvi-dos pelo projeto.
4. CONCLUSÃO
A metodologia utilizada na
sistemati-zação dos procedimentos para
desenvol-ver o programa de Pesquisa
Bibliográfi-ca revelou-se satisfatória, pois ofereceu
uma orientação segura na montagem e ve-rificação empírica do referido programa.
Sua viabilidade pode ser evidenciada
tendo em vista que 90% das atividades
planejadas foram cumpridas. Nos 10%
das não executadas estão incluídos alguns relatórios parciais que não foram elabo-rados devido a alterações no cronograma de execução.
Contudo, admite-se que o
desenvol-vimento de um programa no molde pro-posto pelo modelo em pauta, requer tem-po e recursos relativamente extensos.
Daí, considera-se que o modelo é ade-quado a programas para os quais devam
ser produzidos ou adaptados materiais
instrucionais inovadores e usados em lar-ga escala, em cursos regulares.
Sob outras condições, o modelo
pode-rá ser simplificado, resumindo-se o
pro-cesso de avaliação a um diagnóstico de
necessidades, para determinar os
objeti-vos do curso, julgamento profissional e
testagem um-a-um com três ou quatro
indivíduos, para aperfeiçoar o material.
Dessa foram mantêm-se os princípios
que orientam o modelo. Em primeiro
lugar, o desenvolvimento. instrucional
deve ser precedido de uma especificação de objetivos, baseada nas necessidades da
36 Revista Brasileira de Biblioteconomia e Documentação17(1/2) : 18-42, jan./julho 1984
PLANEJAMENTO E AVALIAÇÃO DE UM PROGRAMA DE PESQUISA BIBLlOGRAFICA UTILIZANDO A ABORDAGEM TECNOLOGICA DO ENSINO
clientela. Além disso, o sistema deve ser aperfeiçoado, antes de entrar em uso re-gular, a fim de produzir os efeitos dese-jados.
REFEIU!NCIAS BffiUOGRÁFICAS
1. AH-TIN, Ah-Ton & VAllRIO, Denise Hau-ser. A formação dos usuários no meio uni-versitário: uma revisão bibliográfica (1974-1978). In: CONGRESSO BRASILEIRO DE BIBUOTECONOMlA E
DOCUMENTA-çÃO, 10, Curitiba, 1979.
baZYXWVUTSRQPONMLKJIHGFEDCBA
A n a i s . Curitiba, Associação dos Bibliotecários do Paraná,1979.V.1, p. 177-200.
2. BASTOS, LIDa da Rocha et alii, Glossário de termos básicos em pesquisa científica. In: ---. M a n u a l p a r a a e l a b o r a ç ã o d e p r o -j e t o s e r e l a t ó r i o s d e p e s q u i s a , t e s e s e d i s s e r -t a ç õ e s . Rio de Janeiro, Zahar, 1979. Anexo 15, p. 104-10.
3. BERTTI, Glória Cardozo et alli. Contexto do processo de avaliação: planejamento sis-têmico e processo decisório. In: --- .P l a -n e j a m e -n t o d e u m c u r s o d e t r e i n a m e n t o d e a v a l i a d o r e s e d u c a c i o n a i s . São José dos Cam-pos, 1977. Apêndice F. unidade 1, F2-79. Tese de Mestrado, Instituto de Pesquisas Espaciais.
4. ----o A estrutura de um plano de avalia-ção. In: --- .P l a n e j a m e n t o d e u m c u r s o d e t r e i n a m e n t o d e a v a l i a d o r e s e d u c a c i o n a i s . S ã o J o s é d o s Campos, INPE, 1977. Apêndi-ce F, unidade 6, p. F363-9. Tese de Mestra-do, Instituto de Pesquisas Espaciais.
5. ----o P l a n e j a m e n t o d e u m c u r s o d e t r e i -n a m e -n t o d e a v a l i a d o r e s e d u c a c i o n a i s . São José dos Campos, INPE, 1977. 369 p. Tese de Mestrado, Instituto de Pesquisas Espa-ciais.
6. BERTTI, Glória Cardoso et alli. Planejamen-to do teste piloPlanejamen-to e instalação do curso de treinamento. In: --- .P l a n e j a m e n t o d e u m c u r s o d e t r e i n a m e n t o d e a v a l i a d o r e s e d u c a -c i o n a i s . São José dos Campos, INPE, 1977.
Capo 3, p. 137-83. Tese de Mestrado, Insti-tuto de Pesquisa Espaciais.
7. BREWER, J; G.& HILLS, P. J. Evaluation of reader instruction,
JIHGFEDCBA
L ib r i, Copenhagen, 16 (1) : 55-56, Mar. 1966.8. COTTAM, Keith. An instructional
develop-ment model for building bibliographic instruction programs. In: OBERMAN-SO-ROKA, Cerise, ed. P r o c e e d i n g s fr o m S o u -t h e a s -t e m c o n fe r e n c e o n a p p r o a c h e s t o b i b l i o g r a p h i c i n s t r u c t i o n , March 16-17, 1978, Charleston South Carolina, College of Charleston Continuing Office, 1978. p.3340.
9. FJALLBRANT, Nancy. Evaluation in a user education programme. J. L i b r . , London, 2 (2) : 23-25, 1977.
10. GAGN~, Robert M. Condições da aprendi-zagem na instrução. In: ---o P r i n c t p i o s e s s e n c i a i s d a a p r e n d i z a g e m p a r a o e n s i n o . Porto Alegre, Globo, 1980. 175 p.
11. GOLDBERG, Maria Amélia &FRANCO, Maria Laura Puglisi Barbosa.I n o v a ç ã o e d u -c a -c i o n a l : u m p r o j e t o c o n t r o l a d o p o r a v a l i a -ç ã o e p e s q u i s a . São Paulo, Cortez&Moraes, 1980.434 p.
12. --- cl SOUZA, Clarílza Prado de. Treinamento. Plano de avaliação - meto-dologia. In: ---o A p r á t i c a d e a v a l i a ç ã o . São Paulo, Cortez &Moraes, 1979. pt. 4, p.49-98.
13. GONÇALVES, Consuelo Teresa Fernandes. U m e s q u e m a d e a v a l i a ç ã o p a r a p r o g r a m a s d e i n s t r u ç ã o . São José dos Campos, INPE, 1978. 173 p. Tese de Mestrado, Instituto de-Pesquisas Espaciais.
14. ---. Verificação empírica do sistema proposto: avaliação de um curso na área de tecnologia educacional. In: ---o U m e s q u e -m a d e a v a l i a ç ã o p a r a p r o g r a m a s d e i n s t r u -ç ã o . São José dos Campos, INPE, 1978. capo 3, p. 41-92. Tese de Mestrado, Instituto de Pesquisas Espaciais.
15. GRESSLER, Lori Alice. Qualidades deseja-das em um instrumento de medição. In: --o P e s q u i s a e d u c a c i o n a l ;importância, modelos, validade, variáveis, hipóteses, amostragens,
