DA
FUNDA GETULIO VARGAS
EFICIÊNCIA DA AVALIAÇÃOFORMATIVA NA APRENDIZAGEM
Maria Alice Sigaud Machado Coelho
FGV/ISOP/CPGPA
DA
FUNDA GETULIO VARGAS
EFICIÊNCIA DA AVALIAÇÃOFORMATIVA NA APRENDIZAGEM
POR
MARIA ALICE SIGAUD MACHADO COELHO
Dissertação submetida como requisito parcial para a obtenção do grau de
MESTRE EM PSICOLOGIA APLICADA
Meus agradecimentos
- Ao Professo Antonio Gomes Penna pela sua orientação;
- A Nelma Abreu e Lima Feres por seu interesse e incentivo ao trabalho; - Ao Professo Franco Lo Presti Seminério, pelo incentivo e estimulo no desenvolvimento do trabalho;
- Ao Professor Luiz Carlos Galvão Lobo, Diretor do Núcleo de Tecnologia Educacional para a Saúde - NUTES/UFRJ, pelo contínuo estímulo para que este trabalho fosse concluído;
- Ao Professor Léon Jourdan Filho, pela assessoria estatística;
- Aos Professores Antonio Paes de. Carvalho e Ayres da Fonseca Costa, por permitirem que o material desenvolvido no Curso de Fisiologia Cárdio-respiratória fosse utilizado como base para o presente estudo;
- À Professora Nilma Santos Fontanive, pela assessoria educacional' no planejamento do curso;
- À Professora Maria Alice Clasen Roschke, pela cuidadosa revisão e sugestões;
- À Maria Helena Alves Ferreira, pelo trabalho de datilografia;
- À Fundação Getúlio Vargas, especialmente ao Instituto de Seleção e Orientação Profissional, pela bolsa de estudo concedida durante o curso.
O presente trabalho descreve o estudo comparativo entre dois métodos de ensino aplicados à disciplina de Fisiologia Cárdio-respiratória do curso de Graduação em Medicina, no Centro de Ciências Médicas da Universidade Federal do Rio de Janeiro.
Os métodos comparados foram: a auto-instrução e o método tradicional.
A formulação do problema, o seu contexto e fundamentação teórica são descritos no início do trabalho, que prossegue' apresentando o
planejamentodo curso com o emprego de ambos os métodos.
Em seguida, descreve-se a metodologia utilizada no estudo experimental.
Foi adotado o esquema de grupos equivalentes com pós-teste, sendo que o grupo experimental e os grupos de controle' foram escolhidos aleatoriamente.
A hipótese experimental visava comprovar que a nota ' final', correspondente à verificação da aprendizagem na disciplina, apresenta diferença significativa entre os alunos que foram submetidos ao método de auto-instrução, comparativamente à nota dos alunos que foram submetidos ao método tradicional.
O tratamento estatístico utilizado foi a análise da covariância com o nível de significância de 0,05.
O resultado da análise da covariância não foi significativo, considerando a média final do aluno no teste-critério, assim como as notas parciais nas cinco semanas do curso.
Uma análise de regressão por passos foi feita, visando controlar algumas variáveis pudessem intervir na diferença entre os
grupos experimental e de controle.
Entre as variáveis escolhidas, pode-se afirmar que é preditora da nota do aluno na disciplina Fisiologia Cárdio-respiratória, a nota anterior do aluno na disciplina Biofísica.
Concluindo, sugere-se novas pesquisas no campo, principalmente relativas a tempo efetivamente gasto pelo professor e pelo aluno, utilizando o método de auto-instrução, assim como' medidas de retenção da aprendizagem.
teaching methods applied to the Cardio-Respiratory Physiology discipline of the Medical Sciences Center of the Federal University of Rio de Janeiro.
The compared methods were: the self-instructional ' and the traditional one.
The formulation of the problem, its context and the theoretical basis are described in the beginning of this work which continues presenting the course planning, including the use of both methods.
Following, it is described the methodology utilized in the experimental study.
It was adopted the outline of equivalent groups' with post-test, and the experimental and control groups have' been selected in an aleatory way.
The experimental hipothesis which aimed at the confirmation of the final mark correspondent to the learning-checking in the discipline, shows significant difference among learners previously submitted to the self-instructional method, comparatively to the marks obtained by learners submitted to the traditional method.
The statistical treatment utilized was the analysis of the covariance with the significance level of 0.05.
The result of the covariance analysis was not significant, considering the learner's final average in the criterion-test, as well as the partial marks obtained during the five weeks of the course.
It was carried-out the stepwise regression aiming at the control of some variables which could intervene in the difference between the
previous mark in the Biophysics discipline is of his predictor of his mark in the discipline Cardio-Respiratory Physiology.
Concluding, it is' suggested the execution of new researches
in the field, particularly related to the time effectively spent by teacher and student utilizing the self-instructional method, as well as the steps to be taken for learning' retention.
AGRADEECIMENTOS . . . IV SUMÁRIO. . . V
INTRODUÇÃO. . . 1
CAPÍTULO I - O PROBLEHA Contexto do Problema . . . 3
Fundamentação Teórica e Metodológica . . . 6
Formulação do Prob1ema . . . 21
CAPÍTULO II - PLANEJAMENTO DO CURSO DE FISIOLOGIA CÂRDIO-RESPIRATÓRIA Método de Auto- instrução . . . 25
Método Tradicional . . . 38
CAPÍTULO III - METODOLOGIA Amostra 40 Esquema Experimental . . . 40
Tratamento Experimental . . . 41
Procedimento Estatístico . . . 43
CAPÍTULO IV - DISCUSSÃO DE RESULTADOS E CONCLUSOES Análise de covariância . . . 44
Análise de Regressão por Passos . . . 48
Discussão de Resultados . . . 52
Conclusões e Sugestões . . . 53
BIBLIOGRAFIA . . . 55
1- Distribuição de objetivos de pré-requisitos
de acordo com os níveis taxonômicos . . . 27 2 - Distribuição das questões da prova diagnóstica
de acordo com os níveis taxonômicos . . . 28 3 - Distribuição percentual dos objetivos de pré-
Requisitos e dos ítens da prova de avaliação '
diagnostica . . . 29 4 - Distribuição dos objetivos do curso de acordo
com o nível taxonômico e o conteúdo . . . 31 5 - Distribuição das questões de avaliação formativa
de acordo com os níveis taxonômicos . . . 32 6 - Distribuição de ítens-teste dos testes-critério
de acordo com os níveis taxonômicos medidos. . . 34 7- Distribuição percentual dos objetivos do curso
e dos ítens-teste, de acordo com os níveis taxonômicos
e o conteúdo. . . 35 8 - Análise do índice de fidedignidade dos cinco
testes-critério, com as médias e desvios-padrões,
obtidos por toda a turma. . . 36 9 - índices de dificuldade dos ítens-teste dos cinco
testes-critério . . . 37 10 - índice de discriminação dos ítens-teste dos
cinco testes-critério . . . 38 11 - Resultado da análise da covariância dos três
grupos (experimental, controle voluntário, (controle não-voluntário), usando como
covariantes os resultados das notas de vestibular, notas em Biofísica, notas em Neurofisiologia, pré-teste em Fisiologia Cárdio-respiratória, inteligência não-verbal, raciocínio verbal e
uso de linguagem. . . 45
12 - A - 1ª semana . . . 46
12 - B - 2ª semana . . . 46
12 - C - 3ª semana . . . 47
12 - D - 4ª semana . . . 47
12 - E - 5ª semana . . . 47
Página 13 - Média das variáveis de controle e do teste critério nos grupos experimental, controle voluntário e controle não-voluntário . . . 50
l4 - Médias e médias ajustadas e Desvios-padrões dos três grupos, ajustados com relação às variáveis de controle. . . 51
Em 1973 foi instalado no Centro de Ciências Médicas a UFRJ, o Núcleo de Tecnologia Educacional para a Saúde (NUTES).
O principal objetivo deste Núcleo é implantar no setor de ensino para a saúde um novo método baseado em auto-instrução.
O número crescente de alunos que entra anualmente na universidade exige uma racionalização do ensino para que um atendimento adequado, sem detrimento da qualidade da aprendizagem, possa ser oferecido. Por outro lado, o número de professores universitários é bem limitado frente à massa de alunos que aflui a cada período.
A necessidade de multiplicar informações, mantendo a fidelidade da mensagem, contribui para a modificação do papel do professor no processo ensino-aprendizagem.
O simples repetidor de informações deverá dar lugar ao planejador, orientador e avaliador do desempenho do aluno.
Garantir o crescimento constante do indivíduo, mesmo
afastado do ambiente formal de ensino, é uma tarefa que não pode ser esquecida.
O método de auto-instrução procura atender às necessidades do sistema educacional, proporcionando:
- atendimento a maior número de alunos;
- capacitação para a busca individual de informações; - liberação do professor para a tarefa de orientador.
Uma sistemática de pesquisas educacionais, visando validar o novo método, assim como para justificar a sua implementação, está sendo desenvolvida.
O primeiro estudo experimental realizado pelo NUTES é este que será descrito.
A disciplina do Ciclo Básico do Centro de Ciências Médicas - Fisiologia Cárdio-respiratória - foi a escolhida para utilizar experimentalmente o método.
Tendo como professores responsáveis, Antonio Paes de Carvalho e Ayres da Fonseca Costa, recebeu assessoria da equipe do NUTES durante todo o processo de planejamento, desenvolvimento e avaliação.
O presente estudo descreve, no capítulo I, o problema, sua importância e sua delimitação, e apresenta uma revisão da literatura sobre o tema.
O capítulo II trata do planejamento do curso em todas as suas etapas.
O capítulo III descreve o estudo experimental, em que foram comparados os resultados dos alunos submetidos ao método de auto-instrução, aos resultados apresentados pelos alunos que realizaram a aprendizagem através do método tradicional.
.3
CAPÍTULO I - O PROOBLEMA
l.l. Contexto do Problema
O método de auto-instrução no ensino de Medicina vem sendo utilizado desde 1970 na "Ohio State University College of Medicine" e a partir de 1971 pela "University of Washington School of Medicine".
A importância do uso deste método está ligada à necessidade de proporcionar maior autonomia ao aluno no processo educacional. O ensino não pode limitar-se à simples transmissão de informação, mas deve voltar-se principalmente para desenvolver a habilidade de busca de conhecimentos.
O método de auto-instrução pretende formar esta atitude de curiosidade constante, pois só assim estará assegurado o crescimento intelectual e profissional do indivíduo.
A "Ohio State University" teve como objetivos, ao implantar o Programa de Estudo Independente (ISP), dar a maior flexibilidade ao estudante para vencer etapas sucessivas do currículo, permitindo desta maneira a redução substancial do período de graduação. O Programa fornecia ao aluno uma listagem de objetivos instrucionais correspondentes a cada período do curso, bem como, fontes instrucionais alternativas para o atingimento destes objetivos. Quando o aluno atingia determinado ponto podia testar seus conhecimentos através de testes de avaliação formativa. Um resultado mínimo estipulado era necessário para que o aluno pudesse passar à etapa posterior.
.4
A avaliação formativa enfatizada no Programa de Estudo Independente constitui um guia para o aluno durante o processo de aprendizagem, orientando-o quanto a falhas no seu desempenho.
O Programa surgiu a partir de alguns problemas observados durante alguns anos consecutivos na "Ohio State":
- as diferenças cada vez mais acentuadas quanto à preparação acadêmica dos alunos, ao iniciarem o curso, exigiam um programa de ajustamento de conhecimentos;
- as dificuldades específicas de aprendizagem apresentadas por alguns alunos ao iniciarem as disciplinas de ciências básicas; - as diferenças de interesses e metas dos alunos ao iniciarem o
curso de graduação em medicina.
O desenvolvimento dos Programas de Estudo Individualizado da "Ohio State" teve então como objetivos principais:
- favorecer e atender necessidades dos alunos em diferentes níveis de conhecimento e interesse;
- favorecer a aprendizagem através da flexibilidade de tempo e diversidade do material instrucional fornecido.
Em 1971 a "University of Washington School of Medicine" também incorporou ao currículo de graduação o conceito de ensino individualizado.
A partir de 1972 como a "Ohio State", a “Washington School of Medicine" passou a adotar, em seus cursos de graduação, os programas de Estudo Independente com as mesmas características dos programas iniciais da "Ohio State".
juntamente com a Professora Carolina Boro e Rodolfo Azzi iniciou em 1964 na Universidade de Brasília o primeiro curso utilizando o método
denominado “Sistema Personalizado de Instrução”.
Keller (1968) diferencia seu método de ensino de procedimento convencional pelos seguintes aspectos:
1 – permite que o aluno progrida ao longo do curso de acordo com o seu próprio ritmo;
2 - o aluno só pode passar para uma unidade quando demonstrar completo domínio da unidade anterior;
3 – as aulas expositivas e demonstrações são usadas como veículo de motivação mais do que como fontes de informação;
4 – diminui a comunicação escrita entre aluno e professor;
5 – utiliza orientadores, o que permite repetir testes, fornecer resultados imediatos aos alunos, tornando o ensino mais atraente e dando ênfase ao aspecto pessoal-social do processo educacional.
Algumas experiências, utilizando o plano Keller serão descritas neste trabalho.
Em 1973, o centro de ciências Médicas da UFRJ, através do NUTES, recebeu os primeiros de ensino individualizado para serem traduzidos, testados, e adaptados aos cursos de graduação.
Estes programas serviram como motivação para o
1.2. Fundamentação Teórica e Metodológica
A proposta de um estudo sobre a eficiência avaliação formativa na aprendizagem exige que alguns aspectos teóricos e metodológicos sejam abordados inicialmente para nos situarmos frente a problemática da avaliação e sua contribuição na processo ensino-aprendizagem.
Uma vez que o método desenvolvido com os alunos foi o
método de “auto-instrução”, procuramos localizá-lo no que diz a respeito à teoria de aprendizagem que o fundamenta, assim como o modelo de ensino do qual ele se originou.
Algumas pesquisas relativas à comparações de métodos de ensino, resultado de aprendizagem reforço de aprendizagem, serão também salientadas como fontes de complementares ao nosso estudo.
1.2.1 – O Processo e sua função como regulador de qualquer sistema de aprendizagem
Podemos conceituar avaliação como um processo de delinear, obter e prover informações úteis para julgar alternativas de decisão, tendo como principal função identificar, coletar e preparar dados a fim de fazer inferências das discrepâncias, existentes entre os padrões estabelecidos e os desempenhos obtidos (Stuffleban, 1970).
Por tanto, é através do processo avaliativo que vamos manter, modificar ou suprimir metas e objetivos que pretendemos alcançar.
O problema de se definir avaliação reside na complexidade de processos que estão envolvidos na tarefa de julgamento e na tomada de decisões.
Stufflebeam (1970) diz que “... como todo termo analítico, avaliação pode ser definida de maneiras muito arbitrárias”. Três definições
particulares têm ganho aceitação comum e têm certa utilidade:
1 – avaliação como medida;
2 – avaliação determinando a congruência entre desempenho e objetivos;
3 – avaliação como julgamento profissional.
Entre as três definições propostas por ele, distinguiremos a
definição de avaliação que “determina a congruência entre desempenho e
objetivos” (Stufflebeam, 1970).
A definição foi proposta por Ralph Tyler (1971) em seu trabalho,
no 8º ano da “Ohio State University”:
“o processo de avaliação é essencialmente o processo de
determinar em que extensão os objetivos educacionais estão realmente sendo atingidos pelo programa do currículo e instituição. Uma vez que os objetivos educacionais são essencialmente mudanças nos indivíduos, isto é, os objetivos são formulados no sentido de determinar certas mudanças desejáveis nos padrões de comportamento do aluno, então, a avaliação é o processo de determinar o grau em estas mudanças no comportamento estão realmente ocorrendo” (Ralph Tyler, 1971).
Esta definição apresenta muitas vantagens:
julgamentos sobre o que estão fazendo;
2- a avaliação não permanece centrada somente no aluno, porque fornece informações sobre o currículo e procedimento educacional;
3- fornece constante “Feedback”;
4- a avaliação tem a finalidade, não julgar somente um
“produto”, mas também um “processo”.
Baseados na definição de Tayler, podemos distinguir dois momentos na avaliação.
Segundo Scriven (1970), avaliação pode e usualmente representa diferentes papéis:
- No desenvolvimento de um curso, uma vez que ele seja flexível;
- Ao avaliar um produto já pronto.
Propõe então que se use os termos “formativa” e “somativa” para qualificar a avaliação nestes dois momentos.
Seu artigo sobre avaliação formativa, Baker (1973) cita Schutz
salientando que “o produto da avaliação formativa deve servir para desenvolver um programa instrucional”.
Geralmente, a avaliação formativa é usada para descrever a avaliação de programas educacionais no estágio de desenvolvimento em que ele se encontra.
A análise da consistência, isto é, a congruência entre o desempenho e os objetivos, é considerada crucial para estudos de avaliação formativa, uma vez que pode ajudar a diagnosticar a causa de maus resultados. Essencialmente, necessitamos resolver três problemas de emparelhamento:
2º- O emparelhamento entre objetivos e conteúdo dos exames;
3º- O emparelhamento entre o conteúdo do curso e o conteúdo dos exames.
Concluindo, Schutz (1972) afirma que: “somente necessitamos
determinar os dois primeiros e estamos aptos a avaliar o terceiro, mas, de fato, a grande vantagem em tentar obter uma alternativa de cada um, independentemente, para realizar o curso.”
1.2.2 Modelos de ensino
Um estudo sobre a eficiência do método de auto-instrução na aprendizagem do aluno, exige inseri-lo no modelo de ensino que o fundamenta.
Segundo Nuthall e Snook (1973) podemos distinguir três modelos dominantes no ensino, baseados em recentes teorias de aprendizagem:
- O modelo de controle do comportamento;
- O modelo de aprendizagem pela descoberta;
- O modelo racional.
Daremos ênfase aos dois primeiros modelos então mais coerentes como a metodologia adotada no curso fisiologia Cardio-Respiratória.
O modelo de controle do comportamento fundamenta-se em um conjunto de conceitos sobre ensino que tentaria aplicar o padrão interpretativo a psicologia do comportamento as situações de sala de aula. É a visão do ensino ligada as teorias e aprendizagem de estímulo-resposta.
O termo “controle de comportamento” foi aplicado a este
modelo porque subjacente a muitos conceitos e idéias utilizados, está a noção de ensino como método de controlar o comporta-
mento do aluno e as condições de aprendizagem. O Ensino é visto como procedimento de direção que deve ser mais rápido e eficiente possível.
Podemos distinguir duas linhas na aplicação do modelo de controle do comportamento do ensino:
- utilização nas áreas de instrução para transmitir conteúdo – a instrução programada é uma das aplicações, assim como o material instrucional de questões objetivas na avaliação formativa;
- a análise do comportamento para a modificação dos padrões comportamentais do aluno – nesta versão, a teoria operante é mantida na sua forma pura. A aprendizagem é vista como o produto, em conseqüência do comportamento.
Na versão do modelo voltado para a transmissão de conteúdo, um dos pontos chaves está na utilização no reforço imediato após a reavaliação da tarefa, tanto na instrução programada como na avaliação formativa. É difícil para o aluno, de um modo geral, determinar se sua aprendizagem é satisfatória, principalmente quando enfrenta um assunto ou um professor novos para ele. Os resultados de uma avaliação formativa podem ser uma efetiva recompensa ou reforço pra o aluno que tenha adquirido ou, quase alcançado o domínio de uma unidade de aprendizagem. A repetida evidencia do domínio é um poderoso reforço que assegurará ao aluno uma continuidade de investimento de esforço e interesse no assunto.
contingências do reforço, isto é, o arranjo da situação para que a ocorrência do reforço se torne contingente à ocorrência imediata anterior de uma resposta, são um ponto crucial numa resposta. (Oliveira, 1974)
A função do professor no processo de instrução é arranjar as contingências de reforço de maneira a possibilitar ou aumentar a probabilidade da ocorrência de uma resposta a ser aprendida.
Contingências de reforço consistem, basicamente, em oferecer um estímulo reforçador sempre que o aluno emite uma resposta igual ou próxima a resposta desejada.
Skinner desenvolveu todo o seu trabalho no controle e predição das relações entre estimulo e resposta. Para o Skinner, o importante é o esforço e as contingências que o esforço que, através do arranjo de situações, favorecem a probabilidade de ocorrências da resposta. Cabe ao professor não procurar ou encontrar reforços outros do que aqueles que já existem na situação de sala de aula, mas sim, armar e arranjar melhor as contingências desses reforços em relação às respostas desejadas. ( Oliveira, 1974)
Skinner (1963) afirma que os eventos reforçados podem ser de dois tipos:
- reforços que consistem na apresentação de estímulos, no acréscimo de alguma coisa à situação – são os reforços positivos;
- reforços que consistem na remoção de alguma alteração – são os reforços negativos.
O método de auto-instrução está embasado no método de modelo de controle do comportamento, e a avaliação formativa, como determinante básico desse método, utiliza o conceito de reforço positivo desenvolvido por Skinner.
O modelo da aprendizagem pela descoberta da ênfase à solução de problemas pelo aluno durante o processo de adquirir novos conhecimentos. Estabelece dois estágios para esse processo:
- inicialmente um aluno tenta resolver o problema ou discutir exemplo utilizando seu conhecimento anterior.
- em um segundo estágio, os problemas exemplos são mudados rapidamente e o procedimento anterior utilizado torna-se impossível de ser aplicado. Durante esse estágio, o aluno
“descobre” um novo método ou princípio que o capacita a
resolver os problemas novos de maneira mais eficiente ou correta.
Uma descrição mais elaborada do procedimento de ensino utilizando o método de aprendizagem pela descoberta é apresentada por Worthen e é citada por Nuthall e Snook (1973). Em um experimento comparado com o método expositivo e o resultado de aprendizagem para a descoberta, o material preparado pelo professor foi cuidadosamente selecionado levando em conta que:
- o professor não atua como fonte principal de conhecimento, mas sim como orientador do aluno durante o processo de solução de problemas;
- o professor não fornece generalizações mas proporciona oportunidade para que o aluno as faça;
deve dizer que ele está errado, mas sim encaminhá-lo através de exemplos para que chegue á conclusão de que a generalização feita estava errada.
O material apresentado pelo professor foi organizado em forma de problemas e obedecendo ao princípio das regras heurísticas.
Algumas críticas têm sido feitas ao modelo de aprendizagem pela descoberta. Do ponto de vista da psicóloga experimental, é considerado muito confuso conceitualmente, sendo visto como um método e não como um modelo de ensino.
O problema do tempo para atendimento individualizado do aluno, também é apontado como uma das dificuldades para utilização do modelo em turmas muito numerosas.
Friedlander (1965) demonstra que muitas falhas ou erros dos alunos permanecem quando o professor não tem condições de acompanhar todo o processo de aprendizagem. O aluno necessita receber informações para que possa fazer inferências corretas.
1.2.3. Pesquisas Relacionadas
Focalizaremos inúmeras pesquisas, comparando métodos de auto-instrução, efeito de reforço e “feedback” na aprendizagem,uma vez que se relacionam com o presente trabalho por sistemática ou pela semelhança de enfoque.
1.2.3.1 Comparação entre métodos de ensino
demonstrações de laboratório, não modifica o valor do ensino inerente a apresentação face a face nos pequenos grupos tradicionais. Um pequeno grupo assistiu à demonstração no laboratório e um grande grupo assistiu a mesma demonstração pela televisão. Ambos os grupos se submeteram ao teste-critério, cobrindo o material apresentado. A média do grupo de laboratório foi 35,00 e a média do grupo de televisão foi 37,75 e os desvios, respectivamente, 3,06 e 3,00. Não houve diferença significativa entre as duas distribuições nos escores do teste, mas os autores concluem que é bastante útil o uso da televisão no ensino, pois não distorce a informação e facilita o acesso de maior número de alunos ás demonstrações de laboratório.
- S.G. Owen e outros (1965) realizaram um estudo experimental comparado a técnica de instrução programa, através de máquinas de ensinar, com o método tradicional no ensino da eletrocardiografia.
Os resultados obtidos foram: para o grupo de instrução programada a média de 86,0; e para o grupo de ensino convencional, 84,2.
Não houve diferença significativa entre as médias dos dois grupos, porém, no reteste, o grupo de instrução programada apresentou melhores resultados, significando maior retenção.
- Martin G. Netsky (1964) e outros conduziram um experimento em aprendizagem para alunos do 2º ano de graduação em medicina. Os dois grupos receberam tratamentos diversos; seminários e aula expositiva. Não houve diferença significativa entre as médias dos dois grupos.
1.2.3.2. Comparação entre métodos de ensino, envolvendo auto-instrução
estudos comparativos entre programas de estudo independentes e o Método Tradicional (aulas expositivas e grupos de discussão). Utilizou como medida de aprendizagem doas alunos em 1970, em ambos os métodos, as médias nos sub-testes de Anatomia, Fisiologia e Bioquímica da Parte I do “National
Board Examination”. As diferenças nas médias de Anatomia diferiram significativamente o nível de 0,0025. Quanto aos resultados em Fisiologia e Bioquímica, o grupo do método tradicional obteve melhores resultados embora esta diferença não tenha sido estatisticamente significante. Em 1971, novamente processaram-se estudos comparativos entre os alunos do Programa de Estudo Independente e do Método Tradicional, utilizando-se três sub-testes do “National Board Examination”. Mais uma vez, as médias em Anatomia foram significativamente diferentes ao nível de 0,025, enquanto em Fisiologia na o houve diferença significativa. Comparativamente as médias obtidas em 1970, houve um aumento nas notas nas duas disciplinas, Fisiologia e Bioquímica, no grupo de alunos do Programa de Estudo Independente. Quanto ao tempo dispendido na aprendizagem, houve grande vantagem para os alunos do programa de Estudo Independente, pois a Fase II do programa corresponde à Neuroanatomia, foi cumprida mais rapidamente do que pelo grupo submetido ao método Tradicional, constituindo-se como uma das vantagens no teste final para os alunos do novo método.
Quanto à utilização do Programa de Estudo Independente,
realizada na “Washington University” (Dohner, 1973) pouco se pode dizer
até agora, uma vez que os estudos comparativos são bastante precários e indicam equivalência dos resultados em ambos os métodos.
de Psicologia. O material do curso organizado em vinte unidades e era necessário que o aluno demonstrasse domínio completo de cada unidade subseqüente. Um pequeno exame e uma breve entrevista com o orientador (proctor) foi o instrumento de avaliação da aprendizagem de cada unidade. O resultado demonstrou que desempenho do aluno atingiu níveis bem mas elevados, sugerindo que o método contribuiu para o aumento substancialmente o nível de desempenho do aluno na aprendizagem de conteúdos de ensino.
1.2.3.3. Efeito do reforço e “feedback” na aprendizagem.
- Sassewroth e Garverich (1965), em um estudo sobre o efeito
do “feedback” diferencial em exames da retenção e transferência de
aprendizagem, utilizaram o seguinte experimento experimental:
- quatro grupos, após realizaram o mesmo exame, receberam tratamentos diversos:
- 1º grupo –não recebeu “feedback” sobre seus resultados no exame (controle);
- 2º grupo – recebeu as respostas das questões de exame na quadro, após a prova;
- 3º grupo – participou de uma discussão com os instrutores sobre o resultado em cada item do exame;
- 4º grupo – recebeu o exame corrigido e a indicação da bibliografia específica, onde encontraria a resposta para cada item do exame.
A hipótese a ser testada foi a de que informações
recebidas de “feedback” de exames parciais, aumentariam a retenção e
procedimento experimental determinou que o primeiro grupo não recebe nenhum informação; o 2º grupo recebeu alguma informação, através do resultado de cada item da prova, escrita no quadro negro; 3º grupo pôde discutir com os instrutores, recebendo um numero de informações, e o 4º grupo, foi o mais bem informado, pois cada item recebia um material específico para correção.
Os resultados obtidos demonstram que o tipo de “feedback” recebido pelo aluno, não é muito relevante para aumentar sua aprendizagem,
mas que a diferença significativa entre os grupos que receberam “feedback”
e o grupo de controle, evidenciando a importância de se fornecer informações ao aluno sobre seu desempenho ao final de uma atividade avaliativa.
- Gray, R. (1967) realizou um estudo comparativo dobre os
efeitos do “feedback” imediatos da repostas corretas em m teste. Foram
testados alunos de graduação em Psicologia. Gray planejou um “Instrumento de „Feedback Imediato” que fornecia ao aluno do grupo da prova
experimental a resposta correta, logo após responder uma questão de prova. O grupo de controle realizava o mesmo teste, mas não recebia o “feedback” imediato de suas respostas e sim, o resultado global, após uma semana de realização.
Os resultados do estudo de Gray não revelaram diferenças significativas, entre os escores de rendimento em Psicologia, dos grupos experimental e controle.
1.2.3.4. Estudos comparativos no Brasil
No Brasil, o interesse por pesquisas sobre comparação entre métodos de ensino, é recente, podendo-se citar:
Os resultados obtidos não evidenciaram existir diferença significativa entre os resultados dos alunos submetidos aos diferentes métodos.
- Caldeira (1974) em uma pesquisa, visando comparar o sino através da Instrução Programada e o ensino tradicional na aprendizagem de Estatística, concluiu que os resultados obtidos não demonstraram existir diferenças significativas entre os dois tratamentos dados aos grupos.
- Bori (1974) diz que o primeiro curso personalizado em desenvolvimento no Brasil, utilizou o Método Keller (Personalized System of Instructon). A disciplina realizada na Universidade Nacional de Brasília, em 1964, para os alunos de graduação em Psicologia, foi a Introdução à Analise Experimental do Comportamento (IAEC-1). O curso desenvolvia-se com um grande conjunto de leituras, exercícios de laboratórios, algumas aulas expositivas e demonstrações. Com a interrupção de todas as funções acadêmicas da Universidade de Brasília em 1965, a instrução personalizada sofreu uma quebra.
Em 1972, relata Carolina Bori (1974), ainda na Universidade de Brasília, um curso introdutório de física e mecânica foi iniciado utilizando o sistema de introdução personalizada pelo professor L.C Gomes, do Departamento de Física. Também na Universidade do Rio Grande do Sul e na Universidade de São Paulo, foi introduzido em grande escala o programa de instrução personalizada com pequenos grupos de alunos.
estudos experimentais neste campo.
- Centra (1972) cita o estudo realizado por Dubin e Taveggia, reavaliando os dados de quase 100 estudos experimentais desenvolvidos nos últimos 40 anos. Concluíram que métodos de ensino não fazem muita diferença na aprendizagem de um conteúdo pelo aluno.
Entre as comparações feitas:
- aulas expositivas x discussão;
- aulas expositivas x aulas expositivas e discussão; - discussão x aulas expositivas e discussão;
- estudo independente supervisionado x aulas expositivas;
- estudo independente não- supervisionado x estudo independente supervisionado.
Os métodos representam uma escala contínua enfatizando o ensino (aula expositiva, aula expositiva e discussão), ou enfatizando a aprendizagem (estudo independente não-supervisionado).
Usando a performance do aluno em um exame de curso como o critério, Dubin e Taveggia encontraram que é, ocasional a diferença entre
métodos e que ela pode ocorrer por acaso, e que “nenhum método de ensino, em particular, é mensuravelmente preferível a outro”.
Com base neste experimento pode se concluir que realmente não faz diferença o que o professor faz; céticos podem dizer que a melhora do professor tem uma meta duvidosa. Mas, apesar destas conclusões, dois pontos podem ser considerados:
mento do aluno na matéria e nada mais.
Mc Keachies, comparando métodos de ensino, indica que grupos pequenos e grupos de discussão (x aula expositivas) são mais efetivos para retenção, aplicação, solução de problemas, mudanças de atitudes e motivação para aprendizagem.
2º - diferentes métodos de ensino são mais efetivos para diferentes tipos de alunos. Cabe salientar a importância da interação entre características do aluno, objetivos instrucionais e práticas instrucionais.
O NUTES, ao propor o desenvolvimento de um novo método de ensino, o método de auto-instrução, tendo como ponto chave a avaliação
formativa, que fornece “feedback” imediato ao aluno para reforço imediato
de sua aprendizagem, não pôde deixar de se preocupar com estas controvérsias e, conseqüentemente, tentar por outro lado desenvolver estudos experimentais eu permitam validar a utilização do método.
O presente estudo é a primeira tentativa de validação do método de auto-instrução, a ser utilizado no ensino de graduação em Ciências da Saúde.
Buscando, por tanto, através deste estudo, iniciar a sistematização de um trabalho, visando desenvolver estudos teórico-experimentais que nortearão nossa trajetória.
1.3. Formulação de Problema
Propusemos como objetivo do presente estudo, investigar a eficiência do método de auto-instrução no rendimento dos alunos da disciplina de Fisiologia Cárdio-respiratória do Centro de Ciências Médicas da UFRJ.
1.3.1 Delimitação do Estado
O estudo comparativo focalizou alunos do Curso de graduação do Centro de Ciências Médicas da UFRJ, cursando a disciplina de Fisiologia Cárdio-respiratória no 1º semestre de 974.
Apenas 120 alunos, entre os 320, participaram do estudo, tendo sido escolhidos aleatoriamente.
1.3.2. Definição dos Termos
Procuramos definir de duas maneiras alguns termos fundamentais utilizados no presente estudo.
As definições construtivas descrevem de maneira mais ampla os conceitos de avaliação formativa e seminário de ensino.
As definições operacionais objetivam conceitos tais como: métodos d auto-instrução, método tradicional, avaliação diagnostica, avaliação formativa e seminário de ensino.
1.3.2.1 Definições constitutivas Avaliação formativa
Schrven (1970), citando Crowbach, diz que “o maior serviço
prestado pela avaliação é identificar aspecto de um curso que devem ser
revisado”.
“A avaliação usada para desenvolver o urso, a fim de que ele
não se mantenha estático, contribui mais para a educação do que a avaliação
Schriven (1970) afirma que a avaliação tem sido usada tanto para medir o alcance do objetivo durante um programa, como para medir o resultado final. Propõe então para estes momentos a seguinte terminologia: avaliação formativa e avaliação somativa.
“A avaliação formativa é uma testagem do trabalho, à medida que está sendo desenvolvido, e fornece feedbacks para propiciar revisões
periódicas nas falhas dês trabalho”. “A avaliação somativa é a testagem d produto final, acabado”.
A avaliação formativa, utilizada neste estudo, consiste em uma técnica sistematizada de fornecer ao aluno feedback imediatos sobre seu desempenho ao responder um item de teste. Não tem caráter de aprovação no sistema escolar. Constitui um procedimento de informação para o aluno e paro o professor e fornece correção para seus erros.
Os princípios psicológicos do reforço estão subjacentes á
avaliação formativa, uma vez que o aluno recebe “feedback” constantes
aprovando-o, orientando-o ou dando pistas para que encontre a resposta correta.
Seminário de Ensino
Técnica didática que utiliza o encontro de grupos de alunos para discussão de problemas levantados a partir do estudo de um tema determinado.
Os seminários de ensino visam, não só a aquisição de linguagem e organização do pensamento lógico, mas também a transmissão de informações. As discussões são utilizadas como sintetizadores de
informações e fornecem “feedback” para a correção de erros de
compreensão. A discussão é livre, sendo que os tópicos a serem debatidos são propostos indistintamente pelo grupo de alunos com a coordenação de um monitor ou professor.
1.3.2.2. Definições operacionais Avaliação formativa
cárdio-respiratória, utilizando como instrumento terminais de computadores para internação do aluno.
São desenvolvidas as seguintes etapas ao se formular programa de avaliação formativa:
- Material introdutório, que tem como objetivos colocar o aluno à vontade para interagir com o terminal de computador e som as questões propostas;
- Texto da questão – questões objetivas (tipo múltipla-escolha, associação, falso-verdadeiro);
- Opções de resposta pra cada questão;
- Resposta corretava – seguida de um “feedback” de reforço que informa ao aluno seu desempenho e indica que pode passar adiante;
-Resposta errada – seguida de um “feedback” de reforço e corretivos, informando o aluno de que ele está errado e indicando que volte novamente à questão tente uma nova resposta.
No final do programa propõe-se um “feedback” geral informativo sobre o desempenho geral do aluno durante a avaliação, complementando com prescrição de correção. (kalache, e Coelho, 1974).
Seminário de Ensino
Técnica didática utilizada no Curso de Fisiologia Cárdio-respiratória, caracterizada pela presença dos seguintes indicadores:
Método de Auto-instrução
Método utilizado no Curso Fisiologia Cárdio-respiratória, com o grupo experimental, cujos indicadores principais são o estudo individualizado e a avaliação formativa.
Método Tradicional
Método utilizado no Curso Fisiologia Cárdio-respiratória, com os grupos de controle, voluntário e não-voluntário, cujos indicadores principais são as aulas expositivas introdutórias e os seminários de ensino.
1.3.3. Hipóteses
1.3.3.1. Hipótese experimental
A nota final correspondente à verificação da aprendizagem na disciplina Fisiologia Cárdio-respiratória, difere significativamente nos alunos que tiverem sido submetidos ao método de auto-instrução, comparativamente à nota dos alunos que tiverem sido submetidos ao métodos tradicional.
1.3.3.2. Hipótese nula
H° - Não existe diferença significativa entre as médias finais dos alunos no teste-critério, quando submetidos ao método de auto-instrução, e as médias finais quando submetidos ao método tradicional.
1.3.3.3. Hipótese alternativa
H¹ - Existe diferença significativa entre as médias finais dos alunos no teste-critério, quando submetido ao método de auto-instrução, comparativamente às médias finais dos alunos submetidos ao método tradicional.
CAPÍTULO II – PLANEJAMENTO DO CURSO DE FISIOLOGIA CÁRDIO-RESPIRATÓRIA
O planejamento do Curso de Fisiologia Cárdio-respiratória foi elaborado por docentes, pós-graduados, estagiários e monitores do Instituto de Biofísica, Instituto de Tisiologia e Pneumologia e do Departamento de Clínica Médica da Faculdade de Medicina, sob a coordenação dos Professores Antonio Paes de Carvalho e Ayres da Fonseca Costa, com assessoria da equipe do NUTES e, principalmente, da Professora Nilda Santos Fontanive.
Dois métodos foram utilizados devido à exigência do estudo experimental: o método de auto-instrução e o método tradicional.
2.1. Método de Auto-instrução
“Método refere-se à estrutura formal da seqüência de atos comumente denotados pela instrução. O termo cobre a estratégia e tática de ensino e envolve a escolha o que deve ser ensinado em determinado
momento, assim como os meios de ensino e a ordem em que será ensinado”
( Broudy, 1963).
Ao se planejar o Curso de Fisiologia Cárdio-respiratória, a coerência interna entre os objetivos propostos, a avaliação formativa e o teste-critério, foi considerada como ponto essencial. O método de planejamento escolhido baseia-se na metodologia de analise de sistemas, que considera, não somente o processo, mas também os fatores ambientais. Portanto, o levantamento de comportamento de pré-instrução e das necessidades a clínica medica foi o ponto de partida para norteara a formulação dos objetivos educacionais.
Cárdio-respiratória. Considerou-se como pré-requisitos os comportamentos de pré-instrução, isto é, conhecimento e possibilidades intelectuais necessários aos alunos antes de iniciar o Curso. Também as necessidades da Instituição, no caso a clínica Médica, foram determinadas, norteando a formulação dos comportamentos de saída.
2 – Formulação de objetivos referentes aos pré-requisitos do Curso. Foram elaborados 27 objetivos, obedecendo aos três critérios de operacionalização propostos por Mager (1962).
Uma vez formulados, foram então classificados, de acordo com taxonomia de objetivos educacionais de Bloom (1972) do domínio
cognitivo. “Os objetivos cognitivos variam desde a simples evocação do
material até maneiras altamente originais e criadoras de combinar e sintetizar
novas idéias” (Bloom 1972).
Os níveis taxonômicos utilizados na classificação dos objetivos, foram os seguintes:
1.00 – conhecimento – envolve a evocação de específicos e universais, de métodos e processos ou de um padrão, estrutura ou composição.
2.00 – compreensão – refere-se a um tipo de entendimento ou apreensão tal, que o indivíduo conhece o que está sendo comunicado e pode fazer uso do material ou idéia que está sendo comunicada, sem, necessariamente, relacioná-la a outro material ou perceber suas implicações mais completas.
3.00 –aplicação – uso de abstrações em situações particulares e concretas.
ou partes constituintes, de modo que a hierarquia relativa de idéias e/o as relações entre elas são tornadas claras ou explícitas.
5.00 – síntese – a contribuição de elementos-partes, de modo a formar um todo.
6.00 – avaliação – julgamento a respeito do valor do material e dos métodos para certos propósitos, julgamentos quantitativos e qualitativos a cerca das medidas em que material e métodos satisfazem os critérios.
Na tabela 1 estão distribuídos os objetivos de pré-requisitos, de acordo com os níveis taxonômicos.
CURSO DE FISIOLOGIA CÁRDIO-RESPIRATORIA, 1° semestre, 1974.
Tabela 1 – Distribuição de objetivos de pré-requisitos de acordo com os níveis taxonômicos.
Comporta- mento
conteúdo
CONHECI- MENTO
COMPREEEN- SÃO
APLICA- ÇÃO
ANÁLISE SÍNTESE AVALIA- ÇÃO
TOTAL
N % N % N % N % N % N % N %
I 10 36 2 7 12 43
II 15 54 1 3 16 57
TOTAL 25 90 3 10 28 100
para revisão do material de pré-requisitos, antes da realização da avaliação diagnostica.
4 – Formulação do instrumento de avaliação diagnostica. Foi elaborada uma prova objetiva e de reposta livre, constando de quatro partes:
A – 3 pequenas dissertações;
B – 4 questões de complementação de lacunas; C – 17 questões de múltipla-escolha;
D – 1 questão de ordenação.
Os itens da prova procuraram cobrir todos os objetivos de pré-requisitos e visavam medir os conhecimento e habilidades pré-instrucionais dos alunos.
Na tabela 2 encontra-se a distribuição dos itens da prova de avaliação diagnóstica, de acordo co os níveis taxonômicos que pretende medir.
CURSO DE FISIOLOGIA CÁRDIO-RESPIRATORIA, 1º semestre, 1974.
Tabela 2 – Distribuição das questões da prova diagnostica de acordo com os níveis taxonômicos.
Comporta- mento
conteúdo
CONHECI- MENTO
COMPREEEN- SÃO
APLICA- ÇÃO
ANÁLISE SÍNTESE AVALIA- ÇÃO
TOTAL
N % N % N % N % N % N % N %
I 7 21 1 3 8 24
II 25 76 25 76
avaliação diagnóstica, fez-se uma comparação entre a porcentagem de objetivos de pré-requisitos e os itens da prova. A tabela 3 mostra como se distribuíram estas porcentagens:
CURSO DE FISIOLOGIA CÁRDIO-RESPIRATÓRIA, 1º semestre, 1974.
Tabela 3 – Distribuição do percentual dos objetivos de pré-requisitos e dos itens da prova de avaliação diagnostica.
Comporta- mento
conteúdo
CONHECI- MENTO
COMPREEEN- SÃO
APLICA- ÇÃO
ANÁLISE SÍNTESE AVALIA- ÇÃO
TOTAL
N % N % N % N % N % N % N %
I 36 21 7 3 43 24
II 54 76 3 0 57 76
TOTAL 90 97 10 3 100 100
5 – Prescrição de correções. Após o conhecimento dos resultados da prova de avaliação diagnóstica, os alunos receberam informações sobre quais os objetivos que não tinham sido atingidos pelo seu desempenho, de acordo com cada um dos sub-itens A, B, C, D. Os alunos tiveram então três dias para estudo e tentativa de se homogeneizarem quanto aos objetivos de pré-requisitos. Não houve reteste para a verificação da aprendizagem.
educacionais de Bloom (1972), no domínio cognitivo, nos níveis taxonômicos descritos anteriormente.
Os objetivos foram distribuídos pelas cinco semanas do curso.
7 – Escolha do conteúdo. O conteúdo evidenciado pela proposição dos objetivos pode ser assim resumido:
a – eletrofisiologia e eletrocardiograma; b – mecânica do ciclo cardíaco;
c – circulação periférica e sua regulação; d – fisiologia da respiração (I e II).
A seleção do conteúdo foi então compilada em um livro texto que serviu de material institucional para os alunos durante o curso (Carvalho e Costa, 1973).
8 – Elaboração da tabela de Especificação
A relação entre o conteúdo e comportamentos ou objetivos, na forma que uma tabela com os objetivos em linha e o conteúdo em coluna, é
chamada por Bloom (1971) de Tabela de “especificação” ou “matriz de
conteúdo e comportamento”.
As células nesta tabela representam o conteúdo específico em relação ao objetivo particular ou comportamental.
“O processo de desenvolver tabelas de especificação é
altamente relevante para professores, uma vez que os capacita a ver, de forma compacta, os elementos em unidades de aprendizagem, tão bem, quanto as relações entre os elementos que são desenvolvidos na unidade” (Bloom, 1971).
CURSO DE FISIOLOGIA CÁRDO-RESPIRATÓRIA, 1º semestre, 1974
Tabela 4 – Distribuição dos objetivos do curso de acordo com o nível taxonômico e o conteúdo.
Conteúdo Compor- tamento CONHECI- MENTO COMPREEN-SÃO APLICA-ÇÃO
ANÁLISE SÍNTESE AVALIA-ÇÃO
TOTAL
N % N % N % N % N % N % N %
Eletrofisiol.
Eletrocard. 8 26 5 16 3 10 14 45 1 3 - - 31 20
Mecânica do Ciclo car.
12 34 9 26 1 3 12 34 1 3 - - 35 23
Circulação Periférica
17 35 9 19 13 27 6 13 3 6 - - 48 31
Fisiologia Respiratória I
6 35 4 24 6 35 1 6 - - - - 17 11
Fisiologia Respiratória II
8 35 6 26 6 26 3 13 - - - - 23 15
TOTAL 51 33 33 21 29 19 36 23 5 3 - - 154 100
9 – Construção de testes de avaliação formativa. “Deve-se
in-cluir itens para cada nível de comportamento especificado” (Bloom, 1971).
A elaboração dos testes formativos obedeceu ao critério estabelecido por Bloom, sendo que cada item-teste avaliou um objetivo. Os itens-testes representaram questões objetivas dos seguintes tipos:
- múltipla-escolha - falso e verdadeiro - ordenação
- correspondência.
- “feedback” foram para a resposta correta – reforça a infor-mação e envia o aluno para a próxima errada:
- informativo: fornece informações adicionais ao aluno;
- corretivo: informa sobre o erro e pede que tente outra vez;
A Tabela 5 mostra como foram distribuídas as questões de avaliação formativa, de acordo com os níveis taxonômicos dos objetivos e o conteúdo do curso ao longo das cinco semanas.
CURSO DE FISIOLOGIA CÁRDIO-RESPIRATÓRIA, 1º semestre, 1974.
Tabela 5 – Distribuição das questões de avaliação formativa de acordo com os níveis taxonômicos.
Conteúdo Compor- tamento CONHECI- MENTO COMPREEN-SÃO APLICA-ÇÃO
ANÁLISE SÍNTESE AVALIA-ÇÃO
TOTAL
N % N % N % N % N % N % N %
Eletrofisiol.
Eletrocard. 10 21 8 16 5 10 23 49 2 4 - - 48 26
Mecânica do Ciclo car.
12 26 12 26 1 2 21 44 1 2 - - 47 25
Circulação Periférica
16 32 10 20 14 28 6 12 4 8 - - 50 27
Fisiologia Respiratória I
10 43 6 26 6 26 1 4 - - - - 23 12
Fisiologia Respiratória II
13 65 2 10 3 15 2 10 - - - - 20 10
QUADRO 1 – Fluxograma da construção de uma questão de Avaliação Formativa (Kalache, Machado Coelho, 1974).
SIM
SIM NÃO
SIM Apresentação
da questão
Resposta
certa “Feedback”Informativo
Resposta certa
“Feedback”
Corretivo
Resposta certa
Questão Orientadora
Resposta certa
Fornecimento da resposta
certa
“Feedback”
de reforço
somativa devem ser amostrados entre os comportamentos específicos” (Bloom, 1971). Baseado na tabela de especificação, foram amostrados objetivos relevantes que seriam avaliados semanalmente, por provas de múltipla-escolha (o teste-critério).
Estes testes-critério foram utilizados com instrumento de medida das diferenças entre médias, nos três grupos do experimento.
O número de questão propostas para cada teste-critério varia proporcionalmente ao número de objetivos propostos para cada semana do curso. Portanto, alguns testes apresentaram número significativamente maior de questões do que outros.
A distribuição dos itens dos testes-critérios está apresentada na tabela 6.
CURSO DE FISIOLOGIA CÁRDIO-RESPIRATÓRIA, 1º semestre, 1974
Tabela 6 – Distribuição de itens-teste dos testes-critério, de acordo com os níveis taxonômicos medidos.
CONHECI- MENTO COMPREEN-SÃO APLICA-ÇÃO
ANÁLISE SÍNTESE AVALIA-ÇÃO
TOTAL
N % N % N % N % N % N % N %
Eletrofis.
Eletrocard. 11 14 7 9 3 4 21 27 1 1 - - 43 25
Mecânica do
Ciclo car. 18 38 9 19 1 2 18 38 1 2 - - 47 27 Circulação
Periférica 16 30 7 13 19 36 7 13 4 8 - - 53 30 Fisiologia
Respiratória I 4 27 4 27 6 40 1 7 - - - - 15 9 Fisiologia
Respiratória II 2 13 5 31 3 19 6 38 - - - - 16 9
mede em relação a determinado conteúdo. A determinação do grau de validade de um teste depende da finalidade, da interpretação que se dá aos escores.
O conceito de validade que se utilizou refere-se à capacidade do aluno em relação aos comportamentos especificados é a validade curricular ou validade de conteúdo.
Através da tabela de especificação, procurou-se garantir que os itens-teste cobrissem a maior parte dos objetivos de determinados.
A tabela 7 mostra a relação entre o número de objetivos propostos para cada semana de curso e os itens dos testes-critério.
CURSO DE FISIOLOGIA CÁRDIO-RESPIRATÓRIA, 1º semestre, 1974.
Tabela 7 – Distribuição dos objetivos e dos itens-teste, de acordo com os níveis taxonômicos e o conteúdo.
CONHECI- MENTO COMPREE N-SÃO APLICA-ÇÃO
ANÁLISE SÍNTESE AVALIA-ÇÃO
TOTAL
Obj. Itens Obj. Itens Obj. Itens Obj. Itens Obj. Itens Obj. Itens Obj. Itens Eletrof.
Eletroc.
N
8 11 5 7 3 3 14 21 1 1 - - 31 43
% 26 14 16 9 10 4 45 27 3 1 - - 20 25 Mecânica do
Ciclo car.
N 12 18 9 9 1 1 12 18 1 1 - - 35 47
% 34 38 26 19 3 2 34 38 3 2 - - 23 27
Circulação Periférica
N 17 16 9 7 13 19 6 7 3 4 - - 48 53
% 35 30 19 13 27 36 13 13 6 8 - - 31 30
Fisiologia Respiratória I
N 6 4 4 5 6 7 1 2 - - - - 17 17
% 35 27 24 27 35 40 6 7 - - - - 11 9
Fisiologia Respiratória II
N 8 2 6 5 6 3 3 6 - - - - 23 17
% 35 13 29 31 26 19 13 38 - - - - 15 9
TOTAL
N 51 51 33 33 29 33 36 34 5 6 - - 154 177
foi obtida utilizando-se o método proposto por Kuder-Richardson em sua fórmula (K – R - 20) (Marelin Vianna, 1972).
Os coeficientes de fidedignidade foram calculados para cada um dos testes-critérios semanais e alcançaram os seguintes resultados:
CURSO DE FISIOLOGIA CÁRDIO-RESPIRATÓRIA, 1º semestre de 1974.
Tabela 8 – Análise do índice de fidedignidade dos testes-critérios com as médias e desvios-padrões obtidos por toda a turma (320 alunos )
TESTES Nº de itens
_
X S r.t.t.
1º 63 53,9148 8,8505 0,87292
2º 47 26,66 4,24 0,73317
3º 53 26,06 4,66 0.71376
4º 17 12,98 2,44 0,58924
5º 18 12,98 2,49 0,59335
Observou-se que os testes-critério, com reduzido número de itens, tiveram sua fidedignidade prejudicada, embora todos os índices possam ser considerados altos.
medir grupos , uma fidedignidade de 0,50 ou maior é necessária (Heraldo Vianna,1972).
10.3 – Análise de itens . Os testes-critério foram analisados através do cálculo do índice de dificuldade e do índice de descriminação de seus itens (Heraldo Vianna, 1972).
O resultado do índice de dificuldade dos itens está descrito na tabela a seguir.
CURSO DE FISIOLOGIA CÁRDIO - RESPIRÁTORIA, 1º semestre, 1974.
Tabela 9 - Índices de dificuldade dos itens-teste dos 5 testes critério.
1ª semana 2ª semana 3ª semana 4ª semana 5ª semana TOTAL PORCEN-TAGENS
N % N % N % N % N % N % IDEAL
M. Difícil 0 - 0 - - - 0 - 1 6 3 2 10%
Difícil 6 8 5 14 2 5 2 12 2 12 20 11 20%
Moderado 14 19 4 11 5 13 2 12 0 - 30 16 40%
Fácil 21 29 11 30 10 26 4 24 10 59 61 34 20%
Muito Fácil 27 38 17 46 15 38 9 53 4 24 64 35 10%
Anulados 4 6 - - 7 18 - - - - 4 2 -
retirados teste-critério, para que se aproximassem da porcentagem ideal, tornando a avaliação mais válida e eficiente.
O resultado do índice de descriminação dos itens está descrito na tabela a seguir.
CURSO DE FISIOLOGIA CÁRDIO-RESPIRÁTORIA, 1º semestre, 1974.
Tabela 10- Índices de discriminação dos itens-teste dos 5 testes-critério.
Como vemos, 25% das questões propostas nos testes anteriores não discriminam o grupo inferior de alunos . Seria necessário uma reformulação destas questões no próximo curso.
2.2. . Método Tradicional
Método utilizado no Curso de Fisiologia Cárdio-respirátoria com os grupos de controle, voluntário e não voluntário, cujos indicadores principais são as aulas expositivas e os semi-
1ª semana 2ª semana 3ª semana 4ª semana 5ª semana TOTAL
N % N % N % N % N % N %
BOM 12 17 10 27 11 28 4 24 5 29 42 23
BOM
(aprimorar) 19 26 7 19 7 18 7 40 6 35 46 26 MARGINAL
(reelaborar) 25 35 7 19 8 21 4 24 4 24 48 26
DEFICIENTE 12 17 11 30 12 31 2 12 1 6 38 21
NULO 4 5 2 5 1 2 - - 1 6 8 4
As etapas desenvolvidas no planejamento do curso, no que se refere ao método tradicional, foram:
1. Levantamento de pré-requisitos para a disciplina fisiológica Cardio-respiratória.
2.Formulação de objetivos referentes aos pré-requisitos do curso. Foram elaborados 27 objetivos obedecendo aos três critérios de operacionalização propostos por Mager (1962). Os objetivos foram classificados segundo a taxonomia de Blomm (1972) no domínio cognitivo (Tabela 1).
3.Escolha do conteúdo a ser revisto pelos alunos para cumprir os pré-requisitos.
4. Formulação do instrumento de avaliação diagnóstica (Tabela 2).
5.Prescrição de correção.
6.Formulação dos objetivos para o curso.
7.Escolha do conteúdo.
8.Elaboração da tabela de Especificação (Tabela 4).
9.Escolha das atividades didáticas a serem desenvolvidas. Cada semana teria uma aula expositiva inicial e dois seminários de ensino com grupos de 20 alunos coordenados por professores, pós-graduados, estagiários e monitores do curso. Os seminários teriam a duração de três horas no horário da manhã.
10. Construção do testes-critérios (Tabela 6).
CAPÍTULO III – METODOLOGIA
3.1. Amostra
A amostra foi selecionada entre os 320 alunos do 2º no Centro de Ciências Médicas da UFRJ.
Inicialmente fez-se uma convocação oral para que os alunos se voluntariassem para participar do experimento.
Os 150 alunos que responderam a esta convocação
constituíram o “grupo voluntário”.
Dentre os voluntários escolheram-se aleatoriamente 40 que formaram o grupo experimental e 40 que constituíram o 1º grupo controle. (Gc).
A formação dos dois grupos de controle foi feita visando medir a variável ser ou não voluntário e sua interferência no resultado de pesquisa.
3.2. Esquema Experimental
O estudo foi conduzido através do esquema conhecido como grupos equivalentes com pós-teste apenas, classificado como experimental por Stanley e Campbell (1969).
Este esquema “The post-test only control group” foi o escolhido, uma vez que se usaria amostra aleatória.
Segundo os autores citados, “quando os limites de
confiança são estabelecidos pelo teste de significância, a randomização pode ser suficiente sem o pré-teste para a comparação dos grupos”.
R X O1
R O2 (grupo voluntário)
R O3 (grupo não-voluntário)
Além da randomização, algumas variáveis foram controladas. Escolheram-se como variáveis de controle:
N1– notas no vestibular;
N2– notas na disciplina Biofísica;
N – notas na disciplina Neurofisiologia;
Q1- percentil no teste Matrizes Progressivas de Raven;
Q2 – percentil no teste de Raciocínio Verbal da Bateria D.A. T;
(Bennet, 1959).
Q3 – percentil no teste Uso de Linguagem-sentenças da Bateria
D.A. T; (Bateria, 1959).
Q4 – percentil no teste Uso de Linguagem-sentenças da Bateria
D.A. T; (Bennet, 1959).
P2– nota na prova de avaliação diagnóstica.
Outras medidas foram tomadas para assegurar o controle das variáveis: o conteúdo programado foi o mesmo para os três grupos, o teste-critério foi testado quanto à validade curricular a fidedignidade.
3.3. Tratamento Experimental
Depois de amostrados os três grupos, o primeiro procedimento foi a aplicação dos testes psicológicos.
requisitos e uma indicação bibliográfica para estudos. O período de uma semana foi dado para a revisão de pré-requisitos.
Os alunos foram submetidos então à prova de avaliação diagnóstica, recebendo, juntamente com o resultado, prescrições de correção
– três dias foram dados para este estudo.
O curso propriamente dito iniciou-se então com procedimentos diferentes para o grupo experimental que utilizou o método de auto-instrução, e para os grupos de controle voluntário e não-voluntário que seguiram o método tradicional. O grupo experimental recebeu a lista de objetivos referentes à primeira semana e a indicação bibliográfica que tinha como texto-base o livro “Circulação e Respiração”, dos Professores Antônio Paes de Carvalho e Ayres da Fonseca Costa (1973).
O aluno recebeu também instruções quanto à utilização dos terminais de computador para realizar a avaliação formativa.
Cada aluno, semanalmente, de dois períodos de uma hora e trinta minutos. Poderia marcar a hora mais conveniente para esta interação.
Uma vez, frente ao terminal do computador, recebia um pequeno programa introdutório que o sobre como utilizar a máquina. Iniciava então o programa de avaliação formativa. Este procedimento se repetiu durante as cinco semanas do curso.
semana para cada grupo de alunos. Os grupos de controle participaram dos seminários em grupos diferentes entre os outros alunos do curso.
No último dia da semana, os três grupos – experimental, controle voluntário e não voluntário eram submetidos ao teste-critério referente àquela semana do curso. Este teste foi aplicado coletivamente e as questões eram respondidas em cartões de computador para facilitar a correção. Ao iniciar a semana, os alunos já tinham o resultado da semana anterior.
3.4. Procedimento estatístico
O procedimento estatístico constatou de duas fases:
1- Análise de regressão para verificar que variáveis de controle influenciaram na variável dependente (o resultado teste-critério).
CAPITÚLO IV – DISCUSSÃO DOS RESULTADOS E CONCLUSÕES
Focalizaremos neste capitulo, os resultados do estudo experimental, assim como a discussão deste resultado.
4.1 Análise da Covariância
Para testar a existência de diferença entre os dois métodos de ensino, usou-se u método estatístico que permite controlar a interferência de vários fatores estranhos aos métodos no rendimento dos alunos; tal técnica é usualmente chamada “análise de covariância” (Kerlinger e Perdhazur, 1973). As covariâncias foram: notas no vestibular, notas em Biofísica, notas em Neurofisiologia, notas na avaliação diagnóstica de Fisiologia Cárdio-respirátoria, percentil em inteligência não- verbal, raciocínio verbal e uso de linguagem (ortografia e sentenças).
Como o teste do critério foi subdividido em cinco partes, medindo cada semana do curso, análise da covariância foi feita utilizando média geral dos alunos nas cinco notas.
A tabela 11mostra a análise da covariância, usando a média das notas de cada aluno nas cincos semanas do curso.
CURSO DE FISIOLOGIA CÁRDIO-RESPIRATÓRIA, 1º semestre, 1974.
Tabela 11 – Resultado da análise da covariância dos três grupos (experimental, controle voluntário, controle não-voluntário),
usando como covariantes – os resultados das notas de vestibular, notas em Biofísica, notas em Neurofisiologia, pré-teste em fisiologia cárdio-respiratória, inteligência não-verbal, raciocínio verbal, uso de linguagem.
FONTES DE
VARIAÇÃO RESIDUAL
GL SQ MQ F
ENTRE 2 3, 4348 1, 7174 1. 974*
INTRA 66 57, 4144 0, 8699
TOTAL 68 60, 8492
*Não significante ao nível de 0,05.
Desde que, através da tabela F pode-se verificar que um valor mínimo de 3,14 seria necessário para a rejeição de hipótese nula com um nível de confiança de 0,95e graus de liberdade de 2 e 66, concluímos que os dados não parecem indicar, existir diferença significante entre a média dos alunos submetidos ao método de auto-instrução e a média dos alunos submetidos ao método tradicional.
