PONTIFÍCIA UNIVERSIDADE CATÓLICA DE SÃO PAULO
PUC-SP
Sabrina Lucila de Araújo
Educação a distância com um sistema personalizado de ensino
MESTRADO EM PSICOLOGIA EXPERIMENTAL:
ANÁLISE DO COMPORTAMENTO
PONTIFÍCIA UNIVERSIDADE CATÓLICA DE SÃO PAULO
PUC-SP
Sabrina Lucila de Araújo
Educação a distância com um sistema personalizado de ensino
MESTRADO EM PSICOLOGIA EXPERIMENTAL:
ANÁLISE DO COMPORTAMENTO
PONTIFÍCIA UNIVERSIDADE CATÓLICA DE SÃO PAULO
PUC-SP
Sabrina Lucila de Araújo
Educação a distância com um sistema personalizado de ensino
MESTRADO EM PSICOLOGIA EXPERIMENTAL: ANÁLISE DO COMPORTAMENTO
Dissertação apresentada à Banca Examinadora como exigência parcial para obtenção do título de MESTRE em Psicologia Experimental: Análise do Comportamento pela Pontifícia Universidade Católica de São Paulo sob a orientação da Profa. Dra. Maria Amalia Pie Abib Andery.
Projeto parcialmente financiado pela Capes
Autorizo, exclusivamente para fins acadêmicos e científicos, a reprodução total ou parcial desta dissertação por processos de fotocopiadoras ou eletrônicos.
AGRADECIMENTOS
A lista é interminável, espero não perder ninguém pelo caminho...
À professora Maria Amalia, que aceitou participar comigo deste projeto e nunca poupou esforços para que tudo acontecesse exatamente do jeito como planejamos, mesmo que parecesse complicado demais. Por toda a ajuda, discussões, dicas, paciência, consideração, respeito, modelo...
Ao professor Joseph Pear, que permitiu e apoiou toda a aplicação do sistema que ele desenvolveu e por estar sempre disposto a ajudar e discutir todas as dificuldades e dúvidas que tive durante o processo. Por todas as sugestões, questionamentos, orientações, alterações no sistema, enfim, por tornar esse projeto possível!
À professora Teia, que acreditou junto conosco nesta idéia, pelas discussões, videoconferências, comentários, companhia e também, claro, pela formação que me deu nestes anos todos.
Ao professor Helio Guilhardi, por ceder o material usado, mesmo antes da publicação em português, e também a toda a equipe que trabalha com ele e sempre foi extremamente prestativa.
À professora Maria Eliza, por me mostrar que Educação vale a pena! Pela amizade, respeito, orientações, carinho que ela sempre demonstrou nesses anos todos.
À professora Beatriz Scavazza por todos os exemplos de coragem. Pelas sugestões, apoio e por viabilizar a implementação da infra-estrutura tecnológica para aproximar professores e alunos não apenas neste curso, mas como uma preocupação social. Junto com ela, uma equipe enorme que sempre esteve ao meu lado, trabalhando para que tudo acontecesse da melhor forma possível (Angela, Ton, Luiz, André, Thiago, Renato, Willian, João Paulo, Bruno, Amaury, Michel, Jaime, China...).
À Aline, porque sem ela a aplicação do curso não teria sido possível! Muito obrigada pelas correções, dedicação, profissionalismo e grande amizade que você demonstrou!
Às mentoras que trabalharam no projeto comigo, pelo profissionalismo que demonstraram e grande ajuda nas correções e acompanhamento dos alunos.
A todos os funcionários do mestrado, especialmente à Dinalva, que me convenceu a fazer o mestrado neste momento e sempre esteve disposta a nos ajudar.
Ao Brandão, que me indicou para a área de EAD em uma época em que eu mal enviava e-mail. Obrigada por ainda hoje ser o meu mentor, guru, professor e – por que não? – amigo.
À Cris, por ter me ajudado na comunicação com o Pear e pelo interesse no projeto e na área.
Aos meus amigos queridos, do mestrado, do trabalho e pessoais que passaram por todas as fases comigo e que tiveram muita paciência nesses dois anos.
SUMÁRIO
INTRODUÇÃO... 1
A provável efetividade da educação a distância... 1
Análise do Comportamento e ensino... 4
Instrução Programada... 5
Sistema Personalizado de Ensino... 6
Computer-aided Personalized System of Instruction... 10
O presente trabalho... 22
MÉTODO... 23
Participantes... 23
Alunos... 23
Mentoras... 24
Instrutoras... 24
Monitores... 25
Equipamento software, hardware e materiais... 25
Procedimentos do curso... 26
Testes de unidade... 27
Exame intermediário... 27
Exame final... 28
Questões de estudo... 28
Videoconferências... 29
Correção das avaliações... 30
Correção pelos Monitores... 31
Correção pelas Mentoras... 32
Correção pelas Instrutoras... 33
Notas... 33
Avaliação do curso... 34
RESULTADOS... 35
Número de inscritos, desistências e alunos não concluintes... 35
Alunos concluintes... 42
II. O curso... 47
Correções e interação... 47
O desempenho nas unidades... 48
Cancelamento de testes... 49
Níveis das questões/respostas... 50
Quem fez as correções... 52
Recursos das correções... 55
Os feedbacks aos concluintes... 55
Precisão dos feedbacks pelos monitores... 57
Efeito das correções... 58
A avaliação do curso pelos alunos concluintes... 60
DISCUSSÃO... 62
REFERÊNCIAS BIBLIOGRÁFICAS... 68
ANEXO I. Questionário sobre a história acadêmica dos alunos... 72
ANEXO II. Questionário de avaliação do CAPSI e respostas ao questionário... 74
LISTA DE FIGURAS
Figura 1. Desempenho dos oito alunos desistentes que realizaram atividades no curso... 38
Figura 2. Desempenho de 10 alunos que não concluíram o curso e não desistiram oficialmente, mas com desempenho semelhante aos alunos desistentes... 40
Figura 3. Desempenho de oito alunos que não concluíram o curso e não desistiram oficialmente, mas com desempenho semelhante aos alunos aprovados... 41
Figura 4. Desempenho dos 12 alunos que concluíram o curso com aprovação... 43
Figura 5. Desempenho dos alunos que concluíram o curso com reprovação... 44
Figura 6. Nota final dos alunos concluintes que realizaram o exame final... 46
Figura 7. Proporção entre o número de testes avaliados como aprovados, reeestude ou aprovação condicional por grupo de alunos... 47
Figura 8. Testes avaliados como reestude e aprovação condicional, segundo os desempenhos finais dos alunos em cada unidade (em %)... 49
Figura 9. Cancelamento de testes, segundo os desempenhos finais dos alunos em cada teste de unidade (em %)... 50
Figura 10. Porcentagem de questões nos testes por nível de pensamento para cada unidade... 51
Figura 11. Porcentagem de respostas corretas e incorretas nos testes por nível de pensamento... 52
Figura 12. Porcentagem de testes corrigidos por instrutoras, mentoras e monitores... 53
Figura 13. Número acumulado de testes dos alunos concluintes corrigidos por instrutoras, mentoras e monitores em cada unidade do curso... 53
Figura 14. Porcentagem de testes avaliados como aprovados, condicionais ou reprovados por corretor, instrutoras, mentoras e monitores... 54
Figura 15. Porcentagem de feedbacks mínimos e substantivos por monitores, mentoras e instrutoras... 56
Figura 16. Porcentagens proporcionais dos tipos de feedback substantivo por corretor... 57
Figura 17. Avaliação do CAPSI em relação ao método de ensino tradicional... 78
LISTA DE TABELAS
Tabela 1. Divisão dos capítulos do livro por unidade... 27
Tabela 2. Cronograma do curso. ... 28
Tabela 3. Nível de exigência das questões das unidades. ... 29
Tabela 4. Videoconferências realizadas e unidades necessárias para a pontuação... 30
Tabela 5. Composição da nota final... 33
Tabela 6. Alunos concluintes, desistentes e que nunca realizaram atividades durante o curso por origem de inscrição... 35
Tabela 7. Notas dos alunos aprovados em cada atividade do curso e nota final... 45
Tabela 8. Precisão da correção dos monitores... 58
Tabela 9. Questões repetidas nos testes das unidades e desempenho dos alunos nas repetições... 59
Tabela 10. Questões repetidas entre os testes das unidades de 2 a 10 do curso e os exames – intermediário e final – e desempenho dos alunos nas repetições... 59
Tabela 11. Vantagens do CAPSI em relação ao método de ensino tradicional por aulas expositivas apontadas por alunos que realizaram o exame final do curso... 76
Tabela 12. Desvantagens do CAPSI em relação ao método de ensino tradicional por aulas expositivas apontadas por alunos que realizaram o exame final do curso... 76
Tabela 13. Maiores dificuldades com o CAPSI... 77
RESUMO
Sabrina Lucila de Araújo
Educação a distância com um Sistema Personalizado de Ensino
Linha de pesquisa: Desenvolvimento de Metodologias e Tecnologias de Intervenção
A educação a distância é uma modalidade de ensino que vem sendo empregada no mundo todo e no Brasil, onde instituições, inclusive de nível universitário, são autorizadas a promovê-la. Como no caso do ensino tradicional, entretanto, também nos cursos a distância é necessário programar o ensino para que a aprendizagem de fato ocorra. A Análise do Comportamento oferece uma alternativa de curso a distância baseada nos princípios do Sistema Personalizado de Ensino (PSI), proposto por Keller em 1968. As principais características do PSI são: divisão do conteúdo do curso em unidades, objetivos finais previamente estabelecidos, ritmo de estudo dependente exclusivamente do aluno, exigência de domínio a cada unidade para prosseguir no curso, ênfase em material escrito, uso de feedback imediato, participação de monitores. O Computer-aided Personalized System of Instruction (Sistema Personalizado de Ensino com Ajuda de Computadores – CAPSI) foi desenvolvido na Universidade de Manitoba, Canadá e é aplicado em diversas disciplinas há mais de 20 anos pela internet. Cursos CAPSI têm as características mencionadas dos cursos PSI e são feitos pela internet. O sistema na internet torna disponíveis os testes e exames intermediários, registra os pontos dos alunos em cada teste respondido e mantém registro completo da trajetória do aluno no curso. O computador também auxilia no gerenciamento do curso, envia testes para correções e permite a coleta de outros conjuntos de dados sobre o programa. Os testes são corrigidos pelo professor/instrutor, professor assistente/mentor, ou por dois monitores, alunos do curso que estão em unidades mais avançadas. Pretendeu-se, neste estudo, aplicar uma disciplina de Princípios de Análise do Comportamento com alunos brasileiros para avaliar o CAPSI. Participaram 77 alunos, sendo 62 vinculados a uma mesma instituição de ensino e os demais de outro estado brasileiro. Para 33 desses alunos, o curso inicialmente foi apresentado como obrigatório e fez parte da grade curricular de um curso de especialização em Análise do Comportamento no contexto clínico. Foram dadas também videoconferências sobre os conteúdos trabalhados. Foram analisados: desistências; desempenho nas avaliações de unidade e nos exames; dificuldade das avaliações de unidades; atividade de monitoria; desempenho dos corretores, envolvendo precisão, qualidade e tipo de feedback; efeito das correções e avaliação do curso pelos alunos concluintes. O número de concluintes foi menor do que o mencionado na literatura sobre o CAPSI, porém os demais resultados são bastante semelhantes. As notas dos concluintes foram altas e as principais vantagens e desvantagens relatadas pelos concluintes são consistentes com a literatura da área.
ABSTRACT
Distance learning with a Personalized System of Instruction
Distance learning is growing everywhere. In Brazil distance learning courses are becoming more common and educational institutions are authorized to develop distance learning programs. Nevertheless, distance learning courses as any other teaching procedures, will be effective only if teaching contingencies are carefully planned and implemented. Behavior analysis as a discipline has accumulated technology that is suitable for distance learning, based on the Personalized System of Instruction (PSI), first developed by Keller, in 1968. PSI courses are characterized by: course content is broken down in small units, learning goals are previously established, studying pace depends on the student, mastery is a requisite on each unit, emphasis on written material, immediate feedback for students, proctors. A distance learning program that uses the internet, called Computer-aided Personalized System of Instruction (CAPSI), developed at the University of Manitoba, Canada, some 20 years, has been applied to many disciplines with promising results. CAPSI courses have all the characteristics of PSI courses and are taken by students through the internet. The system makes tests and exams available to the student, records students performances and progress, and manages aspects of the course, such as sending tests for correction. Tests are taken when students apply for them and are marked by teachers, instructors and/or proctors (advanced students). Tests become eligible when students master previous tests. This study was conducted to test the generality of previous research on CAPSI with Brazilian students, with a course on Behavior Analysis Principles. 77 students (62 from the same teaching institution) and the others from other state were enrolled, but only for 33 of them the course was initially mandatory (as part of their professional training). The mandatory status was changed on the 9th week of the course. The following variables are considered as the course results: dropouts, students’ performances on tests and exams, level of difficulty of tests, students’ activities as proctors, precision and content of feedbacks to students, feedback effects, and students’ assessment of the course. Results showed a larger number of dropouts when compared with the literature. Other results are consistent with the literature: students’ grades are high and students’ evaluation of the course is similar to those reported previously. The higher percentage of dropouts is discussed as s a probable function of students’ previous history as well as the elective character of the course.
Há muita variação naquilo que se entende por educação a distância (EAD), embora a maioria das definições aponte sempre para três aspectos: a possibilidade de instrução independentemente do local onde professor e estudante se encontram, a ampla utilização de tecnologias no processo de ensino e aprendizagem e a flexibilidade dos programas de cada curso. (Keegan, 1996; Moràn, 2001)
A educação a distância no Brasil teve sua base legal estabelecida em 1996 pela Lei de Diretrizes e Bases da Educação Nacional (LDB/Lei nº. 9.394, de 20 de dezembro de 1996) que afirma, no art. 80: “o Poder Público incentivará o desenvolvimento e a veiculação de programas de ensino a distância, em todos os níveis e modalidades de ensino, e de educação continuada” (Brasil, 1996). A normatização da EAD foi definida na Portaria Ministerial nº. 4.361, de 29 de dezembro de 2004, que estabelece os processos para credenciamento de instituições de educação superior e de cursos de pós-graduação para oferta de cursos a distância. Em 20 de dezembro de 2005, foi publicado o Decreto nº. 5.622, que regulamenta o art. 80 da LDB. No art. 1º. deste decreto, a EAD é caracterizada como “modalidade educacional na qual a mediação didático-pedagógica nos processos de ensino e aprendizagem ocorre com a utilização de meios e tecnologias de informação e comunicação, com estudantes e professores desenvolvendo atividades educativas em lugares ou tempos diversos” (Brasil, 2005). Atualmente, há 105 instituições de ensino credenciadas no Ministério da Educação com autorização para oferecer cursos a distância.
A provável efetividade da educação a distância
internet possibilitou a divulgação de informações em larga escala, facilitando a correção e atualização de dados.
Várias características da educação a distância que utilizam a internet têm sido divulgadas como vantajosas quando são comparadas com outras modalidades de ensino: maior liberdade para o aluno seguir seu próprio ritmo de estudo, maior produtividade (as aulas podem ser ministradas para milhares de pessoas ao mesmo tempo), maior número de cursos oferecidos, maior interatividade entre professores e estudantes, mais informações e conhecimento disponíveis e escolha, pelo aluno, do nível de aprofundamento nos conteúdos estudados (Pinto & Filho, 2000; Silva, 2001). Porém, apesar dos novos recursos disponíveis em cursos na modalidade EAD, que oferecem ao estudante a possibilidade de estudar o material básico e se aprofundar em inúmeros textos complementares, não há garantia de que os alunos efetivamente estudem tudo o que está à sua disposição.
Ferreira (2001), por exemplo, no estudo sobre o primeiro curso brasileiro a distância oferecido pela internet, da Faculdade de Medicina da Universidade de São Paulo, com duração de 30 dias, verificou que 29% dos alunos visitaram o curso somente na semana anterior à prova final. Segundo Ferreira, mesmo que os materiais como hipertextos estivessem à disposição no decorrer de todo o curso, os alunos, de modo geral, mantiveram o padrão de estudo dos cursos tradicionais (presenciais). Este resultado indica que, assim como nas demais situações de ensino, se não houver planejamento de contingências comportamentais no ambiente virtual de ensino, não haverá aproveitamento das oportunidades de estudo, o que é uma suposta vantagem da EAD.
Ainda com o objetivo de discutir suas vantagens e eficácia, após reverem pesquisas a respeito da EAD, a Federação Americana de Professores (American Federation of Teachers), a Associação Nacional de Educação (National Education Association) e o Instituto para políticas no ensino superior (The Institute for higher education policy) apontaram vários problemas metodológicos1 encontrados em pesquisas que indicaram maior eficácia da educação a distância mediada pela internet, quando comparada com o ensino tradicional presencial (The Institute for higher education policy, 1999), entre eles: as pesquisas não controlaram variáveis externas que podem influir no desempenho dos alunos
1 Ainda que a análise seja baseada em perspectiva metodológica e conceitual que poderíamos chamar de
nos cursos; a maioria dos estudos não selecionou aleatoriamente seus participantes; o controle dos sentimentos e atitudes dos alunos não foi realizado adequadamente – portanto, podem ter ocorrido efeitos reativos como o aluno ter atitude ou desempenho melhor devido a maior motivação (relacionada à sua posição diferenciada por estar participando de curso que utilizava computador, ou por ter sido escolhido para participar de um estudo) –; os resultados dos alunos em cursos individuais foram enfatizados em vez de se considerar todo o programa acadêmico e as pesquisas não consideraram as diferenças entre os estudantes.
Kulik e Kulik (1991), por sua vez, chegaram a conclusões diferentes sobre a efetividade da EAD especificamente mediada pelo computador, baseados em uma meta-análise2 de 254 estudos sobre a efetividade da instrução baseada em computador extraídos de meta-análises já realizadas anteriormente sobre o CBI (Computer-based instruction) e de duas bases de dados (Comprehensive Dissertation Abstracts e Educatinal Resources Information Center, que contêm arquivos sobre pesquisa em educação e o index de periódicos em educação). Para a inclusão dos estudos na meta-análise, consideraram-se quatro quesitos: os estudos deveriam relatar resultados de cursos em salas de aula; deveriam apresentar resultados quantitativos sobre a variável “resultado final” tanto para os grupos CBI quanto para os grupos com procedimento de ensino tradicional; os estudos não deveriam ter problemas metodológicos como aqueles listados pelo The Institute for higher education policy e os estudos deveriam estar disponíveis em bibliotecas de universidades ou faculdades.
Kulik e Kulik (1991) verificaram que, no geral, os alunos tiveram médias melhores no ensino mediado por computador do que no tradicional e as atitudes dos alunos mudaram frente ao computador após terem passado pela experiência de participar de um curso a distância (depois do curso, os alunos tendiam a relatar estar mais confortáveis com o uso de recursos tecnológicos). Os resultados mostraram também que a eficácia do CBI variava dependendo da fonte analisada (os resultados relatados em publicações em periódicos tendiam a ser melhores para a modalidade a distância que as dissertações/teses ou relatórios técnicos) e da duração do estudo (os melhores resultados foram obtidos em cursos de curta
2 Meta-análise consiste na aplicação de métodos estatísticos a resultados de uma grande quantidade de
duração com uso de computadores). Na revisão verificou-se, ainda, que o professor é uma variável crítica para a determinação da eficácia de cursos. Quando o professor era o mesmo na modalidade CBI e tradicional, a diferença entre os cursos era menor do que quando a pesquisa utilizava professores diferentes nos dois cursos.
Em síntese, em que pese às promessas da EAD, de uma maneira geral, os estudos até aqui apresentados mostram que apenas tornar disponíveis virtualmente materiais não garante a efetiva aprendizagem dos alunos. Há muitas outras variáveis que precisam ser analisadas.
Análise do Comportamento e ensino
Os homens aprendem uns com os outros sem serem ensinados. Pode ter acontecido alguma vez que um homem tenha aprendido a usar uma enxada olhando outro a usá-la, mas nem por isso o lavrador teve as funções de professor. Foi só quando a crescente eficiência do aprendiz tornou-se importante para o lavrador que este se torna professor e modifica o seu comportamento para facilitar a aprendizagem. (Skinner, 1975, p. 239/240)
Skinner (1975/19683) destacou e discutiu muitos aspectos críticos em relação à educação, dentre eles a necessidade de se aferir o ensino considerando-se seu efeito sobre o repertório do estudante e a necessidade de se planejar contingências (para professor e alunos) favorecedoras na promoção de tais mudanças. Ou seja, uma medida do bom ensino é o efeito sobre o aluno, e o bom ensino exige planejamento, não deve ser deixado a contingências fortuitas. Essas considerações parecem ser perfeitamente coerentes com os resultados dos estudos até aqui destacados. Não adianta prover o aluno com uma série de materiais ou equipamentos, por exemplo, e esperar que daí decorra “naturalmente” um bom resultado.
Os resultados de pesquisas conduzidas sobre os procedimentos de ensino tradicional e presencial vêm exaustivamente mostrando que o comportamento de estudar, assim como qualquer outro comportamento, é função de suas conseqüências (Keller, 1983; Luna, 1998). Portanto, é preciso conhecer o que controla o comportamento de estudar ou de participar de um curso para que o controle seja exercido de forma eficaz. Skinner (1975/1968)
argumentou que o conhecimento derivado da Análise Experimental do Comportamento é relevante para a educação exatamente porque considera tais relações:
O aluno é “ensinado” no sentido de que é induzido a se engajar em novas formas de comportamento e em formas específicas em situações específicas. Não é apenas uma questão de ensinar-lhe o que fazer; exige igual preocupação com a probabilidade de que o comportamento apropriado ocorra, de fato, no devido tempo – uma questão que seria tradicionalmente classificada como motivação. (p. 31)
Instrução Programada
A aplicação dos princípios da Análise Experimental do Comportamento à educação resultou, dentre outras coisas, em uma tecnologia de ensino que recebeu o nome de Instrução Programada (IP). Skinner deu origem à IP em 1953 (Vargas & Vargas, 1992), quando passou a trabalhar na construção desse procedimento de ensino e de equipamentos para tal (a “máquina de ensinar”). Os resultados de seu trabalho nesta área foram apresentados em várias publicações (por exemplo, Skinner, 1961, 1963, 1975/1968, 1989/1953, 2006/1989) e esta sua proposta de Ensino Programado foi testada com a publicação de um livro-texto sobre os conceitos fundamentais da Análise Experimental do Comportamento, em co-autoria com Holland (Holland & Skinner, 1974/1961), e com o desenvolvimento de um equipamento que promovia o estudo individualizado e pode ser considerado um precursor do ensino a distância que utiliza computadores, chamado por ele de “máquina de ensinar”. (Skinner, 1975/1968)
Segundo Fry (1963), as características do procedimento de ensino por Instrução Programada são: (1) os objetivos do curso são específicos e orientam o planejamento do material; (2) a seqüência dos passos do material é planejada; (3) o conteúdo do curso é dividido em pequenos passos; (4) a participação ativa do estudante é requerida – por exemplo, com atividades do tipo “preencher a lacuna” ou “responder a questões” na maioria dos passos; (5) o programa permite revisões do material de acordo com o desempenho do aluno; (6) as respostas do aluno recebem conseqüências imediatamente e (7) o estudante pode seguir o seu próprio ritmo.
base nos princípios da Instrução Programada, que foi bem estabelecida como um campo especializado da tecnologia instrucional.
Sistema Personalizado de Ensino
Com base na proposta de Instrução Programada, Keller, em 1968, propôs o Sistema Personalizado de Ensino (PSI). Trata-se de um método de ensino individualizado e personalizado, pois respeita o ritmo de cada estudante, e que, além de contar com muitas das características da Instrução Programada, salienta a importância dos monitores no processo de ensino e enfatiza a utilização de material escrito. Segundo Keller (1968), as principais características do PSI são:
1. A divisão do conteúdo do curso em pequenas partes ou unidades que devem ter grau de dificuldade crescente, ou seja, partir dos conceitos básicos para os complexos que, como apontam Keller, Bori e Azzi (1964), é característica que se baseia no princípio de aproximações sucessivas.
2. Os objetivos finais são previamente estabelecidos e o aluno inicia o estudo de uma unidade informado sobre o que se espera que ele aprenda naquele conteúdo.
3. O ritmo de estudo depende exclusivamente do aluno, ou seja, aquele que é mais rápido pode realizar as unidades sem esperar que outros concluam cada unidade. Já o aluno que necessita de mais tempo é beneficiado, pois tem o tempo de que necessita para obter o máximo de aproveitamento.
4. Total domínio do conteúdo é requerido, já que o aluno prossegue no curso somente com 100% de aproveitamento, não importando a quantidade de testes necessária para constatar maestria nem o tempo requerido para chegar a tal desempenho. Sobre este aspecto do PSI, Keller, Bori e Azzi (1964) afirmam:
Além disso, para que cada tipo de conseqüência tenha efeito é preciso que sejam imediatas, sem, como na escola, esperar até o fim do ano. (Keller, Bori, & Azzi, 1964, p. 399)
5. Ênfase no material escrito. Como o aluno estuda no próprio ritmo, não é possível estabelecer a transmissão de conhecimento tradicional por aulas expositivas, que são usadas para motivar o aluno ou para aprofundamento do estudo acerca de temas e que não são obrigatórias. Segundo Keller, Bori e Azzi (1964), a eliminação do caráter compulsório e aversivo que possam ter as aulas torná-las-ia motivadoras e elas passariam a agir como reforçadores secundários das demais atividades.
6. O feedback (informações sobre o desempenho do aluno)4 imediato é fundamental na correção das atividades e avaliações, pois a conseqüenciação imediata do responder o afeta mais que conseqüências atrasadas.
7. Há participação de monitores ou tutores para o auxílio no estudo. Os monitores (geralmente estudantes mais graduados que passaram pelo estudo das mesmas unidades) ajudam os alunos a compreender os conceitos e auxiliam os professores na correção das atividades. Como monitores, os alunos também têm um aumento nas interações no processo educacional.
Dessas características depreende-se que o papel do professor no PSI difere muito daquele exercido em cursos tradicionais. Assim como na Instrução Programada, o professor se ocupa da definição dos objetivos do curso e das unidades, escreve as questões de estudo, elabora as atividades para treino de conhecimento, esclarece as dúvidas de alunos e monitores, fornece feedback e avalia o desempenho para aprimorar os materiais de estudo, orienta individualmente alunos e promove outras atividades de interação (Fadiman & Frager, 1986; Skinner, 1975/1968).
A principal diferença da Instrução Programada para o Sistema Personalizado de Ensino é que na IP existe uma programação de seqüência de passos que poderiam ser quadros ou questões propostas, enquanto no PSI a seqüência é de unidades, que seriam passos maiores. Segundo Teixeira (2004), as unidades “corresponderiam à realização de
4 O termo “feedback” será empregado neste trabalho exclusivamente com o sentido de informação sobre o
uma atividade: uma leitura de texto ou um exercício de laboratório ou uma análise de caso ou uma pesquisa bibliográfica etc.”. (p.73)
Quando o aluno inicia um curso em formato PSI, geralmente recebe um guia de estudos que direciona suas atividades da primeira unidade. Apesar de algumas variações, um guia de estudos típico traz a introdução da unidade, estabelece seus objetivos, sugere procedimentos e lista questões de estudo. O estudante pode trabalhar em qualquer lugar para atingir os objetivos apresentados no guia. Antes de o aluno passar para a unidade seguinte, deve demonstrar total domínio do que foi estudado na primeira unidade, o que se dá com testes que são aplicados apenas quando o aluno se sente preparado. Caso o aluno não tenha 100% de aproveitamento pode, sem ser punido, retomar seu estudo e fazer outro teste, quantas vezes forem necessárias. Quando demonstra domínio da unidade, recebe o guia de estudos da unidade seguinte e assim por diante.
O primeiro curso em formato PSI foi ministrado no Brasil na Universidade Nacional de Brasília (Keller, 1968; Todorov, 2005) e daí expandiu-se por inúmeros estados brasileiros como São Paulo, Rio Grande do Sul, Goiás, Bahia, Minas Gerais e Rio de Janeiro, além de outros países como Estados Unidos, Venezuela e Chile, em várias áreas do conhecimento além da Psicologia. (Teixeira, 2004)
Kulik, Kulik e Cohen (1979) realizaram uma meta-análise de estudos referentes ao PSI na qual analisaram 72 artigos que relataram e compararam 75 cursos ensinados pelos procedimentos tradicionais e com PSI. Kulik et al. (1979) dividiram sua análise em três partes: uma comparação do PSI com cursos tradicionais, para responder quão efetivo seria o PSI em relação a tais cursos; a análise de resultados, que visava verificar se o PSI seria especialmente efetivo para determinados tipos de alunos, ou em relação a medidas de efetividade instrucional específicas (exames finais e testes de follow-up, questões dissertativas e de múltipla escolha, cursos com objetivos de ensino mais ou menos exigentes e diferenças entre alunos, se com alto ou baixo rendimento escolar); a análise dos efeitos do PSI a partir de características dos métodos utilizados nos estudos, para conhecer sob quais condições o PSI pode se mostrar especialmente efetivo (tipo de curso ensinado, delineamentos experimentais utilizados e diferenças nos tipos de exames finais).
tradicional – 65,9). As notas dadas pelos professores aos seus alunos também foram maiores e notas altas foram mais freqüentes nos cursos PSI; os alunos avaliaram melhor o PSI como método de ensino em todos os quesitos (qualidade do curso, aprendizagem, satisfação com o curso e quantidade de trabalho). As desistências não foram maiores em comparação com o ensino tradicional e o tempo de estudo dos alunos para ambos os métodos foi avaliado como semelhante. Além disso, a superioridade do PSI sobre o ensino tradicional ficou especialmente clara quando a retenção dos conhecimentos foi comparada. Não foram constatadas diferenças no desempenho dos alunos que estudaram pelo PSI em relação ao tipo de questão utilizada nas avaliações finais e as notas nas avaliações finais, tanto em questões dissertativas quanto de múltipla escolha, foram significativamente menores para os alunos que estudaram em cursos tradicionais, tanto para os alunos com baixo como para aqueles com alto desempenho escolar.
Em relação às condições sob as quais o PSI pode ser especialmente efetivo, os estudos que descreveram cursos em áreas como Matemática, Engenharia e Psicologia tiveram resultados melhores do que em outras, como Física, Ciências e Ciências Sociais. O PSI foi efetivo para cursos introdutórios e avançados, independentemente da instituição em que o curso foi aplicado. Kulik et al. (1979) verificaram que houve maior diferença na nota final dos alunos que passaram por ensino programado ou tradicional quando o professor de cada curso variou, assim como foi constatado em outra meta-análise feita por Kulik e Kulik (1991) sobre o ensino por computador. Além disso, quando o método tradicional foi aplicado com alguns dos componentes do PSI, a diferença nas notas foi menor. Não houve diferenças quando se avaliou o tipo de teste final ou a autoria dos exames finais, se por um único professor de cada um dos métodos, se pelos dois colaborativamente ou por teste padronizado (Kulik et al.,1979). Curiosamente, os resultados indicaram que o tempo de trabalho nos cursos em ambos os formatos foi o mesmo, em contraposição à sensação dos alunos que estudaram em cursos pelo método PSI, e que consideraram que precisavam de mais tempo de estudo.
ensino usual. Uma das dificuldades apontadas foi a definição do PSI, já que muitos pesquisadores e professores passaram a implementar cursos com apenas algumas de suas características (Lloyde & Lloyde, 1992). Sherman (1992) comenta que Keller chegou a chamar alguns cursos de SLI (sigla em inglês para Something Like It) para diferenciá-los do PSI. Outra dificuldade do PSI estaria relacionada a questões financeiras que levaram ao fechamento do Center for Personalized Instruction5 e seus periódicos. Sherman (1992)
também aponta como obstáculo ao PSI as deliberações de algumas chefias em universidades norte-americanas, que chegaram a proibi-lo.
À parte desta discussão, podem-se citar como desvantagens do PSI o tempo gasto pelo professor na elaboração do material didático e das avaliações (tanto verificações de aprendizagem como testes-treino, além de outras tarefas necessárias para adequações institucionais como as mencionadas acima), as exigências de treinamento dos recursos humanos, o número de monitores necessários e a dificuldade para treiná-los, além do grande volume de trabalho para professores e monitores e seu conseqüente alto custo (Lloyde & Lloyde, 1992; Witter, 1975). No sentido de resolver o problema do alto custo de treinamento dos monitores e para facilitar a administração dos cursos, alguns autores começaram a pesquisar a eficácia do PSI utilizando computadores como monitores e gerenciadores do desempenho dos alunos (por exemplo: Crosbie & Kelly, 1993; Crowel, Quintanar, & Grant, 1981; Pear & Crone-Todd, 1999; Pear & Novak, 1996). Esses estudos mostraram que a utilização do computador ajuda no desenvolvimento do curso sem que as vantagens do método sejam perdidas.
Computer-aided Personalized System of Instruction
Muitas das características e princípios da EAD foram previamente propostos por analistas do comportamento (La Taille, 1990, 1992). Pretende-se, neste trabalho, realizar um estudo do sistema desenvolvido na Universidade de Manitoba, Canadá, por J. J. Pear e colaboradores, chamado Sistema Personalizado de Ensino com Ajuda de Computadores (Computer-aided personalized system of instruction, ou CAPSI).
5 O Center for Personalized Instruction “foi estabelecido na Universidade de Georgetown, fundado
O CAPSI foi desenvolvido a partir dos princípios propostos no Sistema Personalizado de Ensino e vem sendo utilizado em cursos a distância via internet, portanto, com o auxílio de computadores e software. O sistema foi descrito em diversos artigos: Crone-Todd, Pear e Read (2000), Kinsner e Pear (1988), Martin, Pear e Martin (2002a, 2002b), Pear (2003), Pear e Crone-Todd (1999, 2002), Pear, Crone-Todd, Wirth e Simister (2001), Pear e Kinsner (1988), Pear e Novak (1996).
As funções do computador (máquinas e software) no CAPSI são: tornar disponíveis os testes e exames intermediários, registrar os pontos dos alunos em cada teste respondido e manter registro completo da trajetória do aluno no curso. O computador também auxilia no gerenciamento do curso, uma vez que “distribui” correções e permite a coleta de outros conjuntos de dados sobre o programa. Os testes são corrigidos pelo professor/instrutor, pelo professor assistente/mentor, ou por dois monitores.
envolvidos com o CAPSI e serve de guia para a construção das avaliações, por isso não é estranho que os próprios alunos digam que aprenderam mais enquanto monitores do que nas demais atividades do curso (Pear, Crone-Todd, Wirth & Simister, 2001).
No CAPSI, para o controle da qualidade na correção das avaliações e para aumentar o número de vezes em que cada aluno pode ser monitor, são sempre usados dois monitores independentes para as correções dos testes em que o professor não participará. A escolha dos monitores para correções de cada teste é realizada pelo sistema (computador), que “seleciona” os dois alunos voluntários com o menor número de monitorias realizadas até aquele momento. Os testes só são enviados para correção dos professores se não houver alunos candidatos à monitoria.
Como o sistema CAPSI registra todo o desempenho dos alunos, é possível analisar o comportamento e os desempenhos dos alunos durante todo o curso. Além disso, os professores podem revisar as correções feitas pelos monitores e dar feedback a eles.
Atualmente, o CAPSI é acessado pela internet e, portanto, usado para ensino a distância. Segundo Kinsner e Pear (1988), o projeto começou em 1983 com apenas um terminal disponível na Universidade de Manitoba, Canadá, para acesso ao CAPSI. Nessa época o programa era delineado de modo que os alunos respondessem aos testes das unidades off-line, à caneta e em folhas que eram entregues aos professores. Em 1984, ainda na universidade, dois terminais foram disponibilizados para os alunos e um outro para os professores, tornando o acompanhamento dos alunos mais rápido. No ano acadêmico 1986-87, alunos que possuíam computadores e modems passaram a poder acessar o CAPSI de fora da universidade e enviar as respostas dos testes pelo sistema de mensagens eletrônicas da universidade. A correção dos testes era realizada em até 24 horas. O sistema de mensagens eletrônicas também permitia o contato entre alunos e professores, além das correções dos testes. No ano seguinte, a distinção entre alunos que usavam o sistema dentro e fora da universidade passou a ser desconsiderada. Todos os alunos puderam acessar o sistema por conta própria e enviar mensagens eletronicamente para os professores.
questões (dissertativas) dos testes das unidades e informações sobre como contatar os professores.
Em 1988, Kinsner e Pear publicaram o primeiro artigo sobre o CAPSI, no qual fizeram considerações históricas sobre o sistema e avaliaram os resultados obtidos com a implementação do sistema na universidade. Relatam que a maioria dos alunos considerou o curso melhor ou igual a outros métodos e muitos avaliaram ter aprendido mais do que com aulas expositivas. As características do sistema CAPSI apontadas como as melhores foram o ritmo próprio, a oportunidade de ser monitor, as questões de estudo específicas e a possibilidade de aprendizagem efetiva para todos os alunos, já que estudavam em ritmo próprio e não eram obrigados a passar por partes do conteúdo apenas para acompanhar a turma. Além disso, destacaram a possibilidade que todos tinham de tirar boas notas.
Um dos aspectos negativos considerados pelos estudantes foi a falta de aulas e a conseqüente falta de oportunidade para discussões, o que foi corrigido em parte com o uso do correio eletrônico. Como os alunos podiam acessar o curso de qualquer lugar e a qualquer hora, aulas expositivas até podiam ser usadas, mas não como principal meio de instrução e sim para suplementar o processo de aprendizagem. Outro aspecto considerado negativo foram as oportunidades para “colar”, o que foi resolvido com a diminuição do número de pontos atribuídos aos testes das unidades e aumento do valor da nota em prova intermediária (do meio do semestre) e exame final realizados com supervisão. Problemas técnicos com os equipamentos também foram apontados pelos estudantes como aspecto negativo, o que foi resolvido com o uso de qualquer computador e não apenas com os terminais da universidade.
Outros resultados importantes do estudo de Kinsner e Pear em 1988: os alunos, enquanto monitores, corrigiram mais testes que os instrutores; houve, proporcionalmente, menos indicação de reestudo feita pelos monitores do que pelos instrutores, indicando que professores eram mais exigentes na correção do que os alunos; o número de testes cancelados pelos alunos foi maior do que os que foram corrigidos e orientados para reestudo, um indicador de que os alunos percebiam quando tinham um desempenho insatisfatório.
implementação de uma área no sistema para a comunicação entre os monitores e professores. Com esta área, os monitores passaram a enviar suas dúvidas aos professores durante as correções, para que fossem auxiliados antes de submeter o resultado da correção. Os alunos também se beneficiariam dessa comunicação, já que podiam tirar dúvidas antes dos testes diretamente com os professores.
Ao analisar o desempenho dos alunos nos diversos cursos, Pear e Kinsner (1988) verificaram que o número de alunos que completavam os cursos parecia variar de acordo com a experiência prévia com o sistema, problemas técnicos com o equipamento e dificuldade do conteúdo do curso. Por exemplo, em curso dado dentro da universidade sobre Princípios de Modificação de Comportamento, no primeiro semestre do ano acadêmico de 1986-87, de um universo de 77 alunos, 70 iniciaram o curso realizando pelo menos uma unidade e 63 (90%) o completaram, com nota final igual ou superior a “C”. O curso de Aplicação de Modificação de Comportamento foi o seguinte e neste, de 50 inscritos, 43 iniciaram o curso e 42 (98%) o completaram, com nota igual a “A” ou “A+”. Por outro lado, alunos que fizeram esses mesmos cursos, mas que não freqüentavam a universidade, tiveram um desempenho pior. No primeiro curso, sobre Princípios de Modificação de Comportamento, de 59 inscritos, 46 iniciaram o curso e 36 (78%) o completaram com nota final igual ou maior a “C”. Pear e Kinsner (1988) consideraram a porcentagem de alunos que completaram o curso baixa e indicaram que o resultado poderia estar relacionado aos problemas técnicos com os equipamentos. Sobre a reação dos estudantes ao curso, os mesmos aspectos, tanto positivos quanto negativos, apontados no primeiro artigo de 1988 (Kinsner & Pear, 1988) foram apontados neste caso.
o CAPSI com base no background e características motivacionais dos alunos, além de avaliar o desempenho dos alunos nas duas disciplinas e avaliar a satisfação dos estudantes. Verificaram que a média de idade dos alunos nos cursos avaliados foi de 21 anos; a maioria, 68%, já possuía experiência com computadores e 83% dos estudantes os usavam na universidade, realizando o curso durante sua permanência no campus. Os estudantes destacaram como característica mais positiva do CAPSI a conveniência de não ter que ir às aulas, o ritmo próprio de estudo e estudar onde e quando quisessem. Além desses aspectos, apontaram também como positivo o método de avaliação e as notas pela atividade de monitoria. Os aspectos avaliados negativamente foram o peso e a estrutura do exame final, a falta de interação – apesar de não usarem o tempo em que o instrutor esteve à disposição deles –, a ausência de aulas e as questões específicas usadas nos testes. Dentre os alunos, 76% relataram problemas técnicos e 11% tiveram problemas com os monitores (atraso na correção dos testes, falta de disposição para ajudarem com o computador ou falta de feedback). Constatou-se também aumento de respostas positivas quanto a se sentir confortável com computadores com o curso. A satisfação geral com o curso foi apontada por 64% dos alunos.
métodos. Apesar das diferenças nos desempenhos dos alunos, as quatro disciplinas foram consideradas um sucesso pelos resultados que geralmente norteiam os demais cursos.
Nos quatro artigos apresentados até aqui (Kinsner & Pear, 1988; Pear & Kinsner, 1988; Pear & Novak, 1996; Pear & Crone-Todd, 1999), o enfoque recaiu sobre o funcionamento do sistema CAPSI e sobre dados dos alunos, como notas e satisfação com o curso. Os demais artigos publicados sobre o CAPSI têm um enfoque diferente. Neles, foram analisados aspectos específicos do sistema.
Crone-Todd, Pear e Read (2000) analisaram a “aprendizagem” em relação às questões de estudo propostas nos cursos CAPSI. A preocupação dos autores referiu-se ao modo como as questões poderiam facilitar o desenvolvimento do pensamento complexo nos estudantes.
No sistema explicativo skinneriano, pensar/pensamento é definido como comportamento operante que pode ser verbal ou não verbal, encoberto ou aberto e há muitas relações, processos e contingências envolvidas nas circunstâncias em que respostas são chamadas tradicionalmente de pensar. Portanto, não há necessidade de um único termo para definir tais comportamentos (Andery & Sério, 2002). De qualquer modo, manteremos o termo “pensamento complexo” neste trabalho por ser essa a terminologia utilizada pelos autores da área. O termo “pensamento”, neste trabalho, será empregado para tratar de diferentes topografias de respostas verbais sob controle de outras respostas verbais (portanto, intraverbais) e de relações comportamentais que descrevem comportamento verbal.
cursos de Psicologia da Universidade de Manitoba, Canadá, via CAPSI: Princípios de Modificação de Comportamento e Orientações de Sistemas Psicológicos.
Crone-Todd, Pear e Read (2000) categorizaram em seis classes as questões propostas e as respostas que tais questões promoveriam nos cursos avaliados, a saber: 1. Conhecimento – as perguntas solicitam respostas que podem ser memorizadas ou
parafraseadas do material.
2. Compreensão – as perguntas solicitam respostas (que estão escritas) com palavras dos alunos, enquanto ainda usam a terminologia apropriada ao material do curso.
3. Aplicação – as perguntas devem requerer o reconhecimento, identificação ou aplicação de um conceito ou princípio aprendido na classe 2 (compreensão) em uma nova situação, ou na solução de um problema. Questões nesta classe apresentam ou requerem exemplos ainda não encontrados no material do curso.
4. Análise – as perguntas requerem que conceitos sejam quebrados (analisados) em suas partes constituintes, ou requerem a identificação ou explicação dos componentes essenciais dos conceitos, princípios ou processos. Além disso, essa classe pode requerer do estudante que compare, contraste ou explique como um exemplo ilustra um dado conceito ou princípio.
5. Síntese – as perguntas requerem que partes de um todo sejam colocadas juntas; é o oposto da categoria anterior (análise). Questões podem requerer definições não identificadas no material, ou seja, exigem ir do específico para o geral, ou exigem explicar como combinar princípios ou conceitos para produzir algo novo.
6. Avaliação – as questões requerem a apresentação e avaliação das razões contra e a favor de uma posição particular e, idealmente, uma conclusão quanto à validade desta posição. A parte mais importante da resposta é a justificativa, ou racional, para a conclusão, mais do que a resposta em si. “Uma boa discussão nesta classe envolve todas as categorias anteriores”. (Crone-Todd, Pear, & Read, 2000, p. 102)
tem importância para professores em geral, como instrumento que pode ser usado no planejamento de questões de estudo e de avaliação em diversos cursos. Porém, ainda não há dados de pesquisa que apontem a quantidade adequada de cada tipo de classe para um determinado curso.
Então, Pear, Crone-Todd, Wirth e Simister (2001) desenvolveram um procedimento que consideraram confiável para avaliar os “níveis de pensamento” dos alunos, a partir desta taxonomia, analisando as respostas dos estudantes nos testes das unidades. Foram selecionadas randomicamente para análise as respostas de quatro alunos da turma do ano 2000 da disciplina de Princípios de Modificação de Comportamento. Como cada pergunta podia ser subdividida em mais de um componente, a análise realizada envolveu 64 questões com 168 componentes. O número de componentes avaliados para cada nível da taxonomia foi: 49 para conhecimento, 92 para compreensão, 11 para aplicação, 14 para análise, 1 para síntese e não houve componente para o último nível, avaliação. As respostas às questões corresponderam às respostas de dois exames intermediários (cada um com três questões do banco de questões dos testes das unidades) e do exame final (com 10 perguntas que também foram retiradas do banco de testes das unidades). Para calcular a confiabilidade, os níveis 1 e 2 (conhecimento e compreensão) foram agrupados, assim como os níveis 4, 5 e 6, aumentando o número de exemplos de cada categoria e reduzindo a sutileza na discriminação necessária para obter a concordância. As respostas incorretas foram denominadas de nível zero. A concordância foi acima de 80% para todos os níveis.
Esses autores destacaram, ainda, que os monitores, ao realizar sua tarefa, emitiram respostas classificadas como “avaliação” e por isso “não deveria ser surpresa que muitos alunos freqüentemente mencionam que ser monitor é a característica do CAPSI que mais os ensinou”. (p. 230)
Os estudos de Crone-Todd, Pear e Read (2000) e de Pear, Crone-Todd, Wirth e Simister (2001) levantam ainda outras questões relacionadas a procedimentos de ensino a distância e ao desenvolvimento de repertórios verbais complexos, tais como: seria possível, já no início de um curso, identificar os alunos com dificuldades de responder questões que envolvem “pensamento complexo”, mesmo entre aqueles que respondem com maestria as questões? Essa classificação seria útil para a proposição e análise de procedimentos para gerar respostas verbais?
Pear e Crone-Todd (2002) analisaram os feedbacks fornecidos a 24 alunos nas correções dos testes no curso de Princípios de Modificação de Comportamento da Universidade de Manitoba, Canadá. No manual do aluno, as questões de estudo foram identificadas conforme o “nível de pensamento” esperado. Os monitores foram instruídos sobre os diferentes níveis, foram apresentados exemplos de questões e foram dadas instruções mais detalhadas sobre como deveriam ser os feedbacks: os monitores deveriam considerar se o aluno usava exemplos originais, se a resposta estava clara, se todos os conceitos-chave relevantes para a resposta eram corretamente abordados e se a resposta era escrita com as palavras do aluno. Eles também foram instruídos a dar feedbacks positivos e construtivos, de modo não punitivo.
Martin, Pear e Martin (2002a) avaliaram a precisão dos feedbacks em relação a 33 alunos da Universidade de Manitoba, Canadá, que terminaram a graduação no outono de 1996. Do total de 523 questões dos testes, 101 foram selecionadas para análise (19,3% do total). Foram selecionados os testes que continham as questões que também eram selecionadas para inclusão em teste subseqüente, exame intermediário ou exame final. Usando os mesmos critérios dos monitores, dois avaliadores independentes determinaram se as 302 respostas aos 101 testes estavam corretas. Para cada desacordo, os méritos ou deficiências das respostas eram discutidos até se chegar a um acordo. Três respostas foram descartadas por não se chegar a um acordo. As correções dos monitores foram então comparadas à padronização obtida pelos avaliadores para determinar a precisão de 559 instâncias de correções por monitores. Os resultados foram agrupados entre “respostas que tiveram consenso dos avaliadores” e “respostas que não tiveram consenso dos avaliadores”. Dentre 187 correções avaliadas como respostas incorretas, os monitores indicaram erroneamente como corretas 125 delas (66,8%), que foram chamadas de “falso negativo”. De 372 correções avaliadas pelos pesquisadores como respostas corretas, os monitores indicaram erroneamente como erradas 25 delas (6,7%), que foram chamadas de “falso positivo”. Os monitores cometeram erros em 26,8% de todas as correções (150 em 559). De todos os erros, 83% foram falsos negativos. Entre todas as respostas incorretas, 53,6% foram corrigidas como incorretas por um dos monitores; assim, ter dois monitores corrigindo cada teste reduziu a porcentagem de falsos negativos de 66,8% para 46,4%. Aparentemente, então, houve um viés dos monitores na direção de corrigir as respostas como corretas. As porcentagens de erros individuais, isto é, quando se avaliou individualmente os monitores, variaram de 0% a 50%, indicando que os monitores diferiram amplamente. Segundo Martin, Pear e Martin (2002a), apesar da natureza descritiva do estudo, ele contribui para a avaliação da precisão dos feedbacks dados em cursos via CAPSI e mais amplamente, já que há escassez de dados sobre precisão e efetividade de feedbacks no ensino superior.
participantes do estudo anterior. Os testes incluídos na análise foram aqueles que satisfizeram os seguintes critérios: testes com respostas que receberam feedback detalhado de pelo menos um avaliador e com a mesma questão feita novamente ao mesmo aluno em pelo menos uma ocasião subseqüente. Uma amostra de 101 testes foi selecionada (19,3% de um total de 523 testes). As correções foram classificadas em cinco tipos: (1) Modelo, quando a correção fornecia a resposta correta ou parte dela; (2) Sugestão, quando descrevia a mudança no comportamento verbal do estudante que melhoraria a resposta; (3) Exemplo, quando fornecia um ou mais exemplos; (4) Questão, quando a correção envolvia uma pergunta cuja resposta poderia melhorar a resposta dada pelo aluno no teste; (5) Referência de página, quando a correção apresentava um ou mais números de páginas indicando onde, no material, poderiam ser encontradas informações para melhorar a resposta.
A precisão das correções também foi classificada como: erro tipo A, definido como o erro que era baseado na leitura imprecisa da resposta, ou seja, quando a resposta já continha uma informação que o monitor pedia para acrescentar, e erro tipo B, definido como correção que não era consistente com a informação do material de estudo. Posteriormente, foi analisado se o estudante melhorava consistentemente suas respostas com as correções.
O presente trabalho
O conjunto de estudos aqui relatados indica que o sistema CAPSI, especialmente por suas características de PSI, parece de fato ser uma alternativa eficiente de educação a distância mediada por computador.
No entanto, não há no Brasil experiência semelhante relatada, pelo menos na área de Psicologia. Neste trabalho, aplicou-se um curso de Princípios de Análise do Comportamento, utilizando o sistema CAPSI, com alunos brasileiros. Foi objetivo do estudo avaliar as possibilidades de implantação de um curso com estas características a estudantes brasileiros e avaliar suas características tendo em vista os desempenhos por ele gerado.
MÉTODO
Participantes 1. Alunos
O trabalho contou com 77 alunos participantes, dos quais 62 (80,5%) eram vinculados a uma mesma instituição de ensino, que oferece diferentes modalidades de cursos a interessados em Análise do Comportamento, especialmente no contexto clínico. Desses, 33 (43%) faziam curso de especialização, 17 (22%) estavam no curso de formação em Psicologia e 12 participavam de grupos de estudo ou eram ligados à instituição de outra maneira. Os demais alunos eram de outro estado brasileiro (15) e participavam de grupos de estudo coordenados por membros dessa instituição ou tinham outros vínculos com a instituição (19,5%).
Todos os inscritos foram indicados pela coordenação da instituição de ensino para fazer um curso de Princípios de Análise do Comportamento. O curso teve conteúdo equivalente a conteúdos freqüentemente listados em disciplinas de Análise do Comportamento em graduações e pós-graduações de Psicologia.
Antes de iniciar o curso, os alunos foram informados sobre o novo formato, suas características gerais e duração, assim como sobre as razões para a proposta.
Dos 77 inscritos, 45 alunos responderam a um questionário sobre sua história acadêmica (ver Anexo I). Segundo as informações prestadas no questionário, os inscritos tiveram formação acadêmica predominantemente em Psicologia (87%, 39 alunos); os demais tinham graduação completa ou em curso em outras áreas (Biomédicas, Comércio Exterior, Filosofia e Teologia, Letras, Matemática e Tecnologia). A maioria dos inscritos (87%, 39) havia cursado ou ainda cursava faculdade particular, sendo que 76% (34) eram graduados. Mais da metade tinha até 30 anos (55%, 25).
Dos 77 alunos que iniciaram o curso, 14 o concluíram (ver Resultados). Destes, 13 (92,9%) tinham formação em Psicologia, 12 deles (85,7%) com graduação completa; 9 deles (64,3%) tinham até 30 anos e 4 alunos tinham entre 40 e 50 anos (28,6%).
2. Mentoras
Seis alunas de Mestrado do Programa de Pós-Graduação em Psicologia: Análise Experimental do Comportamento atuaram como mentoras no CAPSI. Elas participaram das correções dos testes e exames dos alunos.
3. Instrutoras
A pesquisadora funcionou como instrutora. Suas principais tarefas foram: responder todas as mensagens dos alunos e mentoras enviadas pelo CAPSI e e-mail; acompanhar semanalmente o desempenho dos alunos e informar as mentoras sobre o andamento das atividades de cada aluno; checar as correções dos alunos-monitores e enviar mensagens sobre as correções realizadas por eles; verificar as correções das mentoras para debatê-las durante as reuniões semanais em que o conteúdo do curso era discutido presencialmente, assim como o desempenho dos alunos; controlar o cronograma do curso, mantendo todos avisados quanto às datas dos exames e videoconferências e alterando as datas especificadas quando necessário; controlar as participações dos alunos no CAPSI e nas videoconferências; coordenar as reuniões semanais com as mentoras e corrigir os testes das unidades e exames dos alunos.
Além da pesquisadora, trabalhou também como instrutora uma ex-aluna do mesmo Programa que já possui o título de Mestre em Análise do Comportamento. As tarefas dessa segunda instrutora foram: corrigir os testes das unidades e exames, responder dúvidas dos alunos enviadas pelo sistema de mensagens do CAPSI e coordenar as reuniões com as mentoras.
4. Monitores
Os alunos do curso podiam também trabalhar como monitores. Suas funções serão descritas a seguir, no item “Procedimentos do curso”.
Equipamento (software, hardware) e materiais
A versão do CAPSI/PC instalada em um servidor Novell no Departamento de Psicologia da Universidade de Manitoba, Canadá foi configurada para um novo curso para essa turma de alunos graças ao oferecimento do professor Joseph Pear, da Universidade de Manitoba, que desenvolveu o sistema CAPSI.
O programa pôde ser acessado pela internet 24 horas por dia todos os dias da semana. As principais funções do sistema foram: tornar disponíveis os testes das unidades e o exame intermediário para os estudantes, enviar as respostas para correção pelas instrutoras, mentoras ou monitores e registrar todos os dados dos alunos durante o curso. Havia também um sistema de mensagens por meio do qual alunos e instrutores puderam se comunicar, controlado pelo computador.
Foi utilizado como material de estudo um livro-texto. Trata-se da tradução da 8ª edição, ainda não publicada no Brasil, do livro Behavior Modification: what it is and how to do it? (Modificação de Comportamento: o que é e como fazer?), escrito por Gary Martin e Joseph Pear (2007). O mesmo livro-texto vem sendo usado na disciplina de Princípios de Modificação de Comportamento da Universidade de Manitoba, Canadá. A versão traduzida foi cedida gentilmente pelo professor Hélio Guilhardi, responsável pela supervisão técnica da tradução brasileira de Noreen Campbell de Aguirre.
Além dos capítulos a serem lidos (1 a 16), constavam do livro as questões de estudo de cada capítulo, que foram entregues em apostilas à parte.
de estudo. Os alunos foram também informados da possibilidade de agirem como monitores.
As instruções gerais, os guias de estudo e as questões de avaliação foram adaptadas e traduzidas do material proposto por Pear e seus colaboradores no curso de Modificação do Comportamento feito via CAPSI.
Também foram utilizados equipamentos de videoconferência. As sessões de videoconferência foram estabelecidas através da interligação dos ambientes – instituição de ensino e estúdio de geração em São Paulo – com tecnologia de comunicação ISDN e equipamentos de videoconferência (endpoints) da marca Tandberg. No estúdio de geração de conteúdo, foi utilizado um equipamento do tipo multisite, modelo EDGE 85 MXP, que possibilita a conexão de até quatro locais simultaneamente através de conexões por IP/ISDN. No ambiente de recepção, foi utilizado um equipamento do mesmo fabricante da família 990 MXP set-top. O sistema de videoconferência permite que tanto professores, no estúdio de geração, quanto os alunos, na sala da instituição de ensino onde se encontram os equipamentos de recepção, se comuniquem por áudio e vídeo em tempo real.
Para os alunos do outro estado, a transmissão das videoconferências foi feita pela internet por streaming. Os alunos que assistiram à videoconferência por meio desse recurso puderam interagir por e-mail. Tanto o sistema de videoconferência quanto a transmissão por streaming foram oferecidas e operadas pela área de Gestão de Tecnologias Aplicadas à Educação da Fundação Carlos Alberto Vanzolini (GTE/FCAV), ligada à Faculdade de Engenharia de Produção da Universidade de São Paulo (Poli/USP).
Procedimentos do curso
O curso foi dividido em 10 unidades. O conteúdo da primeira unidade referiu-se ao funcionamento do curso, que foi informado no manual.
Tabela 1. Divisão dos capítulos do livro por unidade.
Unidades Capítulos Conceitos envolvidos
1 - Orientações do manual do curso
2 1, 2 A Modificação de Comportamento e suas áreas de aplicação
3 3, 4 Reforçamento positivo e reforço condicionado
4 5 Extinção
5 6 Reforçamento intermitente
6 7 Tipos de reforçamento intermitente para diminuir comportamento
7 8, 9 Estímulo discriminativo e fading
8 10, 11 Modelagem e encadeamento
9 12, 13 Punição e fuga e esquiva
10 14, 15,16 Condicionamento respondente, condicionamento respondente e operante juntos e generalização da mudança comportamental
1. Testes de unidade
A cada unidade, o estudante deveria realizar um teste e ter 100% de aproveitamento. O teste era realizado quando o estudante o solicitava pelo CAPSI.
Cada teste continha três questões. As questões eram dissertativas e selecionadas randomicamente dentre as questões de estudo do material do curso.
Caso a correção do teste não indicasse domínio do tema (ver item 6, a seguir), o estudante podia, após uma hora da divulgação do resultado, se submeter a um novo teste, o que podia ocorrer quantas vezes fossem necessárias. Este tempo foi estabelecido para que o aluno reestudasse o conteúdo da unidade. O aluno, portanto, só poderia passar para a unidade seguinte quando apresentasse domínio da unidade anterior.
O tempo para a realização dos testes era de 60 minutos e, caso estes fossem concluídos depois de esgotado esse prazo, não eram corrigidos: nestes casos, o aluno recebia a indicação de reestudar o conteúdo da unidade e realizar novo teste.
O estudante podia cancelar o teste da unidade antes de submetê-lo a correção e, neste caso, podia realizar um novo teste após uma hora de reestudo do conteúdo.
2. Exame intermediário
Tabela 2. Cronograma do curso.
Evento Data Semana
Primeiro dia disponível para realizar um teste de unidade 06/agosto 1
Videoconferência 1. Dimensões da Análise do Comportamento 31/agosto 4
Exame intermediário (escolher uma dessas datas) 14/setembro 6
24/setembro 8 07/outubro 9
Videoconferência 2. Comportamento operante: fortalecimento e
enfraquecimento I
05/outubro 9
Videoconferência 3. Comportamento operante: fortalecimento e
enfraquecimento II
09/novembro 14
Videoconferência 4. As controvérsias sobre controle aversivo 30/novembro 17
Último dia para realizar um teste de unidade 12/dezembro 19
Exame final 14/dezembro 19
O conteúdo do exame intermediário referiu-se às unidades 2, 3, 4 e 5. O exame podia ser feito mesmo por aqueles alunos que, até a última data de realização, ainda não tivessem apresentado domínio nestas unidades. O aluno tinha 60 minutos para realizar o exame. A cada minuto de atraso, foi descontado 0,5 ponto na nota. O exame foi realizado pelo sistema CAPSI e não foi supervisionado.
3. Exame final
No encerramento do curso, o aluno deveria fazer o exame final, com nove questões que totalizavam 60 pontos. Esse exame teve peso maior na nota final por ser o único realizado com supervisão e por ser a atividade que assinalou a conclusão do curso pelo aluno. A duração do exame foi de 90 minutos. Atrasos não foram descontados. Mesmo os alunos que não completaram todas as unidades puderam realizar o exame final.
Os alunos considerados concluintes foram aqueles que realizaram o exame final, mesmo não tendo realizado o exame intermediário ou todos os testes das unidades.
4. Questões de estudo
classificados por Crone-Todd, Pear e Read em 2000, a partir da Taxonomia de Bloom, e estão descritos na Tabela 3.
Cada questão de estudo já estava classificada de acordo com estes níveis. A classificação aparecia ao lado de cada questão. Caso a pergunta tivesse mais de uma questão, cada uma delas possuía a indicação do nível correspondente.
Tabela 3.Nível de exigência das questões das unidades.
Níveis Tipo de resposta exigida
1 Conhecimento Respostas podem ser retiradas diretamente do material do curso.
2 Compreensão Respostas com as palavras do aluno, porém, com terminologia apropriada utilizada no material.
3 Aplicação
Aplicação ou identificação de conceito ou princípio em nova situação ou para resolver novo problema. Podem apresentar ou solicitar exemplos não encontrados no material.
4 Análise
Análise dos conceitos em suas partes constituintes. Podem solicitar identificação ou explicação dos elementos essenciais dos conceitos, princípios ou processos; comparação ou contraste de conceitos; explicação de como um exemplo ilustra um dado conceito ou princípio.
5 Síntese
Colocar juntas as partes de um todo (oposto ao nível 4). Exigem definições não identificadas no texto; explicação de como combinar princípios ou conceitos.
6 Avaliação
Apresentação e avaliação das razões a favor de e contra uma posição particular e conclusão de acordo com a validade da posição. A parte mais importante da resposta refere-se à justificativa ou racional para a conclusão. Não há respostas corretas por si mesmas, a resposta é avaliada em termos da argumentação em relação aos fatos disponíveis. Este é o nível esperado nas situações em que o aluno solicita a revisão de uma correção.
5. Videoconferências
As videoconferências foram oferecidas para os alunos da instituição de ensino em uma sala de recepção de videoconferência e para os alunos do outro estado via streaming, com projeção em um telão. Essa atividade não era obrigatória e qualquer aluno podia participar e fazer perguntas a qualquer momento pelo sistema de videoconferência ou pela internet, via e-mail. Nestas aulas, foram abordados temas relacionados ao material de estudo, porém com complementações.
Os alunos presentes a cada videoconferência que haviam atingido um número pré-especificado de unidades, como mostra a Tabela 4, receberam 0,5 ponto na nota pela presença (controlada por meio de lista de presença).
Tabela 4.Videoconferências realizadas e unidades necessárias para a pontuação.
Videoconferência Unidades requeridas
Dimensões da Análise do Comportamento 1 e 2
Comportamento operante: fortalecimento e enfraquecimento I de 1 a 7
Comportamento operante: fortalecimento e enfraquecimento II de 1 a 9
As controvérsias sobre controle aversivo todas as unidades
6. Correção das avaliações
Uma vez completadas e submetidas a correção, as unidades a serem avaliadas eram distribuídas pelo sistema para correção em 24 horas. O estudante podia verificar o andamento das correções no CAPSI. Cada questão foi corrigida destacando-se os aspectos positivos e corretos da resposta; além disso, o que não estava adequado era pontuado para cada uma das questões. Procurou-se dar feedbacks positivos e substantivos em todas as correções.
O resultado final da avaliação de unidade era expresso como uma de três possibilidades:
- aprovado, quando todas as respostas estavam corretas e completas, de acordo com o nível de exigência de cada uma;
- reprovado (ou reestude), quando mais de uma resposta não estava completa e correta ou quando apenas uma delas estava incorreta, porém seria necessário alterar toda a resposta para que ficasse correta;
