“SAEL: SISTEMA DE AVALIAÇÃO ELETRÔNICO- UMA APLICAÇÃO DA INFORMÁTICA À ATIVIDADE DIDÁTICO - PEDAGÓGICA DO PROFESSOR”
ANDRÉA SOARES ROCHA DOS SANTOS
Mestranda em Ciências da Computação da UFC e-mail: elasa@baydenet.com.br
Prof. Dr. Mauro Cavalcante Pequeno
Orientador (Computação - UFC) e-mail: mauro@lia.ufc.br
Prof. Msc. Raimundo Hélio Leite
Co-Orientador (Educação - UFC)
RESUMO
No Brasil, a formação de pessoal para a área de educação se faz, a nível de 1o e 2o graus, nas escolas normais, e a nível de 3o grau, nas faculdades de educação e nos cursos de licenciatura. Nesses casos, os futuros professores cursam disciplinas e recebem informações sobre uma área específica, denominada Medidas Educacionais, que trata do problema da elaboração de provas e testes de rendimento escolar. Fora disso, as informações sobre esse assunto são escassas, quando não raro inexistentes.
Os que militam na área educacional conhecem bem os dados sobre professores leigos, isto é, que não têm formação pedagógica adequada, atuando no sistema educacional nos seus vários níveis. Deduz-se facilmente a quantas anda, não só o processo ensino-aprendizagem, mas as formas de avaliá-lo. Em verdade, essa atividade geralmente se processa através do efeito demonstração, isto é, o futuro professor passa a utilizar o mesmo método de elaboração de provas a que foi submetido quando estudante. É o método do aprender fazendo, cujas distorções são evidentes. Algumas boas exceções, entretanto, podem ser encontradas. É o caso de algumas Comissões Coordenadoras de Vestibular que desenvolveram verdadeiros sistemas de avaliação de suas provas, utilizando-os para melhorar seus exames e criar Bancos de Questões. Também há casos de professores que, individualmente, utilizam informações de medidas educacionais com o mesmo propósito.
O objetivo deste trabalho é desenvolver um sistema computadorizado que coloque à disposição do professor as informações mínimas necessárias para elaborar, de forma adequada, seus testes de rendimento escolar, utilizando para isto elementos como: Tabela de Especificação, Análise das Item, Índice de Dificuldade e Índice de Homogeneidade, Índice do Poder Discriminante, Estatísticas Descritivas, etc.
O SAEL (Sistema de Avaliação Eletrônico) é composto por: Gerador de Provas e Questões; Cadastros de Alunos, Professores, Cursos, Disciplinas e Assuntos; Gerador de Provas e Cadastro dos Resultados de Aplicação das Provas; Relatórios de Análise Técnica das Provas e do Mapa de Notas das Disciplinas; Gráficos Estatísticos e uma INFO, explicando e exemplificando a Análise Técnica da Prova e exibindo o Fluxo de Execução do Modelo, que mostra graficamente a seqüência de funcionamento e utilização do sistema.
A originalidade do SAEL está no fato de ser um sistema que engloba três fases importantes para a atividade didático-pedagógica do professor: o planejamento da avaliação, o ciclo de análise da avaliação e a criação de um banco de dados para auxiliar o docente na sua atividade. Além disso, as informações contidas no SAEL configuram um curso completo de medidas educacionais, gerando um verdadeiro treinamento para o docente.
A análise e o projeto do SAEL foram feitos utilizando-se o Dr. CASE (ferramenta para análise de sistemas e projeto conceitual, lógico e físico de banco de dados). A linguagem de programação Visual Delphi está sendo utilizada na fase de implementação do sistema. O SAEL será pré-testado em diferentes situações e, após este pré-teste, será documentado e colocado à disposição dos possíveis usuários.
ABSTRACT
The professorship formation to teach in first and second levels in Brazil, is conducted in the so called Normal Schools, while the third degree professorship level is accomplished in the Faculties of Education, in the Courses for Teaching Licensing, and in the graduate courses of Specialization, Mastering and Doctorate. In the case of the Normal Schools and the
Faculties of Education, the future teachers study disciplines and they receive information about an specific area, known as Educational Measures, that is, about the problem to elaborate the tests and analysis of students efficiency. Beyond this, the information on that subject are scarce, or even nonexistent.
From the data about teachers working in the educational system without appropriate pedagogic skill, it is not difficult to infer the quality of the teaching-learning process, as well as the methods of evaluating it. Generally, these kind of professionals perform that activity through the "demonstration effect". That is, the future teacher starts to develop the same method of elaboration of tests the one that it was submitted to. It is the "learning doing method". The deviations is evident. However, some exceptions can be found. For example, there are teachers that use information of educational measures for improving its examinations and enhacing its subjects files.
This work aims the development of a computerized system that it places available to the teacher the necessary minimum information to elaborate, in an appropriate way, its tests of students efficiency, using, for this, elements such as: Table of Specification, Analysis of Item, Difficulty and Homogeneity Indexes, Index of the Discriminanting Power, Descriptive
Statistics, besides a database and of a graphic tool as a support components for elaboration of tests and of subjects.
The originality of SAEL is in the fact that he includes three important phases for the didactic- pedagogic activity of the teacher: the planning of the evaluation, the cycle of analysis of the evaluation and the creation of a database to aid the educational in its activity. Besides, the information contained in SAEL configure a practical course of educational measures, generating a true training for the teacher.
The analysis and the project of SAEL were made being used the Dr.CASE (tool for analysis of systems and conceptual, logical and physical project of database), and the programming language Visual Delphi is being used in the phase of implementation of the system. SAEL will be pre-tested in different situations, and after that pre-test, it will be documented and puts available to the possible users.
BIBLIOGRAFIA
Bloom [1976] BLOOM, B.S. et al. Taxonomia dos objetivos educacionais - domínio cognitivo. Tradução: Flávia Maria Sant’Anna. Porto Alegre: Globo, págs. 4 e 23, 1976.
Campbell [1928] CAMPBELL, N.R. An account of the principles of measurement and calculations. London: Longmans Green, 1928.
Campbell [1938] CAMPBELL, N.R. Symposium: Measurement and its importance for philosophy. Proceedings Aristot. Society Suppl., London, v.17, págs.121-142, 1938.
Cattell [1965] CATTELL, R.F. Factor Analysis: An Introduction to Essentials. (I) The Purpose and Underlying Models, (II) The Role of Factor Analysis in Research, Biometrics, 21, págs.190-215, 405-435.
Cornell & Strain [1995] CORNELL, G.; STRAIN, T. Delphi Segredos e Soluções. São Paulo: MAKRON Books, 1995.
Damaceno [1995] DAMACENO JR., A. Aprendendo Delphi em Windows 95: versão brasileira. São Paulo:Editora Ática, 1995.
Ebel [1965] EBEL, R.L. Mensuring eduational achievement. Englewood Cliffs, N.J.: Prentice-Hall, Inc., 1965.
Farias [1974a] FARIAS, O.T. “Os Vestibulares na Universidade Federal do Ceará” - Resumo Histórico - Simpósio sobre Concurso Vestibular, fevereiro de 1974.
Farias [1974b] FARIAS, O.T. Relatório Final - Seminário de Português para Análise da Prova Aplicada no 1o Vestibular/73 - Simpósio sobre Concurso Vestibular, fevereiro de 1974. Fernandez [1990] FERNANDEZ, J.M. Teoría de Respuesta a los Ítems. Madrid: Edições Pirámide S.A., 1990.
Fraleigh [1968] FRALEIGH, J.B. A First Course in Abstract Algebra. Addison-Wesley Publishing Company, págs. 14-54, 1968.
Gane & Sarson [1989] GANE, C.; SARSON, T. Análise Estruturada de Sistemas. 1a ed. Rio de Janeiro: Livros Técnicos e Científicos Editora, 1989.
Hambleton et al [1991] HAMBLETON, R.K., SWAMINATHAN, H., ROGERS, H.J. Fundamentals of Item Response Theory. London: Sage, 1991.
Holley & Guilford [1964] HOLLEY, J.W. and GUILFORD, J.P. A Noto on the G Index of Agreement, Educational and Psychological Measurement, 24, págs. 749-753, 1964.
Hoyt [1967] CYRIL, J. HOYT. Test Reliability Estimated by Analysis of Variance. In: Principles of Educational and Psychological Measurement, 2nd. Edition, Rand McNally, USA, pág. 111, 1967.
James [1981] JAMES, B.R. Probabilidade: Um Curso em Nível Intermediário. Projeto Euclides, IMPE, págs. 130-131, 1981.
Kelley [1939] KELLEY, T.L. The selection of upper and lower groups for the validation of test items. Journal of Educational Psychology, págs. 17-24, 1939.
Leite [1974] LEITE, R.H. “A Precisão dos Exames Vestibulares na UFC” - Estudo Preliminar. Conselho de Reitores das Universidades Brasileiras - Simpósio sobre Concurso Vestibular, págs. 1-23, fevereiro de 1974.
Lord [1975] LORD, F.M. Evaluation with artificial data of procedure for estimating ability and item characteristic curve parameters, Research Bulletin, 75-133, Princeton, New Jersey, ETS, 1975.
Lord [1953] LORD, F.M. On the statistical treatment of football numbers. American
psychologist, VIII, págs. 750-51, 1953.
Lord [1952] LORD, F.M. The relation of reability of mutiple-choice tests to the distribution of item difficulties. Psychometrika, págs. 181-194, 1952.
Luce & Suppes [1986] LUCE, R.D., SUPPES, P. Measurement theory. In: THE NEW ENCYCLOPEDIA BRITANNICA. London: Britannica, v.23, págs.792-798, 1986.
Mislevy & Bock [1982] MISLEVY, R.J., BOCK, R.D. BILOG: Maximum likehood item analysis and test scoring with logistic models for binary items. Chicago; International Educational Services, 1982.
Mood et al [1974] MOOD, A.M.; GRAYBILL, F.A.; BOES, D.C. Introduction to the Theory of Statistics. McGraw-Hill / Kogakusha, págs. 178-179, 1974.
Navathe & Elmasri [1994] NAVATHE, S.B.; ELMASRI, R. Fundamentals of Database Systems - Second Edition. The Benjamin / Cummings Publishing Company, Inc., 1994. Normando [1974] NORMANDO, R.A. Análise da Prova de Física do 2o Vestibular - 73 da UFC. Simpósio Sobre Concurso Vestibular, págs. 1-35, 1974.
Pacheco & Teixeira [1996] PACHECO, X.; TEIXEIRA, S. Delphi 2 Developer’s Guide. Second Edition. SAMS Publishing, Indianapolis, Indiana, 1996.
Pasquali [1996] PASQUALI, L. Teoria e métodos de medida em ciências do comportamento - Brasília: Laboratório de Pesquisa em Avaliação e Medida / Instituto de Psicologia / UnB:INEP, 1996.
Rasch [1996] RASCH, G. Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Institute for Educational Research, 1960.
Suppes & Zinnes [1963] SUPPES, P., ZINNES, J.L. Basic measurement theory. In: LUCE, R.D., BUSH, R.R., GALANTER, E.G.(Eds.) Handbook of mathematical psychology. New York: Wiley, v.1, p.1-76, 1963.
Tyler [1942] TYLER, R.W. General statement on evaluation. The Journal of educational
research, XXXV, pág. 492-501, 1942.
Viana [1982] VIANA, H.A. Testes em Educação. 4a ed. São Paulo: IBRASA, pgs. 17-18, 1982.
Wesman [1952] WESMAN, A.G. Reliability and confidence. Test service bulletin, 44. Nova Iorque: The Psychological Corporation, 1952.
Wingersky [1983] WINGERSKY, M.S. LOGIST: A program for comuting maximum likehood procedures for logistic test models. En Hambleton Ed. Applications of item response theory. Vancouver B. C. Educational Research Institute of British Columbia, 1983.
Wright & Mead [1976] WRITH, B.D., MEAD, R.J. BICAL: Calibrating rating scales with the Rash model. Research Memorandum num. 23. Chicago Statistical Laboratory Department of Education University of Chicago, 1976.
Wright & Panchapakesan [1969] WRITH, B.D., PANCHAPAKESAN, N. A procedure for sample-free item analysis. Educational and Psychological Measurement, 29; 23-48, 1969.
