Limitações e recomendações

Devido à sua característica heurística, esta pesquisa apresenta limitações e potencialidades.

As limitações mais importantes referem-se aos recortes teóricos e empíricos da pesquisa. As principais limitações teóricas são três.

A primeira limitação refere-se à escassez de bibliografia sobre o tema meta- avaliação na literatura brasileira. Essa limitação exigiu a utilização de teorias e metodologias produzidas e validadas no exterior, em especial os padrões de avaliação de programas educacionais do Joint Committee (1994) e os estudos de Stufflebeam (2000, 2000a, 2000b, 1999, 1981, 1974) e de Scriven (1991, 1969). Isso implicou na reinterpretação dessas teorias para construir o Modelo de Meta- Avaliação adequado à realidade da avaliação educacional brasileira. Assim, abrindo frente para futuras investigações, recomenda-se realizar análise de outras possibilidades de aplicação prática dessas metodologias em estudos de avaliação.

A segunda se refere à natureza somativa e externa da pesquisa. Avaliações somativas são avaliações retroativas que tem como finalidade accountability, não sendo as mais adequadas para guiar decisões de melhoria de processos. Contudo, o modelo teórico é geral, pois pode ser usado tanto na condução de meta-avaliações somativas (retroativas), quanto na condução de meta-avaliações formativas (pró- ativas). A sua operacionalização é flexível, permitindo que meta-avaliações sejam conduzidas por meio de diferentes estratégias metodológicas, sejam qualitativas ou quantitativas, a critério do avaliador, porém dependentes das restrições de recursos. Para estudos futuros, recomenda-se a elaboração de metodologia quantitativa para complementar a metodologia qualitativa ora sugerida e a aplicação do modelo proposto em avaliações formativas, com vista à melhoria do Sistema Nacional de Avaliação da Educação Superior, considerando-se objetivos, designs, processos e resultados da avaliação, isolada e globalmente.

A terceira limitação teórica diz respeito ao foco da análise, que ficou limitada ao conceito específico de qualidade baseado no valor e no mérito do objeto educacional. Devido à dificuldade, do ponto de vista operacional, de se avaliar valor e mérito, o estudo limitou-se a um conjunto de critérios de avaliação definidos a partir desse conceito de qualidade, ou seja, aos critérios de eficácia, eficiência,

efetividade e relevância. Recomenda-se a utilização de outros critérios de avaliação, tais como, os padrões de Utilidade, Viabilidade, Propriedade e Exatidão, definidos pelo Joint Committee (1994), uma vez que eles também apresentam implícito um conceito de qualidade baseado no valor e no mérito do objeto educacional, conforme relatado no capítulo 2 deste relatório.

As principais limitações empíricas são duas.

A pesquisa empírica limitou-se à análise dos documentos oficiais e técnicos da ACE e do ENC, que representam o Processo de Avaliação dos Cursos de Graduação, da área de Administração, no ano de 2002. Recomenda-se a utilização de outros documentos e a ampliação do universo de estudo para o atual Sistema Nacional de Avaliação da Educação Superior, incluindo todos os seus instrumentos de avaliação, e cursos de outras áreas do conhecimento.

Além disso, por se tratar de uma metodologia predominantemente qualitativa, em função de sua natureza descritiva/explicativa, a pesquisa também apresenta as limitações tradicionais do método, o que recomenda que a metodologia de meta- avaliação proposta seja replicada por outros pesquisadores, a fim de corroborar a adequação técnica dela.

Quanto às potencialidades, acredita-se que o trabalho tem especial relevância do ponto de vista teórico e prático, pois poderá contribuir para uma compreensão mais exaustiva do tema Avaliação da Educação Superior no Brasil, uma vez que descreve a configuração do sistema brasileiro de avaliação da educação superior e analisa os processos de avaliação utilizados pelo MEC para avaliar a qualidade dos cursos de graduação. Ademais, a construção de um modelo de meta-avaliação de processos de avaliação de cursos de graduação supre parte da carência de pesquisas sistemáticas sobre a avaliação da avaliação educacional brasileira.

Embora o estudo realizado seja suficientemente importante, os resultados da aplicação do modelo proposto, limitados ao Processo de Avaliação dos Cursos de Graduação da área de Administração do ano de 2002, não são suficientes para serem generalizados para o Sistema Brasileiro de Avaliação da Educação Superior, contudo podem ser generalizados, extensivamente, ao Processo de Avaliação dos Cursos de Graduação existente até 2004.

Na prática, apesar de o Processo analisado já ter sido extinto, os resultados da aplicação do Modelo fornecem informações que podem instigar a rediscussão do Sistema Nacional de Avaliação da Educação Superior ora vigente e, conseqüentemente, servir de parâmetro para a melhoria da práxis avaliativa da educação superior no Brasil. Em resumo, os avaliadores precisam estar atentos aos aspectos históricos da avaliação educacional, em especial aos seus fundamentos filosóficos e às suas orientações conceituais e metodológicas, pois sem esse

background, enganos do passado podem se repetir e a construção de processos de

avaliação úteis para a melhoria das políticas e do sistema educacional pode não se sustentar, e, tampouco, os atuais processos de avaliação servirem para avaliar a qualidade da educação superior.

Para concluir, ressalta-se que o Modelo de Meta-Avaliação desenvolvido nesta pesquisa, devidamente adaptado, pode ser usado para a avaliação de outros objetos educacionais, tais como, projetos e programas de ensino, pesquisa e extensão.

A meta-avaliação é uma faceta necessária para o aperfeiçoamento. Ela auxilia os gestores da educação (MEC, dirigentes de IES, coordenadores de cursos) e avaliadores institucionais a implementar ações para a melhoria dos sistemas, processos e instrumentos de avaliação educacional.

REFERÊNCIAS

AFONSO, A. J. Avaliação educacional: regulação e emancipação. São Paulo: Cortez, 2000.

AGUILAR, M. J.; ANDER-EGG, E. Evaluación de servicios y programas sociales. Madrid: Siglo XXI, 1992.

ALVIRA MARTIN, F. La investigación evaluativa: una pespectiva experimentalista. Revista Española de Investigaciones Sociológicas, n. 29, p. 129-14, enero- marzo, 1985.

AMERICAN EDUCATIONAL RESEARCH ASSOCIATION; AMERICAN PSYCHOLOGICAL ASSOCIATION; NATIONAL COUNCIL ON MEASUREMENTS USED IN EDUCATION. Standard for educational and psychological test. Washington, DC: AERA, 1985.

AMERICAN EDUCATIONAL RESEARCH ASSOCIATION; NATIONAL COUNCIL ON MEASUREMENTS USED IN EDUCATION. Technical recommendations for achievement test. Washington, DC: AERA; NCMUE, 1955.

AMERICAN PSYCHOLOGICAL ASSOCIATION. Standard for educational and psychological test and manuals. Washington, DC: APA, 1966.

AMERICAN PSYCHOLOGICAL ASSOCIATION. Standard for educational and psychological test. Washington, DC: APA, 1974.

AMERICAN PSYCHOLOGICAL ASSOCIATION. Standard for educational and psychological test. Washington, DC: APA, 1985.

AMERICAN PSYCHOLOGICAL ASSOCIATION. Standard for educational and psychological test. Washington, DC: APA, 2000.

AMERICAN PSYCHOLOGICAL ASSOCIATION. Technical recommendations for psychological test and diagnostic techniques. Washington, DC: APA, 1954.

ARANCIBIA, V. Los sistemas de medición y evaluación de la calidad de la educación. In: Documentos del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación: “serie azul”, 2. [Santiago, Chile]: UNESCO, [2000?]. Não paginado. Disponible em: <http://llece.cl/iyp/publicaciones/index.act?f=F>. Acesso em: 12 nov. 2003.

BARDIN, L. Análise de conteúdo. Lisboa : Edições 70, 1977.

BIELSCHOWSKY, C. E.; PENNA FIRME, T. Avaliação na Universidade Federal do Rio de Janeiro. Revista Educación Superior e Sociedad, Caracas, Venezuela, UNESCO, v.5, n. 1 e 2, p. 125-141, 1994.

BLOOM, B. S.; MADAUS, G. F.; HASTINGS, I. T. Evaluation to improve learning. New York: McGraw-Hill, 1981.

BLOOM, B.S. et. al. Taxonomia de objetivos educacionais: 1: domínio cognitivo; 2: domínio afetivo. Porto Alegre: Globo, 1976.

BRASIL. Ministério da Educação e do Desporto. Secretaria de Educação Superior. Coordenação das Comissões de Especialistas de Ensino. Comissão de Especialistas de Ensino de Administração. Padrões de qualidade para cursos de graduação em administração. Brasília: MEC/SESu, 1998. Disponível em: <www.mec.gov.br>. Acesso em: 25 fev. 2005.

BRASIL. Ministério da Educação. Comissão Nacional para a Reformulação da Educação Superior. Uma nova política para a educação superior: relatório final. Brasília, 1985.

BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais. Sinopse estatística da educação superior - graduação. Brasília: MEC/INEP, 2002f.Disponível em: <http://www.inep.gov.br>. Acesso em: 25 nov. 2005.

BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais. Relatório da Instituição: Administração – Provão 2002. Brasília: MEC/INEP, 2002h.

BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais. Relatório da ACE do Curso X. Brasília: MEC/INEP, 2002i.

BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais. Avaliação das Condições de Ensino: informações preliminares. Brasília: MEC/INEP, 2002e.

BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais. Exame Nacional de Cursos: relatório-síntese 2002 - Administração. Brasília: MEC/INEP, 2002g. Disponível em: <www.inep.gov.br>. Acesso em: 21 fev. 2005.

BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais. Provão: manual para elaboração de provas. Brasília: MEC/INEP, 2002j. Disponível em: <www.inep.gov.br>. Acesso em: 21 fev. 2005.

BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais. Manual do provão: Provão 2002: sistema de avaliação da educação superior. Brasília: MEC/INEP, 2001c. Disponível em: <www.inep.gov.br>. Acesso em: 22 ago. 2003.

BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais. Manual do provão: Provão 2003: sistema de avaliação da educação superior. Brasília: MEC/INEP, 2002b. Disponível em: <www.inep.gov.br>. Acesso em: 22 ago. 2003.

BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais. Exame Nacional de Cursos: relatório-síntese 2002. Brasília: MEC/INEP, 2002c. Disponível em: <www.inep.gov.br>. Acesso em: 21 fev. 2005. BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais. DAES. Manual geral de avaliação das condições de ensino. Brasília: MEC/INEP, 2002a. Disponível em: <www.inep.gov.br>. Acesso em: 22 ago. 2003.

BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais. DAES. Manual de avaliação do curso de administração. Brasília: MEC/INEP, 2002d. Disponível em: <www.inep.gov.br>. Acesso em: 22 ago. 2003.

BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais. DAES. Manual de avaliação institucional: centros universitários. Brasília: MEC/INEP, 2002. Disponível em: <www.inep.gov.br>. Acesso em: 22 ago. 2003.

BRASIL. MINISTÉRIO DA EDUCAÇÃO. Plano Nacional de Educação, 2001b. Disponível em: <www.mec.gov.br>. Acesso em: 14 out. 2002.

BRASIL. Ministério da Educação. Secretaria de Ensino Superior. Comissão Especial da Avaliação da Educação Superior. SINAES - Sistema Nacional de Avaliação da Educação Superior: da concepção à regulação. 2. ed. ampl. Brasília: MEC/SESu/CEA, set. 2004. Disponível em: <www.inep.gov.br>. Acesso em: 22 mar. 2005.

BRASIL. Ministério da Educação. Secretaria de Ensino Superior. Comissão Especial da Avaliação da Educação Superior. SINAES - Sistema Nacional de Avaliação da Educação Superior: bases para uma nova proposta de avaliação da Educação superior. Brasília: MEC/SESu/CEA, ago. 2003. Disponível em: <www.inep.gov.br>. Acesso em: 04 set. 2003.

BRASIL. Ministério da Educação. Secretaria de Ensino Superior. Programa de Avaliação Institucional das Universidades Brasileiras - PAIUB. 1994.

BRUNNER, J. J. Evaluación y financiamiento de la educación superior en America Latina: bases para un novo contrato social. In: CINDA. Acreditación universitaria en America Latina. Santiago de Chile, 1993.

CASASSUS, J. Estándares en educación: conceptos fundamentales. In: Documentos del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación: “serie azul”, 3. [Santiago, Chile]: UNESCO, [2000?]. Não paginado. Disponible em: <http://llece.cl/iyp/publicaciones/index.act?f=F>. Acesso em: 12 nov. 2003.

CAULLEY, D. N. Document analysis in program evaluation. Portland: Or. Northwest Regional Educational Laboratory, 1981. (Paper and report series of research on evaluation program, n. 60).

COOK, T.; REICHARDT, T. D. Métodos cualitativos y cuantitativos en investigación evaluativa. 4. ed. Madrid: Morata, 2000.

CRONBACH, L. Designing Evaluations of Educational and Social Programs. San Francisco: Jossey-Bass, 1982.

CRONBACH, L. J. Course improvement through evaluation. In: STUFFLEBEAM, D. L.; MADAUS, G. F.; KELLAGHAN, T. (ed.). Evaluation models: viewpoints on educational and human services evaluation. 2. ed. Boston: Kluwer Academic Publishers, 2000.

CUCOLO, E. MEC suspende o reconhecimento de 12 cursos de matemática e letras. Disponível em: <http://www.folha.uol.com.br>. Acesso em: 20 ago. 2005. DEMO, P. Ciências sociais e qualidade. São Paulo: ALMED, 1985.

DEMO, P. Educação e qualidade. 6. ed. São Paulo: Papirus, 2001.

DEMO, P. Metodologia científica em ciências sociais. São Paulo: Atlas, 1995. DEMO, P. Metodologia do conhecimento científico. São Paulo: Atlas, 2000.

DEMO, P. Pesquisa e informação qualitativa: aportes metodológicos. Campinas, SP : Papirus, 2001a.

DIAS SOBRINHO, J. Avaliação da educação superior. Petrópolis, RJ: Vozes, 2000.

DIAS SOBRINHO, J. Avaliação institucional da educação superior: fontes externas e fontes internas. Avaliação, Campinas, SP, v. 3, n. 4, p.29-35, dez. 1998.

DIAS SOBRINHO, J. Avaliação institucional na perspectiva da integração. In: DIAS SOBRINHO, J.; RISTOFF, D. I. (Org.). Universidade desconstruída: avaliação institucional e resistência. Florianópolis: Insular, 2000a.

DIAS SOBRINHO, J. Campo e caminhos da avaliação: a avaliação da educação superior no Brasil. In: FREITAS, L. C. de. Avaliação: construindo o campo e a crítica. Florianópolis: Insular, 2002. p. 13-62.

DIAS SOBRINHO, J. Universidade e avaliação: entre a ética e o mercado. Florianópolis: Insular, 2002a.

DOBSON, A. Evaluación e inspección de estándares en Inglaterra (Reino Unido). In: Documentos del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación: “serie azul”, 4. [Santiago, Chile]: UNESCO, [2000?]. Não paginado. Disponible em: <http://llece.cl/iyp/publicaciones/index.act?f=F>. Acesso em: 12 nov. 2003.

EBEL, R. L. Essentials of educational measurement. Net Jersey: Prentice Hall, 1972.

EISNER, E. W. Educational objectives: help or hindrance? School review, n. 75, p. 250-260, 1967.

FACULDADES que tiveram cursos suspensos podem processar União.

Disponível em: <http://www.folha.uol.com.br>. Acesso em: 20 ago. 2005.

FELDT, L. S.; BRENNAN, R. L. Reliability. In: LINN, R. L. (Ed.). Educational measurement. 3. ed. New York: Macmillan, 1989. p. 105-146.

FONTANIVE, N. Santos. Relações entre parâmetros curriculares e “standars”. In: Documentos del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación: “serie azul”, 7. [Santiago, Chile]: UNESCO, [2000?]. Não paginado. Disponible em: <http://llece.cl/iyp/publicaciones/index.act?f=F>. Acesso em: 12 nov. 2003.

GADOTTI, M. Concepção dialética da avaliação. In: DEMO, P. Avaliação qualitativa. 5. ed. Campinas, SP: Autores Associados, 1996.

GLASER, R. Instructional technology and the measurement of learning outcomes: some questions. American psychologist, n. 18, p. 519-521, 1963.

GREGO, S. M. D. A avaliação institucional dos cursos de graduação: a meta- avaliação como referencial de análise e de reflexão. In: SGUISSARDI, V. (Org.). Avaliação universitária em questão: reformas do Estado e da educação superior. Campinas, SP: Autores Associados, 1997. p. 91-121.

GUBA, E. G.; LINCOLN, Y. S. Effective evaluation. San Francisco, Ca.: Jossey- Bass, 1981.

GUBA, E. G.; LINCOLN, Y. S. Fourth generation evaluation. Newbury Park: Sage Publications, 1989.

GUBA, E. G.; LINCOLN, Y. S. Naturalistic inquiry. Beverly Hills, Ca.: Sage, 1985. HAMMOND, R. L. Evaluation at the local level. In: Worthen, B. R.; Sanders J. R. (Ed.). Educational evaluation: theory and practice. Worthington, OH: Charles A. Jones, 1973.

JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION. Standards for evaluation of educational programs, projects, and materials. New York: McGraw-Hill, 1981.

JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION. The personal evaluation standards. Newbury Park, CA: Sage, 1988.

JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION. The program evaluation standards: how to assess evaluations of educational programs. 2. ed. Thousand Oaks, CA: Sage, 1994.

KELLAGHAN, T,; MADAUS, G. F. Outcome evaluation. In: STUFFLEBEAM, D. L.; MADAUS, G. F.; KELLAGHAN, T. (ed.). Evaluation models: viewpoints on educational and human services evaluation. 2. ed. Boston: Kluwer Academic Publishers, 2000.

KELLAGHAN, T,; MADAUS, G. F. Trends in educational standards in Great Britain and Ireland. In: AUSTIN, G. R.; GARBER, H. (Org.). The rise and fall of national test scores. New York: Academic Press, 1982.

KERLINGER, F. N. Metodologia da pesquisa em ciências sociais: um tratamento conceitual. São Paulo: EPU, 1980.

KIRST, M. W. Accountability: implications for state and local poilicymakers. In: STUFFLEBEAM, D. L.; MADAUS, G. F.; KELLAGHAN, T. (ed.). Evaluation models: viewpoints on educational and human services evaluation. 2. ed. Boston: Kluwer Academic Publishers, 2000.

KRIPPENDORFF, K. An Introduction to Its Methodology. 2. ed. London: Sage Publications, 2004.

LAFOURCADE, P. D. Evaluación de los aprendizajes. Buenos Aires, Kapelusz, 1969.

LANDSHEERE, G. de. Dictionnaire de l’évaluation et de la recherché en éducation. 2. ed. Paris: PUF, 1992.

LEITE, D. Avaliação e tensões Estado, universidade e sociedade na América Latina. Avaliação, Campinas, SP, v. 2, n. 1, p. 7-17, mar. 1997.

LEVIN, H. M. Cost analysis. In.: ______.SMITH, N. L. (Coord.). New Techniques for evaluation. California, USA: Sage, 1981.

LINDQUIST, E. F. Design and analysis of experiments in psychology and education. Boston: Houghton-Mifflin, 1953.

MADAUS, G. F.; AIRASIAN, P. W.; KELLAGHAN, T. School effectiveness: a reassessment of the evidence. New York: MacGraw-Hill, 1980.

MADAUS, G. F.; KELLAGHAN, T. Curriculum evaluation and assessment. In: JACKSON, P. W. (Ed.). Handbook of research on curriculum. New York: Macmillan, 1992.

MADAUS, G. F; HANEY, W.; KREITZER, A. The role of testing in evaluation. In: STUFFLEBEAM, D. L.; MADAUS, G. F.; KELLAGHAN, T. (ed.). Evaluation models: viewpoints on educational and human services evaluation. 2. ed. Boston: Kluwer Academic Publishers, 2000.

MADAUS, G. F; STUFFLEBEAM, D. L. Program evaluation: a historical overview. In: STUFFLEBEAM, D. L.; MADAUS, G. F.; KELLAGHAN, T. (ed.). Evaluation models: viewpoints on educational and human services evaluation. 2. ed. Boston: Kluwer Academic Publishers, 2000.

MARTÍNEZ CASTRO, M. E.; CORONADO RAMÍREZ, G. Indicadores para la evaluación integral de la productividad académica en la educación superior. Revista Electrónica de Investigación y Evaluación Educativa, v. 9, n. 1, 2003. Disponível em: <http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_2.htm>. Acesso em: 21 set. 2003.

METFESSEL, N. S.; MICHAEL, W. B. A paradigm involving multiple criterion measures for the evaluation of the effectiveness of school programs. Educational and Psychological measurement, n. 27, p. 931-943, 1967.

MILES, M. B.; HUBERMAN, A. M. Qualitative data analysis: a source book of new methods. Beverly Hills, CA: Sage, 1984.

MINAYO, C. S. (Org.). Pesquisa social: teoria, método e criatividade. 9. ed. Petrópolis, RJ: Vozes, 1998.

MORETTI, M. T. Avaliação institucional na Universidade Federal de Santa Catarina. In: SEMINÁRIO BRASILEIRO SOBRE AVALIAÇÃO INSTITUCIONAL DE UNIVERSIDADES, 1, 1994, Campinas, SP. Anais... Campinas, SP: INICAMP, 1995. PASQUALI, L. (Org.). Medida psicométrica. In.: ______. Teoria e métodos de medida em ciências do comportamento. Brasília: Laboratório de Pesquisa em Avaliação e Medida/Instituto de Psicologia/UnB: INEP, 1996.

PATTON, M. Q. Qualitative evaluation methods. Newbury Park, CA: Sage, 1980. PATTON, M. Q. Utilization-focused evaluation. In: STUFFLEBEAM, D. L.; MADAUS, G. F.; KELLAGHAN, T. (edit.). Evaluation Models: viewpoints on educational and human services evaluation. 2. ed. Boston: Kluwer Academic Publishers, 2000. p. 425-438.

PAUL, J-J.; RIBEIRO, Z. ; PILATTI, O. As iniciativas e as experiências de avaliação do ensino superior: balanço crítico. In: DURHAM, E. R.; SCHWARTZMAN, S. (Org.). Avaliação do ensino superior. São Paulo: EDUSP, 1992.

PENNA FIRME, T. Avaliação hoje: perspectivas e tendências. In: SIMPÓSIO NACIONAL SOBRE AVALIAÇÃO EDUCACIONAL: uma reflexão crítica, 1993, Rio de Janeiro. Anais ... Rio de Janeiro: CESGRANRIO, 1993. p. 17-23.

PENNA FIRME, T. Avaliação: tendências e tendenciosidades. Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 1, n. 2, p. 5-11, 1994.

PERGUNTAS freqüentes do ENC/Provão. Disponível em: <www.inep.gov.br>. Acesso em 09 abr. 2002.

PERRENOUD, P. Avaliação: da excelência à regulação das aprendizagens - entre duas lógicas. Porto Alegre: Artes Médicas, 1999.

POPHAM,W. J. Criterion-referenced measurement. Englewood Cliffs, N. J.: Prentice-Hall, 1978.

POPPER, K. R. A lógica da pesquisa científica. 9. ed. São Paulo: Cultrix, 2001. PROVUS, M. Discrepancy evaluation model. Pittsburgh, PA: Pittsburgh Public Schools, 1969.

RELATÓRIO DO GRUPO EXECUTIVO PARA A REFORMULAÇÃO DA EDUCAÇÃO SUPERIOR – GERES. Estudos e debates, Brasília, n. 13, p.11-50, 1987.

RICE, J. M. Scientific management in education. New York: Hinds, Noble & Eldredge, 1914.

RIEKE, R. D.; SILLARS, M. O. Argumentation and critical decision-making. 5. ed. Allyn & Bacon, 2000.

RISTOFF, D. I. Avaliação institucional: avanços e retrocessos. In: ________. Universidade em foco: reflexões sobre a educação superior. Florianópolis: Insular, 1999. p. 87-109.

RISTOFF, D. I. Algumas definições de avaliação. In: DIAS SOBRINHO, J.; RISTOFF, D. I. (Org.). Avaliação e compromisso público: a educação superior em debate. Florianópolis: Insular, 2003. p. 21-33.

RISTOFF, D. I. Avaliação de programas educacionais: discutindo princípios. Avaliação, Campinas, SP, v.5, n. 4, p. 39-44, dez. 2000a.

RISTOFF, D. I. Avaliação institucional: construindo relatórios. In: DIAS SOBRINHO, J.; RISTOFF, D. I. Universidade desconstruída: avaliação institucional e resistência. Florianópolis: Insular, 2000. p. 113-128.

RISTOFF, D. I. Avaliação institucional: pensando princípios. In: ________. Universidade em foco: reflexões sobre a educação superior. Florianópolis: Insular, 1999a. p. 49-62.

RISTOFF, D. I. Princípios do programa de avaliação institucional. Avaliação, Campinas, SP, ano 1, n. 1, p. 47-53, jul. 1996.

RODRIGUES, P. As três “lógicas” da avaliação de dispositivos educacionais. In: ESTRELA, A.; RODRIGUES, P. (Orgs.). Para uma fundamentação da avaliação em educação. Lisboa: Edições Colibri, 1995. p. 93-120.

RUTHMAN, L. Evaluation research methods: a basic guide. Londres: Sage, 1977. SANDER, Benno. Administração da educação no Brasil: é hora da relevância. Educação brasileira, Brasília, v. 4, n. 9, p. 8-27, 2º sem. 1982.

SANDER, Benno. Gestão da educação na América Latina: construção e reconstrução do conhecimento. Campinas ,SP : Autores Associados, 1995.

SCRIVEN, M. An introduction to meta-evaluation. Educational product report, v. 2, n. 5, p. 36-38, fev. 1969.

SCRIVEN, M. Evaluation as a discipline. Studies in educational Evaluation, n. 20, p. 147-166, 1994.

SCRIVEN, M. Evaluation thesaurus. 4.ed. Newbury Park, CA: Sage, 1991.

SCRIVEN, M. Prose and cons about goal-free evaluation. Evaluation comment, v. 3, n. 4, p. 1-4, 1973.

SCRIVEN, M. The methodology of evaluation. In: TYLER, R.; GAGNE, R.; SCRIVEN, M. (Ed.). Perspectives of curriculum evaluation. Chicago: Rand McNally, 1967. SCRIVEN, M. The nature of evaluation part I: relation to psychology. Practical Assessment, Research & Evaluation, v. 6 n. 11, 1999. Disponível em: <http://edresearch.org/pare/getvn.asp?v=6&n=11>. Acesso em: 14 set. 2003.

SCRIVEN, M. The nature of evaluation part II: training. Practical Assessment,

Research & Evaluation, v. 6, n. 12, 1999a. Disponível em: