dos cursos de graduação, relacionada à análise das condições de ensino dos cursos; e

3 do valor agregado pela instituição à formação do aluno, através dos resultados do curso obtidos no Exame Nacional de Desempenho dos Estudantes (ENADE).

Este estudo volta-se à avaliação das condições de ensino de cursos de graduação a distância, modalidade de ensino que, na graduação, começou a ser reconhecida no Brasil apenas em 2006, com o curso piloto de Administração ofertado pelo sistema Universidade Aberta do Brasil. Apesar de a primeira regulamentação da educação a distância ter sido publicada em 1998, foi apenas com a segunda versão, em 2005 (BRASIL, 2005a), que se considerou já haver amadurecimento suficiente para o início dos cursos de graduação nesta modalidade de ensino.

Vislumbrando um futuro em que seja mínima a diferença entre as modalidades de ensino presencial e a distância, o MEC busca usar os mesmos instrumentos de avaliação para cursos presenciais e a distância, considerando que a qualidade da aprendizagem do aluno deve ser equivalente nos dois casos.

Os instrumentos de avaliação de curso evoluem tão rápido quanto se observa a expansão do ensino superior, não apenas em quantidade mas também em variedade de modalidades. O

primeiro instrumento único de avaliação para reconhecimento, de 2006, foi reeditado em 2008 e depois desmembrado em múltiplos que, somados aos de autorização, chegaram a 12 documentos no final de 2010. Em maio de 2011 foram reorganizados em apenas dois documentos, sendo o primeiro específico para Medicina e o segundo para autorização, reconhecimento e renovação de reconhecimento dos demais cursos tecnológicos, bacharelados e licenciaturas. Como ainda não há graduação a distância para Medicina, apenas o segundo é de interesse desta pesquisa; ele possui conjuntos de indicadores específicos para cursos presenciais, a distância e licenciaturas.

Representantes do MEC declaram que a grandiosidade do sistema de ensino superior brasileiro, somada à sua variedade de especificidades, torna a sua avaliação uma tarefa árdua e contínua (VIANA, 2009; FRANCO, 2011). Este trabalho se insere neste âmbito da necessária evolução contínua.

Nossa experiência como coordenadora de curso presencial em processo de reconhecimento, seguida de prática como professora-tutora de cursos a distância, fez-nos observar significativas diferenças na dinâmica de funcionamento destas duas modalidades de ensino, levando ao questionamento geral que motivou esta investigação: até que ponto os instrumentos de avaliação de cursos presenciais e a distância podem ser iguais ou devem ser diferentes? Esta questão não é apenas nossa, mas da comunidade que trabalha com EaD que, no final de 2009, fez esta mesma pergunta à então presidente da Comissão Nacional de Avaliação da Educação Superior (CONAES), que respondeu apenas com a informação de que muito foi feito mas que ainda se tem muito a caminhar (VIANA, 2009).

Visando a contribuir no continuum de elaboração e revisão de instrumentos de avaliação de cursos, esta investigação tem como objetivo geral como objetivo geral, revisar o instrumento para avaliação de cursos adotado pelo INEP/MEC na perspectiva da graduação na modalidade a distância. Como objetivos específicos, foram definidos: analisar a evolução dos procedimentos e os instrumentos de avaliação de cursos de graduação, do ponto de vista das políticas públicas; identificar qual o modelo de avaliação educacional compatível com o contexto brasileiro, adaptando-o às especificidades da avaliação externa de cursos de graduação; identificar as características específicas dos cursos a distância não previstas no instrumento vigente; propor e validar uma nova versão do instrumento utilizado pelo INEP/MEC para avaliação de cursos a distância.

O trabalho está organizado em nove capítulos. O segundo e o terceiro – sequentes à introdução – contextualizam o tema do estudo e preparam as bases para que, no quarto

capítulo, sejam exibidos o problema, os objetivos e a metodologia do trabalho realizado. O instrumento INEP/MEC foi revisado mediante uma elaboração incremental em três etapas, sendo a primeira demonstrada nos capítulos cinco e seis, e as duas seguintes nos capítulos sete e oito. O nono capítulo compreende as considerações finais.

Delineando a problemática do trabalho, o segundo capítulo contém um levantamento histórico do ensino superior e sua avaliação, culminando no Sistema Nacional de Avaliação da Educação Superior (SINAES), política pública vigente para a avaliação do ensino superior, situando esta pesquisa na avaliação das condições de ensino de cursos de graduação.

O terceiro capítulo trata da evolução dos instrumentos de avaliação dos cursos de graduação na modalidade a distância, analisando as atuais diretrizes e suas tendências. Considerando tais instrumentos como representantes da experiência prévia acumulada pelo INEP/MEC, aqueles mais recentes foram escolhidos como o ponto de partida para a revisão de indicadores proposta neste trabalho. O capítulo finaliza observando que este instrumento evolui para, cada vez mais, considerar as especificidades das diferentes modalidades de cursos, demonstrando ser favorável o momento para se estudar a temática proposta.

Uma vez expressa a problemática do trabalho nos capítulos dois e três, o quarto detalha a metodologia da pesquisa, que consistiu de uma elaboração incremental do sistema de indicadores em três ciclos, assim denominados por constituir, cada um, um processo independente de coleta, análise de dados e proposição de uma nova versão do sistema de indicadores.

O primeiro ciclo começa a ser mostrado no capítulo cinco, que seleciona uma base teórica do trabalho que seja compatível com as políticas públicas expressas pelo SINAES. Após extenso estudo contrastando cada modelo clássico de avaliação educacional com as políticas brasileiras, foi escolhida a avaliação para tomada de decisão, representada pelo modelo CIPP desenvolvido por Daniel Stufflebeam (2007). O referido modelo é adaptado à realidade brasileira no capítulo seis, que finaliza o primeiro ciclo trazendo a primeira revisão do instrumento de avaliação do INEP/MEC. Esta revisão resulta da normalização do instrumento vigente, conforme o modelo CIPP.

O segundo ciclo da organização incremental de indicadores é objeto do capítulo sete, que faz um levantamento das especificidades das condições de ensino dos cursos a distância e as incorpora ao instrumento resultante do primeiro ciclo. Os novos indicadores específicos para EaD foram definidos utilizando a Avaliação Baseada em Teoria (ABT), uma técnica defensora de que se formule questões de avaliação a partir dos documentos que especificam

como os programas devem funcionar. No caso brasileiro, tais documentos são a legislação vigente, editais, instrumentos de avaliação oficiais e, principalmente, projetos de cursos; os novos indicadores, ou questões de avaliação, foram definidos com base nos modelos de cursos expressos nestes documentos.

O capítulo oito consiste do ciclo final de verificação do trabalho realizado. Foram empreendidas três diferentes validações complementares: uma teórica, uma validação por especialistas, e a terceira empírica no sentido de termos analisado seu manuseio para avaliar cursos. A primeira validação, teórica, analisou a conformidade da proposta com o padrão internacional de avaliação proposto pelo Joint Committee on Standards for Educational Evaluation (JCSEE), comitê estadunidense atuante na definição de padrões de avaliação educacional. A segunda validação promoveu uma pesquisa de levantamento por meio de questionário online, que contou com a participação de estudantes e profissionais da educação a distância localizados em cerca de 20 estados brasileiros. Finalmente, um estudo empírico com profissionais envolvidos na avaliação de cursos reais proporcionou uma análise comparativa entre o uso do instrumento proposto e a versão original do INEP/MEC.

No nono capítulo, as considerações finais resumem o percurso trilhado e suas contribuições, mostrando as dificuldades encontradas, as questões que não foram possíveis de resolver, deixando-as como sugestões para trabalhos futuros.