Universidade
Católica de
Brasília
PRÓ-REITORIA DE PÓS-GRADUAÇÃO E PESQUISA
STRICTO SENSU
EM EDUCAÇÃO
Mestrado
EXAME NACIONAL DE DESEMPENHO DOS ESTUDANTES –
ENADE: RECORTES DA EDUCAÇÃO SUPERIOR PRESENCIAL
E A DISTÂNCIA
Autor: Giovanni Silva Paiva
Orientadora: Professora Doutora Beatrice Laura Carnielli
GIOVANNI SILVA PAIVA
EXAME NACIONAL DE DESEMPENHO DOS ESTUDANTES – ENADE: RECORTES DA EDUCAÇÃO SUPERIOR PRESENCIAL E A DISTÂNCIA
Dissertação apresentada ao Programa de Pós-Graduação Stricto Sensu em Educação da
Universidade Católica de Brasília, como requisito parcial para obtenção do Título de Mestre em Educação.
Orientadora: Professora Doutora Beatrice Laura Carnielli
Ficha elaborada pela Biblioteca Pós-Graduação da UCB
06/08/2010
P149e Paiva, Giovanni Silva
Exame nacional de desempenho dos estudantes – ENADE: recortes da educação superior presencial e a distância. / Giovanni Silva Paiva. – 2010.
147f. : il.; 30 cm
Dissertação (mestrado) – Universidade Católica de Brasília, 2010.
Dissertação de autoria de Giovanni Silva Paiva, intitulada “Exame Nacional de Desempenho dos Estudantes – ENADE: recortes da educação superior presencial e a distância”, apresentada como requisito parcial para obtenção do grau de Mestre em Educação da Universidade Católica de Brasília, defendida em 27 de agosto de 2010 e aprovada pela banca examinadora abaixo assinada:
________________________________________ Profª. Dra. Beatrice Laura Carnielli
Orientadora – UCB
________________________________________ Profª. Dra. Clélia de Freitas Capanema
Membro Interno – UCB
________________________________________ Profª. Dra. Kátia Siqueira de Freitas
Membro Externo – UCSAL
Se estamos aqui reunidos, devemos isso à existência de uma Força maior que nos governa, ilumina, fortalece e orienta. Agradeço a Deus a oportunidade de conviver, nesse plano, com aqueles que me cercam, trocando experiências e aprendendo sempre.
Aos meus pais, João (in memoriam) e Norma, pela sabedoria no incentivo e
colaboração na minha formação acadêmica. Meu permanente muito obrigado.
À minha fiel e grande esposa e companheira Eleuda, pelo estímulo e permanente compreensão das minhas dificuldades. Meus agradecimentos.
Aos meus filhos, Caio e Hugo, e a meu irmão Afrânio, que souberam compreender as minhas sistemáticas ausências em prol da elaboração dessa dissertação. Obrigado.
Às minhas fiéis companheiras de trabalho, Margareth e Ana Maria, pelo permanente incentivo e colaboração no decorrer do Mestrado em Educação. Meu muito obrigado.
Aos superiores hierárquicos Webster e Sandra Cunha, pela compreensão e facilidade na administração dos meus horários. Sem isso não teria vencido as disciplinas do Mestrado em Educação. Agradeço sempre.
Aos professores do Mestrado em Educação da Universidade Católica de Brasília, em particular às Professores Beatrice Laura Carnielli e Clélia de Freitas Capanema, que permitiram e facilitaram o meu crescimento intelectual e pessoal, intermediando o conhecimento e partilhando experiências. Meus sinceros agradecimentos.
“A educação é uma obra que não termina nunca. E não chega a ser perfeita só porque isso desejem os governantes.”
Referência: PAIVA, Giovanni Silva. Exame Nacional de Desempenho dos Estudantes – ENADE: recortes da educação superior presencial e a distância. 2010. 147 p. Dissertação apresentada ao Programa de Pós-Graduação Scricto Sensu em Educação da Universidade
Católica de Brasília (UCB), como requisito parcial para obtenção do título de Mestre em Educação – UCB, Brasília-DF – Brasil, 2010.
A pesquisa versa sobre avaliação do desempenho acadêmico e modalidades de oferta da educação superior no Brasil: presencial e a distância. O diagnóstico da educação superior brasileira revela questões inerentes ao atendimento à demanda por esse nível de ensino. Aponta a educação a distância como alternativa à expansão da oferta da graduação no Brasil, sem desconsiderar a avaliação da educação superior. A realidade demonstra a expansão da educação superior a distância e a implantação de um Sistema Nacional de Avaliação da Educação Superior no Brasil. A avaliação institucional, a avaliação dos cursos de graduação e a avaliação do desempenho acadêmico, conhecido como ENADE, constituem os pilares dessa avaliação. Os fins formativos da avaliação estão pautados na utilização plena de seus resultados no processo educacional. O ENADE apresenta resultados específicos do desempenho acadêmico, sem distinguir a modalidade de oferta dos cursos de graduação. A partir do desenvolvimento de estudo de caso do ENADE 2008, utilizando técnicas de pesquisa documental, buscou-se diferenciar os resultados da avaliação do desempenho acadêmico da educação presencial e a distância. O detalhamento dos procedimentos de organização e divulgação dos resultados do ENADE 2008 e a reconstrução do modelo de atribuição de conceitos segundo a modalidade de oferta dos cursos avaliados revelam a possibilidade de construção de relatórios mais específicos e úteis ao processo educacional, sem evidenciar diferenças marcantes no desempenho acadêmico de estudantes da educação presencial e a distância avaliados pelo ENADE 2008.
The research focuses on assessment of academic performance and procedure for provision of higher education in Brazil: face education and distance education. Diagnosis of Brazilian higher education reveals issues inherent to meet demand for this level of education. Points to distance education as an alternative to expanding the supply of graduate studies in Brazil, without disregarding the evaluation of higher education. Reality shows the expansion of distance higher education and the establishment of a National Assessment System of Higher Education in Brazil. The institutional evaluation, the evaluation of undergraduate courses and the evaluation of academic performance (known as ENADE) constitute the pillars of this assessment. The purpose of formative assessment are graded on the full use of their results in the educational process. The evaluation of academic performance presents specific results of this evaluation method without distinguishing the arrangement for supply of undergraduate courses. From the development of a case study of ENADE 2008, using the techniques of documentary research, sought to differentiate the results of the face education and distance education. The detailed procedures for organizing and publicizing the results of ENADE 2008 and reconstruction of the conceptual model according to the mode of offering of courses evaluated showed the possibility of building reports more specific and useful to the educational process, without evidence of marked differences in performance academic of face education and distance education measured by ENADE 2008.
Organização Acadêmica – 2008...59
Tabela 2 – Número de IES selecionadas para o ENADE 2008 por Região Geográfica, segundo a Categoria Administrativa e Organização Acadêmica...60
Tabela 3 – Número de IES credenciadas para Educação a Distância por Região Geográfica, segundo a Categoria Administrativa e Organização Acadêmica – 2008...61
Tabela 4 – Número de IES credenciadas para Educação a Distância e selecionadas para o ENADE 2008 por Região Geográfica, segundo a Categoria Administrativa e Organização Acadêmica ...62
Tabela 5 – Número de habilitações selecionadas para o ENADE 2008 por Categoria Administrativa, segundo a Área de Abrangência ...62
Tabela 6 - Número de habilitações ofertadas na modalidade EAD e selecionadas para o ENADE 2008 por Categoria Administrativa, segundo a Área de Abrangência...64
Tabela 7 – Estudantes inscritos no ENADE 2008, por condição, nas áreas de abrangência com oferta presencial e a distância, segundo a área de abrangência...68
Tabela 8 – Estudantes selecionados para o ENADE 2008, por grupo de estudantes, segundo a área de abrangência (com oferta presencial e EAD) ...69
Tabela 9 – Estudantes concluintes selecionados e participantes do ENADE 2008 segundo a área de abrangência (com oferta presencial e EAD) ...70
Tabela 10 – Número de habilitações com concluintes presentes ao ENADE 2008 por modalidade de oferta, segundo a área de abrangência...71
Tabela 11 – Número de habilitações com concluintes presentes ao ENADE 2008 ofertadas, concomitantemente na mesma IES, na modalidade presencial e a distância, segundo a área de abrangência...72
Tabela 12 – Número de concluintes presentes ao ENADE 2008 em habilitações ofertadas, concomitantemente na mesma IES, na modalidade presencial e a distância, por modalidade de oferta, segundo a área de abrangência ...73
Tabela 13– Número de Conceitos ENADE, segundo a Área de Abrangência (agregado) ...80
Tabela 14 – Número de Conceitos ENADE, segundo a Área de Abrangência (desagregado) 80 Tabela 15 – Conceitos ENADE 2008 – Biologia...82
Tabela 16 – Conceitos ENADE 2008 – Filosofia...82
Tabela 17 – Conceitos ENADE 2008 – Física ...83
Tabela 18 – Conceitos ENADE 2008 – Letras...83
Tabela 19 – Conceitos ENADE 2008 – Matemática...84
Tabela 20 – Conceitos ENADE 2008 – Pedagogia ...84
Tabela 21 – Conceitos ENADE 2008 – Tecnologia em Análise e Desenvolvimento de Sistemas...86
Tabela 22 – Conceitos ENADE 2008 – Tecnologia em Gestão da Produção Industrial...86
Tabela 23 – Estatísticas básicas do desempenho dos concluintes na FG e CE da prova, da área de abrangência em Biologia (agrupados e desagrupados)...90
Tabela 24 – Teste T: comparação de duas médias (presencial e EAD) – CE – Biologia – agrupamento 161 ...91
Tabela 25 – Teste T: comparação de duas médias (presencial e EAD) – CE – Biologia – agrupamento 162 ...92
Tabela 26 – Teste T: comparação de duas médias (presencial e EAD) – CE – Biologia – agrupamento 163 ...92
agrupamento 2024 ...115 Tabela 57 – Teste T: comparação de duas médias (presencial e EAD) – CE – Pedagogia – agrupamento 2025 ...115 Tabela 58 – Teste T: comparação de duas médias (presencial e EAD) – CE – Pedagogia – agrupamento 2026 ...116 Tabela 59 – Teste T: comparação de duas médias (presencial e EAD) – CE – Pedagogia – agrupamento 2027 ...116 Tabela 60 – Teste T: comparação de duas médias (presencial e EAD) – CE – Pedagogia – agrupamento 2028 ...116 Tabela 61 – Teste T: comparação de duas médias (presencial e EAD) – CE – Pedagogia – agrupamento 2030 ...117 Tabela 62 – Teste T: comparação de duas médias (presencial e EAD) – CE – Pedagogia – agrupamento 2032 ...117 Tabela 63 – Teste T: comparação de duas médias (presencial e EAD) – CE – Pedagogia – agrupamento 2033 ...118 Tabela 64 – Teste T: comparação de duas médias (presencial e EAD) – CE – Pedagogia – agrupamento 2034 ...118 Tabela 65 – Teste T: comparação de duas médias (presencial e EAD) – CE – Pedagogia....118 Tabela 66 – Estatísticas básicas do desempenho dos concluintes na FG e CE da prova, da área de abrangência em Tecnologia em Análise e Desenvolvimento de Sistemas (agrupados e desagrupados) ...119 Tabela 67 – Teste T: comparação de duas médias (presencial e EAD) – CE – Tecnologia em Análise e Desenvolvimento de Sistemas – agrupamento 725 ...120 Tabela 68– Teste T: comparação de duas médias (presencial e EAD) – CE – Tecnologia em Análise e Desenvolvimento de Sistemas...121 Tabela 69 – Estatísticas básicas do desempenho dos concluintes na FG e CE da prova, da área de abrangência em Tecnologia em Gestão da Produção Industrial (agrupados e desagrupados)
CES – Câmara de Educação Superior
CF/1988 – Constituição da República Federativa do Brasil (1988) CFE – Conselho Federal de Educação (extinto)
CNE – Conselho Nacional de Educação CPC – Conceito Preliminar de Curso DCN – Diretrizes Curriculares Nacionais DEA – Análise Envoltória de Dados EAD – Educação a Distância
ENADE – Exame Nacional de Desempenho dos Estudantes ENC – Exame Nacional de Cursos
FG – Formação Geral
IDD - Indicador de Diferença entre os Desempenhos Observado e Esperado IES – Instituição(ões) de Educação Superior
IGC – Índice Geral de Cursos
INEP – Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira LDB – Lei de Diretrizes e Bases da Educação Nacional
MEC – Ministério da Educação PNE – Plano Nacional de Educação
SEED – Secretaria de Educação a Distância SESu – Secretaria de Educação Superior
SIEdSup – Sistema Integrado de Informações da Educação Superior SINAES – Sistema Nacional de Avaliação da Educação Superior TIC – Tecnologias de Informação e Comunicação
INTRODUÇÃO ...16
1 AVALIAÇÃO DA EDUCAÇÃO SUPERIOR BRASILEIRA ...23
1.1 AVALIAÇÃO INSTITUCIONAL...26
1.2 AVALIAÇÃO DO DESEMPENHO ACADÊMICO ...27
1.3 EDUCAÇÃO A DISTÂNCIA ...31
1.4 A PROVA COMO INSTRUMENTO DE AVALIAÇÃO...34
2 ABORDAGEM METODOLÓGICA...39
2.1 PROCEDIMENTOS...41
3 APRESENTAÇÃO, ANÁLISE E INTERPRETAÇÃO DOS DADOS COLETADOS 46 3.1 O ENADE...47
3.2 PERIODICIDADE E OBRIGATORIEDADE...50
3.3 ÁREAS DO CONHECIMENTO ...51
3.4 ORGANIZAÇÃO DO ENADE E A DEFINIÇÃO DO PLANO AMOSTRAL ...57
3.5 PARTICIPAÇÃO NO ENADE 2008...69
3.6 METODOLOGIA DE DIVULGAÇÃO DOS RESULTADOS...74
3.7 VARIÁVEIS PARA DISTINÇÃO DA MODALIDADE DE OFERTA DO CURSO ...76
3.8 ENADE 2008 - CONCEITOS...78
3.9 ANÁLISES ESTATÍSTICAS ...86
CONSIDERAÇÕES FINAIS...126
REFERÊNCIAS ...133
APÊNDICES ...140
APÊNDICE A – CARTA DE SOLICITAÇÃO DE MICRODADOS DO ENADE 2008 ....141
INTRODUÇÃO
A educação é a base sustentadora do desenvolvimento de um país, caracterizando-se como um problema nacional. A grande preocupação com a educação, nos seus diversos níveis e modalidades, desponta como condição fundamental ao desenvolvimento do Brasil a partir do desenho do quadro social, político e econômico verificado no início do século. A Carta Magna Brasileira de 1934 atribuiu à União a responsabilidade pela fixação de um plano nacional de educação, assim como a coordenação e fiscalização de sua execução em todo o território nacional. A mesma disposição legal é verificada no artigo 214 da Constituição da República Federativa do Brasil de 1988 (CF/1988) trata da estabilidade das iniciativas governamentais na área da educação, estabelecidas por meio de um plano nacional de educação de longo prazo, com força de lei.
A Lei n.º 10.172 (BRASIL, 2001a), de 09/01/2001, estabeleceu o Plano Nacional de Educação (PNE). A elevação global do nível de escolaridade da população, a melhoria da qualidade do ensino e o desenvolvimento de sistemas de informação em todos os níveis e modalidades de ensino, entre outros, constituem objetivos e prioridades do PNE.
A educação superior brasileira registra profundas modificações a partir dos anos 90. O preceito constitucional de que a educação é livre à iniciativa privada, aliado à incapacidade do Estado no atendimento pleno à demanda pela educação superior, favorece o crescimento privado da oferta desse nível de ensino, inclusive na modalidade de educação a distância (EAD). A Carta Magna, contudo, não deixou de determinar obrigatoriedade de cumprimento às normas gerais da educação nacional, além da necessária autorização e avaliação de qualidade pelo poder público. Educação a distância e avaliação da educação superior são temas obrigatórios nas discussões sobre política de educação superior no Brasil.
A amplitude do PNE estimula recortes que facilitem análises mais particulares da educação superior. Destacam-se, dentre seus objetivos e metas, (1) o estabelecimento de um sistema interativo de educação a distância, como alternativa à ampliação do acesso à educação superior, e (2) a institucionalização de sistema de avaliação interna e externa das instituições de educação superior (IES) com vistas à promoção da melhoria da qualidade do ensino, pesquisa, extensão e gestão acadêmica.
O Brasil, por sua característica de dimensão territorial continental, possui grandes diferenças regionais. Há regiões densamente povoadas e outras cuja densidade demográfica está aquém da média nacional (IBGE, 2000). A educação superior registra reflexos dessas diferenças regionais, sobretudo no acesso a esse nível de ensino. A EAD, nesse cenário, surge como possível alternativa à democratização do acesso à educação superior, alcançando áreas em que a densidade demográfica desestimula a instalação de estruturas organizacionais completas para a formação profissional em nível superior. É inconteste o crescimento da oferta da educação superior a distância no Brasil. Sanchez (2008) revela que o número de estudantes a distância em instituições autorizadas a ministrar EAD, no período de 2004 a 2007, cresceu 213,0%. Esse dado é relevante para a mensuração, senão do alcance, pelo menos da marcha em direção ao objetivo estabelecido no PNE em relação a EAD.
Educação a distância e avaliação da educação superior, particularmente a avaliação do desempenho de estudantes, enquanto recortes relevantes para a atual política de educação superior, constituem o eixo norteador ao desenvolvimento da presente pesquisa. Ao buscar meios para distinguir o desempenho acadêmico segundo a modalidade de oferta do curso de graduação, a pesquisa poderá revelar aspectos da EAD que favoreçam a sua compreensão como alternativa à democratização brasileira do acesso ao ensino superior de qualidade.
A avaliação da educação superior está sob a égide da Lei nº. 10.861 (BRASIL, 2004a), de 14/04/2004, que instituiu o Sistema Nacional de Avaliação da Educação Superior (SINAES). Esse sistema fornece subsídios ao processo de regulação da educação superior, ao mesmo tempo em que estimula a avaliação institucional interna, desenvolve (1) a avaliação institucional externa, (2) a avaliação dos cursos de graduação, nas diversas modalidades em que é ofertado, bem como (3) a avaliação do desempenho acadêmico. Concentra, assim, ações governamentais voltadas à observação do preceito constitucional de autorização e avaliação da educação superior pelo poder público.
O SINAES foi instituído com a proposta de organização de um sistema capaz de combinar avaliação educativa e regulação. É sustentado por três pilares: (1) avaliação institucional; (2) avaliação dos cursos de graduação; e (3) avaliação do desempenho acadêmico. A avaliação é entendida, no âmbito do SINAES, como um processo dialógico que permite considerar as dimensões quantitativas e qualitativas, refletindo sobre o que foi planejado e realizado. O envolvimento e comprometimento de todos os integrantes da IES, inclusive o corpo discente, é o pressuposto que pode assegurar os resultados favoráveis da avaliação (INEP, 2007b).
As ações desenvolvidas no âmbito do SINAES proporcionam o levantamento de informações acerca da educação superior brasileira. A comunidade acadêmica, ainda arraigada à idéia de que avaliação serve apenas ao processo regulatório, em geral, não potencializa a utilização das informações produzidas pelo SINAES, particularmente aquelas decorrentes da avaliação do desempenho acadêmico.
O Exame Nacional de Desempenho dos Estudantes (ENADE) é o pilar do SINAES para a avaliação do desempenho acadêmico. O ENADE é componente curricular obrigatório aos cursos de graduação. É aplicado periodicamente aos alunos de todos os cursos ao final do primeiro e último ano, acompanhado de instrumentos destinados ao levantamento do perfil dos estudantes, favorecendo a compreensão de seus resultados.
O modelo utilizado para a divulgação dos resultados do ENADE não proporciona distinção dos cursos de graduação segundo a respectiva modalidade da oferta. O conceito ENADE concatena o desempenho médio de estudantes dos diversos cursos de graduação oferecidos pelas IES e avaliados pelo Exame1, em um mesmo município, agrupados na mesma área do conhecimento avaliada a cada ano. O conceito singular atribuído a um curso de graduação após cada edição do Exame pode refletir distintas realidades, que contemplam cursos ofertados nas modalidades presencial, híbrida2 e a distância.
As IES que oferecem cursos de graduação em múltiplas modalidades de oferta têm acesso aos próprios resultados do desempenho acadêmico de forma concatenada, impedindo a distinção entre os diversos cursos avaliados na mesma área de abrangência e município de oferta. Considerando a possibilidade de distinção entre os projetos pedagógicos e o respectivo corpo docente e discente, necessária se faz a separação dos resultados do ENADE de modo a facilitar a sua interpretação e adoção de ações institucionais que favoreçam o desenvolvimento da qualidade da educação superior.
A descrição e análise dos procedimentos de organização do Exame e a metodologia utilizada para a divulgação dos seus resultados facilitarão a identificação de variáveis que permitirão o cálculo de conceitos para cursos presenciais e a distância, distintamente. Essa distinção de conceitos, por fim, permitirá a comparação de resultados do desempenho acadêmico segundo a modalidade de oferta do curso de graduação.
A utilização de procedimentos técnicos de pesquisa documental a partir de dados do Exame Nacional de Desempenho dos Estudantes, realizado em 2008, divulgados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), viabilizará a realização da presente pesquisa aplicada, com abordagem quantitativa. A seleção do ano de 2008 para a pesquisa decorre dos critérios mais precisos do plano amostral, que assegura representatividade de estudantes para todas as habilitações participantes do Exame, conferindo à presente pesquisa características de estudo de caso. Tull (1976) afirma que o estudo de caso refere-se a uma análise intensiva de uma situação particular. Yin (2001) caracteriza o estudo de caso como adequado a situações pautadas na impossibilidade de manipulação de comportamentos relevantes, mas ricas em alternativas ao desenvolvimento de observações diretas.
1 O ENADE será referenciado, ao longo desta pesquisa, também como Exame.
Esse cenário destaca importantes e atuais vertentes da educação superior brasileira: avaliação do desempenho acadêmico e educação a distância. O olhar concomitante sobre essas vertentes favorece a postulação da seguinte questão de pesquisa: como detalhar os resultados do ENADE para distinguir o desempenho acadêmico de estudantes de cursos presenciais e a distância?
A presente pesquisa está organizada em quatro capítulos, identificando e detalhando os caminhos percorridos para atingir o objetivo proposto de encontrar alternativas para a distinção dos resultados do ENADE segundo a modalidade de oferta do curso de graduação: presencial e a distância. O primeiro capítulo, ao tratar da avaliação da educação superior brasileira, busca reflexões na literatura acerca dos conceitos que envolvem a matéria. Discorre sobre a avaliação institucional, desembocando em aspectos da avaliação do desempenho acadêmico. Reflete sobre a educação a distância como alternativa ao acesso à educação superior e, para finalizar o aporte conceitual, apresenta aspectos da prova como instrumento de avaliação.
O segundo capítulo detalha os procedimentos metodológicos que sustentam o desenvolvimento da pesquisa. Na medida em que busca a solução de problema específico, tem característica de pesquisa aplicada. As análises desenvolvidas são sustentadas por opiniões e informações traduzidas em números, apontando para pesquisa quantitativa, haja vista a medição das variáveis e não a sua descrição. É pesquisa documental, na medida em que os dados serão coletados de documentos, que são classificados por Lakatos e Marconi (1991) em arquivos públicos, arquivos particulares e fontes estatísticas.
Yin (2001) explica a preferência pelo estudo de caso para estudos de eventos contemporâneos, em situações onde os comportamentos relevantes não podem ser manipulados, mas é possível o desenvolvimento de observações diretas. Essa ponderação do autor fundamenta a adequabilidade da metodologia na análise desenvolvida na distinção dos resultados do ENADE segundo a modalidade de oferta do curso de graduação: presencial ou a distância.
passos para a organização anual do Exame, reflete sobre os procedimentos amostrais adotados nas cinco primeiras edições.
Ainda no terceiro capítulo são apresentados o quadro geral de instituições de educação superior do Brasil, afunilando a informação até o mapeamento das IES e cursos inseridos na avaliação de 2008. Uma vez identificado esse recorte do ENADE, detalha a seleção de estudantes e a respectiva participação na prova, que fornecem os elementos indispensáveis ao cálculo de conceitos atribuídos a cada curso avaliado pelo Exame. O método utilizado para a divulgação dos resultados apurados também é objeto de detalhamento no capítulo 3, quando são identificadas as variáveis que permitem a distinção dos resultados segundo a modalidade de oferta do curso de graduação. O detalhamento dos conceitos divulgados pelo INEP e recalculados na presente pesquisa encerra a análise e interpretação dos dados coletados.
O quarto capítulo discorre sobre as conclusões advindas da análise dos dados coletados. Nesse momento são apresentas as sugestões decorrentes do trabalho de pesquisa, com vistas ao desenvolvimento da qualidade da educação superior brasileira a partitr de reflexões do Exame Nacional de Desempenho dos Estudantes 2008.
A proposta de detalhamento do ENADE para identificar alternativas de divulgação de resultados que permitam a distinção dos conceitos atribuídos aos cursos segundo a respectiva modalidade de oferta – presencial ou a distância – considera os seguintes pressupostos:
1. O ENADE é organizado a partir de informações do Sistema Integrado de Informações da Educação Superior (SIEdSup), administrado pelo INEP, que detalha, entre outras informações institucionais, aquelas relativas à modalidade de oferta do curso de graduação, assim como de suas habilitações;
2. O procedimento de divulgação dos resultados do ENADE está baseado em critério que concatena informações de ano de avaliação, área do conhecimento avaliada, instituição de educação superior e município de oferta do curso;
3. A EAD é apontada como alternativa de democratização do acesso à educação superior, considerada a dimensão territorial do Brasil;
4. A qualidade da educação é preceito constitucional e cabe à União o desenvolvimento de mecanismos de avaliação;
6. A execução curricular é diferenciada para cursos presenciais e a distância, mesmo considerando a semelhança dos projetos pedagógicos, podendo suscitar variação na avaliação do desempenho dos estudantes; e
7. A distinção dos resultados do desempenho acadêmico é viável a partir da reconstrução do modelo de atribuição de conceitos do ENADE.
1 AVALIAÇÃO DA EDUCAÇÃO SUPERIOR BRASILEIRA
O artigo 209 da Constituição da República Federativa do Brasil de 1988 (BRASIL, 1988) assegura que o ensino é livre à iniciativa privada, cumpridas as normas gerais da educação nacional e a autorização e avaliação de qualidade pelo poder público. A avaliação da educação superior brasileira, desde a década de 80, passou a ser tema de maior interesse e centralidade no âmbito das reformas e políticas públicas de educação. “A avaliação, de uma forma ou de outra, é um elemento imprescindível nas políticas de educação superior” (SÍVERES, 2007, p. 10). A literatura registra, desde então, estudos e discussões acerca da matéria, destacando propostas e críticas à política de avaliação da educação superior brasileira.
A avaliação é atividade que faz parte do cotidiano de todo ser humano, seja individualmente ou quando desenvolvida com foco em grupos organizados com interesses comuns. No contexto educacional, a avaliação tem sido prática cada vez mais frequente, seja por meio da avaliação institucional, de docentes, de cursos de graduação ou do desempenho de estudantes. Inicialmente, por ser uma determinação constitucional, com desenvolvimento ancorado no Sistema Nacional de Avaliação da Educação Superior. Em segundo lugar, e não menos importante, por balizar a qualidade dos serviços educacionais oferecidos por instituições de educação superior, constitui-se em referencial para a tomada de decisão institucional e de políticas públicas.
A dicotomia observada entre regulação e emancipação na avaliação da educação superior é destacada por Afonso (2000). Ainda é intensamente percebida, na comunidade acadêmica e sociedade em geral, a ideia de que avaliação é unicamente o marco referencial do processo regulatório. O desenvolvimento da cultura da avaliação como instrumento de desenvolvimento da educação nacional ainda é incipiente. Saul (1988) destaca que o compromisso social da avaliação emancipatória é fazer com que os sujeitos envolvidos em uma ação educacional escrevam a sua própria história, identificando as alternativas de ação. Wolf (1997) entende que a avaliação não pode ser realizada tão somente para cumprimento de uma obrigação. As avaliações são parte de um sistema de monitoramento de metas educacionais e devem ser realizadas para aferir o seu alcance e, caso necessário, apontar alternativas para correção dos rumos do processo educacional.
um programa, a avaliação tem a função somativa. Por outro lado, quando é realizada durante o processo de execução de um programa, a avaliação tem característica formativa. Os sentidos diagnóstico, formativo e somativo da avaliação são reforçados por Carlini e Ramos (2009). Além de quantificar os processos de ensino-aprendizagem, a avaliação deve permitir a respectiva compreensão, aperfeiçoamento e qualificação, momento em que são atribuídos significados voltados à orientação para o processo decisório. Alves (2007) reforça essa ideia ao refletir sobre a importância na distinção entre um dado em si e o seu uso na avaliação institucional. Cerdà e Socias (2004) reforçam o entendimento de que uma das finalidades da avaliação é auxiliar o processo decisório.
A avaliação de um curso, segundo Carlini e Ramos (2009), deve considerar o diagnóstico do desempenho de cada um de seus componentes – estudantes, professores, projeto pedagógico, entre outros – verificando sua contribuição e adequação voltadas ao alcance dos objetivos propostos. A partir do diagnóstico é que será possível a identificação dos pontos fortes e fragilidades do processo, assim como as necessárias alterações e a oportunidade adequada às suas realizações.
A avaliação não tem o fim exclusivo de provar algo a alguém, nem tampouco obtenção de resultados para apresentação às agências de controle e financiamento, conforme ponderam Caixeta et all (2007). Mesmo quando procura quantificar, o processo avaliativo
possui referência a valores qualitativos. O instrumento utilizado é periférico, seja ele qual for, haja vista ser mais importante a forma como será utilizado. Dentre os diversos instrumentos avaliativos, a prova é valiosa para a coleta e produção de informações acerca do avanço e necessidades dos estudantes. Ao proporcionar a produção de informações para análise do desempenho acadêmico, esse instrumento também pode ser entendido como parte do processo de avaliação global da educação. A avaliação deve fomentar a compreensão do processo e suscitar, quando necessária, a sua alteração, com vistas ao alcance dos objetivos e metas estabelecidos para a educação.
As avaliações no Brasil, ao longo da história, “têm privilegiado as classificações
(ranking), premiações e punições, assumindo um modelo institucional único [...]” (ROCHA,
Ainda é marcante a compreensão da associação entre avaliação e punição, conforme Ristoff (1995). A capacidade de construção que deveria permear a avaliação é distorcida por essa associação. A avaliação assume, assim, o papel de mero instrumento de classificação, o que não é desejável. A simples mensuração e classificação de ações ou produtos já realizados têm características exclusivas de avaliação somativa. Dias Sobrinho (1995) destaca a importância da avaliação somativa para o conhecimento de informações e identificação dos pontos em que se encontram os processos de realização de produtos ou projetos específicos. A avaliação da educação superior, contudo, não deve ser restrita a essa etapa somativa.
Os procedimentos analíticos e as intervenções qualitativas têm como ponto de partida os indicadores, informações objetivas, estatísticas, estudos quantitativos, conforme reflete Aballéa (1989, apud DIAS SOBRINHO, 1995). O conceito de indicadores, segundo Paul,
Ribeiro e Pilatti (1992), decorre da visão da universidade como unidade de produção, que combinaria vários fatores para produzir graduados e resultados de pesquisa. Esses indicadores, contudo, não são neutros e implicam um julgamento de valor. Durham (1992) também reforça a necessidade de coleta sistemática e publicação de estatísticas confiáveis e de indicadores educacionais para sustentação da avaliação da educação superior brasileira. Wolynec (1992, apud DURHAM e SCHWARTZMAN, 1992) pondera sobre a importância
de um conjunto de indicadores que favorecesse a comparação entre IES. Essas comparações facilitariam a identificação de necessidades de esforços para melhoria da própria eficiência e desempenho.
A universidade, globalização e construção do futuro – pautas para a avaliação e para uma pedagogia prospectiva – são temas abordados por Dias Sobrinho (2000), ao tratar da avaliação da educação superior. Morin e Kern (apud DIAS SOBRINHO, 2000) trazem a ideia
de abstração do particular quando isolado do todo de que faz parte ou, na direção oposta, do global visto sem nenhuma consideração aos seus componentes. É salutar um pensamento que reúna o que está separado e compartimentado, respeitando o diverso, sem desconsiderar o uno, na tentativa de descrever as interdependências. O conhecimento do todo requer o conhecimento específico das partes, assim como o conhecimento das partes é inócuo quando dissociado do todo.
destacando as particularidades de seus componentes, sem perder o sentido de união, de forças que convergem para o cumprimento da missão estabelecida pelo Plano de Desenvolvimento Institucional.
1.1 AVALIAÇÃO INSTITUCIONAL
A avaliação não significa paralisia da universidade, conforme pondera Dias Sobrinho (2000), flagrando recortes estanques de cursos e programas de estudos, momento que traduz as relações sociais em estatísticas frias, produzidas a partir de questionários fechados e técnicas de controle de variáveis e opiniões. A avaliação deve movimentar os processos da universidade com vistas a sua transformação e contínua evolução, na permanente busca da própria excelência. Assim, a avaliação não pode sucumbir apenas à produção de informações brutas. Essas, de grande importância, devem ser utilizadas para municiar o processo decisório. A universidade deve evitar apenas a quantificação, que interpreta a realidade por meio de elementos e medidas. A intervenção qualitativa no processo de construção institucional deve ser o objetivo primordial da avaliação.
Em relação à dicotomia percebida na avaliação, quando são abordados os aspectos qualitativos e quantitativos, Dias Sobrinho (2000) lembra que o sentido de cada ação está centrado na sua integração ao todo. Qualitativo e quantitativo não são mutuamente excludentes, até porque um não existe sem o outro. Devem ser combinados e tratados de forma complementar, na medida em que juntos facilitam o alcance dos objetivos da avaliação. É preciso reunir os aspectos quantitativos e torná-los significativos e pertinentes à compreensão integrada. Aballéa (1989, apud DIAS SOBRINHO, 2000) enfatiza que as
abordagens quantitativas não são dispensáveis pelas características parciais e menos enriquecidas de significados. É importante que sejam prolongadas e completadas por observações qualitativas. Esse é o processo que transforma dados factuais ou cifras em informações úteis ao processo avaliativo.
parece hoje consensual que a avaliação não é um episódio desgarrado do cotidiano das instituições e de sua função social, mas parte integrante e permanente de uma gestão científica, moderna, eficaz e relevante; por outro lado, a operacionalização dos conceitos de avaliação ainda necessita de indicadores mais adequados e, em muitos casos, é preciso profissionalizar os avaliadores no sentido de uma avaliação mais dialógica e menos burocrática, que não traga em seu bojo, como principal motivação, o receio de punição ou a ambição do prêmio extrínseco, mas a busca da transformação. (CAPANEMA e JORDAN, 2002, p. 156).
As autoras pesquisaram a implantação de novos projetos pedagógicos na Universidade Católica de Brasília, a partir de 1988, em consonância com as diretrizes curriculares dos cursos de graduação, que, embora sem oficialização, foram disponibilizadas pelo Ministério da Educação (MEC), a partir da respectiva elaboração pelas Comissões de Especialistas. Em paralelo, a Universidade Católica de Brasília investiu na condição de oferta de seus cursos, ampliando a infraestrutura e buscando a composição qualificada do corpo docente, fatos constatados pelas Comissões Verificadoras de Especialistas. Essa verificação in loco,
contudo, apresenta resultados descompassados com o Exame Nacional de Cursos (ENC). Ao apresentar a sugestão de desenvolvimento de pesquisa que investigue as causas da distorção entre os resultados da avaliação desenvolvida no âmbito da Universidade Católica de Brasília, Capanema e Jordan (2002) consideram que a qualidade institucional pode ser avaliada sob diferentes métodos: aplicação de teste de conhecimentos aos estudantes concluintes dos cursos de graduação; avaliação dos insumos do processo de educação – infraestrutura, corpo docente e organização curricular.
1.2 AVALIAÇÃO DO DESEMPENHO ACADÊMICO
Da análise mais específica dos exames gerais, particularmente o Exame Nacional de Cursos, Dias Sobrinho (2000) destaca ser inegável a ocorrência de mudanças nas rotinas das IES e seus cursos. Essas mudanças, contudo, devem ser cuidadosamente observadas. O processo de mudança é pouco observado pelo estudante em fase de conclusão do curso de graduação, na medida em que deixa o ambiente acadêmico. É preocupante, para o autor, a celeuma criada pela imprensa em termos de avaliação da educação superior a partir dos resultados do ENC. Centrado nesse instrumento avaliativo girava toda a concepção de avaliação da educação superior. Pondera o autor que medir é apenas uma parte do processo avaliativo.
avaliativa com resultados concretos, tendo despertada a atenção da mídia e da sociedade brasileira, sobretudo as IES, professores e alunos, para a questão da qualidade da educação superior. Nos extremos dos seus resultados, conta com a aprovação das IES com resultados no topo da escala e com as severas críticas daquelas IES com resultados insatisfatórios. Reforçam os autores que nenhum processo de avaliação pontual pode ser usado isoladamente. O uso pontual do ENC pelo Ministério da Educação (MEC) revelou o quanto o poder público esteve “operacionalmente distante do conceito real de uma avaliação, que exige um grande número de instrumentos alternativos” (NEIVA e COLLAÇO, 2006, p. 197).
O entendimento do significado dos números é crucial ao processo de avaliação. Castro (2001) traz importante contribuição ao esclarecer o que dizem os números do Provão3. Ressalta que os conceitos atribuídos pelo Exame aos cursos avaliados refletem a comparação entre o desempenho médio dos seus estudantes em comparação ao mesmo índice dos demais cursos. Esse procedimento usual em estatística mostra a posição relativa de cada média quando comparada com as demais da mesma distribuição, haja vista a ausência de métrica pré-definida para atribuição de resultados. Os resultados do Exame exprimem a comparação entre os estudantes de um curso em relação aos demais da mesma área do conhecimento, em matéria de conhecimento e domínio dos conteúdos, habilidades e competências testadas em um dado momento de aplicação de prova.
Segundo Castro (2001), o Provão não determina quem é bom ou mau em termos de resultado. Ao contrário, dado o método escolhido, os conceitos do Exame apresentam o melhor ou pior desempenho. Conclui o autor que o Provão não apresenta resultados de qualidade de um curso de graduação. Considerando que os conceitos são calculados a partir de comparações de médias de estudantes submetidos a uma mesma prova, por áreas do conhecimento, o ENC não permite a comparação entre cursos de áreas distintas. Da mesma forma o autor lembra que, dada a diferença entre provas de uma mesma área e o contingente de estudantes a ela submetidos em momentos distintos, não há possibilidade de identificação de evolução (ou involução) do ensino.
O SINAES, conforme ponderam Limana e Brito (2005, apud RISTOFF, LIMANA e
BRITO, 2006), contempla uma proposta de avaliação da educação superior brasileira que extrapola a prática centrada na ênfase de avaliação a partir de uma prova única de conhecimentos específicos, na qual a qualidade de um curso era determinada pela média do desempenho dos seus estudantes. O SINAES busca a integração harmônica dos diversos
instrumentos utilizados na avaliação da educação superior, as dimensões internas e externas, somativa e formativa, qualitativa e quantitativa e os vários objetos e objetivos da avaliação.
A complexidade do sistema é um fator que limita a sua análise global por meio da utilização de instrumento único. Limana e Brito (2005, apud RISTOFF, LIMANA e BRITO,
2006) destacam as múltiplas análises, diferentes abordagens e momentos distintos requeridos pela complexidade da educação superior. A proposta do SINAES está centrada na compreensão do todo a partir das partes que o compõem. Segundo os autores, a análise individualizada de cada elemento é realizada em conformidade com suas especificidades e, ao final, o sistema deve ser recomposto para a explicação do todo.
Limana e Brito (2005, apud RISTOFF, LIMANA e BRITO, 2006) fazem um paralelo
a uma câmera fotográfica, que permite o foco ampliado para retratar o todo, onde todos os componentes aparecem em perfeita interação. A utilização de recursos de zoom permite a
identificação de elementos até então despercebidos, evoluindo até a percepção de elementos menores. A análise desses elementos permite a compreensão sobre os mesmos. Ao retornar ao foco amplo, novas conclusões podem ser vislumbradas do todo, a partir da compreensão de suas partes. Detalhes, antes despercebidos, passam a constituir relevante informação para o entendimento global. A avaliação institucional é o foco amplo da avaliação. O zoom nos
revela a avaliação do curso. Mergulhando um pouco mais na especificidade dos componentes institucionais, alcançamos o estudante e, mais particularmente, o seu desempenho em uma prova – o Exame Nacional de Desempenho dos Estudantes.
A Análise Envoltória de Dados (DEA) é uma técnica de programação matemática que viabiliza a avaliação de organizações complexas a partir de eficiência comparativa. Segundo Façanha e Marinho (2001, apud BORGES E CARNIELLI, 2006) a DEA é bastante flexível e
útil para atender interesses diversos, sem adoção de padrões pré-estabelecidos, na medida em que utiliza dados observados nas unidades avaliadas. Os autores caracterizam organizações complexas como aquelas que utilizam insumos variados para a produção de produtos ou serviços múltiplos, com utilização de tecnologia desconhecida e/ou de difícil mensuração e preços dos insumos ou produtos não facilmente identificáveis. Pode ser aplicada à avaliação institucional, na medida em que respeita as particularidades institucionais, orienta correções e facilita comparações focadas na avaliação formativa. Borges e Carnielli (2006) comparam os resultados alcançados no ENC 2003 de 181 cursos de Administração com aqueles obtidos por meio da DEA.
dos seus egressos. Num segundo momento, outros instrumentos foram associados para avaliação da educação superior brasileira, com destaque para visitas in loco voltadas a
avaliação das condições de oferta dos cursos. As visitas focavam análise das instalações, corpo docente e organização didático-pedagógica.
O estudo desenvolvido por Borges e Carnielli (2006) constatou consideráveis convergências para os dois modelos utilizados – ENC 2003 e DEA, assim como a existência de certas divergências, o que não refuta nenhuma das metodologias avaliativas em questão. Contudo, sugerem a repetição das avaliações com maior número de insumos para assegurar a eficácia pretendida pelas duas metodologias.
Schwartzman (2008) descreve que o problema da avaliação da educação superior brasileira está centrado na forma como é realizada e na divulgação dos seus resultados. O Conceito Preliminar de Curso (CPC), índice calculado a partir de resultados do ENADE, recentemente criado MEC, por meio do INEP, foi amplamente divulgado em agosto de 2008, causando reflexos à reputação das IES, mesmo considerando o seu caráter preliminar e sujeito a revisão.
O CPC resulta da combinação de três componentes: (1) resultado do ENADE; (2) O Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD); e (3) insumos, compostos por infraestrutura e instalações físicas, recursos didático-pedagógicos, docentes com doutorado e docentes em regime integral, com pesos de 40%, 30% e 30%, respectivamente. Reforça Schwartzman (2008) que o resultado do ENADE decorre de testes aplicados a ingressantes e concluintes dos cursos de graduação avaliados a cada ano4. O IDD é calculado por meio de estatísticas de regressão a partir dos dados do ENADE. Destaca-se, assim, a importância que tem o ENADE na composição de índices que definirão a obrigatoriedade da visita in loco para fins regulatórios da educação superior, particularmente
no momento da renovação do reconhecimento de cursos.
Ao tratar especificamente do ENADE, Schwartzman (2008) aponta três aspectos importantes: (1) as provas aplicadas são diferentes por ano e por área avaliada, embora contemplem parte comum, identificada por formação geral; (2) utiliza procedimentos de padronização de médias; e (3) todos os dados são combinados em um único conceito final.
O ENADE “constitui-se como um instrumento de caráter diagnóstico, uma vez que os seus resultados buscam proporcionar aos cursos informações que permitam sanar possíveis
dificuldades apresentadas” (RODRIGUES e PEIXOTO, 2009, p. 8). A observação das autoras sobre o ENADE decorre de estudo pautado na hipótese de que os resultados do Exame favorecem o debate e reflexão institucional com vistas ao aperfeiçoamento dos cursos de graduação. Destacam, dentre os indicadores divulgados a partir dessa modalidade avaliativa, o próprio conceito ENADE, o Indicador de Diferença entre os Desempenhos Observado e Esperado e o Conceito Preliminar de Curso, como fomentadores da discussão que favorecem o desenvolvimento de medidas para a superação de dificuldades detectadas na execução curricular.
Rodrigues e Peixoto (2009) refletem que, no âmbito da universidade federal por elas observada, o Exame passou despercebido. Ainda que os novos procedimentos avaliativos tenham a pretensão de proporcionar uma visão mais apurada da realidade institucional, não foram desenvolvidos estudos e análises a partir do desempenho dos estudantes no ENADE. A prática desenvolvida para a avaliação do desempenho acadêmico não ultrapassou os limites da organização do processo avaliativo. Concluem pela completa desconsideração dos dados e relatórios colocados à disposição da comunidade acadêmica após o primeiro ciclo do ENADE.
Considerando o SINAES sob a perspectiva emancipatória, Fonseca (2007) pondera sobre a inevitável possibilidade de hierarquização a partir de leituras reduzidas à dimensão quantitativa dos resultados da avaliação da educação superior. Insiste, mesmo assim, na importância de uma análise aprofundada e rigorosa de todas as informações trazidas à baila pelos relatórios do ENADE, enquanto parte integrante do SINAES, que têm representação de uma parcela do processo complexo que precisa ser visto de forma mais global.
Os dados analisados pela pesquisadora apontam para mudanças significativas na dinâmica das aulas e na seleção de instrumentos e estratégias de avaliação de aprendizagem. Há indicativos de evolução da avaliação de um modelo tradicional para o enfoque formativo e mediador, ainda que não possam ser necessariamente atribuídos ao ENADE. Alguns questionamentos aparecem no tocante ao ranqueamento dos resultados, à ideia de valor agregado e a não explicitação de um trabalho enfocado em competências, apontando para a necessidade de discussão mais aprofundada dessas questões no âmbito do SINAES, e particularmente focado no ENADE.
1.3 EDUCAÇÃO A DISTÂNCIA
atores – professores e alunos (RICCIO, 2005). É a forma frequentemente utilizada para referenciar programas nos quais o espaço físico separa o estudante do professor. Os meios de comunicação, inclusive a Internet, respondem pela interação entre esses atores.
Freitas (2005) reflete que durante muito tempo o ensino a distancia foi entendido como uma modalidade do ensino independente, no qual o estudante tem certo grau de autonomia para decidir acerca do tempo e local de estudo. A atualidade revela a proximidade entre educação presencial e a distância, conforme Freitas (in FREITAS, ARAÚJO e FERNANDES, 2008). Pondera a autora, ainda, que o prestígio da EAD se equipara ao da educação presencial e que não há limites físicos para a inclusão de todos os habitantes do planeta no sistema educacional, desde que observadas as normas legais e a qualidade.
A necessidade social de proporcionar educação a segmentos populacionais alijados do sistema tradicional de ensino desencadeou o surgimento da educação a distância que, por vezes, caracteriza-se na oportunidade de estudos a adultos engajados no mercado de trabalho. Katz (1973, apud FREITAS, 2005) revela que o primeiro curso por correspondência nos
Estados Unidos remonta ao ano de 1728. Castro e Guaranys (1977, apud FREITAS, 2005)
registram curso de taquigrafia inglês em 1840. O início do século XX marca o rápido crescimento da educação a distância, quando surgem outros cursos por correspondência, na Rússia e nos Estados Unidos. “Os mais bem sucedidos eram os do tipo extensão universitária ou técnicos. Havia uma grande resistência com relação a cursos universitários a distância, por isso poucas foram as experiências duradouras, mesmo nos países mais desenvolvidos” (FREITAS, 2005, p. 58).
O Instituto Universal Brasileiro, iniciado em 1940, parece ser a instituição mais antiga a manter cursos por correspondência no Brasil, conforme relata Freitas (2005). Outras instituições do mesmo gênero foram criadas no Brasil, com destaque para o Centro de Estudos Regulares, fundado em 1981. Seu objetivo era assegurar a continuidade dos estudos pelo sistema educacional brasileiro a crianças de famílias que se mudavam temporariamente para o exterior.
implementação da educação a distância em regiões menos favorecidas pelos meios mais modernos e tecnologicamente sofisticados de comunicação.
A possibilidade de rápida expansão da oferta da educação superior, fazendo a universidade presente nos mais variados espaços do território brasileiro, assim como a indicação de uma possível economia de custos, seduz a todos que idealizam o direito à educação (PRETTO e PICANÇO, 2005). É inegável a existência e até a prevalência de encantamento sobre a utilização das Tecnologias de Informação e Comunicação (TIC), facilitando a expansão da oferta da educação superior no Brasil.
A EAD vem crescendo no Brasil, onde são observados aspectos mais esclarecidos da legislação, o que favorece o investimento e inovações por parte das IES (LITTO, 2008). Afirma o autor, acerca dos resultados do ENADE 2007, que é maior o desempenho dos estudantes que estudaram a distância na maioria das áreas avaliadas. Esse fato encontra sustentação na premissa de que os estudantes da modalidade de educação a distância são mais maduros, motivados e disciplinados, que contam com o apoio de uma equipe de especialistas responsável pelo conteúdo, sua apresentação clara e inserção no contexto onde ocorre a aprendizagem.
No tocante ao material didático utilizado, Litto (2008) ressalta que estudantes recebem vasto material de apoio (livros) em países mais tracionais no uso da EAD. No Brasil, a situação não é a mesma: os estudantes recebem apostilas, compostas de textos extraídos de livros, caracterizando redução no material colocado à disposição do estudante. Há casos extremos em que apenas apresentações de slides preparadas pelos docentes são entregues aos
estudantes, restringindo o acesso ao conhecimento. Finalizando, o autor declara sua preocupação com a qualidade da EAD se apenas sinopses sustentarem o processo de ensino-aprendizagem.
O rápido crescimento verificado na EAD brasileira, conforme pondera Moran (2007), decorre da existência de demanda reprimida de estudantes não atendidos, sobretudo em decorrência de fatores econômicos, o que dificulta a realização de avaliação abrangente e objetiva, particularmente na educação superior. A maior parte das pesquisas em termos de avaliação da EAD está focada em experiências isoladas. Destaca o autor que a EAD sempre esteve vinculada ao ensino técnico, passando a atender, em seguida, a educação de adultos, por meio dos antigos cursos supletivos. Essas experiências ainda fundamentam o preconceito enfrentado pela EAD nos diversos níveis da educação brasileira.
levou Polak (2009) a repensar a avaliação, já que as exigências das atuais metodologias de ensino e trabalho não se satisfazem com os modelos avaliativos centrados em concepções classificatórias e quantitativas. Imperativa é a convivência da avaliação quantitativa e qualitativa. Ressalta a autora que a avaliação deve constituir-se em instrumento de inclusão, descartando as conotações classificatórias, restritivas e punitivas.
A utilização da avaliação como instrumento para revisão de práticas pedagógicas, redefinição de estratégias de aprendizagem, revisão de metas e objetivos é objeto de observação por Polak (2009). Nesse sentido, Arredondo (apud POLAK, 2009) lembra a
intencionalidade da avaliação como formuladora de informações e comunicação com vistas ao monitoramento, apoio e aperfeiçoamento do processo de ensino-aprendizagem, exigindo muito mais atividades de caráter formativo, a despeito de controle e classificação de resultados. Com uma amplitude que extrapola a valoração e orientação ao estudante, a avaliação deve, também, ser considerada em termos sistêmicos, constituindo-se em juízo de valor capaz de nortear decisões.
Discorrendo sobre as estatísticas da EAD no Brasil, Sanches (2009) menciona a criação de instrumentos que permitem uma visão macro e recortes consistentes do setor educacional brasileiro. Apesar das polêmicas que geram as estatísticas educacionais, comuns em qualquer investigação métrica de questão tão complexa como a educação, num país de dimensões continentais como o Brasil, os critérios de coleta e disseminação de estatísticas educacionais favorecem a consistência em gestão e planejamento educacional.
Ainda é escassa a informação produzida em termos de levantamentos estatísticos sobre EAD, segundo Sanches (2009). O INEP divulga dados parciais de EAD, restritos à educação superior, com atraso de dois anos, em função de protocolos inerentes a esse tipo de coleta de dados. Os levantamentos do INEP permitem avaliações limitadas acerca de evasão escolar e aproveitamento, entre outros. O autor atribui a ausência de instrumentos mais precisos para pesquisas em EAD ao fato de que apenas recentemente essa modalidade de oferta da educação se tornou alvo de políticas públicas.
1.4 A PROVA COMO INSTRUMENTO DE AVALIAÇÃO
A dicotomia entre ensino e aprendizagem é referenciada por Dias Sobrinho (2000) quando trata da suposição de existência de correspondência mecânica entre o que alguém demonstra ter aprendido e o que lhe teria sido ensinado. McCormick e James (apud DIAS
SOBRINHO, 2000) sustentam que a aplicação de provas representa a forma mecanicista de ensino. A formação profissional não é exclusividade da escola e as habilidades demonstradas na vida extrapolam aquelas desenvolvidas e cultivadas ao longo do curso superior. “Para se medir alguma coisa, diferentemente de avaliar, é preciso reduzir o objeto a elementos simples” (DIAS SOBRINHO, 2000, p. 136), criando a tradição da prova. O desempenho, variável mensurável pela prova, assume toda a importância do processo. “A formação fica reduzida à demonstração de elementos simples do conhecimento ou de habilidades desejadas, que possam caber na métrica de um instrumento [...]” (Ibid., p. 137), não enfocando a
complexidade do fenômeno educativo, comportando aspectos filosóficos, políticos, sociais, éticos, psicológicos etc. “Estas dimensões não podem definir-se de um modo pré-especificado em termos de comportamento, como seria necessário para serem incluídas nas provas de rendimento” (Ibid., p. 137).
Ao discorrer sobre exames gerais ou nacionais, Dias Sobrinho (2000) destaca que, tradicionalmente, as provas de rendimento escolar canalizaram esforços para o alcance de objetivos de um trabalho de validade científica. São, também, objetos de observação em dois níveis distintos: (1) individual dos estudantes; e (2) análise de programas e projetos, em termos institucionais. A validade científica permitiu a constituição da avaliação como importante disciplina na área de estudos educacionais. Fornece, assim, elementos importantes à orientação do exercício pedagógico tecnicamente mais ajustado a determinados objetivos. Contudo, “os exames gerais têm sua motivação mais fora que dentro da escola; apresentam uma racionalidade muito mais mercadológica e governamental que pedagógica; valoriza muito mais a competitividade que a solidariedade” (Ibid., p. 160).
Enquanto avaliação educativa, a validade dos testes e exames tem discussão assegurada na literatura, ainda que não tenha características consensuais. Há questionamentos severos em relação à validade e representação de testes, assim como acerca da determinação do rumos do processo de ensino-aprendizagem que devem ser seguidos pelos professores:
um teste é uma representação, em muitas ocasiões extremamente pobre, de um domínio ou universo de conteúdo (como a física ou a geografia) ou de um âmbito de interesse (como a personalidade). Por isto, e esta vez seguindo a Stake, um teste não nos indica o que um aluno sabe ou não sabe (exceto dentro dos limites estreitos da “representação” mesma do teste), e, claro, nada diz sobre o que um professor teria que fazer em vista dos resultados, nem sobre a “qualidade” da educação que os alunos estão recebendo (ANGULO, CONTRERAS e SANTOS, 1994, apud DIAS
A avaliação como método que extrapola a mera cobrança de conteúdos aprendidos é fator de angústia para muitos docentes, haja vista ser comum a utilização da avaliação como recurso repressor. Sendo angustiante para o docente, aos estudantes a representação da avaliação é muito mais contundente, quando é reconhecida como momento para o acerto de contas, apresentada por meio de uma prova. Esse instrumento, para os pais, tem dupla representação: (1) se traduzida em nota minimamente razoável, tem conotação de troféu, podendo ser convertida em recompensa; e (2) se insatisfatória, é indicador de repreensão. Esse diagnóstico revela ser imperiosa a análise da avaliação sob novos parâmetros, assinalando outro papel no processo de intervenção pedagógica, segundo Moretto (2008).
Múltiplos instrumentos viabilizam a avaliação, sendo a prova o mais comum em nossa cultura. Não é encorajador o reforço dos malefícios inerentes a esse tipo de instrumento e nem tampouco a defesa de uma avaliação sem prova, mas “[...] se tivermos que elaborar provas, que sejam bem-feitas, atingindo seu real objetivo, que é verificar se houve aprendizagem significativa de conteúdos relevantes” (MORETTO, 2008, p. 87).
Três características são marcantes nas provas tradicionais, segundo revela Moretto (2008): (1) exploração exagerada da memorização, quando a escola tradicional explorou o acúmulo de informações, mesmo sem muito significado para os alunos; (2) falta de parâmetros para a correção, quando as questões são apresentadas de forma que a resposta mais adequada depende do pensamento de quem a elaborou; e (3) utilização de palavras de comando sem precisão de sentido no contexto, quando a clareza e precisão da resposta dependem da estrutura da pergunta.
Em contraposição, Moretto (2008) também apresenta algumas características de prova sob a perspectiva construtivista: (1) contextualização, quando o estudante, para responder a uma questão, deve buscar apoio no seu enunciado; (2) parametrização, quando há indicação clara e precisa dos critérios de correção; (3) exploração da capacidade de leitura e escrita do aluno, quando são apresentados textos que obrigam a leitura, ainda que curta, requerendo respostas escritas e argumentativas; e (4) proposição de questões operatórias, e não apenas transcritórias, que exigem operações mentais do aluno na elaboração da resposta, “estabelecendo relações significativas num universo simbólico de significações” (MORETTO, 2008, p. 110).
A Taxionomia de Objetivos Educacionais, segundo Bloom (1971, apud MORETTO,
questões de prova. São considerados diferentes níveis, crescendo em complexidade: (re)conhecimento, compreensão, aplicação, análise, síntese e julgamento.
Para o (re)conhecimento a “habilidade mental básica exigida é a identificação das propriedades fundamentais dos objetos de conhecimento” (MORETTO, 2008, p. 114). Tem, assim, característica de pouca complexidade. As operações nesse nível são necessárias e importantes, mas há que se cuidar para que uma avaliação não seja restrita apenas ao nível do (re)conhecimento. A compreensão é a operação que busca não só o (re)conhecimento, mas também o significado do objeto do conhecimento. Nesse nível mental as questões têm maior complexidade.
A aplicação é o nível que se caracteriza pela transposição do conhecimento para situações reais ou situação-problema. “Assim, compreendida uma fórmula, um conceito, uma estrutura etc., eles são aplicados em situações e problemas bem definidos” (Ibid., p. 121).
Cresce aqui o nível de complexidade do conhecimento.
A análise, com maior nível de complexidade, exige que a compreensão de partes que decorrem do conhecimento do todo. O procedimento inverso, a síntese, é o nível de construção do conhecimento que, partindo da leitura das partes, sejam estabelecidas as características de um todo.
O julgamento, nível de construção do conhecimento com maior complexidade, exige a emissão de juízo de valor após o (re)conhecimento, aplicação, análise e/ou síntese efetuada. Esse tipo de questão, por sua vez, não tem resposta certa ou errada. O julgamento é definido pela coerência da argumentação. “Em uma mesma questão podem-se avaliar objetivos de aprendizagem em vários níveis, isto é, pela competência do aluno em abordar situações com diferentes níveis de complexidade” (Ibid., p. 131).
Ao abordar os fundamentos e recursos da avaliação do estudante universitário, Rodrigues Júnior (2009) considera que as ações corretivas dependem de um diagnóstico abrangente e acurado. Segundo Crooks (1988, apud RODRIGUES JÚNIOR, 2009) o tempo
alocado à avaliação em escolas primárias e secundárias varia entre cinco e dez por cento do tempo total de cada disciplina. Rodrigues Júnior (2009) acredita na extensão dessa observação aos cursos universitários. Pondera, ainda, que o impacto da avaliação sobre os estudantes é inversamente proporcional ao tempo empregado na avaliação da aprendizagem em cursos universitários. “... professores e alunos aceitam tacitamente a avaliação como um componente necessário da instrução universitária” (RODRIGUES JÚNIOR, 2009, p. 18).
como para determinar o grau dessas modificações em cada um deles” (1971, apud
RODRIGUES JÚNIOR, 2009, p. 30). Essa concepção de avaliação ressalta a importância da avaliação como processo. A coleta de evidência enriquece a análise do corpo discente na medida em que aponta o acerto e descreve o erro cometido pelo estudante. A análise desses dados estabelece parâmetros para a retroalimentação do processo de ensino. Por fim, a avaliação tem como objetivo o controle de qualidade do ensino. A verificação do alcance dos objetivos deve evidenciar em que medida isso aconteceu.
2 ABORDAGEM METODOLÓGICA
A metodologia tem a função de estabelecer o caminho a ser percorrido para a realização de uma investigação. Silva e Menezes (2001) descrevem a pesquisa aplicada como aquela capaz de gerar conhecimentos voltados à solução de problemas específicos. Para as autoras a pesquisa quantitativa é aquela que traduz opiniões e informações em números, favorecendo a classificação e a análise. Triviños (1987) define variável como observação de algum fenômeno, que pode assumir diversos valores. Reforça que na pesquisa quantitativa as variáveis são medidas, diferentemente da pesquisa qualitativa que descreve as variáveis.
A classificação de pesquisas está pautada nos objetivos gerais ou no seu delineamento, ou seja, em conformidade com os procedimentos técnicos de coleta e análise de dados, conforme Gil (2008). Quanto aos objetivos gerais, o autor classifica como descritiva a pesquisa que narra as características de uma população ou fenômeno estudado ou estabelece relações entre variáveis, observando, registrando, analisando e correlacionando fenômenos ou fatos, sem interferir no ambiente analisado.
Quanto ao delineamento, Gil (2008) divide as pesquisas em dois grandes grupos: aquelas que obtêm dados através de pessoas e aquelas que utilizam fontes de papel. Neste último grupo considera a pesquisa bibliográfica ou documental, ressaltando que a pesquisa documental utiliza material que ainda não recebeu tratamento analítico ou pode ser reelaborado em conformidade com o objeto da pesquisa. Um documento é mais do que um reflexo da realidade. É o meio pelo qual o pesquisador busca uma “correspondência entre a sua descrição e os eventos aos quais ela se refere” (MAY, 2004, p. 212).
Independentemente do método ou técnica empregada, toda pesquisa implica o levantamento de dados de variadas fontes, segundo Lakatos e Marconi (1991). As autoras caracterizam a pesquisa documental como aquela restrita a documentos, escritos ou não, que se constituem em fontes primárias. Descrevem três principais fontes de documentos: arquivos públicos, arquivos particulares e fontes estatísticas. No tocante a fontes estatísticas, apontam para a coleta e elaboração de dados estatísticos, inclusive censitários, sob a responsabilidade de órgãos oficiais e particulares, ressaltando a diversidade dos dados coletados.
procedimentos técnicos de pesquisa documental, pautado em publicações e base de dados do ENADE, colocadas à disposição da comunidade acadêmica pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Tem, assim, características de estudo de caso.
O estudo de caso é caracterizado pela capacidade de conhecimento e consideração de uma completa variedade de evidências (YIN, 2001). Pode ser visto, então, como um recurso pedagógico ou como uma alternativa de observação da realidade (BONOMA, 1985). Por sua vez, Tull (1976) afirma que o estudo de caso refere-se a uma análise intensiva de uma situação particular.
O estudo de caso, contudo, oferece pouca base para se fazer uma generalização científica. “Os estudos de casos, da mesma forma que os experimentos, são generalizáveis a proposições teóricas, e não a populações ou universos” (YIN, 2001, p. 29). Pondera o autor que no estudo de caso o pesquisador tem por objetivo a expansão e generalização de teorias e não as generalizações estatísticas. Destaca, ainda, como uma das aplicações do estudo de caso, a possibilidade de “explorar aquelas situações nas quais a intervenção que está sendo avaliada não apresenta um conjunto simples e claro de resultados” (Ibid., p. 34).
Yin (2001) explica a preferência pelo estudo de caso para estudos de eventos contemporâneos, em situações onde os comportamentos relevantes não podem ser manipulados, mas é possível o desenvolvimento de observações diretas. Essa ponderação do autor fundamenta a adequabilidade da metodologia na análise desenvolvida na distinção dos resultados do ENADE segundo a modalidade de oferta do curso de graduação: presencial e a distância.
As edições de 2004 a 2007 do ENADE foram realizadas a partir de definição de amostras de estudantes dos cursos de graduação. O plano amostral utilizado para a seleção dos participantes de cada prova foi a amostragem estratificada com seleção aleatória simples em cada estrato. “Os estratos foram definidos pelos cursos, quando todas as suas habilitações estavam em um mesmo grupo, ou pelas habilitações, quando o curso estava classificado em mais de um grupo. Os alunos constituíram as unidades de seleção” (INEP, 2007a, p. 19). A amostragem estratificada consiste na subdivisão da população em, pelo menos, dois subgrupos. Os sujeitos de cada subgrupo devem compartilhar as mesmas características, sendo a amostra extraída de cada um dos subgrupos (TRIOLA, 2008).
