O PERCURSO TRILHADO: O QUE AVALIAR EM CURSOS NA MODALIDADE A

DISTÂNCIA (EaD)...

"É do buscar e não do achar que nasce o que eu não conhecia." Clarice Lispector

4.1 Apresentação do Problema e hipóteses de investigação

O capítulo anterior discutiu a evolução dos instrumentos de avaliação de cursos de graduação. Partindo de Instrumento Único em 2006, se desmembraram, mas depois voltaram a uma versão aplicável a diferentes cursos e modalidades e subsidiando atos de autorização, reconhecimento e renovação de reconhecimento: um documento único com uso múltiplo, que denominamos Instrumento-0. Viabilizar um instrumento único significa conseguir que grande percentual de indicadores sejam aplicáveis a diferentes cursos e modalidades.

Um aspecto favorável para que vários indicadores sejam aplicáveis tanto a cursos presenciais quanto a distância é o fato de os critérios de análise se pautar basicamente em verificar se o projeto pedagógico do curso está sendo efetivamente realizado, respeitando as características específicas de cada projeto.

A experiência na prática de tutoria, simultânea com cursos presenciais, nos levou a definir quatro hipóteses quanto à inadequação do instrumento de avaliação de cursos vigente, que aqui denominamos Instrumento-0.

Como primeira hipótese, temos que o novo contexto institucional decorrente da

inclusão de polos de ensino não está sendo adequadamente avaliado pelo atual instrumento. Este orienta o avaliador externo a analisar o contexto institucional previamente

à analise de indicadores, mas não há referências a polos de ensino. Ao longo dos indicadores, a referência a polos é encontrada apenas na verificação in loco de laboratórios didáticos especializados.

A segunda hipótese assevera que falta clareza na distinção entre os conceitos de

docência e tutoria no atual instrumento de avaliação. Este exprime o seguinte conjunto de

indicadores de compreensão difícil:

número de estudantes, referindo-se ao número de docentes efetivos no curso.

2.17(ead) Relação docentes e tutores – presenciais e a distância – por estudante, referindo-se ao total de doce tes ais tutores prese ciais e a distâ cia co tratados.

Parece haver um problema de coerência interna neste instrumento, em que a relação entre docentes e estudante está sendo contabilizada duas vezes? Ou será que palavra “docente” está sendo empregada com sentidos diferenciados? Aparentemente, no indicador 2.12 ela se refere a professores efetivos e no indicador 2.17 àqueles que atuam como em tutoria a distância. Supomos que esta dificuldade visa a instalar os diferentes modelos de EaD encontrados no Brasil. Adicionalmente, o indicador 2.17 sugere que o dimensionamento de tutores presenciais e a distância seja feito de forma similar, o que não é o caso na prática da EaD. O tutor presencial, pelo menos na UFC, é único por curso e por polo, independentemente da quantidade das disciplinas ofertadas em dado momento, enquanto o quantitativo de tutores a distância se relaciona com a quantidade de disciplina em funcionamento a cada momento.

A terceira hipótese deste trabalho considera que, de forma similar à docência, o papel

da coordenação na educação a distância é diferenciado da modalidade presencial, o que não está sendo devidamente contemplado no atual instrumento de avaliação de cursos.

Entrevistas exploratórias com alunos demonstraram que, frequentemente, eles não têm contato com o coordenador do curso, ou o conheceram em rara visita ao Polo; suas dúvidas rotineiras são esclarecidas com a secretaria ou coordenação do polo. Perguntando especificamente sobre quem os ajuda a escolher as disciplinas a se matricular, a resposta é inevitavelmente alguém do Polo: coordenador do polo, secretário ou colegas. Por fim, quando perguntamos a quem recorrem quando não sabem a quem perguntar, a resposta comum é que enviam mensagens à Ouvidoria.

A quarta e última hipótese assevera que é possível reduzir a quantidade de títulos

obrigatórios a estarem disponíveis nas bibliotecas dos polos, analisando conjuntamente a utilização de material didático institucional e não institucional. Nesta hipótese, o número

de títulos exigidos para a literatura básica poderia ser reduzido de três para dois, sendo um deles substituído pelo material didático institucional.

Como objetivo geral desta investigação, propomos como objetivo geral, revisar o instrumento para avaliação de cursos adotado pelo INEP/MEC na perspectiva da graduação na modalidade a distância, visando a inserir modificações no atual instrumento que o levem a um melhor alinhamento com a complexidade dos cursos a distância. Para atingir os objetivos

gerais foram delineados os seguintes objetivos específicos:

 analisar a evolução dos procedimentos e os instrumentos de avaliação de cursos de graduação a distância, do ponto de vista das políticas públicas;

 identificar qual o modelo de avaliação educacional compatível com o contexto brasileiro, adaptando-os às especificidades da avaliação externa de cursos a distância;

 identificar as características específicas dos cursos a distância não previstas no instrumento vigente; e

 propor e validar uma proposta de novo conjunto de indicadores na modalidade a distância.

A seção a seguir expressa diretrizes gerais para a organização de sistemas de indicadores, e a seção posterior descreve os procedimentos metodológicos adotados para a consecução dos objetivos da investigação.

4.2 Sistema de indicadores para avaliação educacional

Os instrumentos de avaliação educacional utilizados na avaliação de cursos pelo SINAES organizam-se na forma de listas de verificação, ou checklists. A lógica de elaboração destas listas para fins de avaliação educacional foi estudada por Michael Scriven que, com formação em Matemática e Lógica, ao ser contratado pelo Governo dos Estados Unidos da América na década de 1970 para avaliar programas educacionais, desenvolveu uma lista de verificação-padrão para servir de memória auxiliar do avaliador profissional na tarefa de julgar o mérito do objeto avaliado (ver Seção 5.1.3 Avaliação para a tomada de decisões).

Scriven (2007) oferece diferentes tipos de listas de verificação, dos quais destacamos aquela aplicável à avaliação educacional brasileira: a Criteria Of Merit LISTS ou comlist. Conforme ilustrado no Quadro 7, uma comlist consiste de um conjunto de critérios associados a uma escala-padrão de desempenho e pesos, organizados em dimensões. A nota do desempenho em cada critério é multiplicada por seu respectivo peso; a soma dos produtos destas multiplicações determina o mérito da dimensão correspondente.

Esta pesquisa analisou critérios e escala de desempenho do instrumento de avaliação de cursos. Quanto aos pesos, repetiu aqueles já definidos no instrumento vigente, fixos por dimensão.

Critério Escala-padrão de desempenho Peso

Contexto educacional

1-Quando o PPC não contempla as demandas efetivas de natureza econômica e social

2-Quando o PPC contempla, de maneira insuficiente, as demandas efetivas de natureza econômica e social.

3-Quando o PPC contempla, de maneira suficiente, as demandas efetivas de natureza econômica e social

4-Quando o PPC contempla, muito bem, as demandas efetivas de natureza econômica e social

5-Quando o PPC contempla, de maneira excelente, as demandas efetivas de natureza econômica e social.

p1

Perfil profissional do egresso

1- Quando o perfil profissional não expressa as competências do egresso

2- Quando o perfil profissional expressa, de maneira insuficiente, as competências do egresso.

3- Quando o perfil profissional expressa, de maneira suficiente, as competências do egresso.

4- Quando o perfil profissional expressa, muito bem, as competências do egresso.

5-Quando o perfil profissional expressa, de maneira excelente, as competências do egresso.

p2

Quadro 7 – Ilustração de uma comlist proposta por Scriven e com base no Instrumento-0. Fonte: elaboração própria.

Em comlists, critérios podem ser desmembrados em subcritérios, visando a uma melhor especificação do que se pretende avaliar, conforme ilustrado no Quadro 8. Observamos que o Instrumento-0 (ANEXO A) denomina Indicador ao que Scriven propõe como Critério, e Critério de Análise para designar o que Scriven denomina Escala-padrão de desempenho.

Critério (Critério Nível 1) Subcritério (Critério Nível 2) Escala-padrão de desempenho Perfil do corpo docente do curso

Titulação do corpo docente Ver Anexo A, indicador 2.7 Experiência profissional do corpo docente Ver anexo A, indicador 2.9 Experiência de magistério superior do

corpo docente

Ver Anexo A, indicador 2.11 Dimensionamento

do corpo docente e tutorial

Relação entre o número de docentes e de estudantes.

Ver anexo A, indicador 2.12 Relação docentes e tutores – presenciais e

a distância – por estudante

Ver anexo A, indicador 2.17(ead).

Quadro 8 – Ilustração do desmembramento de critérios em subcritérios. Fonte: elaboração própria.

Critérios são os princípios utilizados para julgar os objetos, possuindo três características (FIGARI, 1996, p. 109):

 discriminação entre os objetos que possuem ou não o critério: por exemplo, com relação à clareza, é preciso determinar o que discrimina o claro do não claro

 interface entre as visões de mundo e a operacionalização, por meio de indicadores.

Para Figari (1996), como entidades abstratas, os critérios são necessariamente qualitativos. Neste sentido, e para a avaliação educacional, Figari demonstra indicadores como “concretização de um critério” e, portanto, “um elemento que mostra um outro elemento […] que indica”. (P. 110).

Figari (1996) ressalta que indicadores pertencem ao domínio da experiência e do exemplo, e não da prova; assevera que o indicador não provará nada de preciso. No contexto desta pesquisa, por exemplo, a alta titulação de docentes é considerada um indicador de melhor qualidade do seu trabalho, em relação aos de pouca titulação, e não uma comprovação deste fato. Por este motivo, indicadores devem ser relacionados a critérios que lhe deem sentido. No exemplo relatado, o critério parece ser perfil do corpo docente.

Seguindo as diretrizes de Scriven (2007) e Figari (1996), e utilizando uma nomenclatura mais compatível com a prática da avaliação no Brasil, organizamos o sistema de indicadores utilizando a terminologia indicada no Quadro 9.

DIMENSÃO TEMA INDICADOR CRITÉRIO ESCALA PADRÃO DE

DESEMPENHO