Em sessão da Câmara Central de Graduação (CCG) de 3 de agosto de 2006, a UNESP criou uma Comissão para analisar a possibilidade de inclusão de in- dicadores de ensino para a avaliação docente a partir do levantamento de opinião dos discentes. Essa ação foi consequência de debates realizados no Conselho de Ensino, Pesquisa e Extensão (CEPE), iniciada em 2005, que visavam a criação de normas para a avaliação docente. No relatório “Proposta de indicadores para avaliação do- cente – dimensão graduação” da Pró-Reitoria de Graduação (Prograd), é apresentado que:
Com frequência, em diferenciados fóruns, apresenta-se a de- manda por maior valorização das atividades docentes, no ensino de gradua- ção. Portanto, ao se tratar de avaliação docente, será importante a adoção de indicadores adequados para analisar o seu desempenho no ensino de gra- duação, o que poderá implicar na maior valorização destas atividades (UNESP, 2006a, p. 17).
A UNESP demonstrou nesse relatório uma preocupação com a falta de va- lorização das atividades docentes no ensino de graduação. Conforme dito por Penin (2010), Conte (2013) e Gatti (2014), as instituições brasileiras normalmente seguem legislações e políticas governamentais sobre a carreira docente que priorizam a pes- quisa. A apreciação do relatório da Prograd mostra que a UNESP também tem essa tendência e sinaliza a necessidade de uma avaliação docente que admita as ativida- des de ensino, em particular, os dados obtidos com o levantamento de opinião dos estudantes.
A Profa. Dra. Sheila Zambello de Pinho, como Pró-Reitoria de Graduação da UNESP entre os anos 2005 e 2013, atuou na elaboração de um processo de ava- liação das disciplinas seguindo as discussões tomadas no CEPE e fomentou os Nú- cleos de Estudo e Práticas Pedagógicas (NEPP), que posteriormente, em 2012, foram transformados no Centro de Estudos e Práticas Pedagógicas da Unesp (CENEPP). O CENEPP tem como objetivo fornecer serviços para à melhoria da qualidade de ensino
articulado à pesquisa, à extensão e à construção de uma prática social emancipatória compromissada com a cidadania. Dessa forma, Pinho buscou simultaneamente a cri- ação de políticas institucionais para avaliar as atividades de ensino dos docentes e oferecer serviços para o desenvolvimento do profissional docente no ensino. Nesse contexto, a intenção era de que as futuras avaliações docentes contempletassem vá- rias dimensões e fossem analisadas globalmente em adequada interface com a ava- liação institucional, entendida como importante instrumento para a gestão acadêmica.
Entendemos que a complementaridade esperada da avaliação de disciplina por discente e CENEPP configura uma metodologia de avaliação formativa, na con- cepção de Barreyro e Rothen (2008), pois busca detectar pontos a serem melhorados. Como a avaliação de disciplinas por discente tem uma intenção na avaliação do do- cente em uma perspectiva de valorização, verificamos que a metodologia também remete à concepção de avaliação docente analítica construtiva de Gatti (2014).
Inicialmente, a PROGRAD consultou todas as unidades da UNESP sobre quais deveriam ser os indicadores referentes ao ensino de graduação, quais deveriam constar na avaliação do docente e sistematizou as manifestações em relatório apre- sentado na CCG de agosto de 2006. Foram identificados nessa consulta, oito indica- dores entendidos como necessários (UNESP, 2006a, p. 18):
1. Aulas ministradas: indicador quantitativo de caracteri- zação das aulas ministradas (horas de aula, número de estudantes, período, entre outros);
2. Atividades de formação de estudantes de graduação: indicador sobre atividades de orientação, tutoria e acompanhamento de es- tudantes como monitoria e iniciação científica;
3. Atividades em prol da melhoria do ensino de gradua- ção: como coordenação ou participação em projetos relacionados ao ensino de graduação;
4. Produção bibliográfica relacionada com o ensino de graduação e de material didático pedagógico: indicador da produção do do- cente para o ensino de graduação como apostilas, sites, vídeos, livros, entre outros;
5. Atividades de gestão relacionadas com o ensino de graduação: como participação do docente em conselhos e coordenações para administrar as atividades associadas ao ensino;
6. Atividades de formação do docente: indicador que con- sidera participação em programas de formação continuada de docentes, con- tribuição para a melhoria didático pedagógica de outros docentes, e partici- pação em congressos, seminários e simpósios sobre o ensino;
7. Prêmios e distinções recebidas relacionadas com o en- sino: indicador que leva em conta o reconhecimento do trabalho docente no ensino de graduação;
8. Outras atividades: listadas pelos docentes para apreci- ação dos órgãos competentes;
Notamos que a comunidade universitária da UNESP expressou a necessi- dade de identificar não só as atividades atribuídas aos docentes em seu regime de trabalho, como lecionar, mas também em identificar o que o docente tem feito para melhorar sua performance no ensino. Enquanto os itens 1 e 2 são checagens quanti- tativas sobre atividades previstas no regimento da universidade, os itens 3, 4 e 5 são sobre atividade do docente em prol da melhoria do ensino. A evolução do docente como profissional, no sentido de buscar medidas para melhorar suas atividades de ensino, está representada no item 6, que está de acordo com a proposta do CENEPP, seguindo uma perspectiva analítico-construtiva.
Nesse relatório também é apresentado os resultados de discussões sobre a inclusão de indicadores relacionados com a atividade docente em aula atribuídos com conceitos de discentes e auto-avaliação do docente. Inicialmente, procurou-se dissociar a avaliação dos estudantes de outros aspectos da avaliação institucional, como a avaliação dos cursos. Porém, foi reconhecida a necessidade de analisar glo- balmente todos os indicadores no intuito de “contribuir para desenvolvimento profissi- onal docente e com a melhoria da qualidade dos cursos de graduação”(UNESP, 2006a, p. 21).
Notamos que a UNESP apresenta nesse relatório o conceito de globalidade que Ristoff (1996) coloca na avaliação institucional. A globalidade nessa perspectiva está presente em todas as etapas da avaliação, que no caso do Sistema Nacional de Avaliação da Educação Superior (SINAES), estaria ligado ao ENADE, auto-avaliação (Comissão própria de avaliação) e avaliação de cursos. Portanto, faz sentido a UNESP tentar buscar a complementaridade de diferentes indicadores dando uma determinada diretriz comum entre as diferentes modalidades de avaliação.
A Comissão designada pela CCG para analisar a possibilidade de inclusão de indicadores para a avaliação docente pelos estudantes reuniu-se em 16 de outubro de 2006 para dar encaminhamento dos debates realizados. Nessa reunião foram ana- lisados documentos da UNESP que demostraram que 35 cursos, dos 121 cursos de graduação existentes na UNESP em 2006, já praticavam um processo próprio de ava- liação docente pelos discentes (UNESP, 2006b, p.2). Foram identificados nos docu- mentos quatro dificuldades na condução desses processos: alto custo e trabalho na digitalização na utilização de questionários em papel, necessidade de funcionários
especializados no desenvolvimento e manutenção na aplicação de questionários ele- trônicos, pouca análise estatística dos dados obtidos e inexistência de providências efetivas no caso de detecção de irregularidade ou insatisfação de desempenho.
Parte desses fatores dizem respeito a falta dos elementos disseminação da cultura de avaliação e legitimidade política, enunciados por Ristoff (1996) para a com- posição de uma avaliação. Tanto docentes quanto discentes tem interpretações dife- rentes sobre o conceito de qualidade de ensino e avaliação das disciplinas que refle- tem experiências pessoais que podem ter sido positivas ou negativas. A ausência de um esclarecimento sobre as metas de avaliação e de políticas para dar consequências aos resultados obtidos com a avaliação gera a sensação de ineficácia do processo de avaliação, conforme relatado pelas unidades no relatório da CCG de 2006.
Após análise dos documentos e discussões, a Comissão elaborou uma lista geral e abrangente de indicadores para a avaliação de disciplinas pelos discentes que continha os seguintes temas: domínio do docente no assunto ministrado em sala de aula, processo de ensino-aprendizagem, relacionamento do docente com os discen- tes, cumprimento de regras pré-estabelecidas e auto-avaliação do estudante.
A discussões sobre uma nova forma de avaliação das disciplinas por dis- centes na UNESP, após o trabalho da CCG em 2006, só foi retomada em 2010, com a criação de uma nova comissão para dar continuidade aos trabalhos já realizados. A nova Comissão reuniu-se, em 2010, e propôs as seguintes dimensões e indicadores:
1) Capacidade de transmissão ou transferência de co- nhecimento ou experiências (inclui domínio do assunto): correspondência en- tre objetivos e resultados obtidos, clareza, didática, ministrou todo o conte- údo, demonstrou domínio do assunto;
2) Capacidade de relacionamento do professor com os discentes: relação professor-aluno mediada por respeito profissional, dispo- nibilidade para atendimento fora do ambiente de aprendizagem, o professor se preocupa com o aprendizado do aluno?;
3) Cumprimento das regras pré-estabelecidas: pontuali- dade, assiduidade, informar e cumprir o plano de ensino (conteúdo, critérios, bibliografia, etc.), comunica eventuais faltas/ substituições e adequa uma so- lução;
4) Auto-avaliação do aluno: dedicação, pontualidade, as- siduidade, interesse em atividades extra-curriculares, relação com o docente, contribuição da disciplina para adquirir as habilidades e competências neces- sárias para o exercício profissional;
5) Motivação: A dedicação doa alunos às leituras e dis- cussões contribuem para a motivação das aulas, o professor se motiva nos momentos em que os estudantes participam das aulas apresentando dúvidas e opiniões, os problemas estruturais e de gestão da Faculdade/ Instituto in- fluenciam na motivação dos alunos e professores/
6) Sobre a disciplina: conteúdo, carga teórico X número de docentes, carga horária, adequação das atividades extra classe, objetivos
da disciplina X objetivos do curso, disciplinas X formação profissional, inte- gração das disciplinas;
7) Instrumentos e critérios de avaliação: adequação de instrumento de avaliação, adequação do tempo, informação dos instrumentos e critérios de avaliação no início das atividades, feedback da avaliação (divul- gação dos resultados, tempo para iniciar a divulgação e discussão dos resul- tados);
8) Infra-estrutura: espaço físico, ventilação, iluminação, aclimatização, número de carteiras nos ambientes de ensino, biblioteca, área de convivência, cantina, restaurante, serviços de apoio ao estudante, atendi- mento médico, área de desportos, recursos didáticos utilizados (quais? foram efetivos?);
9) Avaliação da disciplina pelo docente: geral – proble- mas e dificuldades, turma – participação e interesse (UNESP, 2011a, p. 3).
As dimensões 1, 2 e 7 são uma avaliação do docente no ensino, pois tratam da didática do docente, relação professor-estudante e método de avaliação do desem- penho dos estudantes. A dimensão 3 é de cunho administrativo para checar se o do- cente cumpriu as tarefas a ele atribuídas. As dimensões 4 e 5 são centradas na parti- cipação do estudante, porém existem componentes relacionados a forma como o do- cente estimula a motivação do estudante. Apenas a dimensão 6 trata diretamente da disciplina. A dimensão 8 é sobre a infraestrutura dos ambientes de ensino. A dimensão 9, avaliação da disciplina pelo docente, dá a entender que, além do questionário a ser preenchido pelos estudantes, o processo de avaliação de disciplinas da UNESP tam- bém teria um questionário a ser preenchido pelo estudante.
Verificamos que essas dimensões não são independentes entre si e tratam de diferentes aspectos do ensino, envolvendo questões de infraestrutura similares as questões de uma avaliação institucional, questões sobre avaliação docente e ques- tões sobre a disciplina em si.
Essa sistematização de dimensões da avaliação de disciplinas por discen- tes e a logística da aplicação dos questionários foram encaminhadas pela CCG para as unidades acadêmicas para análise. Considerando as metas da PROGRAD e en- caminhamentos da CCG para a avaliação de disciplinas por discentes, foi realizada no primeiro semestre de 2012 com o apoio do Núcleo de Estudo e Práticas Pedagó- gicas (NEPP) a “Oficina de Estudos – Avaliação do Ensino Superior: Finalidades e Instrumentos para o diagnóstico de cursos de graduação e a qualidade do ensino”. O evento de três dias abordou os seguintes temas (UNESP, 2012):
Avaliação do Ensino Superior: palestra do Prof. Dr. Dilvo I. Ristoff, da Universidade Federal da Santa
Catarina, sobre a finalidade e a função da avaliação do ensino superior com vistas a qualidade do ensino;
Prêmios: palestra do Fabio Volpe, Diretor de Redação do Guia do Estudante do Almanaque Abril, sobre os critérios e elementos utilizados no prêmio melhores cursos e melhores universidades da Editora Abril;
Avaliação dos Cursos de Graduação no Pro- cesso de Avaliação Institucional: Avaliação interna e externa: palestra do Prof. João Carlos Silos Moraes, Vice Presidente da CPA/UNESP, sobre o processo de avaliação dos cursos conduzido pela CPA;
Renovação de Autorização para funciona- mento de Cursos de graduação: palestra do Prof. Dr. Ângelo Luiz Cortelazzo, Presidente da Camara de Educação Superior – CEESP, a respeito do papel da CEESP na regulação dos cursos de graduação;
SINAES/ENADE: palestras do Prof. Dr. Gua- racy Tadeu Rocha, da UNESP e da Profa. Dra. Sueli Macedo Silveira, Coordenadora da Diretoria de Avaliação Superior do Instituto Nacional de Estudos e Pesquisas Educacionais (INEP), que apresentaram como a participação da UNESP no SINAES/ENADE colabora com a maior integração da gestão dos cursos;
Avaliação de disciplinas de graduação no âm- bito da UNESP: palestra do Prof. Dr. Marcelo Franchin, coor- denador da Comissão da Câmara Central de Graduação da UNESP, que relatou o andamento da criação do processo de avaliação das disciplinas.
A escolha desses temas para essa oficina denota uma preocupação em alinhar diferentes modalidades de avaliação. Ristoff abordou em sua palestra o con- ceito de qualidade na educação superior e sua relação com avaliação. Lembramos que Ristoff (1996) defende a aplicação de avaliação institucional com os elementos
de globalidade, continuidade, comparabilidade, respeito à identidade institucional, não premiação e não punição, disseminação da cultura de avaliação e legitimidade política e técnica.
Sobre as pressões externas para melhorar o ensino de graduação, falaram pessoas ligadas a sistemas de rankings (Editora Abril), Conselho Estadual de Educa- ção de São Paulo (governo estadual), Instituto Nacional de Estudos e Pesquisas Edu- cacionais Anísio Teixeira (governo federal). Ao dar voz a essas pessoas a UNESP demonstrou interesse em ouvir as diferentes concepções de qualidade de cada grupo externo para trazer reflexões para a criação do seu processo de avaliação de discipli- nas por discentes. A oficina contou com docentes da UNESP ligados à sua Comissão Própria de Avaliação e Comissão da CCG para a criação do processo de avaliação de disciplinas por discentes.
Salientamos que essa oficina foi desenvolvida com a colaboração no NEPP, o que indica uma relação complementar entre o processo de avaliação de dis- ciplina por discentes e as atividades do Núcleo de Estudo e Práticas Pedagógicas que visam o desenvolvimento do profissional docente no ensino. Essa relação foi uma marca de gestão da Pró-reitora de Graduação da UNESP da época, Profa. Dra. Sheila Zambello de Pinho.
Nesse evento, os conselhos de curso da UNESP foram agrupados em áreas afins para discutir sobre as questões levantadas pela Comissão da CCG sobre a avaliação de disciplinas por discentes e elaborar questões relacionadas aos indica- dores para elaboração do instrumento de avaliação. A Comissão apresentou seis questões para debate (UNESP, 2012):
Se os instrumentos de avaliação deveriam ser genéricos ou específicos: a maioria propôs a criação de um ins- trumento genérico com abertura para questões especifica;
Como mobilizar a comunidade acadêmica para participar do processo de avaliação: a maioria indicou a necessidade de um processo de conscientização onde deve haver um dia ou semana dedicados exclusivamente para apre- sentar os resultados do curso e ações para melhoria dos indi- cadores;
Sobre as responsabilidades do conselho de curso e departamento no processo de avaliação: todos os con- selhos disseram que o departamento e o conselho de curso devem trabalhar em conjunto, seguindo a legislação da UNESP, para melhorias dos resultados da avaliação;
Sobre anonimato do discente e obrigatorie- dade no preenchimento do instrumento de avaliação. A maioria foi favorável a obrigatoriedade, sendo que o estudante deve ter a opção de deixar o instrumento sem resposta. O estudante deve se identificar, mas deve existir um processo sigiloso de armazenamento de dados;
Sobre o uso de análises estatísticas para in- terpretação dos resultados da avaliação: Todos os conselhos foram a favor do uso de análises estatísticas para interpretação dos resultados da avaliação;
Sobre as providências efetivas para a divul- gação dos resultados obtidos na avaliação: a maioria recomen- dou que dados globais sejam publicados e que dados individu- alizados sejam tratados pelo conselho de curso e departa- mento.
Das ações a serem tomadas a partir dos dados da avaliação, os conselhos de curso recomendaram a divisão de tarefas apresentada na tabela 18.
Tabela 18 dimensões e ações para o aprimoramento
Dimensão Ações para aprimoramento (os resultados da di- mensão acarretarão ações para melhorar a dimen- são)
Capacidade de Transmissão ou transferên- cia de conhecimento ou experiências
Curso NEPP
Capacidade de Relacionamento do profes- sor com os discentes
Curso NEPP
Cumprimento de Regras pré-estabelecidas Chefia do Departamento
Auto-avaliação do aluno Motivação do aluno pelo Conselho de Curso, Dire- tório Acadêmico ou Centro Acadêmico
Motivação Motivação Geral (Conselho de Curso articulado com Conselho de Departamento)
Sobre a disciplina Conselho de Curso análise e adequação (atualiza- ção, reformas ou reestruturação)
Instrumentos e critérios de Avaliação Conselho de Curso articulado com o Conselho de Departamento, Curso NEPP Avaliação
Infra-estrutura Departamento, Diretoria, Reitoria Fonte: 435/2012-CCG/SG-UNESP, 2012, p.10
A relação entre avaliação e NEPP fica mais forte com a construção dessa tabela pelos conselhos de curso. Essa construção se deu de forma coletiva em um processo democrático. O resultado possui legitimidade política e aponta desdobra- mentos da avaliação. Sendo assim, conselhos de curso, departamentos e NEPP são responsabilizados em dar consequências aos resultados da avaliação com o objetivo de desenvolvimento do profissional docente no ensino.
As ideias discutidas no evento pelos conselhos de curso foram então enca- minhadas em relatório para CCG e CEPE. Em novembro de 2013, a CEPE aprova um modelo de avaliação de disciplinas por discentes baseado nas consultas feitas aos conselhos de curso e trabalhos realizados pela comissão. Além disso, contou com a ajuda de um parecer externo, elaborado pelo Prof. Dr. Ocimar Munhoz Alavarse da Universidade de São Paulo. No primeiro semestre de 2014, foi aplicado um teste com 5 unidades da UNESP com a participação espontânea de 149 estudantes. O teste foi considerado positivo e a resolução a respeito do processo de avaliação de disciplinas da UNESP foi publicada no Diário Oficial em 30 de outubro de 201558.
Nessa publicação foi definida que a “avaliação de disciplinas por discentes e docentes tem o objetivo de gerar subsídios para o aperfeiçoamento da gestão local e central do ensino de graduação e será de realização obrigatória” (DIÁRIO OFICIAL PODER EXECUTIVO SP, 2015, p.1). Na resolução é descrito que a avaliação será aplicada com questionário eletrônico padrão a todas as disciplinas da UNESP no final de cada semestre letivo para as disciplinas semestrais e no final do ano letivo para as disciplinas anuais. O estudante será identificado, mas sua identificação será guardada em sigilo.
O conselho de curso tem um papel importante nesse processo de avalia- ção, pois é responsável com o departamento por definir estratégias para melhorar a qualidade das disciplinas e elaborar procedimentos de divulgação e análise dos resul- tados da avaliação. A seguir são apresentadas as 35 questões do questionário do processo de avaliação de disciplinas da UNESP. Todas as questões possuem quatro gradações de respostas: Discordo plenamente, Discordo parcialmente, Concordo par- cialmente, Concordo plenamente (exceto as questões 11, 17, 18, 19, 20, 21 e 22 que possuem também a alternativa “Não se aplica”). Além dessas questões, o estudante tem um campo para escrever livremente qualquer comentário relativo ao ensino de graduação.
1. Foi apresentado o plano de ensino no início do desenvolvi- mento da disciplina.
2. Todo o plano de ensino da disciplina foi cumprido.
3. A carga horária prevista para esta disciplina foi suficiente para o desenvolvimento de seus conteúdos.
4. No desenvolvimento da disciplina, houve correspondência en- tre os objetivos traçados inicialmente e o programa desenvolvido.
5. No desenvolvimento da disciplina, houve correspondência en- tre os objetivos traçados inicialmente e os resultados obtidos na turma.
6. No desenvolvimento da disciplina, houve repetição de conte- údos de outras disciplinas.
7. No desenvolvimento da disciplina, a infraestrutura oferecida pela instituição foi adequada.
8. A gestão da instituição favoreceu o desenvolvimento da disci-