A avaliação realizada pelos alunos universitários sobre a efetividade de seus professores tem sido correlacionada com as auto-avaliações dos professores, com as
avaliações dos colegas, com as avaliações de observadores externos e com a produtividade de pesquisa do professor com o propósito de obter evidências empíricas para a validade dos níveis de satisfação dos alunos (MARSH, 1984).
As auto-avaliações dos docentes, utilizando-se do mesmo formulário de avaliação do aluno ou de um outro, é de grande ajuda para o melhoramento da qualidade do ensino do professor. Por um lado, propicia ao docente um momento de reflexão da qualidade do ensino por ele ministrado, por outro, possibilita ao professor comparar a sua auto-avaliação com a avaliação dos alunos ou de outras fontes. O confronto das informações decorrentes de fontes diversas facilitará ao professor o estabelecimento de ações corretivas com vistas ao melhoramento do processo de ensino e de aprendizagem. Segundo Sanchez (1985), muitos pesquisadores utilizam o mesmo formulário de avaliação do aluno para a auto-avaliação do professor, de tal forma que se obtém uma validez convergente.
Nesse sentido, Marsh (1982c apud MARSH, 1984) apresenta um estudo em que os docentes de 81 disciplinas foram solicitados para avaliar seu próprio ensino, no mesmo instrumento de avaliação completado pelos alunos. As respostas médias dos alunos e professores foram submetidas a análises fatoriais exploratórias, as quais detectaram a mesma estrutura fatorial do SEEQ. O suporte empírico, para a validade de construto-convergente para as dimensões evidenciadas pelos alunos e pelos professores, foi obtido mediante o emprego da matriz de multitraço-multimétodo, que revelou os coeficientes de validade convergente, apresentada na tabela 10.
Tabela 10: Coeficiente de validade convergente das dimensões do instrumento SEEQ, evidenciados a partir das respostas dos alunos e dos professores.
Dimensões Coeficiente de Validade
Convergente Aprendizado/Valor 0,46 Entusiasmo 0,54 Organização 0,30 Interação em Grupo 0,52 Relacionamento Individual 0,28
Profundidade dos Temas 0,42
Exames 0,17
Tarefas/Leitura 0,45
Trabalho/Dificuldade 0,69
Fonte: Marsh (1984).
Os coeficientes de validade convergentes reportados na tabela 10 mostram concordância significativa entre as avaliações dos alunos e as auto-avaliações dos professores. Esses resultados demonstram que professores e alunos reconhecem as mesmas dimensões da qualidade do ensino do instrumento de avaliação de Marsh e providencia um certo grau de validade convergente para os níveis de satisfação dos alunos.
Numa revisão da literatura, Feldman (1989) cita 19 estudos que correlacionam as auto-avaliações dos professores com as avaliações dos alunos. A correlação média entre as avaliações dos alunos e as auto-avaliações dos professores, nesses estudos, foi de 0,29. Marsh (1984) cita dez estudos que correlacionaram as auto-avaliações dos professores com as avaliações dos alunos. As correlações variaram entre 0,20 e 0,69. Feldman (1988) revisou 31 estudos que tratam da percepção que alunos e professores possuem sobre uma concepção apropriada do que é o ensino eficaz e reportou uma correlação de 0,71 entre a visão dos alunos e professores. Os níveis de correlações reportados por Feldman (1988, 1989) e Marsh
(1984) providenciam apoio adicional para a validade convergente dos níveis de satisfação dos alunos com relação ao desempenho de seus professores.
Os resultados acima evidenciam que alunos e professores reconhecem os atributos necessários para uma boa docência. Assim, esses atributos podem ser utilizados junto aos professores como argumentos favoráveis às avaliações dos alunos perante aqueles professores que ainda acreditam que os alunos não são capazes de realizarem uma avaliação justa da qualidade do ensino recebido.
Na avaliação dos docentes universitários pelos colegas, utilizada principalmente em universidades, todo trabalho do professor universitário, seja no âmbito da sala de aula, seja na pesquisa, seja na prestação de serviços para a comunidade, é avaliado por um outro professor, coordenador ou chefe de departamento. Em geral, quando os professores são avaliados pelos seus colegas, encontra-se correlação entre as avaliações feitas pelos colegas e as avaliações feitas pelos alunos, já que esses são os que providenciam informações para os colegas. As avaliações dos professores pelos colegas são, em geral, menos confiáveis, menos válidas do que as realizadas pelos alunos, são percebidas como mais ameaçadoras. Criam um ambiente ruim e são afetadas por outras variáveis não relacionadas com a eficácia do docente, tal como produtividade na pesquisa (SANCHEZ, 1995).
Morsh, Burgess e Smith (1956, apud MARSH, 1984) correlacionaram as avaliações dos alunos, rendimentos dos discentes, avaliações dos colegas e avaliações do supervisor num grande curso de multi-seção: as avaliações dos docentes pelos alunos correlacionaram-se com as suas conquistas, apoiando sua validade. As avaliações dos colegas e supervisores, embora significativamente correlacionadas, não estavam correlacionadas seja com as avaliações dos alunos ou com as suas conquistas. O estudo sugere que as avaliações dos colegas possam não ter valor como um indicador do ensino eficaz. Neste sentido, Centra (1979), French-Lazovich (1981), (apud MARSH, 1984) têm também falhado em identificar
estudos que fornecem apoio empírico para as avaliações dos colegas como um indicador do ensino universitário eficaz ou como um critério para as avaliações dos alunos. Por outro lado, Kulik e Mckeachie (1975, apud CASHIN, 1988) relatam correlação entre avaliação dos professores feitas pelos alunos e pelos colegas, variando entre 0,48 e 0,69.
Webb e Nolan (1955, apud MARSH, 1984) relatam uma boa harmonia entre as avaliações dos alunos a as auto-avaliações dos professores, mas nenhum desses indicadores estava positivamente correlacionado com as avaliações do supervisor, que os autores indicaram para serem parecidos com as avaliações dos colegas. Em síntese, Centra (1979), Koon e Murray (1996), Marsh (1987), Murray (1980), (apud MARSH; ROCHE, 1997) citam que as avaliações dos colegas e administradores, baseados nas visitas em sala de aula, não são confiáveis, ou seja, as avaliações por colegas diferentes nem ao menos estão de acordo umas com as outras e não estão sistematicamente correlacionadas com as avaliações dos discentes sobre o ensino recebido ou outros indicadores do ensino eficaz.
Howard, Conway e Maxwell (1985) investigaram a validade de construto referentes aos seguintes métodos de avaliação da efetividade do ensino: avaliações de alunos, avaliação de colegas, avaliações feitas por alunos treinados, avaliações de ex-alunos e auto- avaliação dos professores. Os autores concluíram que as avaliações dos professores feitas por alunos e ex-alunos evidenciam coeficientes de validade substancialmente maiores da eficácia do ensino do que o fazem as avaliações de colegas, avaliações feitas por alunos treinados e auto-avaliação dos professores. Mckeachie (1997), também cita que as avaliações dos alunos são a única fonte válida de dados sobre a eficácia do ensino. Nesse sentido, Marsh e Roche (1997) enfatizam que existe pouca evidência da validade de quaisquer outras fontes de dados.