1
ENEGEP 2006 ABEPRO
Avaliação do processo de ensino docente pelo discente: uma
abordagem multivariada para a qualidade
Teresinha Maria Marchesan (PPGEP/UFSM) teremm@terra.com.br Adriano Mendonça Souza (PPGEP/UFSM) amsouza@smail.ufsm.br
Resumo
A prática da qualidade na gestão universitária se faz com o comprometimento de toda comunidade escolar. Assim, o presente trabalho objetivou identificar, na opinião do discente, os pontos fracos e fortes do processo de ensino por meio da análise multivariada. Para este estudo, foram considerados questionários que abrangiam duas categorias de variáveis: 1) auto-avaliação do aluno e 2) avaliação da importância dos conteúdos para o curso e para o desempenho pedagógico do professor. As informações foram processadas utilizando-se a técnica estatística de análise fatorial com rotação varimax normalizada. Da análise fatorial, resultaram três fatores, com consistência interna satisfatória que definiram as dimensões: 1) situações de estímulo para o aluno buscar conhecimento com uma explicação de 50%, 2) com 21% de explicação os alunos referiram-se às relações entre conteúdos e objetivos do curso e suas aplicações práticas e 3) situações metodológicas apropriadas para o processo de ensino e aprendizagem com 11% de explicação. Os resultados mostraram por meio de consistência interna dos fatores a validez do construto que dá suporte ao processo ensino desta IES. Concluiu-se que a análise fatorial poderá contribuir para detectar as principais dimensões da qualidade a fim de alcançar os objetivos da avaliação do processo de ensino.
Palavras-chave: Avaliação; Análise Fatorial; Qualidade.
1. Introdução
A prática da qualidade na gestão universitária se faz pela articulação harmoniosa da diretoria com seus professores, funcionários e alunos comprometidos com os interesses e os objetivos da instituição de ensino.
Esta é a meta comum que se deve buscar cotidianamente, a fim de solidificar o reconhecimento do padrão de excelência do ensino e de comprovar a responsabilidade social de que se reveste a tarefa educativa em todos os seus níveis.
Assim, Rupolo (2003) esclarece que as diretrizes pedagógicas que orientam o estabelecimento de sua missão, de seus objetivos, de suas metas e ações para o ensino devem ser idealizadas com vistas a uma formação de qualidade que possa ser mensurável para uma qualificação permanente de sua função. Macedo (2001) também ressalta que é fundamental a mensuração do processo de ensino e aprendizagem a fim de que as universidades cumpram o seu papel de promotoras e socializadoras do saber, capazes de comprometer a realidade. Para tanto, a avaliação possibilita uma visão global em termos qualitativos e quantitativos, facilitando o redimensionamento da política e dos planos de ação. Para Leite (2005), o caráter social, ou seja, a face externa da universidade será tanto mais amplo quanto mais participativo for o seu processo, sua face interna de avaliação. Logo, o processo de avaliar não se constitui em um momento isolado, mas sim em um ato assumido diante da comunidade escolar, tendo em vista a melhoria das suas práticas administrativas, técnicas e pedagógicas de modo crítico e comprometido. (NAUJORKS, 2002).
2
ENEGEP 2006 ABEPRO
nas Instituições de Ensino Superior (IES), pois é desse processo que as mesmas poderão verificar o quanto estão comprometidas com a construção de uma educação para a emancipação e a autonomia.
Dentro desta ótica, a Faculdade Metodista de Santa Maria (FAMES), RS, tem realizado semestralmente a avaliação do processo de ensino desde sua criação, em 1998.
Inicialmente, o sistema de avaliação da FAMES obedeceu aos critérios estabelecidos pelo Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), criado em 1994, que estabeleceu os princípios norteadores do processo. Posteriormente, foi utilizado o Sistema Nacional de Avaliação de Educação Superior (SINAES), que se fundamenta na necessidade de promover a melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional, de sua efetividade acadêmica e social e, especialmente, no aprofundamento dos seus compromissos e responsabilidades sociais. A avaliação institucional da FAMES é concebida como um processo sistemático de busca de subsídios para o aperfeiçoamento da qualidade de seus cursos de graduação que é realizada pelos discentes e docentes ao final de cada semestre.
Assim, o objetivo deste artigo é verificar a partir da visão do discente a avaliação do processo de ensino por meio de duas categorias de variáveis: a) auto-avaliação do aluno e b) avaliação da importância dos conteúdos para o curso e para o desempenho pedagógico do professor. 2. Metodologia
Com o intuito de aplicar neste trabalho técnicas multivariadas que proporcionem um resultado global, foram considerados todos os questionários respondidos pelas turmas de acadêmicos dos cursos diurnos e noturnos de Administração, Direito, Educação Física e Letras Português e Espanhol. O processo de avaliação da IES foi realizado no mês de junho de 2005 através do Portal Universitário, onde foi disponibilizado o instrumento para todos os alunos. O acesso foi feito por meio de identificação numérica e senha individual independente do local em que ele esteja realizando o acesso. O convite para participar do processo avaliativo foi feito através de uma mensagem inserida na página inicial do portal. Os alunos foram esclarecidos em sala de aula pela comissão de avaliação. No sistema adotado pela IES, a resposta à avaliação é espontânea.
A amostra de questionários respondidos pelos alunos, conforme o número total de professores e suas respectivas disciplinas, foi composta por 3204 instrumentos respondidos para um total de 3687 cartões emitidos, correspondendo uma participação de 87%. Cada aluno respondeu, em média, 5 questionários de acordo com os respectivos professores das disciplinas que cursava no momento do processo avaliativo. Considerando o número de questionários completos respondidos para cada professor, observou-se uma média de 24 avaliações por professor.
Dos vários métodos multivariados, o mais adequado para utilizar neste caso é a análise fatorial que, segundo Malhotra (2002), tem como objetivo descrever, se possível, a covariância dos relacionamentos entre muitas variáveis fundamentais em termos de poucas variáveis fundamentais, mas não observáveis aleatórias, chamadas de fatores ou dimensões. O instrumento avaliativo do desempenho do professor, o conteúdo das disciplinas e de suas práticas pedagógicas e da auto-avaliação do aluno obedeceu a uma escala com cinco alternativas através do tipo Likert que variou de “5 – sempre” para “1 – nunca”.
Para a análise dos dados, utilizou-se o aplicativo Softwere Statística 7.0. 3. Discussão e análise dos resultados
3
ENEGEP 2006 ABEPRO
Com o objetivo de encontrar e separar objetos similares de média de desempenho, realizou-se uma análise de agrupamento utilizando-se o método de Ward, baseada na análise de variância como algoritmo de aglomeração. Este procedimento de análise calcula uma matriz de distância euclidiana ao quadrado entre cada par possível de casos e utiliza um algoritmo de aglomeração para, passo a passo, ir formando grupos de casos com perfis mais semelhantes possíveis (SOUZA & VICINI, 2005). Assim, fazendo-se um corte na altura entre 6 e 7, no dendograma abaixo obteve-se três grupos distintos, o que mostra uma forma de investigar padrões revelados pelo instrumento que é um diagnóstico inicial do comportamento das variáveis.
No primeiro grupo, estão associadas quatro variáveis, que relatam a postura do professor em sala de aula. O grupo dois, formado por quatro variáveis, demonstra as práticas docentes com vistas ao objetivo do curso e o grupo três salienta o que o professor pode contribuir para que o aluno desenvolva as habilidades de leitura e pesquisa.
Dessa forma, a análise realizada através da técnica de Cluster efetuada nos três grupos de variáveis, sugere uma possível análise fatorial para melhor identificar grupos ou fatores que definem as dimensões dos construtos, permitindo uma análise exploratória global de cada categoria de variáveis. C o m e n ta a s a v a li a ç õ e s E s ti m u la a r e fl e x ã o d o s c o n te ú d o s E s ti m p a rt . p ro je to s e e v e n to s E s ti m u la a l e it u ra e m g e ra l E s ti m u la i r à b ib li o te c a T e m b o m r e la c io n a m e n to U ti li z a m e to d o lo g ia a d e q u a d a In c e n ti v a p a rt ic ip a ç ã o n a s a u la s D o m in a c o n te ú d o s a tu a li z a d o s E x is te r e la ç ã o t e o ri a /p rá ti c a E x is te i n te rd is c ip li n a ri d a d e A v a li a ç õ e s c / c ri té ri o s c la ro s R e la ç ã o c o n te ú d o s /o b je ti v o s 02 03 04 05 06 07 08 L in k a g e D is ta n ce Grupo 2 Grupo 1 Grupo 3
Figura 1- Dendograma da matriz de distâncias pelo método de ligações simples apresentando três grupos distintos de variáveis
A consistência interna do instrumento verificada através do teste de Alfha de Cronbach apresentou um resultado 0,947, o que demonstrou coerência nas respostas do instrumento. Para testar a adequabilidade do modelo de análise fatorial, utilizou-se a estatística de
Kaiser-4
ENEGEP 2006 ABEPRO
Meyer-Oklin (KMO) cujo resultado obtido de 0,856 identificou uma amostra possível de ser analisada pela técnica de análise fatorial. O teste de esfericidade, de Bartlett, serve para testar a hipótese nula de que a matriz de correlação é uma matriz identidade. Se esta hipótese for rejeitada, a análise poderá ser realizada. Assim, o valor do teste de Bartlett (1318,684) mostrou-se significativo para p < 0,000, rejeitando a hipótese nula de que a matriz de correlação é de identidade (MALHOTRA 2002 p.507).
Tais índices foram considerados satisfatórios, indicando que há presença de fatores o que permite a aplicação da análise fatorial exploratória visto que a mesma não exige a formulação de hipóteses a priori a respeito de dependência de dados.
Para se estimar o número de dimensões do construto, obtiveram-se três fatores com variância acumulada de aproximadamente 83%, que foram definidos pelo teste de Scree Plot de Catell, o qual considera o momento da curva em que a descida deixa de ser íngreme e passam a ser praticamente uma constante, à direita (HAIR et. al., 2005).
No entanto, Pereira (2002) discute que, se o pesquisador pretende explorar um número reduzido de fatores, deve procurar um compromisso entre o número de fatores e a sua interpretabilidade, o que é comum em situações práticas, tendo em vistas o bom senso do pesquisador. V1 V2 V3 V4 V5V6 V7 V8 V9 V10 V11 V12 V13 -0,1 0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 Factor 1 -0,2 0,0 0,2 0,4 0,6 0,8 1,0 F a ct o r 2
Fator 2 - variância explicada (21%)
Fator 1- variância explicada (50%)
Figura 2 - Rotation Method: Varimax with Kaiser Normalization apresentando nitidamente dois fatores
A Figura 2 acima mostra dois fatores bem distintos o fator um, que agregou cinco variáveis e o fator dois, que inclui duas variáveis. O fator três, como mostra o quadro abaixo, agregou quatro variáveis com uma variância explicada de aproximadamente 12%.
5
ENEGEP 2006 ABEPRO
No Quadro 1 a seguir, estão descritas as respectivas variáveis de cada um dos fatores. A partir do critério que aceita K-1 fatores, definiram-se três fatores com autovalores maiores ou iguais à unidade. Este critério conhecido como de KAISER, o qual foi citado por Mardia et. al. (1979), tende a incluir poucos componentes quando o número original de variáveis é menor do que 20. Todavia, recomenda-se que os fatores extraídos respondam por, no mínimo, 60% da variância explicada acumulada (MALHOTRA, 2002; PEREIRA, 2001). Neste caso, a variância total acumulada de aproximadamente 83%, satisfaz a condição estabelecida.
Variáveis Fator 1 Fator 2 Fator 3 h2 comu nalide
Média Desvio Padrão
CV (%) F2 - Existe relação entre o conteúdo
programático da disciplina e os objetivos do curso.
0,029 0,931 0,013 0,868 3,79 0,44 F2
12% Existe inter-relação entre o conteúdo
da disciplina com os conteúdos de outras disciplinas.
0,060 0,396 0,073 0,160 4,03 0,41
F2 - Estão estabelecidos de forma clara os critérios e as formas de avalia avaliação da disciplina.
0,0498 0,934 0,034 0,874 3,96 0,48 F2
12% O processo de ensino e aprendizagem
propicia a relação entre da teoria e a prática.
0,057 0,351 0,090 0,126 3,97 0,41
F3 - Orienta com clareza e segurança os com clareza os conteúdos atualizados.
0,287 0,011 0,931 0,949 4,21 0,76 F3
18%
F3 - Utiliza metodologia apropriada ao melhor desenvolvimento da disciplina.
0,314 0,018 0,911 0,929 4,13 0,75 F3
18% F3 - Incentiva a participação e a
expressão de idéias durante as aulas.
0,284 0,0292 0,937 0,960 4,13 0,76 F3
18% F3 - Estabelece um bom
relacionamento com os alunos.
0,283 0,042 0,868 0,834 4,10 0,74 F3
18% F1 - Estimula o aluno ir à biblioteca. 0,835 0,026 0,219 0,698 3,8 0,87 F1
23% F1 - Estimula a leitura de livros, textos
e periódicos completares as aulas.
0,925 0,003 0,296 0,856 3,82 0,93 F1
24% F1 - Estimula a participação dos
alunos em projetos de pesquisa e eventos.
0,881 0,038 0,336 0,775 3,82 0,92 F1
24%
F1 - Propõe práticas diferenciadas que valorizem a reflexão mais do que a memorização.
0,805 0,036 0,315 0,647 3,78 0,84 F1
22%
F1 - Costuma analisar os resultados da avaliação com os alunos.
0,831 0,095 0,361 0,690 3,76 0,88 F1
23%
Autovalores 6,510 2,738 1,552
Variância explicada 50,079 21,065 11,935
Variância acumulada 50,079 71,144 83,079
Quadro 1 – Contribuição de cada variável e o seu respectivo fator onde foram agregados, autovalores, variância explicada e as comunalidades. (Extraction Method: Principal Component Analysis. Rotation Method: Varimax
6
ENEGEP 2006 ABEPRO
with Kaiser Normalization
Segundo Hair et. al. (2005), a partir da rotação varimax normalizada em que os fatores são extraídos de modo que seus eixos sejam mantidos em 90 graus, há no Quadro 1 a carga fatorial calculada pelo Statistics 7.0. As variáveis agregadas a cada fator apresentaram correlações maiores do que 0,7. Segundo Hair et. al. (2005), as comunalidades são índices atribuídos às variáveis originais que expressam, em termos percentuais, o quanto a variabilidade de cada variável é explicada pelo modelo de análise fatorial estimado. Nesse caso, os valores inferiores a 0,7 identificam as variáveis que não foram suficientemente explicadas pelos fatores e que, conseqüentemente, foram excluídas da análise. O exame da matriz de comunalidades, no entanto, revelou valores superiores ou iguais a 0,7 para todas as variáveis agregadas a seus respectivos fatores considerados.
A três dimensões definidas pela estrutura fatorial conforme o Quadro 1 pode ser interpretada como a seguir:
O fator um, com uma variância explicada de 50%, definiu a dimensão “compromisso do professor em desenvolver no aluno as habilidades para a leitura, projetos de pesquisa e a participação em eventos”. As variáveis agregadas ao fator um apresentaram médias menores e mais próximas com maiores coeficientes de variação (22%). A baixa média e alta variabilidade relativa dos dados em torno da média podem mostrar que a prática da leitura, a participação em eventos e projetos de pesquisa ou não foi percebida por alguns acadêmicos como relevante ou os professores não souberam conduzir as turmas de alunos para o desenvolvimento dessas atividades.
Através do fator dois, verificou-se a dimensão “relação entre os objetivos do curso e os conteúdos trabalhados e avaliados pelo professor” com uma explicação de 21 %. As questões correlacionadas a este fator apresentaram médias muito próximas e uma variação em torno de 12%. Dessa forma, pode-se dizer que o educando identificou essa prática como mais coerente entre os professores.
Pelo fator três, pode-se perceber a dimensão “preocupação do professor em estabelecer em sala de aula um ambiente que assegure um processo de ensino e aprendizagem de qualidade”. As variáveis do fator três apresentaram as maiores médias com um coeficiente de variação de 18%. Assim, através deste grupo de variáveis, os alunos demonstraram que existe compromisso e responsabilidade da maioria dos professores em proporcionar ao educando um clima favorável para desenvolver suas atividades em sala de aula. Segundo Rupolo (2003), o professor que, por meio dessa prática educativa é capaz de criar laços afetivos com seus alunos, proporciona um ensino de qualidade, atendendo dessa forma a proposta do SINAES. Duas variáveis não foram agregadas a nenhum dos fatores. Assim, de acordo com as variáveis: existe inter-relação entre o conteúdo da disciplina com os conteúdos de outras disciplinas e o processo de ensino e aprendizagem propicia a relação entre teoria e a prática, pode-se dizer que a “interdisciplinaridade” não foi percebida pelo aluno com a importância desejada, constituindo-se assim, em um ponto fraco do processo de ensino e aprendizagem. No Quadro 2, estão as opiniões dos 649 acadêmicos que participaram da auto-avaliação do aluno em que o instrumento apresentou uma consistência interna “Cronbach’s alpha: 0,931”. A análise dos dados mostrou uma coerência com os resultados obtidos na determinação dos fatores acima, isto é, observa-se um percentual maior de manifestações para a opinião “sempre” (62%), em relação à efetiva presença nas atividades previstas e 88% manteve “sempre” postura ética de respeito e de diálogo com o professor. No que se refere à freqüência a biblioteca, participação de atividades e eventos, dedicação aos estudos e satisfação com o
7
ENEGEP 2006 ABEPRO
desempenho acadêmico, prevaleceu à opinião “quase sempre”, com maior percentual.
Cabe destacar também que 12% “raramente” vão à biblioteca, 15% “raramente” participam de eventos e 9% “nunca” participaram de eventos promovidos pela IES. Esse fato pode ser justificado talvez porque um grande número de cursos é noturno em que a maioria dos alunos trabalha. Questões Sempre (%) Quase sempre (%) Na metade das vezes (%) Raramente (%) Nunca (%) - Compareço em todas as atividades
previstas.
62 33 5 - -
- Dedico-me aos estudos dos conteúdos em horários extra classe.
34 42 18 6 -
- Mantenho uma postura ética de respeito e de dialogo com o professor.
88 9 2 1 -
- Usualmente freqüente a biblioteca. 35 35 17 12 1
- Utilizo com freqüência o portal universitário.
35 28 17 17 3
- Participo de atividades e eventos promovidos pela IES.
24 33 19 15 9
- Considero satisfatório o meu desempenho acadêmico.
37 41 17 2 1
Quadro 2 – Percentual relativo às questões e manifestações dos 649 acadêmicos que participaram da auto-avaliação
4. Conclusão
O tema avaliação evidenciado pela literatura é um processo sistemático que permite refletir sobre as práticas desenvolvidas na instituição com a finalidade de conhecer suas possibilidades e limitações, tendo em visita a conquista da qualidade.
Na avaliação do docente, pode-se dizer que os alunos destacaram: a) “o professor deve incentivar mais o desenvolvimento das habilidades para a leitura, pesquisa e a participação em eventos”, b) “a preocupação do professor em estabelecer em sala de aula um ambiente agradável assegura um processo de ensino e aprendizagem de qualidade”, c) “procedimentos metodológicos adequados favorecem a participação efetiva do aluno nas discussões dos conteúdos trabalhados” e d) “a interdisciplinaridade não foi percebida pelos alunos como uma prática freqüente no desenvolvimento dos conteúdos trabalhados”.
Assim, através da análise fatorial, podem-se subsidiar interpretações mais argumentativas nas informações traduzidas através das múltiplas relações das dimensões que caracterizam cada categoria de variáveis. Além disso, a carência interna dos instrumentos de avaliação também pode ser verificada, pois, ao utilizar-se somente a análise descritiva, elas podem apenas subsidiar julgamentos parciais por níveis, setores ou pessoas, fazendo com que esta parcialidade e fragmentação na comunicação dos resultados de desempenho não têm favorecido análises globais e observações de tendências, o que é corroborado por (MACEDO, 2001).
Por conseguinte, os resultados desse estudo não esgotam os debates sobre o tema, mas são importantes na medida em que subsídios adicionais podem contribuir para monitorar o
8
ENEGEP 2006 ABEPRO
processo de avaliação a cada semestre a fim de que medidas possam ser tomadas com vistas à melhoria da qualidade do ensino.
Referências
BRASIL. Programa de Avaliação das Universidades Brasileiras (PAIUB). Brasília: Ministério da Educação, Secretaria de Educação Superior, MEC, 1994.
BRASIL. Sistema Nacional de Avaliação da Educação Superior (SINAES). Brasília: Ministério da educação, Secretaria de educação Superior, MEC, 2004.
HAIR, J.F.JR.; ANDERSON, R.E.; TATHAM, R.L. & BLACK, W.C. Análise Multivariada de Dados. 5 ed. São Paulo: Bookmman, 2005.
KAISER, H. F. The Varimax Criterion for Analytic Factors Analysis. Psicometrika. USA, 1958.
LEITE, D.. Avaliação Institucional Participativa e a Universidade Socialmente Empreendedora. Revista Avaliação. Campinas São Paulo. Vol.10, n.1, p. 87-95, 2005.
MACEDO, S. A. Desempenho docente pela avaliação discente: uma abordagem metodológica para subsidiar a gestão universitária. Tese de Doutorado. Programa de Pós-graduação em Engenharia de Produção. Universidade
Federal de Santa Catarina, 2001.
MALHOTRA, K.N. Pesquisa em Marketing. Uma orientação aplicada. 3 ed. Porto Alegre: Bookman, 2002. MARDIA, K.V.; KENT, J. T. & BIBBY, J. M. Multivariate Analysis. Londres: Academic, 1979.
NAUJORKS, L. C. & ANTONIO, N. Projeto de Avaliação Institucional–FAMES. Santa Maria, RS, 2000. PEREIRA, J.C.R. Análise de dados Qualitativos. Estratégias Metodológicas para as Ciências da Saúde, Humanas e Sociais. 3ed. São Paulo: Editora da Universidade de São Paulo, 2001.
SOUZA, A. M. & VICINI, L. Caderno Didático – Análise Multivariada da Teoria à Prática. Centro de Ciências Naturais e Exatas.(CCNE) UFSM, Santa Maria, RS, 2005.
RUPOLO, I. Trabalho docente na educação superior: proposições e perspectivas. Revista do Centro Universitário Franciscano (UNIFRA), RS. Vol.1, n.1, p.59-63, 2003.
WARD, J.H. Hierarchical Grouping to optimize an objective function. Journal of the American Statistical Association, vol. 58, 1963.
