Dificilmente os modelos de análise fatorial confirmatório ajustam-se aos dados em um primeiro contraste de hipóteses. A análise detalhada dos coeficientes estimados do modelo de medida de indicadores exógenos revelará se o seu tamanho e sentido estão acordados conforme a teoria, como também maneiras de melhorá-lo. Dessa forma, a modificação do modelo tem-se convertido em prática habitual para otimizar os índices de bondade de ajuste em função dos parâmetros estimados e conseguir maior parcimônia ou aumento da validez pela suspensão de indicadores que não alcançam índices de confiabilidade e validez apropriados. Assim fez Ramos (1987), eliminando do modelo de medida de indicadores exógenos, os indicadores com elevado erro de medida e neutros, visando obter um modelo consistente e parcimonioso para a escala de medida da competência docente do professor universitário. Ao suprimir do modelo de medida cinco indicadores que não apresentavam suficiente validez, os indicadores de bondade de ajuste G.F.I., A.G.F.I., R.S.H.R. alteram, respectivamente, de 0,888 para 0,928, de 0,858 para 0,900 e de 0,049 para 0,037.
O processo de modificação do modelo de medida é guiado, segundo Hair et al. (1999), pelas análises dos resíduos padronizados da matriz de correlação ou da matriz de variâncias-covariâncias e pelos índices de modificação.
A diferença entre os elementos da matriz de correlação ou variância-covariância de entrada (matriz observada) e de saída (matriz predita pelo modelo proposto) denomina-se resíduos ou perdas. O ideal é que esses resíduos padronizados sejam significativamente iguais a zero, o que indicaria que o modelo proposto reproduziu a matriz de entrada. Considerando um nível de significância de 1%, aqueles resíduos padronizados com valores superiores a
± 2,58, teste nas duas caudas, indicam uma diferença significativa entre os elementos da matriz observada e predita pelo modelo.
Os resíduos significativos indicam um erro de predição substancial para um par de indicadores. Segundo Hair et al. (1999), um resíduo padronizado indica somente se a diferença é ou não casual. Desse modo, qualquer modificação no modelo inicial proposto, deve ser respaldada pela teoria que combinada com os índices de modificação, contribuirão para um aumento no grau de validade do construto.
O índice de Modificação refere-se aos valores calculados para cada possível relação não estimada em um modelo especificado (parâmetros fixos). O seu cálculo é decorrente de saturações sobre outros fatores ou covariância entre fatores únicos em um modelo de análise fatorial confirmatória e se forem significativos, indicam invalidez. O valor do índice de modificação para uma relação concreta não estimada indica uma redução no valor do teste de χχ2 quando o modelo fora efetivamente estimado. Ressalta-se que qualquer restrição a ser feita no modelo, originará um novo modelo a ser estimado e avaliado. O cálculo da proporção de aumento no ajuste, segundo Garcia e Martinez (2000) é calculado por:
∆=(χ2o - χ2m) / χ2o (49)
Em que χ2o é o valor do teste qui-quadrado do modelo original, χ2m corresponde
ao valor do qui-quadrado do modelo modificado. Esse índice oscilará entre zero e um, propondo-se o valor de 0,9 como o limite para paralisar o processo de reformulação do modelo, segundo Bisquerra (1989, apud GARCÍA; MARTÍNEZ, 2000). Recomenda-se, também, introduzir somente modificações plausíveis de maneira seqüencial, reexaminando atentamente todos os resultados antes de efetuar a seguinte e começar analisando os
coeficientes estimados significativos antes de eliminar os indicadores pouco válidos (MAcCALLUM, et al. 1992; LUIJBEN, 1989; HAIR et al. 1999).
Segundo Hair et al. (1999), quando houver a necessidade de modificações amplas do modelo, os dados devem ser divididos em duas amostras independentes, uma delas será usada para a estimação do modelo modificado e a outra para a validação cruzada do modelo. Com esse procedimento, espera-se que os resultados e o modelo final proposto sejam generalizáveis para a população com um dado nível de confiança.
Tendo concluído que se tenha obtido razoável grau de validade de construto; ou seja, estabelecido que, cada conjunto de indicadores individuais intercorrelacionados se combina para tornar claro uma única medida composta ou indicador, com índices de validade e consistência interna razoáveis, têm-se evidências que designam o questionário de avaliação da docência pelos discentes como confiável e válido. Como o construto foi validado mediante modelos de análises fatorial confirmatória, já se tem o indicativo da validade convergente. Quanto à validade discriminante, ela estará evidenciada se os construtos teóricos se manifestarem incorrelacionados.
A validade convergente indica até que ponto duas ou mais escalas, dois ou mais procedimentos independentes que tratam de medir o mesmo conceito, convergem para a mesma solução. A validade discriminante mostra até que ponto um indicador não se correlaciona com outros construtos exógenos dos quais supõe-se que difira. Quanto menor o grau de correlação entre dois construtos exógenos, maior a evidência de validade discriminante.
Cada dimensão validada da escala pode ser correlacionada com outros indicadores previamente estabelecidos, com vistas à validade preditiva ou concorrente. O indicativo de validade preditiva será evidenciado quando as dimensões válidas da escala estiverem correlacionadas positivamente e significativamente com algum critério que globalmente
evidencia a qualidade do ensino, no futuro. Os indicativos de validade concorrente serão evidenciados empiricamente quando as dimensões válidas da escala estiverem correlacionadas positivamente e significativamente com indicadores distintos do mesmo conceito.
7 APLICAÇÃO DA METODOLOGIA AO INSTRUMENTO DE AVALIAÇÃO DA DOCÊNCIA DA UNISUL
7.1 Introdução
O presente capítulo tem como objetivo descrever os procedimentos metodológicos utilizados no processo de análise da confiabilidade e da validade do instrumento de avaliação da UNISUL. A revisão teórica sobre o estudo da dimensionalidade, da confiabilidade e da validade de instrumentos de avaliação da docência apresentada, respectivamente, nos capítulos anteriores, constitui o referencial teórico sobre a validação do instrumento de avaliação. Tal referencial possibilitará o contraste entre as características de multidimensionalidade, confiabilidade e validade do instrumento “Avaliação pelos Alunos no Desempenho na Disciplina” utilizado nessa universidade.
Este capítulo descreve sobre a entidade, o tipo de pesquisa, o objetivo da pesquisa, o método da pesquisa, indicadores medidos (tipos, coleta e tratamento), hipóteses e limitações da pesquisa.