Na literatura de medição educacional,a confiabilidade está relacionada com a consistência interna, estabilidade e generalização das avaliações dos professores pelos alunos (CASHIN, 1988, 1995).
A confiabilidade de consistência interna, calculada pelo coeficiente α de Cronbach (1951), é um índice que indica o quanto os alunos consistentemente avaliam o professor quando o instrumento é aplicado somente uma vez, numa determinada classe. Esse índice varia entre zero e um. Um valor zero ou próximo indica que não há consistência nas respostas dos alunos, numa determinada classe. Valor um ou muito próximo indica quão consistentemente são as respostas dos alunos numa determinada classe. Segundo Cashin (1988, 1995), a confiabilidade de consistência interna é decorrente do número de avaliadores da classe. Quanto mais avaliadores, maior é o índice de consistência interna. Segundo Nunnally (1987), o índice de consistência interna deve superar 0,7. Indicadores de confiabilidade abaixo de 0,7 devem ser interpretados com precaução (CASHIN, 1995).
A estabilidade está relacionada com a concordância dos índices de correlação das avaliações dos docentes pelos discentes quando os mesmos alunos avaliam o mesmo professor, em ocasiões distintas. A generalização das avaliações dos docentes pelos discentes indica até que ponto as conclusões decorrentes da avaliação, baseada em uma amostra de alunos, aplica-se à população de alunos como um todo.
.Sixbury e Cashin (1995ª apud CASHIN, 1995), informam que as confiabilidades médias para os 38 itens do instrumento IDEA (Sistema de Determinação do Progresso do Ensino pelos alunos) são como as apresentadas na tabela 1, apresentada a seguir:
Tabela 1: Universidade do estado de Kansas Indicadores de Confiabilidade do Instrumento IDEA.
Número de avaliadores Confiabilidade
10 0,69 15 0,83 20 0,83 30 0,88 40 0,91 Fonte: Cashin, 1995.
A tabela 1, evidencia que, quanto maior for a quantidade de avaliadores numa determinada classe de alunos, maior é o índice de confiabilidade da consistência interna.
Os indicadores da confiabilidade da consistência interna para as dimensões do instrumento de Marsh (1984), “Avaliações do Aluno sobre a Qualidade Educacional” (SEEQ), estão apresentadas na tabela 2:
Tabela 2: Universidade de Sydney – Austrália Indicadores da confiabilidade do Instrumento SEEQ.
Números de avaliadores Confiabilidade
2 0,23 5 0,6 10 0,74 25 0,90 50 0,95 Fonte: Marsh, 1984.
A comparação das tabelas 1 e 2 evidencia que dois instrumentos, mesmo tendo concepções diferentes, valorados por classes com quantidades de alunos similares, resultam em confiabilidades também similares. Segundo Cashin (1995), confiabilidades altas são obtidas com instrumentos bem projetados por especialistas em medição educacional.
Os instrumentos de avaliação da docência universitária, utilizado por Silveira et
al. (1984), Tejedor et al. (1988), Sánchez (1988), Vanleeuwen et al. (1999), Capelleras e
Veciana (2000), Shah et al. (2002) e Medina (2002), relatam elevados índices de confiabilidade de consistência interna de seus instrumentos e seguem apresentados na tabela 3.
Tabela 3: Instrumentos de Avaliação da docência universitária. Indicadores da confiabilidade.
Autor #%$'&'(*),+-.)0/,)01'+21'354 687'9 Cronbach) Silveira et al. (1984) 0,98 Tejedor et al. (1988) 0,98 Sánchez (1988) 0,97 Vanleeuwen (1999) 0,97 Capelleras e Veciana (2000) 0,87 Shah et al. (2002) 0,93 Medina (2002) 0,94 Fonte: Marsh, 1984.
Os coeficientes de confiabilidade, reportados nas tabelas 1, 2 e 3, mostram razoável acordo entre todos os alunos diferentes dentro de uma mesma classe, indicando que as medidas usadas por esses pesquisadores apresentam erros aleatórios minimizados.
Silveira, Moreira e Nunes (1985) acrescentam dois itens ao instrumento de Silveira e Moreira (1984) e o submeteram a 1982 alunos que avaliaram o desempenho didático de 36 professores do Instituto de Física da PUCRS. Os coeficientes alfa, obtidos para cada professor, são todos elevados e maiores do que 0,8. A análise de variância com os escores totais possibilitou concluir que o instrumento possui a capacidade de discriminar tipologias de professores.
Um fator ou dimensão é considerado consistente quando todos os seus indicadores integrantes são intercorrelacionados entre si, no esforço de medir determinado conceito teórico. A confiabilidade dos fatores do instrumento (SEEQ) de Marsh (1982) e do instrumento (ENDEAVOR) de Frey, Leonard e Beatty (1975) foi investigadas por Marsh (1984) em universidades espanholas e australianas. A tabela 4, apresenta os indicadores de confiabilidade das dimensões destes dois instrumentos.
Tabela 4: Confiabilidade dos fatores dos instrumentos SEEQ e ENDEAVOR – Universidades: Austrália e Espanha.
Dimensões Austrália Espanha
SEEQ 1. Interação em grupo 0,94 0,94 2. Aprendizado/valor 0,92 0,92 3. Trabalho/dificuldade 0,91 0,79 4. Exames/grau 0,81 0,85 5. Relacionamento individual 0,93 0,90 6. Organização/clareza 0,93 0,91 7. Entusiasmo 0,95 0,92
8. Aprofundamento dos temas 0,88 0,89
9. Tarefas/leituras 0,84 0,84
ENDEAVOR
1. Discussão em classe 0,85 0,92
2. Conquistas dos alunos 0,85 0,87
3. Carga de trabalho 0,94 0,91 4. Avaliação 0,90 0,94 5. Atenção pessoal 0,90 0,91 6. Clareza da aula 0,92 0,89 7. Organização/planejamento 0,85 0,78 Fonte: Marsh, 1984.
Os resultados expostos, na tabela 4 indicam que todas as dimensões do instrumento SEEQ e do instrumento ENDEAVOR, aplicados em contextos distintos, medem consistentemente os conceitos para os quais foram designados para medir. Os elevados índices de consistência interna desses dois instrumentos fornecem o suporte empírico para a estabilidade e a generalização das escalas.
Um outro instrumento que tem sido extensivamente analisado é o Questionário de Experiência do Curso (CEQ) de Ramsden (1991). As confiabilidades dos fatores do CEQ estão apresentadas segundo a dimensão, na tabela 5.
Tabela 5: Confiabilidade dos fatores do CEQ Universidade de Melbourne
Dimensões Confiabilidade
1. Ensino adequado 0,87
2. Clareza dos objetivos do curso 0,80
3. Adequada carga de trabalho 0,77
4. Avaliação adequada 0,71
5. Estímulo/motivação dos alunos 0,72
Fonte: Ramsden (1991).
Os indicadores da consistência interna da escala de Ramsden (1991), apresentados na tabela 5, indicam que a escala tem uma boa qualidade estatística, uma vez que as consistências internas de todos as dimensões do CEQ superaram a 0,7. Esses coeficientes de confiabilidade indicam que os alunos, consistentemente, reconhecem as cinco dimensões designadas para medir a performance dos cursos de graduação.
O estudo da dimensionalidade, por técnicas de análise fatorial exploratória e confirmatória, do instrumento de avaliação da qualidade dos serviços universitários de Capelleras e Veciana (2000), confirmou cinco dimensões que apresentam elevados índices de consistência interna e seguem apresentadas na tabela 6. Esses indicadores manifestam que
todas as dimensões da escala não apresentam problemas quanto à presença de fontes aleatórias de erros que atuam durante o processo de obtenção das medidas.
Tabela 6: Confiabilidade das dimensões da escala.
Dimensões Alpha de Cronbach Confiabilidade Composta I 0,8515 0,8544 II 0,8506 0,8540 III 0,8347 0,8423 IV 0,7775 0,7808 V 0,7433 0,7601
Fonte: Capelleras e Veciana, 2000.
Os indicadores de consistência interna, reportados nas tabelas 4, 5 e 6, respectivamente, revelam quão consistentemente são as respostas dos alunos, indicando que se trata de instrumentos confiáveis. A confiabilidade é uma condição indispensável a qualquer instrumento de avaliação, dado que não é possível testar hipóteses a partir de medidas inconstantes.
A confiabilidade composta do construto é o indicador da consistência interna das dimensões, testadas pelas técnicas de análise fatorial confirmatória. O limite aceito para essa medida de confiabilidade composta é de 0,7 (HAIR et al. 1999).