alunos do secundário (qcppAs)
José Manuel Pereira da Silva
Agrupamento de escolas Rafael Bordalo Pinheiro · jmpereiradasilva@gmail.com
resumo
O artigo apresenta o processo de construção e validação do QCPPAS, com o qual se pretende esclare- cer um aspeto da literatura, referente aos fatores de eficácia docente, que consideramos insuficiente, e a partir do qual se possa considerar um referencial aplicável na autoavaliação dos professores. Os resultados da aplicação do questionário (n=401) permitem-nos concluir: 1) que a escala tem uma fiabilidade elevada (α= 0,958), classificável como excelente; 2) que os itens, em conjunto, veri- ficam uma avaliação elevada, com 86,7% dos inquiridos a classificá-los como importantes ou mui- to importantes e 3), que esta avaliação não varia significativamente quando testadas as hipóteses relativas a um conjunto de variáveis consideradas como mais relevantes na amostra.
Foi confirmada a validade fatorial, com recurso à AEE, com um modelo de 3ª ordem em que se ob- servam índices de ajustamento aceitáveis para um modelo integrado por 26 dos 45 itens da escala original; este resultado permite sustentar um modelo teórico para a componente relacional da do- cência que designamos por “empatia”; 2) com uma fiabilidade compósita superior a 0.70 em todas as situações de análise, a escala pode considerar-se com validade convergente e com uma aproxi- mação unidimensional satisfatória; 3) no entanto, os resultados dos testes da VEM e da validade discriminante mostram que a escala ainda apresenta alguns problemas de unidimensionalidade que justificam o seu aprofundamento teórico e empírico no futuro.
Palavras-chave: Eficácia Docente; Comportamento dos Professores; Melhoria da Instrução; Rela- ção Professor-Aluno; Autoavaliação do Professor.
AbstrAct
This article shows the process of construction and validation of QCPPAS, with which we aim to clarify an aspect of the literature, referring to factors of teacher effectiveness, in our point of view considered insufficiently clarified, and from which a theoretical framework applicable in the self- assessment of teachers can be developed.
The results of the questionnaire application allow us to conclude: 1) that the scale has a high reli- ability (α= 0,958), rated as excellent; 2) that the items, globally considered, verify a high overall evaluation with 86.7% of the respondents classifying them as important or very important and 3), that this evaluation doesn’t change significantly when the hypothesis concerning a set of indepen- dent variables, considered as very relevant in the sample, are tested.
The factorial validity was confirmed trough SEM, since we got acceptable fit indexes for a 3rd order model with 26 out of the 45 original items; this result allows us then, to sustain a theoretical model and a theory for the relational aspect of teaching we call “empathy”; 2) a composite reli- ability with a 0.70 value, in all analysis situations, shows that the scale can be considered with a satisfactory convergent validity and unidimensional scaling approximation; 3) however, the test- results obtained from the average variance extracted and from the discriminating validity, show that the scale still presents some problems with unidimensionality, which justify their theoretical and empirical deepening, in the future.
Keywords: Teacher Effectiveness; Teacher Behavior; Instructional Improvement; Teacher Student Relationship; Teacher Self Evaluation.
——————
introdução
Esta comunicação apresenta o processo de validação dum questionário desenvolvido no âmbito do nosso programa de doutoramento e que constituiu um instrumento no desenvolvimento duma nova teoria explicativa da eficácia docente, com aplicação direta como referencial para a autoavaliação dos professores do ensino secundário (Pereira da Silva, 2014).
147
Investigação, Práticas e Contextos em Educação 2015
A longa tradição de 3 décadas de investigação que tem procurado compreender a eficácia em educa- ção tem-se distribuído por campos de análise que encontramos na literatura identificados como edu- cational effectiveness research (EER), school effectiveness research (SER) e teacher effectiveness research (TER), e tem demonstrado e explorado o carácter multinível dessa eficácia numa visão que pretende explicar a forma como em cada nível emergem fatores que influenciam a eficácia educativa, ou seja, os resultados obtidos pelos alunos no processo ensino-aprendizagem.
Grande parte das conclusões desse percurso investigativo acaba por sublinhar a relevância dos fa- tores que se situam ao nível da aula (Kyriakides, Campbell, & Gagatsis, 2000), e centrar-se em di- mensões que identificamos como da tecnologia e que podem ser referidas aos aspetos que os profes- sores aprendem ao longo da sua formação inicial ou profissional. O modelo dinâmico de Creemers (Kyriakides, Campbell, & Gagatsis, 2000), (Creemers & Kyriakides, 2006), (Kyriakides & Cremmers, 2008) e o International System for Teacher Observation and Feedback (ISTOF) (Teddlie, Creemers, Kyriakides, Muijs, & Yu, 2006), (Nikkanen & Välijärvi, 2006) são exemplos de modelos aplicáveis à realidade para a compreender e para a avaliar.
Em ambos os modelos ressalta a fraca integração da dimensão afetiva ou emocional: 1) no caso do modelo de Creemers a integração fica-se pela inclusão da interação professor-aluno e da forma como o professor trata os alunos, como variáveis importantes do ambiente de aprendizagem atribuíveis ao professor (Creemers & Kyriakides, 2006) ; 2) o ISTOF, apenas inclui nas componentes classroom climate (C3: C3a, C3b e C3c) e classroom management (C4: C4a e C4d) 5 indicadores que podem ser referidos a uma dimensão relacional de natureza afetiva.
Estes exemplos servem-nos para ilustrar a relativa, mas insuficiente, importância dada à componen- te que identificamos como empatia ou relacional, o que justificou que sobre quiséssemos investigar.
metodoLogiA
Sendo um questionário construído de raiz, o processo de construção e validação estendeu-se por um largo período de investigação (2008-2012) no conjunto das suas diferentes fases e processos. 1ª fase: a representação do “professor ideal” para os alunos do secundário
Na primeira fase do processo, desenvolvemos um método simples que nos permitisse perceber quais os comportamentos dos professores que os alunos e alunas do secundário identificavam como prefe- ridos e facilitadores da sua aprendizagem.
A uma amostra de 241 alunos (49,9% do total dos alunos da ESRBP) constituída por rapazes (59,3%) e raparigas (40,7%) dos 10º, 11º e 12º ano dos cursos regular e profissional, foi apresentada a seguin- te questão: “Suponha que lhe davam a oportunidade de criar um professor ideal: com que qualidades o descreveria e que comportamentos corresponderiam a essas qualidades?”. Os alunos deveriam re- gistar as suas respostas em tiras de papel (3,5x 21cm), para que fossem sintéticos, embora pudessem utilizar o número de tiras necessárias à explicitação da sua ideia. Na Figura 1, ilustramos o resultado desse registo e o tipo de informação recolhida.
148
Investigação, Práticas e Contextos em Educação 2015
Nesta fase, considerando as duas componentes identificadas na literatura para o processo de en- sino-aprendizagem: 1) uma componente pedagógico-didática que definimos tecnologia e, 2) uma componente emocional-afetiva que definimos como empatia ou relacional, a investigação procurava resposta para duas questões:
• Que significado atribuem os alunos e alunas do secundário a cada uma destas componentes? • Que dimensões emergem, com maior significado, na componente relacional?
A análise de conteúdo dos registos permitiu-nos concluir, Tabela 1, uma quase simetria da importân- cia conferida a cada uma das componentes consideradas.
Dimensões Relacional Tecnologia Total Nº de Itens 352 377 729
% 48,1 51,9 100
tabela 1: Itens codificados como em Relacional e Tecnologia
Relativamente à segunda interrogante a mesma análise permitiu a consideração de seis subdimen- sões significativas, Tabela 2:
Subdimensão Itens codificados % Relativa Simpatia/cordialidade 91 25,9% Amizade/Afetividade 81 23,0% Motivação/Apoio 67 19,0% Humor 40 11,4% Carácter 16 4,5% Vocação 12 3,4% Não codificados 45 12,8%
tabela 2: Codificação das subdimensões da dimensão Relacional
A partir destes resultados, face à importância relativa verificada para a componente relacional no processo de ensino-aprendizagem, considerando: 1) o seu papel condicionador da eficácia da própria componente tecnológica da ação instrucional e pedagógico/didática; 2) que a dimensão relacional integra um conjunto de comportamentos acessíveis à auto e à hétero observação; 3) que a dimensão relacional é multidimensional e complexa e, 4) que a dimensão relacional é valorizada, temporal- mente, pelos alunos e alunas, para além da conclusão da ação propriamente instrucional, justificava- -se o aprofundamento da investigação no esclarecimento da seguinte questão:
• Estes resultados são contextuais, para a população do estudo, ou podem ser confirmados para uma população mais alargada e mais diferenciada?
2ªa fase: construção e validação dum questionário aos comportamentos dos professores preferi- dos pelos alunos do secundário (QCPPAS)
O material recolhido, na 1ª fase, e as conclusões alcançadas permitiram a formalização do problema de investigação em torno das seguintes questões:
• Quais são os comportamentos dos professores, identificados como preferidos pelos alunos e alu- nas do secundário?
• Corresponderão esses comportamentos a um modelo multidimensional que integre as 6 subdi- mensões consideradas previamente: simpatia, amizade, humor, motivação, carácter e vocação?
149
Investigação, Práticas e Contextos em Educação 2015
Esta formulação permitiu a consideração da seguinte hipótese geral: “No ensino secundário, o pro- cesso de ensino-aprendizagem integra uma componente relacional, ou empatia, que é multidimen- sional e composta por um conjunto de comportamentos dos professores, que são preferidos pelos alunos e alunas e que podem ser considerados como um referencial autoavaliativo.”
Definido o problema de investigação e colocada uma hipótese geral, a sua operacionalização pode ser feita a partir de objetivos que se enunciam pela:
• Definição dum conjunto de comportamentos a considerar como itens dum questionário que nos permita:
o A validação duma escala para a componente relacional ou empatia;
o A seleção dum conjunto de itens comportamentais que possam integrar um referencial ge- nérico para a componente relacional ou empatia;
o A validação dum modelo estrutural para a componente relacional ou empatia que, tendo em conta as 6 subdimensões consideradas, demonstre a validade teórica da escala.
Na primeira fase elencámos, a partir dos dados do estudo inicial, um conjunto de 45 comportamen- tos a integrar como itens do QCPPAS, cuja listagem se apresenta no Anexo 1. Nesta fase incluímos todas as fases técnicas da validação: 1) análise da clareza e concisão dos itens por peritos; 2) análise interjuizes para validar a adequação dos itens às definições das subdimensões e, 3) a realização dum pré-teste a uma amostra de conveniência (n=60), para confirmar a adequação empírica do questio- nário antes da sua aplicação.
Recolhidas as sugestões de alteração dos peritos (duas professoras de Português), os resultados da análise interjuizes (k de Fleiss=0,678) e do pré-teste (n=60, α de Cronbach=0,932) considerámos que o questionário reunia as condições para a sua aplicação pelo que concluímos a sua conceção constituindo-o por duas partes:
• A primeira, para recolher os elementos relativos ao perfil social, académico e afetivo dos respon- dentes, considerados relevantes para a investigação, que são: 1) como variáveis de enquadramen- to geo-demográfico: a escola de origem, o índice de qualidade de vida (IQV) do concelho (dois de natureza urbana e três de natureza rural), o género, a idade, a via de ensino (regular ou profissio- nal) e o ano de escolaridade; 2) como variáveis de enquadramento do estatuto social e económico: o tipo de agregado familiar, a escolaridade dos pais, o tempo passado fora de casa, o tempo de estudo diário; 3) como variáveis de caracterização do perfil socioafetivo: o gosto pelo estudo, a autoimagem como aluno/a, a importância atribuída ao papel dos professores, em geral, para o futuro do respondente, a importância atribuída à relação com o professor de uma disciplina com o sucesso nessa disciplina, a partilha de informação sobre a vida escolar e, 4) duas variáveis re- ferentes ao que definimos como capacidade relacional: a importância de ter amigos e o tipo de relacionamento, com os amigos, preferido.
• A segunda, com os itens numa escala de cinco pontos (nada importante, pouco importante, indife- rente, importante e muito importante), para traduzir o grau de preferência atribuída pelos alunos e alunas aos comportamentos dos professores que englobamos nas seis subdimensões do nosso modelo teórico para a componente relacional ou empatia.
O questionário foi distribuído a 462 alunos e alunas de 6 escolas secundárias da região do oeste, tendo-se registado uma elevada taxa de retorno (86,8%) com 401 questionários devolvidos, eviden- ciando uma distribuição equilibrada dos casos, como podemos conferir na Tabela 3.
150 Investigação, Práticas e Contextos em Educação 2015 Regular Profissional 10º 11º 12º 10º 11º 12º Sec. R. Proença 14 13 10 10 13 60 Sec. S. Martinho 14 13 9 13 7 14 70 Sec. Bombarral 16 17 14 14 11 14 86 Sec. B. Pinheiro 10 10 10 10 11 9 60 Sec. Do Cadaval 14 14 14 4 10 56 Sec. De Óbidos 13 13 15 14 14 69 81 80 72 51 43 74 401
tabela 3 Distribuição da amostra
resuLtAdos
Caracterização da amostra
Para a caracterização da amostra recorreu-se a tabelas cruzadas, entre as variáveis a que concedemos maior importância, e a testes de χ2 de homogeneidade (α=,05). Os resultados permitiram concluir
estarmos em presença de uma população de estudo com alguma homogeneidade já que não se de- tetaram diferenças que permitam a consideração de subgrupos especificados dentro dos grupos pri- mariamente definidos. Esta conclusão permite sustentar a pretensão de que todos os resultados da análise dos itens do QCPPAS se podem, genericamente, extrapolar para população definida como a dos alunos e alunas do secundário.
Fiabilidade das escalas e subescalas
Já que a escala tinha registado, no pré-teste, um coeficiente de fiabilidade (α de Cronbach) de 0,932, o que segundo (Hill & Hill, 2008) é excelente, tínhamos à partida a melhor expetativa quanto ao comportamento da escala para uma amostra de 401 casos, que veio a confirmar-se com uma melho- ria do coeficiente para 0,958 (Tabela 4), o que confirma que a escala é excelente na sua consistência
interna, isto é, que se mostra como uma boa medida para a variável latente empatia. Cronbach’s Alpha Cronbach’s Alpha Based on
Standardized Items
N of Items
,958 ,960 45
tabela 4 Estatística da fiabilidade da escala Empatia do QCPPAS Estatísticas dos itens do QCPPAS
Seguindo as orientações mais conservadoras para a apresentação de resultados da análise com variá- veis ordinais ( (Pestana & Gageiro, 2008), (Maroco & Bispo, 2005), (Maroco, 2010)) foram aplicadas técnicas não paramétricas e utilizadas a mediana e a moda como medidas de tendência central. Os resultados são apresentados de acordo com a agregação pelas subdimensões. Assim: 1) para a “sim- patia”, os itens apresentam uma avaliação fortemente positiva com a mediana e a moda em 4 para a maioria dos itens, com exceção do item Q28 que apresenta a mediana em 4 e a moda em 5 e o item Q29 com ambas as medidas em 5; 2) na “amizade” mostram que os comportamentos que descrevem são muito valorizados pelos respondentes todos eles apresentando a mediana e a moda em 4; 3) no “humor”, a mediana apresenta-se em 4 para quase todos os itens, ressaltando a exceção do item Q16 que apresenta a mediana e a moda em 5; 4) na “motivação” a mediana apresenta-se em 4 para 5 itens e em 5 para 3 itens, ressaltando a exceção do item Q43 que apresentando a mediana em 4 tem a moda em 5; 5) a dimensão “carácter” destaca-se das outras subdimensões já que os 8 itens que in- tegra apresentam o maior número (4) com a mediana em 5, o mesmo número que os itens que a têm em 4; 6) a “vocação”, revela-se igualmente como uma escala em que os itens são muito valorizados pelos respondentes já que os itens têm a sua mediana em 4 ou em 5. Registe-se um caso singular, no conjunto, da escala para o item Q31, já que é o único a apresentar a moda em 3.
151
Investigação, Práticas e Contextos em Educação 2015
Em síntese, as estatísticas do QCPPAS revelam que a escala integra um conjunto de itens que tra- duzem comportamentos dos professores que são muito valorizados no conjunto desta amostra. Os dados permitem verificar que os itens, considerados em conjunto, verificam uma avaliação global elevada com 86,7% dos inquiridos a classificá-los como importantes ou muito importantes.
Testes de hipóteses
Para testar se a forma como os itens foram valorizados pelos respondentes correspondem a valores referidos a uma característica da população, definida como “os alunos e alunas do secundário”, ou se dentro desta população e em função da nossa amostra se encontram diferente formas de avaliar os mesmos itens, realizámos 10 testes com recurso ao teste da análise de variância por ordens de Kruskal-Wallis ( k≥ 2) e à ANOVA one-way de acordo com o método prescrito por Maroco (2010), e Pestana & Gageiro (2008).
Realizados os testes tendo por base as variáveis: : 1) “IQV; 2) “género”; 3) “via de ensino”; 4) “ano de escolaridade”; 5) “idade”; 6 ) “escolaridade da mãe”; 7) “escolaridade do pai”; 8) “gosto pelo estudo”; 9) “autoimagem como aluno” e 10) “importância da relação com o professor da disciplina para o sucesso nessa disciplina”, registámos diferenças de avaliação em todas as situações testadas; as dife- renças de avaliação ainda que estatisticamente significativas (p <0,050) não remetem para diferen- ças, real ou praticamente, significativas podendo considerar-se que a generalidade dos itens descreve comportamentos, dos professores, que os alunos e alunas valorizam na componente relacional do processo ensino-aprendizagem.
Validação teórica da escala
Verificada a validade de conteúdo, quisemos verificar a validade de constructo, ou teórica, da escala “empatia”, testando a sua validade fatorial, convergente e discriminante. Assim:
1. Com recurso à AFC pela modelação com análise de equações estruturais, testámos um modelo de 3ª ordem tendo-se acrescentado às variáveis latentes de 1ª ordem, subdimensões da escala, as variáveis de 2ª ordem proximidade e influência, baseadas no modelo de Wubbels et al. (Brok, Brekelmans, & Wubbels, 2004), e a variável de 3ªordem empatia (Figura 2).
figura 2 Modelo estrutural para a empatia
2. Resolvidos os problemas de unidimensionalidade, comuns neste tipo de escalas, com a simulação de vários modelos e com a retirada dos itens perturbadores, obtivemos a validação com 26 itens dos 45 iniciais tendo-se recorrido às recomendações mais conservadoras quanto aos valores de cut-off, presentes na literatura, sobretudo em Bentler (2007). Os índices de ajustamento obtidos são os que se apresentam na Tabela 5.
152
Investigação, Práticas e Contextos em Educação 2015
Índice χ2;p;χ2/g.l. SRMR CFI PCFI RMSEA; p; IC90%
Resultado χ2 (290)=518,379 0,056 0,931 0,831 RMSEA=0,050 P=0.000 P= 0,536 χ2/g.l.= 1,788 IC90% ]0,0439;0,0569[
tabela 5 Resultado da avaliação final do modelo de 3ª ordem da empatia
3. A análise multigrupo para rapazes e raparigas, demonstrou a invariância do modelo, reforçando a adequação da estrutura enquanto modelo teórico.
4. Com uma fiabilidade compósita superior a 0.70 em todas as situações de análise, a escala pode considerar-se com validade convergente e com uma aproximação unidimensional satisfatória. No entanto, os resultados dos testes da variância extraída média (VEM) e da validade discriminante mostram que a escala ainda apresenta alguns problemas de unidimensionalidade que justificam o seu aprofundamento teórico e empírico no futuro.
discussão e concLusões
O processo de construção e validação do QCPPAS permitiu dar um suporte científico à importância da componente relacional, professor-aluno, no processo de ensino e aprendizagem. Podemos, por isso, afirmar que este estudo é um contributo para a literatura sobre a eficácia docente numa área em que o tipo de variáveis e fatores, que aqui se descobrem e trazem à luz, acrescentam ao que hoje já se considera sobre o tema.
Pesem as limitações atribuíveis a um estudo desta natureza, sobretudo no que se pode referir à re- presentatividade da amostra utilizada, ele não deixe de ser um novo elemento a considerar quando se procuram entender os fatores que contribuem para o sucesso do processo educativo no seu nível mais micro, o da sala de aula, mas não menos significativo e determinante.
O resultado obtido com a validação fatorial da escala permite-nos sustentar a hipótese de um novo modelo teórico para a eficácia docente, bipartido, em que se considerem as duas componentes que considerámos à partida no nosso estudo: 1) uma componente técnica, uma tecnologia, aprendida na formação inicial e desenvolvida, de forma quer formal e explícita, quer tácita, pelos professores ao longo da sua carreira e 2) uma componente relacional, ou empatia, valorizada nas crenças e no conhecimento tácito ou experiencial dos profissionais, e que aqui se desvenda num conjunto de com- portamentos que, muito valorizados pelos alunos, podem determinar ou, pelo menos, influenciar a qualidade daquele contato, entre o professor e cada um dos seus alunos, em que se concretiza o fundamental da prestação do serviço educativo.
153
Investigação, Práticas e Contextos em Educação 2015
A escala empatia pode constituir-se como um referencial autoavaliativo importante e está a ser testado, neste momento, por alguns professores que por ele se interessaram.
Mas abre-se, ainda, um caminho para o futuro da escala, que queremos desenvolver: 1) na sua extensão, pelo menos, ao 3º ciclo; 2) na inclusão de novos itens que enriqueçam os constructos definidos pelas 6 subdimensões e, 3) pela sua aplicação a amostras de maior dimensão e em contextos mais diferenciados (nacionais mas também internacionais).
referênciAs
Bentler, P. M. (2007). On tests and indices for evaluating structural models. Personality and Indi- vidual Differences, 42, 825-829.
Brok, P. d., Brekelmans, M., & Wubbels, T. (2004). Interpersonal Teacher Behaviour and Student Outcomes. School Effectiveness and School Improvement, 15(3,4), pp. 407-442.
Creemers, B., & Kyriakides, L. (2006, September). Critical Analysis of the Current Approaches to Modelling Educational Effectiveness: The importance of establishing a dynamic model. School Effectiveness and Sdchool Improvement, 3, pp. 347-366.
Hill, M. M., & Hill, A. (2008). Investigação por Questionário. Lisboa: Edições Sílabo, Lda.
Kyriakides, L., & Cremmers, B. (2008). Using a multidimensional approach to measure the impact of classroom-level factors upon student achievement: a study testing the validity of the dy-