Procedimentos de Tradução do Questionário
Para a tradução e adaptação do instrumento da língua original (Inglês) para a língua Portuguesa, foram adotados procedimentos metodológicos sugeridos por Vallerand (1989), aconselhados por Banville, Desrosiers e Genet-Volet (2000) e operacionalizados por Cid, Rosado, Alves e Leitão (2012). No entanto, ao contrário do que é proposto por Vallerand (1989), não foi utilizada a técnica translation/back translation technique (Brislin, 1970), mas sim committee approach methologoly (Brislin, 1980). Assim sendo, o processo foi desenvolvido em cinco etapas: 1) Tradução Preliminar: esta primeira etapa foi efetuada pelos investigadores com o auxílio de 2 tradutores com formação superior em Inglês-Português, da qual resultou a 1ª versão do questionário; 2) Primeiro Painel de Avaliação: a análise/avaliação da versão inicial foi realizada individualmente por um júri composto por 4 especialistas de diferentes áreas do conhecimento científico (Psicologia e Ciências do Desporto). Das
Capítulo 2 – Validação de instrumentos
41 sugestões de alteração apresentadas, resultou a 2ª versão do questionário; 3) Segundo Painel de Avaliação: a 2ª versão do questionário foi outra vez submetida à análise/avaliação de um outro júri (diferente do da fase anterior). Esta fase só terminou quando houve concordância entre os especialistas e a opinião de todos os membros do júri foi unânime em relação ao conteúdo dos itens da nova versão do questionário (3ª versão); 4) Estudo Piloto: elaboração do primeiro layout do instrumento e aplicação da 3ª versão do questionário a 20 sujeitos (estudantes do ensino superior), para análise e determinação das dificuldades de compreensão e interpretação do conteúdo dos seus itens. Desta fase, resultou a 4ª versão do questionário; 5) Revisão Final: revisão do português (aspetos de sintaxe – ortografia, gramática e construção frásica), realizada por 1 professor de português e elaboração do layout final do questionário (versão final).
Procedimentos de Recolha de Dados
Após o contacto com as direções das universidades sénior e centros de dia, bem como da assinatura do consentimento informado por parte dos participantes, todos os dados foram recolhidos e analisados de forma anónima garantindo assim o princípio da confidencialidade. Realça-se ainda, que os dados foram recolhidos em contexto de sala de aula nos locais de funcionamento das universidades sénior, em pequenos grupos (máximo 20 pessoas), demorando cerca de 20 minutos a sua aplicação.
Relativamente aos procedimentos éticos, a Comissão de Ética para a Saúde da ARSLVT deu um parecer favorável à realização do presente estudo (Parecer: 128/CES/INV/2013) tendo sido igualmente levado em conta o código de conduta da declaração de Helsinkia, bem como os pressupostos éticos que sustentam a prática científica propostos pela APA.
Procedimentos de Análise de Dados
Relativamente à análise dos dados, foram tidas em conta as recomendações operacionalizadas por Byrne (2001; 2006), Hair, Black, Babin e Anderson (2014), Kahn (2006), Whorthing e Whitakker (2006), sendo utilizado o método de estimação o da máxima verosimilhança (ML), através do teste do qui-quadrado, com a correção de Satorra-Bentler (S-Bχ²: ver Satorra & Bentler, 1994), que corrige os valores quando não se verifica a não normalidade da distribuição dos dados, conduzindo a resultados mais satisfatórios (Chou & Bentler, 1995), pois o valor do coeficiente de Mardia (1970) indicou uma distribuição multivariada não normal dos dados no presente estudo (Mardia = 35.3).
42
Para além do teste S-Bχ², e análise dos respetivos graus de liberdade (gl), bem como o nível de significância (p), foram ainda utilizados os seguintes índices de ajustamento: Standardized
Root Mean Square Residual (SRMR), Comparative Fit Index (CFI), Tucker-Lewis Index (TLI) Root Mean Square Error of Approximation (RMSEA) e o respetivo intervalo de confiança (90%
IC). Para os índices referidos, foram adotados, no presente estudo, os valores de corte sugeridos por Hu e Bentler (1999): SRMR ≤ .08, CFI e TLI ≥ .95 e RMSEA ≤ .06. A análise foi realizada com o recurso ao software de análise de equações estruturais EQS 6.1 (Bentler, 2002).
No que diz respeito à análise da validade convergente (com o objetivo de verificar se os itens estão relacionados com o respetivo fator), foi feito o cálculo da variância extraída média (VEM), utilizando os valores de referência recomendados (VEM ≥ .50) (Hair et al., 2014). Relativamente à análise da validade discriminante (para avaliar se os fatores são suficientemente distintos um do outro), foi verificado se o quadrado das correlações dos fatores é inferior à VEM dos mesmos (Hair et al., 2014). Foi ainda calculada a fiabilidade compósita, para avaliar a consistência interna dos fatores, adotando como valores de corte FC ≥ .07, tal como sugerido por Hair et al. (2014).
Resultados
Como podemos observar na tabela 1, verificamos que os sujeitos utilizaram todos os níveis de resposta (i.e., entre 1 e 5), sendo que as médias mais elevadas se verificam nos itens correspondentes ao afeto positivo. Também se observa um enviesamento à esquerda dos valores da escala positiva, assim como um enviesamento à direita dos valores da escala negativa. Poderemos considerar este enviesamento normal, visto que neste tipo de escalas é igualmente normal as respostas serem valorizadas ou desvalorizadas pelos sujeitos, respetivamente para o afeto positivo e negativo.
Capítulo 2 – Validação de instrumentos
43 Tabela 1. Análise Descritiva das Respostas aos Itens do PANAS
Item Mín-Máx M±DP Assimetria Valor Z Achatamento Valor Z
Item 1 (AP) 1-5 3,53±0,89 -0,83 -6,02 0,70 2,54 Item 2 (AN) 1-5 2,00±0,98 0,90 6,52 0,43 1,56 Item 3 (AP) 1-5 2,27±1,1 0,50 3,62 -0,51 -1,85 Item 4 (AN) 1-5 2,85±1,12 0,11 0,80 -0,72 -2,61 Item 5 (AP) 1-5 2,95±1,01 -0,19 -1,38 -0,43 -1,56 Item 6 (AN) 1-5 1,49±0,83 1,94 14,06 3,59 13,01 Item 7 (AN) 1-5 1,82±1,03 1,30 9,42 1,02 3,70 Item 8 (AN) 1-5 1,83±0,97 1,14 8,26 0,76 2,75 Item 9 (AP) 1-5 3,20±0,96 -0,26 -1,88 -0,13 -0,47 Item 10 (AP) 1-5 2,78±1,17 -0,11 -0,80 -0,92 -3,33 Item 11 (AN) 1-5 2,00±1,02 0,95 6,88 0,34 1,23 Item 12 (AP) 1-5 3,08±1,15 -0,14 -1,01 -0,83 -3,01 Item13 (AN) 1-5 1,60±0,99 1,91 13,84 3,09 11,20 Item 14 (AP) 1-5 3,01±0,99 -0,10 -0,72 -0,23 -0,83 Item 15 (AN) 1-5 2,60±1,18 0,45 3,26 -0,67 -2,43 Item 16 (AP) 1-5 3,48±0,95 -0,46 -3,33 0,25 0,91 Item 17 (AP) 1-5 3,72±0,94 -0,73 -5,29 0,46 1,67 Item 18 (AN) 1-5 2,44±1,16 0,52 3,77 -0,53 -1,92 Item 19 (AP) 1-5 3,70±0,96 -0,76 -5,51 0,69 2,5 Item 20 (AN) 1-5 2,07±1,04 0,85 6,16 0,15 0,54
Nota: AP (Afeto Positivo); AN (Afeto Negativo); Mín-Máx (Mínimo e Máximo); M (Média); DP (Desvio- Padrão)
44
Análise da validade de constructo
Em relação ao ajustamento dos dados ao modelo de medida, como podemos observar na tabela 2, verificamos que o modelo inicial (i.e., 2 fatores/20 itens) não se ajustou de forma satisfatória aos dados, não sendo atingidos os valores de corte adotados na metodologia.
Desta forma, fomos à procura de potenciais fragilidades do modelo, através da análise dos valores residuais entre os itens e dos índices de modificação. Assim reajustou-se o modelo com a eliminação do item 3 (“excitado”) do fator afeto positivo, por se observarem valores residuais muito altos com outros itens (e.g., 2 “perturbado”, 4 “preocupado”, 18 “agitado”, todas do fator afeto negativo) e porque o teste Langrage Multiplier sugere a possibilidade de existir uma forte relação (i.e., cross-loading) com o fator afeto negativo. Após esta modificação os índices de ajustamento do modelo melhoraram ligeiramente (ver modelo 2 na tabela 2).
Tabela 2. Índices de ajustamento dos modelos testados
Modelos S-Bχ² gl P SRMR TLI CFI RMSEA 90% IC
Modelo 1 419.47 169 .001 .104 .783 .807 .069 .061-.077 Modelo 2 298.26 151 .001 .073 .860 .876 .056 .047-.065 Modelo 3 68.96 34 .001 .048 .909 .932 .058 .038-.077 Modelo 4 63.69 34 .001 .061 .900 .924 .053 .032-.073 Modelo 5 61.79 34 .001 .068 .911 .933 .051 .030-.071 Nota: S-Bχ² = qui-quadrado com correção de Satorra-Bentler; gl = graus de liberdade; SRMR =
Standardized Root Mean Square Residual; TLI = Tucker-Lewis Index; CFI = Comparative Fit Index; RMSEA = Root Mean Squared Error of Approximation; 90% IC = intervalo de confiança do valor de RMSEA. Modelo 1 (20 itens); Modelo 2 (eliminação do item 3); Modelo 3 (10 itens resultantes de critérios estatísticos e de representatividade de categorias de emoções); Modelo 4 (10 itens utilizados por Galinha et al., 2014); Modelo 5 (10 itens utilizados por Thompson, 2007);
Uma vez que o modelo continuou sem apresentar bons índices de ajustamento com a eliminação do item 3 (associado ao facto de que a eliminação de mais itens iria sugerir grandes alterações ao modelo), e tendo em conta que um dos objetivos do trabalho era validar uma versão reduzida do PANAS, conjugámos os fatores estatísticos (valores residuais, índices de modificação e pesos fatoriais) aos critérios relacionados com a representatividade das categorias de emoções de Zevon e Tellegen (1982) em cada um dos dois fatores. Por
Capítulo 2 – Validação de instrumentos
45 conseguinte, o modelo constituído por 10 itens, 5 em cada fator (ver modelo 3 na tabela 2, representado na figura 1), composto pelos itens “forte”, “entusiasmado”, “inspirado”, “determinado” e “atento” (afeto positivo) e “irritado”, “culpado”, “assustado”, “zangado” e “nervoso” (afeto negativo), apresentou melhorias significativas no ajustamento em relação ao modelo anterior (S-Bx2 = 68.96; gl = 34; p = .001; SRMR = .048; TLI = .909; CFI = .932; RMSEA =
.058; RMSEA IC 90% = .038 - .077).
Como se pode observar através da figura 1, ao nível do ajustamento local, o modelo apresenta uma correlação positiva não significativa entre os dois fatores (r = .05) e pesos fatoriais que variam entre .57 e .70 no afeto positivo e entre .52 e .68 no afeto negativo. Por outro lado, ao analisar a fiabilidade interna dos fatores, verificamos que o alfa de Cronbach apresenta valores de consistência interna que podemos considerar de aceitáveis nos dois fatores (αafeto positivo = .76; αafeto negativo = .74). Para além disso, verificou-se ainda que nenhum
46
Figura 1. Parâmetros individuais estandardizados da versão reduzida do PANAS - modelo 3 (10 itens/2 fatores)
Ainda assim, para além do nosso modelo da versão reduzida (modelo 3), fomos testar, com a nossa amostra, outras alternativas de modelos de outras versões reduzidas que a literatura evidenciou, nomeadamente, a versão reduzida e validada para Portugal por Galinha et al. (2014) (ver modelo 4 na tabela 2) e a versão reduzida de Thompson (2007) (ver modelo 5 na tabela 2).
Relativamente ao modelo 4 (recorrendo, para a nossa amostra, aos itens utilizados por Galinha et al., 2014), verifica-se que os valores de ajustamento são semelhantes ao modelo 3. No entanto, no que diz respeito aos pesos fatoriais, verificamos que existem dois itens com pesos fatoriais abaixo de .50 (“interessado” e “medo”/”amedrontado”), e no que respeita à consistência interna, encontram-se valores mais reduzidos (αafeto positivo = .70; αafeto negativo = .70)
Capítulo 2 – Validação de instrumentos
47 No que diz respeito ao modelo 5 (recorrendo, para a nossa amostra, aos itens utilizados por Thompson, 2007) também foram encontrados valores de ajustamento do modelo semelhantes ao modelo 3. Relativamente aos pesos fatoriais, são observáveis valores mais reduzidos em relação aos que encontramos no modelo 3 (4 itens com pesos fatoriais abaixo de .50). Também ao nível da consistência interna verificam-se valores mais reduzidos (αafeto positivo =
.71; αafeto negativo = .68).
Tabela 3. Fiabilidade compósita, validade convergente e discriminante
Fatores FC VEM Afeto Negativo
Afeto Positivo .76 .40 .024*
Afeto Negativo .74 .37 -
Nota: Fiabilidade Compósita (FC); Variância Extraída Média (VEM); *Correlação ao quadrado (r2)
Para além disso, na tabela 3, pode-se verificar que o modelo de medida (modelo 3: 2 fatores, 10 itens) apresenta bons valores de fiabilidade compósita (acima de .70), tal como recomendam Hair et al. (2014). No que respeita à validade convergente, os resultados indicam algumas fragilidades, uma vez que os valores (VEMAPositivo = .40; VEMANegativo = .37) são
inferiores ao recomendado (VEM ≥ .50) (Hair et al., 2014). Por outro lado, nenhum dos fatores apresenta problemas de validade discriminante, visto que o quadrado das correlações dos fatores é inferior à VEM dos mesmos (r2 = .024) (Hair et al., 2014).
Discussão
Tendo em conta que o objetivo principal deste trabalho consistia em traduzir e validar uma versão portuguesa do Positive and Negative Affect Schedule (PANAS: Watson et al., 1988), incluindo uma versão reduzida, para uma amostra de idosos portugueses, com idades iguais ou superiores a 60 anos, verificámos inicialmente que o modelo original (2 fatores e 20 itens) não se ajustou de forma satisfatória aos dados, não sendo atingidos os valores de corte de Hu e Bentler (1999) adotados na metodologia.
Desta forma, segundo Hair et al. (2014), o objetivo da análise fatorial confirmatória não consiste unicamente em fornecer respostas sobre o ajustamento do modelo, mas também em fornecer informações pertinentes para a sua melhoria, pois raramente as análises desta complexidade envolvem a estimação de um único modelo, sendo possível assumir outros modelos e procurar possíveis soluções alternativas, principalmente quando o processo de estimação revela falhas no modelo principal (Hoyle & Panter, 1995), como é o caso. Para tal, vários autores (e.g., Byrne, 1994, 2001; Chou & Bentler, 1995; Hoyle, 1995; Worthington &
48
Whittaker, 2006) sugerem a análise dos valores residuais que resultam do ajustamento do modelo aos dados e a análise do Lagrange Multiplie Test (LM).
Baseados nos pressupostos acima descritos, começamos por proceder à eliminação do item 3 (“excitado”) do fator 1 (afeto positivo). Este item já tinha apresentado forte relação com o fator 2 (afeto negativo) em outras investigações anteriores (Galinha et al., 2013, Mackinnon et al, 1999;). Mas, não havendo grandes melhorias no ajustamento do modelo, e reforçando o objetivo central de validar uma versão reduzida desta escala para a população sénior, chegou-se ao modelo 3 (2 fatores, 10 itens), tendo em conta a conjugação dos critérios estatísticos evidenciados pela literatura com o critério de representatividade das categorias de emoções em cada um dos 2 fatores, sugerido por Galinha et al. (2014), que indicava a manutenção de 4 categorias de emoções em cada um dos fatores. Este modelo apresentou valores de ajustamento significativamente melhores que os modelos anteriores.
Apesar dos valores de ajustamento do modelo 3 não terem atingido os valores de corte mais conservadores de Hu e Bentler (1999) adotados na metodologia e relativos aos índices incrementais (i.e., CFI e TLI), existem autores (e.g., Marsh, Hau, & Wen, 2004) que consideram que não se devem generalizar os valores de corte de Hu e Benter (1999), sob pena de estarmos a rejeitar bons modelos, pelo que a grande maioria dos autores recomendam valores de corte menos conservadores (i.e., CFI e TLI ≥ .90) (Hair et al., 2014, Marsh et al., 2004).
Relativamente à comparação com os resultados obtidos com recurso à utilização dos itens descritos noutras versões, aplicados à nossa amostra (Galinha et al., 2014; Thompson, 2007), verificamos que todos cumprem de igual modo os valores de ajustamento, o que não nos permite considerar um em detrimento dos outros. Apesar disso, verifica-se que no modelo 3, quer os valores de consistência interna quer os pesos fatoriais, são mais elevados.
Interessa, desta forma, analisar as diferenças nas categorias de emoções (Zevon & Tellegen, 1982) utilizadas em cada uma das versões. Desta forma, verificamos que na escala de Galinha et al. (2014), se encontram representadas 4 categorias de emoções positivas (“excitado”, “orgulhoso”, “forte” e “atento”) e 4 categorias de emoções negativas (“amedrontado”, “perturbado”, “trémulo” e “culpado”), enquanto na escala de Thompson (2007) se encontram representadas 3 categorias de emoções positivas (“orgulhoso”, “atento” e “excitado”) e 4 categorias de emoções negativas (“amedrontado”, “zangado”, “perturbado” e “trémulo”). Já no que diz respeito à versão representada no modelo 3, há 4 categorias de emoções positivas (“forte”, “excitado”, “orgulhoso” e “atento”) e outras 4 negativas (“zangado”, “culpado”, “amedrontado” e “trémulo”). Verificamos desta forma que, embora os itens utilizados sejam diferenciados, a grande maioria das categorias de emoções que representam são idênticas entre os três modelos (3, 4 e 5), facto que pode ajudar a explicar as reduzidas diferença encontradas.
Capítulo 2 – Validação de instrumentos
49 No que diz respeito aos valores de consistência interna, através do indicador de fiabilidade compósita, tomando em consideração as recomendações de Hair et al. (2014), sugere que os itens de ambos os fatores (i.e., afeto positivo e negativo) estão a avaliar de forma idêntica e simultaneamente os respetivos constructos. Em relação à validade convergente, os resultados indicam que a correlação entre os itens e o respetivo fator não é tão forte como desejado, uma vez que os valores são inferiores ao recomendado (Hair et al., 2014). No entanto, como os resultados indicam que existe validade discriminante, podemos dizer que os constructos (i.e., afeto positivo e negativo) são suficientemente distintos um do outro.
Conclusões
Perante os resultados encontrados podemos afirmar que o modelo de medida (2 fatores e 10 itens) da versão portuguesa reduzida do PANAS possui qualidades psicométricas aceitáveis, ajustando-se de forma satisfatória aos dados.
No que respeita à comparação com outras versões reduzidas (Galinha et al., 2014; Thompson, 2007) verificamos que, embora qualquer uma das versões possa ser utilizada (uma vez que têm valores de ajustamento aproximados), a que dá mais garantias é a nossa versão (Modelo 3), especialmente porque foi validada especificamente numa amostra de indivíduos idosos. Esta questão assume pertinência na medida em que o construto pode não ser percecionado da mesma forma pelos diversos escalões etários, pois no decorrer do período de envelhecimento, a intensidade das experiências afetivas tem tendência a diminuir (Diener, Suh, Lucas, & Smith, 1999). Inclusivamente, esta questão foi comprovada no estudo de Mackinnon et al. (1999) onde os grupos etários mais elevados apresentaram valores médios de afeto positivo e negativo mais reduzidos em comparação com grupos etários mais baixos.
Capítulo 3 – Estudo empírico
51