• Nenhum resultado encontrado

5. CONSTRUÇÃO E VALIDAÇÃO DA ESCALA SABERES

5.1. D ESENVOLVIMENTO DE ESCALAS DE MEDIDA

5.1.3. Procedimentos analíticos

5.1.3.1. Análise fatorial exploratória

A análise fatorial exploratória é útil para reduzir o conjunto de itens a fatores (variáveis latentes) sem uma dimensionalidade previamente definida. Ou seja, sem um suporte teórico explicativo das dimensões existentes. Cada fator é representado em termos de uma combinação linear dos itens, ponderados pelas cargas fatoriais. A carga fatorial representa o peso da influência do fator no item, variando entre 0 e 1, podendo ser positivo (varia conjuntamente com o fator) ou negativo (varia inversamente ao fator).

Assim, a partir da matriz de correlação item a item, os fatores agrupam aquelas variáveis manifestas mais correlacionadas entre si, formando fatores por ‘afinidade’. O número de fatores a ser extraído poder seguir distintas regras como autovalor, screeplot ou análise paralela. A lista gerada de cargas fatoriais pode ser difícil de interpretar, exigindo uma rotação da matriz de variância, fornecendo cargas fatoriais para os itens mais significativas e concentradas em seus respectivos fatores. A rotação transfere os eixos (que representam os fatores) para a direção que melhor potencializa as cargas fatoriais, podendo ser uma rotação ortogonal, na qual os eixos não têm correlação, ou rotação oblíqua, quando os eixos admitem correlação entre si.

É de se esperar que os itens agrupados em um fator tenham uma causa conjunta para se comportarem de maneira parecida. Essa causa é a variável latente (DE VELLIS, 2016). Cabe ao pesquisador identificar o traço comum entre os itens agrupados para ler a dinâmica que

conduz cada fator. Itens presentes em mais de um fator ao mesmo tempo (cargas fatoriais > 0,40) ou com fraca participação em todos os fatores (cargas fatoriais < 0,20) são candidatos a serem excluídos da escala. Avaliação de comunalidade, que identifica o quanto cada item compartilha variância com o fator associado, também é utilizada para a decisão de descartar ou reter itens nos fatores.

A partir do conjunto de itens definidos, três verificações principais são utilizadas para validar a análise fatorial exploratória: a quantidade total de variância dos dados que é retida pelos fatores, sendo recomendado para as ciências sociais um mínimo de 50%, o índice de adequação da amostra KMO e a confiabilidade, medida pelo alfa de Cronbach, explicado no item confiabilidade mais à frente.

Uma vez aprovado o conjunto de itens nos critérios carga fatorial significativa, comunalidade, variância retida pelos fatores, adequação da amostra KMO e alfa de Cronbach, a escala pode ser considerada validada naquele contexto pesquisado pelo método da análise fatorial exploratória.

5.1.3.2. Análise fatorial confirmatória

A análise fatorial confirmatória, diferente da exploratória, é utilizada quando existe uma estrutura de dimensões ou categorias pré-definida pela teoria. A nomenclatura ‘confirmatória’ guarda esse sentido de confirmar, a partir dos dados, uma proposta teórica prévia. Assim, parte- se da teoria de que alguns itens medem uma variável latente (VL) de primeira ordem, e que, junto com outras VL de primeira ordem, representam um construto mais complexo representado como uma VL de segunda ordem. A análise fatorial confirmatória testa se essa estrutura proposta na teoria se confirma empiricamente a partir da variância conjunta dos itens respondidos.

Como parte de uma família maior de técnicas estatísticas denominadas modelagem de equações estruturais, a análise fatorial confirmatória reúne um conjunto de ferramentas capazes de estimar relações de dependência entre variáveis latentes a partir de variáveis manifestas atuando em conjunto. Uma vantagem importante da modelagem de equações estruturais é o de poder considerar mais de uma variável latente como dependente, ou explicada, de um conjunto de variáveis latentes independentes, ou explicativas, que podem estar correlacionadas entre si. A análise fatorial confirmatória (AFC) é um caso particular da modelagem de equações estruturais na qual é testada um modelo de mensuração, no caso do presente estudo, a escala de

saberes docentes. Nessa situação, a AFC fornece os estimadores das correlações entre as variáveis latentes (φ), das relações entre os itens e as variáveis latentes (λ) e dos erros (δ), além de gerar parâmetros de ajustes do modelo proposto pela teoria, como representado na Figura 4. Nessa configuração, a AFC pode fornecer, a partir dos estimadores e parâmetros de ajustes, os indicadores de validade e confiabilidade para que a escala seja considerada validada no contexto estudado.

Figura 4 - Representação das relações entre variáveis em uma Análise Fatorial confirmatória.

Fonte: O autor.

Nesse caso, a variável manifesta x1 é calculada como a soma da variável latente ξ1 ponderada pela carga fatorial λ1,1 e somada ao seu erro δ1, como descrito na Equação 1.

𝓍1 = 𝜆11𝜉1+ 𝛿1 (1) O processo de identificação dos estimadores λ, δ e φ é feito a partir da matriz de covariância entre os itens, ou seja, entre as variáveis manifestas. Assim, a matriz quadrada de 𝑝 × 𝑝, sendo p o número de itens, será gerada, contendo na diagonal principal a variância do item e nos outros postos a covariância entre os itens. A matriz mostrada na Equação 2 figura como matriz de variância-covariância para modelo apresentado na Figura 4.

[ 𝒗𝒂𝒓(𝒙𝟏) 𝑐𝑜𝑣(𝑥1, 𝑥2) 𝒗𝒂𝒓(𝒙𝟐) 𝑐𝑜𝑣(𝑥1, 𝑥3) 𝑐𝑜𝑣(𝑥2, 𝑥3) 𝒗𝒂𝒓(𝒙𝟑) 𝑐𝑜𝑣(𝑥1, 𝑥4) 𝑐𝑜𝑣(𝑥2, 𝑥4) 𝑐𝑜𝑣(𝑥3, 𝑥4) 𝑐𝑜𝑣(𝑥1, 𝑥5) 𝑐𝑜𝑣(𝑥2, 𝑥5) 𝑐𝑜𝑣(𝑥3, 𝑥5) 𝑐𝑜𝑣(𝑥1, 𝑥6) 𝑐𝑜𝑣(𝑥2, 𝑥6) 𝑐𝑜𝑣(𝑥3, 𝑥6) 𝒗𝒂𝒓(𝒙𝟒) 𝑐𝑜𝑣(𝑥4, 𝑥5) 𝒗𝒂𝒓(𝒙𝟓) 𝑐𝑜𝑣(𝑥4, 𝑥6) 𝑐𝑜𝑣(𝑥4, 𝑥6) 𝒗𝒂𝒓(𝒙𝟔)] (2)

Essa matriz apresenta 1/2[𝑝(𝑝 + 1)] valores únicos de variância e covariâncias, sendo 𝑝 o número de itens. A quantidade máxima de parâmetros passíveis de serem estimados (λ, δ e φ) está subordinada ao número de variâncias e covariâncias disponíveis. Assim, o modelo será

super-identificado quando apresenta um número menor de parâmetros, será identificado quando apresentar o mesmo número de parâmetros e sub-identificado quando apresentar um número maior de parâmetros, sempre comparando com a quantidade de variâncias e covariâncias entre os itens (HAIR et al., 2009).

O cálculo dos estimadores pode ser feito por uma variedade de métodos denominados de métodos de estimação. O mais popular e disponível em praticamente todos os programas de estatísticos é método da máxima verossimilhança (maximum likelihood - ML), indicado para amostras com normalidade multivariada e ausência de dados em branco. Outra possibilidade de estimação é o método dos mínimos quadrados ponderados (Weighted least squares - WLS), capaz de gerar estimadores robustos mesmo em dados onde a normalidade multivariada não está presente, também chamada de distribuição assintoticamente livre de distribuição (Assymptotic distribution-free – ADF) (FINCH; FRENCH, 2015).

Para a AFC, o ajuste do modelo é avaliado a partir de um conjunto de indicadores cujos parâmetros representam três famílias de qualidade de ajuste: índices de ajuste absoluto, índices de ajuste incremental e índice de ajuste de parcimônia. O primeiro conjunto reflete o quão bom é a adequação do modelo teórico proposto pelo pesquisador em conformação aos dados empíricos. Em outras palavras, os índices de ajuste absoluto verificam se as relações propostas na concepção da pesquisa conseguem refletir a realidade que fora encontrada no campo e pode ser verificado pelas medidas descritas a seguir.

A primeira delas é a estatística χ2 (qui-quadrado), amplamente utilizada na avaliação de modelos usando AFC e modelagem de equações estruturais. A estatística χ2 testa a hipótese de que a matriz de covariância do modelo proposto pelo pesquisador se aproxima daquela gerada pelos dados empíricos. Nesse caso, quanto maior a semelhança entre as duas matrizes, menor o valor de estatística χ2 encontrado, preferencialmente com o p-valor associado não significante. Esse último critério, no entanto, tem sido flexibilizado nas pesquisas porque o p-valor é sensível a grandes amostras (n>300) e a um número maior de variáveis observadas implicadas no modelo. Assim, um parâmetro derivado da estatística χ2 tem sido adotado como índice de ajuste absoluto e é resultado da razão entre a estatística χ2 e os graus de liberdade do modelo (χ2/g.l.) com modelos aceitáveis representados com valores menores que cinco. Em comparação de dois modelos AFC com o mesmo número de estimadores, será mais favorável o modelo que apresentar menores valores tanto da estatística χ2 quanto da razão pelos graus de liberdade (HAIR et al., 2009).

Outro índice de ajuste absoluto é o GFI (Goodness fit index), que capta a proporção da variância populacional que é explicada pelo modelo. Seu indicador varia entre 0 (modelo inaceitável) e 1 (modelo plenamente ajustado) e a literatura considera aceitável modelos com GFI com valores acima de 0,90 e desejáveis acima de 0,95 (HOOPER; COUGHLAN; MULLEN, 2008). Como esse índice também é sensível a grandes amostras, uma alternativa é a sua versão ajustada (AGFI - Adjusted goodness fit index), a qual penaliza modelos mais complexos baseada nos graus de liberdade do modelo, ou seja, tende a apresentar melhores indicadores para propostas com um menor números de estimadores a serem calculados. Para o AGFI, são considerados desejáveis valores acima de 0,90 (HOOPER; COUGHLAN; MULLEN, 2008; HAIR et al., 2009).

Outro indicador de ajuste absoluto é a raiz padronizada do resíduo médio, SRMR (Standardised

root mean square residual). Esse indicador é baseado na diferença entre a matriz de covariância

empírica e aquela originada da proposta do pesquisador. Como essa diferença é dependente da escala utilizada, torna-se útil sua padronização, permitindo avaliar modelos concorrentes. Considerando que essa diferença é uma deficiência no ajuste, o resíduo gerado, que pode ser positivo ou negativo, se padronizado e elevado ao quadrado, permite que sua raiz seja analisada e usada para avaliação do modelo. O valor do SRMR pode variar entre 0 e 1 e valores aceitáveis são aqueles menores do que 0,08, sendo considerados desejáveis os valores menores do que 0,05 Similarmente, o RMSEA (Root mean square error of approximation) é um índice que reduz o seu valor para os modelos mais condizentes com os dados a partir análise dos resíduos. Porém, o RMSEA usa os resíduos resultantes da diferença entre a matriz modelada pelo pesquisador e a matriz populacional extrapolada a partir da matriz amostral, considerando que esses resíduos obedecem a uma distribuição χ2 centrada e testam a hipótese alternativa de encontrar uma distribuição χ2 não centrada. Modelos mais complexos ou amostras pequenas (n<200) tendem a ser penalizados e exibir maiores valores de RMSEA. O valor central de RMSEA acompanha um intervalo de confiança e uma amplitude ocorrência. Os valores de RMSEA já foram considerados aceitáveis abaixo de 0,1. Porém, a literatura atual considera que valores centrais abaixo de 0,08 indicam ajustes aceitáveis e valores centrais abaixo de 0,05 refletem modelos propostos de boa qualidade, preferencialmente com limite superior não excedendo a 0,08 (HOOPER; COUGHLAN; MULLEN, 2008; HAIR et al., 2009; WEST; TAYLOR; WU, 2012).

A segunda família de indicadores são os índices de ajuste incremental, também chamados de índices de ajuste comparativo. Eles comparam o modelo proposto pelo pesquisador com um

modelo nulo, no qual as variáveis observadas não são correlacionadas. Entre eles, figuram o NFI, CFI, e o TLI. Em modelos concorrentes, valores maiores dos índices comparativos indicam modelos mais ajustados aos dados.

O NFI (Normed fit index) é baseado na comparação entre a estatística χ2 do modelo proposto e do modelo nulo, no qual não existem correlações entre as variáveis observadas. Valores maiores de NFI indicam que o modelo proposto pelo pesquisador se afasta do modelo nulo, o que é positivo. Valores maiores do que 0,90 e próximo de 1 indicam melhores modelos. O CFI (Comparative fit index) é derivado do NFI com ajustes relacionados ao tamanho da amostra. Também compara a estatística χ2 do modelo proposto e do modelo nulo. Apesar de valores superiores a 0,90 serem aceitáveis, para evitar aprovação de modelos mal especificados, a literatura recente indica um limite mais exigente, considerando bons modelos com CFI maiores do que 0,95. O TLI (Turker-Lewis index) é uma versão não normada do NFI e também é chamada de NNFI (Non-normed fit index). Dada a sua natureza não normada, podem aparecer valores maiores do que 1, dificultando o seu entendimento. Normalmente, valores próximos de 1 indicam modelos mais condizentes com dados empíricos e os valores mínimos desejáveis não são unanimidade na literatura, variando entre 0,8 e 0,95 (HOOPER; COUGHLAN; MULLEN, 2008; HAIR et al., 2009).

A terceira família de indicadores são os índices de ajuste de parcimônia e, entre modelos concorrentes testados pelo pesquisador, eles oferecem maiores valores para modelos mais bem ajustados e mais simples. O primeiro é o PGFI (Parcimony god of fit index) é obtido a partir de uma ponderação do GFI com a razão entre os graus de liberdade usados na estimação e o total de graus de liberdade do modelo. Outro índice parcimonioso é o PNFI, baseado no NFI e também obtido pela ponderação com os graus de liberdade do modelo. Diferentemente dos anteriores, para os índices de ajuste de parcimônia não existem limites pré-definidos. Modelos com bons ajustes podem mostrar PGFI e PNFI a partir de 0,50. Isoladamente, um índice de ajuste de parcimônia não fornece ao pesquisador dados sobre a qualidade do modelo. É na comparação entre modelos concorrentes que se estabelece a sua principal contribuição ao informar o melhor modelo para maiores valores de PGFI e PNFI.

Um resumo dos índices utilizados para avaliar uma modelagem de equações estruturais e análise fatorial confirmatória está apresentado no Quadro 10.

Quadro 10 – Parâmetros da AFC

Tipo Indicador Parâmetro

desejável

Significado

Índices de ajuste absoluto

Teste Qui-quadrado (χ2) p-valor >0,05. Indica o ajuste do modelo

χ2/g.l. <5 Indica o ajuste do modelo

GFI

Índice da qualidade do ajuste

>0,95 Variância explicada pelo

modelo AGFI

Índice ajustado de qualidade do ajuste

>0,90 Variância explicada pelo

modelo ajustada SRMR Raiz do resíduo quadrático médio <0,08 aceitável <0,05 bom modelo

Indica a discrepância entre a variância amostral e a prevista no modelo proposto.

RMSEA

Raiz do erro quadrático médio de aproximação

<0,08 aceitável <0,05 bom modelo

Indica a discrepância entre a variância populacional e a prevista no modelo proposto Índices de ajuste incremental NFI

Índice de ajuste normado

>0,90 Indica o quanto a matriz

observada se afasta de um modelo nulo

CFI >0,90 Refere-se à proporção da

covariância observada que é explicada pela

covariância do modelo TLI

Índice de Turker-Lewis

>0,90 Ajuste para avaliação de

modelos complexos

Índices de ajuste parcimonioso

PGFI Maior para

melhores modelos

Variância explicada ponderada

PNFI Maior para

melhores modelos

Indica o quanto a matriz observada se afasta de um modelo nulo de forma ponderada

Fonte: Compilado pelo autor de Hair et al. (2009), Hooper, Coughlan e Mullen (2008) e West, Taylor e Wu (2012).

O conjunto de indicadores apresentados fornecem ao pesquisador um panorama de avaliação do modelo que permite verificar quão boa é a proposta desenhada pelo pesquisador para modelar os dados empíricos. A recomendação de Hair et al. (2009) é que os indicadores nunca sejam analisados isoladamente, mas em conjunto e respeitando seu significado e função. Para além da avaliação do modelo, o processo de validação de uma escala requer que, para um modelo coerente com os dados e aprovado pelos indicadores de ajuste, sejam analisadas as validades convergente e discriminante, além da confiabilidade da escala, apresentadas no tópico a seguir.

5.2. Validação estatística para escalas de medida 5.2.1. Validade convergente

A variável latente realmente representa o conjunto dos itens naquela dimensão? Para responder essa questão, um teste importante no processo de validação da escala é a validade convergente. O princípio que embasa esse conceito é que a variável latente realmente se identifica com o conjunto das variáveis manifestas, os itens. Ou seja, a validade convergente atesta que os itens, apesar de avaliarem aspectos diferentes, convergem para um mesmo construto latente. Se isso acontece, esse fenômeno se revela em uma alta proporção da variância compartilhada entre os itens e o fator latente. Dois critérios são usados em conjunto para verificar a validade convergente: a carga fatorial do item para o fator latente (λ) e variância média extraída (VME). Usando a Figura 5 para considerar somente um fator latente ξ1, vemos λ11 como a carga fatorial do item x1 para o fator, a análise da carga fatorial com estimadores padronizados indica que ela deve ser significativa e maior que 0,50, sendo preferencialmente maior que 0,70. Quando essa carga é baixa (<0,50), significa que uma maior parte da sua variância é explicada pelo erro δ1, empobrecendo a representação latente.

Figura 5 – Estimadores para um modelo AFC

Fonte: Desenvolvido pelo autor

Complementarmente à análise da carga fatorial dos itens de uma variável latente, pode-se avaliar a validade convergente a partir da variância média extraída (VME) segundo Fornell e Lacker (1981). A VME representa a variância do conjunto de itens que é trazido para a variável latente, assim, uma maior VME indica uma maior capacidade de a variável latente explicar as variações dos itens. A VME pode ser assim calculada:

𝑉𝑀𝐸 =

∑(𝜆2)

𝑉𝑀𝐸 =

∑(𝜆𝑝

2)

𝑛 (4) Onde λ é a carga fatorial de cada item no fator latente, 𝑛 é o número de itens no fator e δ representa a estimativa do erro para cada item. Enquanto a Equação 3 usa as cargas fatoriais (λ) e erros das variáveis (δ) a partir das estimativas diretas, a Equação 4 usa as cargas fatoriais padronizadas (𝜆𝑝), simplificando a operação, mas ambas trazendo os mesmos resultados.

Documentos relacionados