METODOLOGIA ESTATÍSTICA

Na etapa de análise dos dados, foram realizadas análises de dimensionalidade, realizando-se uma análise exploratória para identificação do número de dimensões e a adequação de cada item às dimensões. Foi verificado a adequação do modelo multidimensional compensatório da teoria da resposta ao item e por fim, com base na análise exploratória, foi realizada a verificação do modelo bifatorial.

Esta etapa seguiu os seguintes passos:

- avaliação do número de dimensões por meio de análise fatorial de informação restrita e de informação plena;

- avaliação da qualidade dos 75 itens, com base nas cargas da análise fatorial de informação plena;

- validação das dimensões sugeridas na primeira etapa por meio de análise estatística e de relação do conteúdo de cada item nas referidas dimensões; - verificação da adequação do modelo de multidimensional compensatório da teoria da resposta ao item frente ao modelo unidimensional; e

- verificação da adequação do modelo bi-fatorial frente ao modelo multidimensional compensatório da teoria da resposta ao item e ao modelo unidimensional.

3.4.1 - Avaliação do número de dimensões

A avaliação no número de dimensões do conjunto inicial de dados, com 75 itens, foi feita por meio do método de análise fatorial de informação restrita e o método de análise fatorial de informação plena. No primeiro método, o número de dimensões foi verificado com base na matriz de correlação tetracórica e na análise paralela discutida na seção 2.3.2, para isso foi utilizado o pacote psych (REVELLE, 2012) implementado no software R (R CORE TEAM, 2012).

Como contraponto, a dimensionalidade do conjunto total foi verificada por meio do método de informação plena. Neste método, conforme discutido na seção 2.3.2, a natureza dicotômica dos itens limita o uso da análise fatorial exploratória mais frequentemente encontrada na literatura (JOHNSON, WICHERN, 2007) e implementada nos programas estatísticos tradicionais. Foi utilizada a abordagem descrita por Bock e Aitkin (1981) e Bock, Gibbons e Muraki (1988), na qual o tratamento de itens dicotômicos e estimação das cargas dos fatores é feito por meio da técnica denominada análise fatoriais de informação plena, implementada no software R (R CORE TEAM, 2012) no pacote mirt (CHALMERS, 2012) e no software flexMIRTTM (CAI, 2012). Neste método, o número de dimensões foi avaliado com base em dois critérios de informação, o critério de informação bayesiano (Bayesian Information Criterion – BIC) (SCHWARZ, 1978) e o critério de informação de Akaike (Akaike Information Criterion – AIC) (AKAIKE, 1973). A utilização deste método para determinação do número de dimensões é discutido por Bartolucci et al. (2012), Nylund et al. (2007) e Rost (1997). Basicamente estes critérios comparam o possível aumento de informação em um modelo com número de dimensão m frente a um modelo com número de dimensões m+1, isto é feito como base no valor de máxima verossimilhança do modelo e do número de parâmetros livres (graus de liberdade). Assume-se que o melhor modelo é o que apresenta menor valor nestes critérios (BARTOLUCCI et al., 2012; ROST, 1997).

3.4.2 - Avaliação da qualidade dos itens

Após a verificação do número de dimensões do conjunto de 75 itens, realizou-se a avaliação da qualidade dos itens. Teve como objetivo principal reduzir o número de itens do conjunto com base na carga fatorial de cada item. Assumiu-se que itens com carga fatorial muito baixa em todas as dimensões refletem em itens que não possui relação direta com o construto que esses estão medindo, no caso, qualidade em websites comerciais. Itens com carga inferior a 0,300 ou comunalidade inferior a 0,200 foram considerados de baixa qualidade e consequentemente foram retirados do conjunto, seguindo a indicação de Hair et al. (2009).

3.4.3 - Validação das dimensões

Após a redução do número de itens por meio da metodologia descrita no item anterior, foi feita uma nova verificação do número de dimensões para os itens restantes. Esta avaliação, num primeiro momento seguiu exatamente a mesma metodologia da subseção 3.4.1; num segundo momento foi avaliada a possível correlação entre as dimensões, com a finalidade de definir a escolha no tipo de rotação a ser utilizada para distribuição das cargas dos itens em cada dimensão. A partir desta definição, foram avaliadas as cargas de cada item nas dimensões, posicionando assim o item na dimensão em que este apresenta maior carga. Ao final desta distribuição, cada grupo de itens característicos de uma dada dimensão foi avaliado quanto ao seu conteúdo tendo como base a teoria sobre qualidade em websites.

3.4.4 - Verificação da adequação do modelo unidimensional e unidimensional múltiplo

O primeiro modelo, relacionado diretamente com a teoria da resposta ao item, testado foi o modelo unidimensional de dois parâmetros, representado pela equação (4). O objetivo principal da aplicação deste modelo em um construto, teoricamente, multidimensional foi verificar o comportamento individual de cada item e identificar algum padrão que pudesse identificar grupos de itens com comportamento unidimensional. Além desta modelagem puramente unidimensional aplicada a todos os itens, para efeito de comparação com o modelo multidimensional, foi aplicado um modelo unidimensional em k grupos de itens, denominado neste trabalho de modelo unidimensional múltiplo não correlacionado. A definição do número de grupos (k) foi feita com base na definição do

número de dimensões validadas conforme metodologia indicada na seção anterior.

3.4.5 - Verificação da adequação do modelo de multidimensional compensatório

Apesar de haver um paralelo direto entre análise fatorial e a Teoria da Resposta ao Item Multidimensional (TRIM), como discutido na seção 2.3.1, a TRIM desenvolve uma análise mais completa, considerando além das cargas fatoriais, tidas no modelo como parâmetros de discriminação dos itens nas dimensões, o posicionamento relativo dos itens em relação a sua dificuldade e, além disso, estima a habilidade do respondente na mesma métrica, que na presente abordagem é o grau de qualidade de um website comercial. Desta forma, a comparação entre a AF e a TRIM se deu apenas no nível de carregamento das cargas fatoriais e dos parâmetros de discriminação.

Para verificar a adequação do modelo multidimensional compensatório realizou-se primeiramente uma comparação estatística entre o modelo unidimensional da TRI, o modelo logístico de dois parâmetros e o modelo multidimensional compensatório. Esta primeira comparação foi feita comparando-se os dois critérios de informação descritos da subseção 3.4.1, o critério de informação bayesiano (BIC) (SCHWARZ, 1978) e o critério de informação de Akaike (AIC) (AKAIKE, 1973), juntamente com o teste de análise de variância (Anova) sugerido e implementado no R por Chalmers (2012). Ainda nesta comparação, realizou-se uma verificação teórica levando em consideração os conceitos de qualidade de website contida em cada item e a estimação dos parâmetros em cada modelo.

Uma segunda comparação foi realizada, assumindo-se um modelo unidimensional múltiplo não correlacionado multi-unidimensional, ou seja, após identificação dos itens nas k dimensões encontradas na subseção 3.4.3, definiram-se k modelos unidimensionais e avaliou-se a consistência teórica das estimações comparando os k modelos unidimensionais com o modelo multidimensional.

3.4.6 - Verificação da adequação do modelo bi-fatorial

A diferença básica entre o modelo bi-fatorial e o modelo multidimensional compensatório da TRI, é a de que o primeiro apresenta um fator geral no qual todos os itens carregam e outras dimensões específicas. Mais detalhes sobre as diferenças entre estes modelos foram discutidos no capítulo 2.

O modelo bi-fatorial mais difundido na literatura é o modelo de natureza confirmatória. Casos específicos de análise exploratória Jenrich e Bentler (2011), vêm sendo desenvolvidos; entretanto, sua aplicação prática ainda é limitada. Desta forma, a abordagem adotada neste trabalho foi a confirmatória. Para isso, foram tomadas como base as definições do número de dimensões e dos agrupamentos de itens definidos na seção 3.4.3 assumindo-se como dimensão geral a qualidade de websites comerciais.

O ajuste do modelo bi-fatorial com relação ao modelo compensatório da TRIM foi avaliado com base nos critérios de informação descritos da subseção 3.4.1, o critério de informação bayesiano (BIC) (SCHWARZ, 1978) e o critério de informação de Akaike (AIC) (AKAIKE, 1973).

Além da avaliação do ajuste estatístico, foi verificado o ajuste teórico dos itens às duas estruturas, bi-fatorial e multidimensional compensatória, e também a avaliação dos escores (grau qualidade dos websites) e seus significados práticos em cada escala gerada.

3.5 SÍNTESE DO CAPÍTULO

O procedimento metodológico utilizado no presente trabalho, de uma forma geral, contou com a caracterização da pesquisa, elaboração dos itens, coleta de dados e metodologia estatística.

Quanto à caracterização, a presente pesquisa é predominantemente quantitativa contando, entretanto, com uma base exploratória qualitativa que teve como objetivo compreender a área de estudo sobre qualidade em websites comerciais e servir de base para a elaboração dos itens.

Foram elaborados e validados por juízes 75 itens, todos teoricamente ligados a qualidade de websites. Tais itens, apesar de serem itens de resposta objetiva e independents da percepção dos usuários foram baseados em estudos anteriores que utilizaram testes com usuários e/ou pesquisa de satisfação.

A coleta de dados foi realizada em 441 websites comerciais de origem brasileira. Dos 75 itens, 56 foram coletados de forma manual e outros 19 foram coletados automaticamente por meio da ferramenta Achecker.

A metodologia de análise estatística realizou primeiramente avaliação do número de dimensões do conjunto de itens seguido de uma verificação da qualidade de cada item seguindo assim para uma validação das dimensões e a verificação da adequação dos modelos multi e

unidimensionais da teoria da resposta ao item assim como o bi-fatorial. Os resultados e as discussões destas verificações são apresentados no capítulo seguinte.