Procedimentos da análise de dados

Após a coleta dos dados iniciou-se a análise inferencial de quais itens se ajustariam melhor em cada setor da adaptação (para encontrar o modelo final) e também para criar uma normatização para o novo QDAO de tal modo que se identificasse os indivíduos com possíveis casos problemas. Para a investigação foi apresentada uma análise descritiva, descrevendo o perfil sociodemográfico dos participantes da amostra, após esta apresentação dos resultados iniciou-se a fase da pesquisa que seria a identificação ou dos agrupamentos dos itens conforme os setores da adaptação, isto é, um agrupamento de itens que identificassem os respectivos se- tores para poder criar uma normatização.

Para identificar tais agrupamentos dos itens foi utilizada a Teoria de Resposta ao Item (TRI) com a aplicação de duas metodologias: MIRT e bfactor. Optou-se por estas duas meto- dologias, pois a MIRT parte do não conhecimento dos agrupamentos dos setores perante os itens e a bfactor parte de um conhecimento dos setores perante os itens, além disso deixa que um item pode carregar no máximo em uma dimensão específica (Cai, 2010) e deixa no máximo duas dimensões, mas ambas metodologias partem de uma mesma estrutura teórica da Estimação de Máximo Verossimilhança e utilizam correlações policóricas.

Uma das vantagens da TRI sobre a Teoria Clássica é que ela permite a comparação entre indivíduos da mesma população, pois ela tem como elementos centrais os itens isolados (An- drade, Tavares & Valle, 2000) e também a independência dos resultados em relação a amostra que se usou para estimação dos parâmetros (Couto & Primi, 2011).

A TRI é muito utilizada atualmente quando se trata da identificação de algum constructo (variável não observável), que neste caso é a Eficácia Adaptativa, e que utilizam instrumentos que medem este tipo de construto, através de itens (variáveis qualitativas) com respostas nomi- nais ou ordinais. Por exemplo instrumentos que avaliam traços ou características psicológicas não observáveis diretamente por meio de itens que descrevem comportamentos aos quais o respondente aponta sua resposta por meio de uma escala de resposta do tipo Likert, pois a TRI leva em consideração as características dos respondentes quanto à discriminação do item con- forme, neste caso, o seu setor adaptativo.

Na análise inferencial foram utilizados e apresentados os resultados tanto na metodolo- gia MIRT quanto na metodologia bfactor, mas a metodologia MIRT não apresentou um bom modelo final (goodness-of-fit), pois na procura da dimensionalidade o critério da ANOVA ficou comprometido e talvez devido a alguma falha nessa modelagem se refletiu na escolha do nú- mero de dimensões ficando esta metodologia comprometida, assim como os seus respectivos coeficientes: discriminativos (a) e de dificuldade (ou indecisão) (d ou b) e foi descartado. Mas a metodologia bfactor apresentou um modelo final razoável, deixando um item em cada dimensão específica e com razoáveis resultados dos seus respectivos coeficientes: discrimina- tivos e de dificuldade (ou indecisão) (a e b (d)) sendo alguns interpretáveis e dentro de sua própria teoria, portanto este foi considerado a metodologia mais adequada para encontrar o modelo final para esta análise.

Tendo realizado a escolha do modelo final, que se deu utilizando a metodologia bfactor, o novo QDAO ficou reduzido de 177 itens para sessenta (60) itens bem ajustados e distribuídos os sessenta itens entre os quatro setores (S1=A-R, S2=S-C, S3=Pr e S4=Org) da seguinte ma- neira: 36 para o setor S1, 9 no setor S2, 7 no setor S3 e 8 no setor S4, daí partiu para as análises dos coeficientes de discriminação e dificuldade (a, b ou d), onde nas discriminações não apre-

sentavam valores das suas estimativas de acordo com a teoria para todos os setores e o coefici- ente Alpha de Cronbach em cada setor foram baixos em 3 setores e somente um dos setores (S1=A-R) teve o Alpha de Cronbach aceitável (0,78), o que era de se esperar, pois esta meto- dologia procura deixar no máximo duas dimensões. Mesmo com este modelo final razoável foi realizado uma proposta para a normatização.

Para a normatização foi proposta uma das técnicas estatística que identifica pontos dis- crepantes, ou seja, é capaz de mostrar quais os indivíduos que serão convidados a fazer uma avaliação para prevenção de conflitos em uma das áreas do setor adaptativo. Essa é a técnica estatística do intervalo interquartil que apresenta um intervalo com limites: inferior (li) e supe- rior (ls), de tal modo que os valores (padronizados) dos indivíduos que fiquem fora desse inter- valo [li ; ls] são considerados valores discrepantes, ou seja, os indivíduos que estejam fora dessa faixa são considerados fortes candidatos a conflitos em algum setor. A construção desses limites se deu com as somas dos itens de cada indivíduo, e depois as suas respectivas padronizações

(ebz) calculando assim os quartis e depois os limites inferiores (li) e superior (ls) do chamado

intervalo interquartil finalizando uma proposta para a normatização. Após a construção desses limites ou Intervalos, foram identificados quatorze (14) indivíduos como fortes candidatos a conflito na adaptação, sendo: cinco indivíduos no setor S1 (A-R), seis indivíduos no setor S2 (S-C), três indivíduos no setor S3 (Pr) e nenhum no setor S4 (Org). Pode-se considerar que o ideal seria considerar somente o setor Afetivo Relacional (S1), que é a proposta desta modela- gem bfactor e teve o maior Alpha de Cronbah.

Com isso foi possível criar uma norma que possibilite o diagnóstico operacionalizado de identificar “fortes” candidatos a intervenção preventiva referente ao construto da Eficácia Adaptativa, mas esse modelo deverá ser utilizado com cautela, pois o modelo que deu origem a esses passos é considerado um modelo final razoavelmente bom.

Todos esses procedimentos de análise de dados comentados até este momento serão mais detalhados no item (4) resultados.

Para a análise dos dados foi utilizado a técnica da Teoria de Resposta ao Item (TRI) com o Método Graded Response Model (GRM) ) (Samejima, 1969) ou Modelo de Resposta Gradual de Samejima, pois está técnica procura determinar o número de dimensões (fatores) conveni- entemente, é das muito utilizada nos dias de hoje, é ideal para análise de construto e com vari- áveis qualitativas ordinais. Como os itens deste instrumento estão numa escala de medida Likert, considerada uma escala ordinal ou gradual (1 a 5), logo esta técnica foi considerada ideal quanto ao objetivo da pesquisa além dela discriminar os itens conforme o construto. Também conhe- cido itens com escala Likert, ou uma escala ordinal, como itens politômicos.

Então para a análise de itens politômicos existem algumas variações de metodologias que se usam quando a variável é ordinal (vide Natureza dos Itens), quanto a execução deles para encontrar as dimensões do modelo. E dentre as metodologias optou-se por uma delas: o Modelo de Resposta Gradual (GRM), pois foi o que teve um comportamento melhor quanto as iterações, pois os demais modelos foram “rodados” ou utilizados, mas as suas iterações não se completavam satisfatoriamente e alguns deles terminavam na primeira iteração com um número alto de dimensões. Um segundo método, sugerido pela banca de qualificação, para encontrar os coeficientes foi proposto dentro da teoria da TRI que se chama bfactor, a diferença é que está metodologia, parte já do número de dimensões conhecidos, também lida com variáveis quali- tativas ordinais e cada item discrimina no máximo uma dimensão específica.

A análise dos dados para encontrar o modelo final, com seus respectivos coeficientes, foi realizada por meio do software RStudio, onde está implementado o pacote Multidimensional

Item Response Theory (mirt ou TRIM ou Full-Information ItemFactor Analysis) (Chalmers,

latentes, pois essa teoria é a mais indicada para avaliar quando se trata de mais de um traço latente e que se pode optar por métodos conforme a natureza dos itens.

Neste caso, o instrumento de medida foi analisado por duas metodologias, sendo a pri- meira o que chama-se de MIRT quando se está diante de avaliar itens respondidos em escala

Likert, numa escala gradual, onde as dimensões foram avaliadas através do método Graded Response Model (GRM) (Andrade, Tavares & Valle, 2000) e a segunda o que chama-se bfactor

onde ajusta um modelo confirmatório, também utiliza quando a variável é qualitativa ordinal. Existem vários softwares no mercado que poderiam avaliar estas modelagens multidi- mensional com dados politômicos, mas optou-se por pelo software RStudio que é um software livre e está sempre em desenvolvimento tem uma linguagem de programação tanto para gráficos como para cálculos estatísticos e pertence a uma interface R. Esse software é gratuito e muito utilizado para pesquisas em geral com sólida aceitação em universidades e empresas no mundo todo, podendo ser instalado através site: https://cran.r-project.org/ , as suas atualizações são constantes.

R é uma linguagem e também um ambiente de desenvolvimento integrado para cálculos

de computação, estatística e gráficos (Site: https://www.r-project.org/about.html, acesso

01.08.2019). Foi criado originalmente por Ross Ihaka e por Robert Gentleman, também conhecido como “R & R” do departamento de Estatística da universidade de Auckland,

Nova Zelândia, e desde meados de 1997 tem crescidos os acessos a escrita em R. O R

não seria o que é hoje sem a ajuda inestimável de pessoas, que contribuíram doando

código, correções de bugs e documentação ... (Site: https://www.r-project.org/contribu-

O pacote mirt, que está implementado no software RStudio, é amplamente utilizado em pesquisas para avaliar traços latentes em casos multidimensionais principalmente em área aca- dêmica como vestibular ou Enem (Barbetta, 2013), analisando os perfis dos estudantes. Este pacote permite que os dados podem ter itens com respostas dicotômicos e/ou politômicos, e também existe o pacote ltm (Latent Trait Model) para casos unidimensionais em estruturas de respostas dicotômicas, politômicos e nominais (Rizopoulos, 2006). O pacote bfactor, também está implementado no software RStudio.

Neste estudo foi proposto o modelo da Teoria de Resposta ao Item Multidimensional utilizando os pacotes: mirt e o bfactor, ambos têm uma metodologia mais sofisticada e precisa para este tipo de análise, pois permite a construção de um instrumento de medida com escalas de habilidades (𝜃′𝑠) levando em consideração os construtos latentes dos indivíduos, encontra- dos através dos itens.

Para encontrar as estimativas dos parâmetros do primeiro modelo proposto TRIM, uti- lizou-se o método do algoritmo EM (Expectation-Maximization) para as iterações de Máxima Verossimilhança, sendo esse algoritmo EM default para até 3 fatores neste software RStudio que está sendo utilizado. Quando se aumenta o número de dimensões foi utilizado o algoritmo QMCEM (Quase-Monte Carlo EM) ou MCEM ou Stochastic EM (SEM), conforme a conver- gência deles.

Esses métodos de algoritmos maximizam a probabilidade de ocorrência dos dados que aparecem nas respostas dos indivíduos. O algoritmo é um processo iterativo para a determina- ção das estimativas de Máxima Verossimilhança de parâmetros de modelos de probabilidade na presença de variáveis aleatórias não observadas (Andrade, SINAPE 2000) ele faz aproxima- ções sucessivas até atingir uma constância nos estimadores já comentado. As estimativas dos parâmetros do segundo modelo proposto (bfactor) foi utilizado o método do algoritmo EM (Expectation-Maximization).

Para encontrar o modelo final necessita-se de saber o número de dimensões ideal, de tal modo que elas identificam o construto, na primeira proposta de modelo (TRIM), ou seja, para a determinação do número de fatores necessários ou adequados para explicação do traço latente, se deu como base no critério da ANOVA sugerido por Chalmers (2012). Esse critério identifica o número de dimensões (fatores) ideais através de comparações entre os modelos.

Com base nas comparações entre os modelos, verifica-se a adequação e consequente- mente na dimensionalidade do modelo através da observação dos valores das estatísticas: AIC e logLik em cada modelo proposto e escolhe como o melhor modelo, por aquele, que tiver o menor valor AIC entre eles. O programa apresenta também a estatística BIC que é o Critério de Informação Bayesiano, mas neste contexto não será apresentado nem discutido, pois este tra- balho não apresenta conceitos na linha Bayesiana, além disso a estatística BIC não seleciona o mesmo modelo que o AIC, sendo o BIC mais inclinado a escolher modelos com menos parâ- metros, mesmo erroneamente (Fragoso, 2010).

Na segunda proposta de modelagem (bfactor) o número de dimensões já é estabelecido no início da modelagem, portanto não há a necessidade de verificar a adequação quanto ao número de dimensões, além disso ele deixa no máximo duas dimensões, mas as comparações dos modelos, através da ANOVA, foram realizadas através das mesmas estatísticas: AIC e log-

Lik, também escolhendo o modelo com menor valor entre eles.

Utilizando o MIRT está se buscando o número de dimensões ideais para caracterizar o construto deste trabalho, inicia por um número pequeno de dimensões e vai aumentando, a cada aumento de dimensão faz a comparação através da ANOVA a cada dois modelos, ou seja, está sendo testado a Ho (hipótese nula) que é o modelo com p dimensões ajusta bem os dados versus Ha (hipótese alternativa) o modelo com p+1 dimensões ajusta bem os dados, decidindo qual o melhor modelo que tem o número de dimensões ideal através das estatísticas AIC, loglik e o nível descritivo, após escolhido o número de dimensões ideal verificava-se quais itens estavam

ajustados, através da estatística Qui quadrado com p>5%. Utilizando o bfactor que já existe o número de dimensões, porem verificava quais itens estavam bem ajustados (p>5%) e a cada retirada dos itens executava a modelagem até que todos os itens estivessem adequados, mas na finalização deixa apenas duas dimensões. Em ambas metodologias está sendo buscado os agru- pamentos dos itens ajustados perante essas dimensões para a verificação das estimativas dos parâmetros da discriminação e da dificuldade (indecisão).