Esta etapa é a finalização do processo de validação e o que pode ser denominado por Pasquali de “normatização” do instrumento. São procedimentos estatísticos que compreendem os últimos quatro passos propostos por Pasquali (1999).
9º Passo: Dimensionalidade: Neste passo recomenda-se que se faça aqui a análise empírica dos dados utilizando a Curva Característica do Item (ICC), também conhecida como Item Response Theory (IRT) – Teoria da Resposta do Item (TRI). Há três parâmetros envolvidos nessa teoria: a dificuldade, a discriminação e a resposta aleatória. Em todos eles trabalha-se o traço latente, entendendo-se que os sistemas psicológicos latentes possuem dimensões, ou seja, propriedades de diferentes magnitudes ou mensuráveis. Por isso, esta teoria também é conhecida como a teoria do traço latente ou a teoria da curva característica do item, pelo fato de produzir uma curva logística para cada item (PASQUALI, 1997).
No presente estudo, essas análises não foram realizadas em função de limitações técnicas.
Confiabilidade e Validade
Duas propriedades são indispensáveis para as medidas empíricas: a confiabilidade e a validade. A confiabilidade é a primeira característica que um instrumento deve possuir e é definida como a medida em que o instrumento produz os mesmos resultados sobre medidas repetidas, a confiabilidade diz respeito então, à precisão, a estabilidade, a equivalência e a homogeneidade de um instrumento (LOBIONDO-WOOD; HABER, 2001).
Ao se falar em validade, aponta-se para uma interpretação dos dados resultantes da aplicação do instrumento em relação à proposta para a qual está sendo usado, refere-se a se um instrumento mede exatamente o que deve medir. Quando o instrumento é válido, reflete verdadeiramente o conceito que deve medir (LOBIONDO-WOOD; HABER, 2001).
A confiabilidade e a validade de um instrumento, não são totalmente independentes, pois, um instrumento de mensuração que não é confiável terá mais chances de não ser válido (LOBIONDO-WOOD; HABER, 2001; POLIT; HUNGLER; BECK, 2004).
10 º Passo: Análise dos itens - Validade do Construto: Existem três tipos principais de validade, que variam de acordo com o tipo de informação fornecida e com o propósito do investigador: de conteúdo, de construto e relacionada ao critério.
A validade de conteúdo representa o universo do conteúdo, ou o domínio de um dado construto. O pesquisador começa por definir o conceito e identificar as dimensões dos componentes do conceito, são formuladas as questões que refletem o conceito e as suas dimensões, quando esta tarefa é completada, as questões são submetidas a um grupo de juízes, considerados especialistas neste conceito. A forma de avaliar esta validade pode ser por meio do índice de validade de conteúdo, análise de concordância com juízes e validade de rosto com teste piloto (LOBIONDO-WOOD; HABER, 2001). Nesta investigação a validade de conteúdo foi realizada na primeira fase da pesquisa por meio da concordância entre juízes.
A validade de construto baseia-se na medida em que um teste mede um traço ou construto teórico. Ela tenta validar um corpo de teoria subjacente à medição e testagem das relações hipotéticas. A testagem empírica confirma ou não as relações que seriam previstas entre conceitos. Alguns testes estão envolvidos nesta validade: as abordagens de testagem de hipótese, abordagem convergente e divergente, de grupos contrastados e análise de fator (LOBIONDO-WOOD; HABER, 2001). A presente pesquisa desenvolveu esta validade durante este 10º passo do referencial metodológico de Pasquali (1999), para análise do item, selecionou-se como teste grupos contrastados.
A validade relacionada ao critério indica em que grau o desempenho do sujeito da pesquisa sobre a ferramenta de medição e o comportamento real do sujeito da pesquisa estão relacionados. Existem duas formas de validade, a coincidente, que se refere ao grau de correlação de duas medidas do mesmo conceito administradas ao mesmo tempo e a validade de previsão, que diz respeito ao grau de correlação entre a medida do conceito a alguma medida futura do mesmo conceito (LOBIONDO-WOOD; HABER, 2001). No estudo em questão não foi possível aplicar esta validade pelo fato dos métodos apresentarem dificuldades técnicas para a realização.
11º Passo: Precisão da escala - Confiabilidade/ fidedignidade
Após a validade, será realizada a verificação da confiabilidade. A confiabilidade de um instrumento diz respeito a coerência, clareza e precisão. Neste procedimento três aspectos podem ser observados: a estabilidade, a equivalência e a homogeneidade.
A estabilidade de um instrumento refere-se à capacidade de medir o conceito de forma coerente com o passar do tempo, particularmente importante nos estudos longitudinais, ou estudos de intervenção que planejam afetar uma variável específica. A equivalência representa a concordância entre observadores que usam a mesma ferramenta de mensuração - considera-se um instrumento equivalente quando dois ou mais observadores têm alta porcentagem de concordância. Já a homogeneidade ou consistência interna de um instrumento refere-se ao fato do atributo das questões dentro de uma escala medirem o mesmo conceito (LOBIONDO-WOOD; HABER, 2001).
Para Polit e Hungler (2004), a fidedignidade de um instrumento de medida é o principal critério para se medir a sua qualidade de adequação. A fidedignidade cobre aspectos diferentes de um teste, mas todos eles se referem a quanto os escores de um sujeito se mantêm idênticos em ocasiões diferentes. Por exemplo, os escores obtidos em um e em outro determinado momento para os mesmos sujeitos, devendo o traço que o teste mede se manter constante sobre estas diferentes ocasiões. Portanto, a fidedignidade de um teste está intimamente ligada ao conceito de variância-erro, sendo este definido como a variabilidade nos escores produzida por fatores estranhos ao construto (PASQUALI, 1999). A definição estatística de
fidedignidade é feita através da correlação entre escores de duas situações produzidas pelo mesmo teste, sendo que este, para ser realmente exato, precisa aproximar-se da unidade 0,90 (PASQUALI, 1999).
Várias são as técnicas utilizadas para verificar a confiabilidade/fidedignidade de instrumentos de medida. Para aferir a estabilidade existem os testes chamados forma alternada ou paralela e o teste-reteste, quanto à equivalência, a confiabilidade pode ser medida também pela forma alternada ou paralela, além da avaliação interavaliador, quanto à homogeneidade do instrumento, esta pode ser medida pelo teste de correlações totais, metade dividida, KR 20 e alfa de cronbach (LOBIONDO-WOOD; HABER, 2001).
Para esta investigação foi determinada a fidedignidade do instrumento por meio do teste-reteste para medir a estabilidade do instrumento e o alfa de cronbach para garantir a homogeneidade ou análise do coeficiente de consistência dos itens. Estas técnicas foram selecionadas pelo fato dos outros métodos apresentarem dificuldades técnicas para realização.
12º Passo: Estabelecimento de normas: “A padronização ou normatização, em seu sentido mais geral, refere-se à necessidade de existir uniformidade em todos os procedimentos no uso de um teste válido e preciso, desde as precauções a serem tomadas na aplicação do teste, até o desenvolvimento de parâmetros ou critérios para a interpretação dos resultados obtidos” (PASQUALI, 1997; BRAGA, 2004).
Pasquali (1997), menciona que o critério de referência, ou a norma de interpretação, é constituído tipicamente por dois padrões: 1) o nível de desenvolvimento humano (normas de desenvolvimento) e 2) um grupo padrão constituído pela população típica para o qual o teste é construído (normas intragrupo).
As normas de desenvolvimento humano estão relacionadas à interpretação dos escores de um teste baseada no desenvolvimento. Fundamentam- se no desenvolvimento progressivo (maturação psicomotora, psíquica, etc) pelo qual o indivíduo passa ao longo da vida (idade mental, série escolar, estágio de desenvolvimento). Nas normas intragrupo, o critério de referência de escore é o grupo ou a população para a qual o teste foi construído. Como normalmente não são
conhecidos os escores da população, é sobre uma amostra representativa desta que as normas são estabelecidas. (PASQUALI, 1997).