O produto final desta tese é um instrumento de medida da adesão ao tratamento da HAS e sua escala. Para Gil (2002) e Motta (1999), uma escala é um arranjo, em forma de série graduada de itens, pelo qual se mede uma característica, de acordo com um número previamente determinado, e são compostas por categorias, que são as gradações ou alternativas de respostas oferecidas. Assim, em uma escala de medida, o papel dos números é de representar um objeto, ou uma pessoa, de forma que a relação entre os números represente a relação empírica entre os objetos (EMBRETSON; REISE, 2000).
Neste contexto, a construção de um instrumento requer etapas bem definidas e Pasquali (2009) apresenta as etapas para a elaboração de um instrumento psicológico. O processo divide-se em três níveis (procedimentos teóricos, empíricos e analíticos), sistematizados na figura a seguir.
Figura 2 - Etapas de elaboração de um instrumento de medida. Fortaleza, 2012
Fonte: Adaptado de Pasquali (2009, p. 90).
Procedimentos Teóricos Procedimentos Empíricos Procedimentos Analíticos - estabelecimento do traço latente a ser medido; - estudo teórico do traço latente; - operacionalização do traço (elaboração dos itens);
- análise teórica dos itens. - definição da amostra de sujeitos; - aplicação dos itens a esta amostra. - análise da dimensionalidade do traço latente; - escolha do modelo da TRI; - avaliação dos parâmetros dos itens e da aptidão do sujeito; - demonstração da adequação do modelo aos dados empíricos.
A parte teórica na elaboração de instrumentos de medida explicita a teoria sobre o construto ou objeto para o qual se quer desenvolver um instrumento de medida, além da operacionalização do construto em itens.
Inicialmente, é fundamental que seja estabelecido o traço latente que se deseja medir. A definição do traço latente pode ser obtida de duas maneiras: definições constitutivas (definições que partem da realidade abstrata e são obtidas por meio de dicionários e enciclopédias) e as definições operacionais (o traço latente é definido através de operações concretas, ou seja, de comportamentos observáveis por meio das quais o traço latente se manifesta). Em seguida, é necessário elaborar os itens com base em suas definições operacionais, observando sua base teórica e evidências empíricas (PASQUALI, 2009).
A literatura, entrevistas e indicadores comportamentais são fontes para a construção dos itens. De acordo com Pasquali (1998), existem alguns critérios a serem observados ao se construir cada item e o conjunto dos itens.
Em relação ao instrumento como um todo, devem ser observados os seguintes critérios:
Quadro 3 - Critérios referentes ao conjunto dos itens do instrumento todo. Fortaleza, 2012
Critérios referentes ao conjunto
dos itens do instrumento todo
Descrição
Amplitude O conjunto dos itens referentes ao mesmo traço latente deve cobrir toda a extensão de magnitude do contínuo desse traço. Na proposta que vamos apresentar, o instrumento deve poder discriminar entre indivíduos de diferentes níveis de adesão ao tratamento da HAS e até mesmo, diferenciar entre si os que possuem um nível alto de adesão, como também entre os que possuem um traço de nível baixo de adesão. Este critério pode ser satisfeito pela análise da distribuição dos parâmetros dos itens da TRI.
Equilíbrio Os itens do mesmo contínuo devem cobrir igual ou proporcionalmente todos os segmentos do contínuo. Para aptidões, deve haver itens fáceis, médios, difíceis e, para atitudes, devem-se preferir os itens fracos, moderados e extremos. Os itens devem ser distribuídos sobre o contínuo de forma que a maior parte dos itens apresente dificuldade mediana e que a menor parte apresente itens fáceis e difíceis.
Os critérios que devem ser observados para a construção de itens individualmente são descritos no quadro abaixo.
Quadro 4 - Critérios referentes ao conjunto dos itens individualmente. Fortaleza, 2012 Critérios para a construção dos itens individualmente Descrição
Comportamental O item deve poder permitir à pessoa uma ação clara e precisa, de sorte que se possa dizer a ela “vá e faça”.
Simplicidade Um item deve expressar uma única ideia de forma a não confundir o sujeito.
Clareza A compreensão das frases é fundamental visto que um item deve ser inteligível para todas as esferas da população. Para tanto, deve-se optar por fradeve-ses curtas, com expressões simples e inequívocas. A linguagem e os termos próprios de cada área devem ser utilizados na formulação dos itens. A preocupação aqui é a compreensão das frases (que representam tarefas a serem entendidas e se possível resolvidas), não sua elegância artística. Relevância A expressão deve ser consistente com o traço latente definido e
com as outras frases, que cobrem o mesmo atributo, ou seja, o item não deve insinuar atributo diferente do definido, o item deve expressar o atributo que realmente deseja medir.
Precisão O item deve possuir uma posição definida no contínuo do traço latente e ser distinto dos demais itens, que cobrem o mesmo contínuo. Este critério, supõe que o item pode ser localizado em uma escala, por meio dos seus parâmetros determinados pela TRI. Modalidade Não utilizar expressões extremadas, como excelente, miserável,
altamente inteligente, etc. A intensidade da reação da pessoa é dada na escala de resposta. Se o próprio item já vem apresentado em forma extremada, a resposta na escala de respostas já está viciada.
Tipicidade Formar frases com expressões de acordo com o traço latente. Objetividade A escala deve permitir uma resposta certa ou errada (itens
dicotômicos) ou mais de duas opções que mantenham coerência entre o conteúdo do item e as alternativas de respostas. No caso de itens de atitudes, estes devem cobrir comportamentos desejáveis (atitudes), de forma que se pode concordar ou discordar sobre se tal comportamento seja adequado ou não. Os itens devem
expressar desejabilidade, existindo gostos, preferências,
sentimentos e modos de ser.
Variedade Variar a linguagem, ou seja, evitar o uso de termos repetidos nos itens. No caso de escalas de preferências deve-se formular metade dos itens em termos favoráveis e a outra metade em termos desfavoráveis de forma a evitar erro da resposta estereotipada à esquerda ou à direita da escala de resposta
Credibilidade O item deve ser formulado de forma que não provoque uma atitude desfavorável para com o teste o que pode aumentar os vieses de resposta.
A última recomendação dos procedimentos teóricos é a análise teórica dos itens: análise semântica (se a análise incide sobre a compreensão dos itens) ou análise dos juízes (sobre a pertinência dos itens ao construto que representam). Assim, por meio da análise semântica, verifica-se se todos os itens são compreensíveis para a população à qual o instrumento se destina. Nesta etapa, é fundamental verificar se os itens são inteligíveis para o estrato mais baixo e o mais alto (de habilidade) da população-meta, de forma a evitar deselegância na formulação dos itens. Na análise dos juízes, procura-se verificar a adequação da representação comportamental do traço latente. Neste sentido, o papel dos juízes é verificar se os itens estão se referindo ou não ao traço latente estudado. Para tanto, os mesmos devem ser peritos na área do traço latente (PASQUALI, 1998; HALFOUN; AGUIAR; MATTOS, 2008).
Pasquali (1998, 2009) recomenda que o critério de permanência de um item é uma concordância de, no mínimo, 80% dos juízes. Logo, o item que não alcançar este percentual deverá ser revisto ou excluído.
Com a conclusão dos procedimentos teóricos, a próxima etapa a ser realizada são os procedimentos empíricos, cuja função é proceder à avaliação da qualidade psicométrica do instrumento. Nesta fase é necessário definir a população e a amostra dos sujeitos que participarão do estudo. É importante que a amostra escolhida permita ampla variação de respostas (PASQUALI, 1998; 2009).
População é o conjunto de elementos que apresentam pelo menos uma característica em comum. Em termos estatísticos, população pode ser o conjunto de usuários com hipertensão arterial, usuários que frequentam o mesmo centro de saúde, todos os profissionais de enfermagem de uma cidade, dentre outros. Amostra é definida como qualquer subconjunto da população (MARCONI; LAKATOS, 2002). Na TRI, a amostragem para a calibração dos itens deve ser do tipo não probabilística intencional. Para Arango (2005), trata-se de um tipo de amostragem não probabilística subordinada a objetivos específicos do investigador.
Em relação ao tamanho da amostra para se ter uma análise de itens usando a TRI, Bortolotti (2010) afirma que depende do número de parâmetros do modelo e do número de categorias do item, isto é, depende do número de
parâmetros a serem estimados. Para Linacre (1994), uma amostra com cerca de 100 respondentes é, muitas vezes, suficiente para estimar de forma estável o modelo logístico de um parâmetro. Tsutakawa e Johnson (1990) indicam uma amostra de aproximadamente 500 respondentes para estimativas precisas dos parâmetros. Orlando e Marshall (2002) acreditam que amostra em torno de 200 ou menos observações podem ser adequados para modelos logísticos.
Neste contexto, Nunes e Primi (2005) afirmam que o tamanho da amostra e a distribuição dos respondentes nos diferentes níveis do traço latente são fatores determinantes para a estimação dos parâmetros dos itens, ao longo da escala. Assim, deve-se ter respondente de todos os níveis do traço latente para calibrar a escala.
Em geral, algumas orientações podem ser úteis na determinação do tamanho da amostra, tais como: a necessidade de aumento no número amostral deve ser proporcional ao aumento da complexidade do modelo e a obtenção de menores erros padrões requer maior número amostral. Entretanto, amostras pequenas podem ser adequadas para avaliar as propriedades de um conjunto de itens e facilitar ajustes necessários (EDELEN; REEVE, 2007).
Por fim, são realizados os procedimentos analíticos que incluem análises estatísticas dos dados coletados para estimar a validade e confiabilidade do instrumento produzido. O termo validade refere-se à demonstração da legalidade da representação, ou seja, ao fato do item estar relacionado com aquilo que se deseja medir (PASQUALI, 2009). Assim, um instrumento é considerado válido quando as diferenças de resultados obtidos com o instrumento refletem as diferenças reais entre respondentes ou entre o mesmo respondente em diferentes situações (ERTHAL, 2003).
As medidas psicológicas possuem três finalidades: o estabelecimento de uma relação funcional com uma variável específica; a representação de um universo de conteúdo específico e a medida dos traços psicológicos. Cada finalidade está relacionada a um determinado tipo de validade: validade de conteúdo, de critério e de construto (ERTHAL, 2003).
O quadro a seguir apresenta uma técnica para a construção de um conjunto de itens, demonstrando a validade de conteúdo, proposta por Pasquali (1997).
Quadro 5 – Passos para demonstrar a validade de conteúdo. Fortaleza, 2012
Passos Descrição
Definição do domínio cognitivo
Definir objetivos gerais e específicos ou os processos que se quer avaliar.
Definição do universo de conteúdo
Definir e delimitar o universo do conteúdo em divisões e subdivisões.
Definição da
representatividade de conteúdo
Determinar a proporção com que cada tópico e subtópico devem ser representados no conjunto de itens.
Elaboração da tabela de especificação
Alistar os conteúdos com os processos cognitivos a avaliar e a importância relativa a ser dada a cada unidade.
Construção do conjunto de itens
Elaborar os itens que irão representar o instrumento (obedecendo as técnicas de construção de itens).
Analise teórica dos itens
Examinar a compreensão das tarefas propostas no conjunto de itens (análise semântica) e a pertinência do item a determinada unidade, associada ao objetivo ou processo que se quer avaliar (análise de especialistas). Analise empírica dos
itens
Definir os níveis de dificuldade e discriminação dos itens por meio da TRI.
Fonte: Adaptado de Pasquali (1997).
Para Nunnally (1978), a validade de conteúdo é alcançada quando um conjunto de itens constitui uma amostra representativa do conjunto de conteúdo que se deseja medir. Logo, os itens do teste devem representar de forma fiel os seus objetivos. Erthal (2003) salienta que na validade de conteúdo, além da representatividade do conteúdo selecionado, é importante a representatividade dos comportamentos envolvidos, não se tratando de uma mera verificação de conteúdo. Para esta autora, é preciso conhecer até que ponto o conjunto de itens que constitui o teste abrange os aspectos necessários para uma boa amostra representativa, devendo ser descrita de forma total a área de conteúdo.
A validade de critério é definida como sendo o grau de eficácia que o conjunto de itens possui em predizer um desempenho particular de um indivíduo. Neste caso, o desempenho do individuo é o critério contra o qual a medida obtida pelo conjunto de itens é avaliada. Existem dois tipos de validade de critério: validade
preditiva e validade concorrente. Na validade preditiva, a coleta da informação sobre o critério ocorre anteriormente à coleta da informação pelo teste a ser avaliado; enquanto na validade concorrente, a coleta da informação pelo teste e a coleta da informação sobre o critério ocorrem de maneira simultânea (PASQUALI, 2009).
A validade preditiva está relacionada à eficiência de um conjunto de itens em predizer resultado futuro, incluindo também a probabilidade de determinado teste predizer o resultado futuro de um respondente, nesse mesmo teste, ou predizer algum aspecto da sua conduta. A validade concorrente, por sua vez, trata-se da correlação entre os resultados de um conjunto de itens e um determinado critério, sem medir um considerável intervalo de tempo. Assim, o tempo em que o critério é utilizado e o objetivo (uma prediz e outra diagnostica) marcam as diferenças entre a validade preditiva e concorrente (ERTHAL, 2003).
A validade de constructo (conceito) é considerada a forma fundamental da validade dos testes psicológicos, visto que é a maneira direta de verificar a hipótese da legitimidade da representação comportamental dos traços latentes (PASQUALI, 2009). É definida como a extensão para qual um teste mede um constructo teórico, isto é, valida a teoria usada para construir o instrumento (NUNNALLY, 1978).
A validação de construto apresenta três aspectos amplamente aceitos: a) especificar o domínio observável relativo ao construto ou traço latente; b) definir a extensão em que o domínio observável tende a medir a mesma coisa, algumas ou muitas coisas diferentes de pesquisas empíricas e análises estatísticas; c) realizar estudos subsequentes de diferenças individuais e/ou experimentos controlados para determinar a extensão em que as supostas medidas do construto produzem resultados que são previsíveis de hipóteses teóricas aceitas relacionadas ao construto. Este último aspecto está relacionado ao fato de uma suposta medida de um traço latente se correlacionar como esperado com as medidas de outros traços latentes ou comprometer-se de forma esperada, por um tratamento experimental particular (NUNNALLY, 1978).
Existem várias formas em que se pode trabalhar a validade de constructo, quer seja usando a TRI ou a Teoria Clássica da Medida (TCM). No caso da TRI, que será utilizada na construção do instrumento para medir a adesão ao tratamento da
HAS, a validade do constructo ocorre por meio da função de informação do teste (FIT) e da função de eficiência relativa, que permite comparar a eficiência de um conjunto de itens, em estimar o traço latente com a capacidade de estimação de outro conjunto de itens (PASQUALI, 2009).
A fidedignidade refere-se à característica que um teste deve possuir para medir sem erros e recebe também os nomes de precisão e confiabilidade. Medir sem erros consiste que o mesmo teste, medindo os mesmos indivíduos em diferentes ocasiões, ou testes equivalentes, medindo os mesmos indivíduos na mesma ocasião, produz o mesmo resultado, ou seja, a correlação entre as duas medidas assume o valor de 1. Esta correlação se distancia tanto do 1 quanto maior for o erro cometido na medida. Neste sentido, a fidedignidade verifica se as medidas são repetíveis, ou seja, tendem a se manterem iguais sobre uma variedade de condições em que essencialmente os mesmos resultados sejam obtidos (PASQUALI, 2009; NUNNALLY, 1978).
Para estimar a fidedignidade dos testes, Pasquali (2009) aponta que existem três tipos de delineamentos (uma amostra de sujeito, um mesmo teste e uma única ocasião; uma amostra de sujeito, dois testes e uma única ocasião; uma amostra de sujeito, um mesmo teste e duas ocasiões) e dois tipos de análise estatística dos dados coletados (correlação e a técnica alfa).
Quanto às técnicas estatísticas, o coeficiente de correlação expressa o nível de relação que existe entre dois eventos, sendo que sua aplicação apresenta algumas limitações. A técnica alfa é aplicada para verificar a consistência interna de um conjunto de itens por meio da análise da consistência interna dos itens. O exemplo mais conhecido é o coeficiente α de Cronbach, cuja fórmula evidencia que se não houver variância entre os itens individualmente, o alfa será igual a 1; isto é, os itens serão idênticos. Esta situação não é de se esperar e, na prática, o alfa varia de 0 a 1, sendo que, ao assumir o valor 0, indica ausência total de consistência interna e, ao assumir o valor 1, significa presença total de consistência interna (CRONBACH, 1951; PASQUALI, 2009).