Etapa 2: Estimativa do traço latente e recalibração de itens
III. Outras estatísticas de detecção do DP
4. PROCEDIMENTOS METODOLÓGICOS
4.2 BI E DEFINIÇÃO DO DESIGN DO CAT
4.2.1 Composição do BI inicial e escala
O BI inicial consiste de 71 itens de múltipla escolha, com cinco alternativas de resposta; seus respectivos parâmetros, que foram calibrados pelo modelo ML3P da TRI para respostas dicotômicas (Equação 1); e do Módulo (conteúdo) ao qual cada item pertence. A escala desenvolvida tem por objetivo mensurar o conhecimento dos profissionais sobre os temas abordados durante o curso e que estão relacionados à Saúde Mental: Álcool e outras drogas.
Os itens foram desenvolvidos por especialistas da área e abordam sete Módulos: 1) Drogas e sociedade; 2) SUS, Políticas de Saúde Mental e Direitos Humanos; 3) Atenção Psicossocial e Cuidado; 4) Organização dos serviços para garantir acesso e promover vinculação do usuário de drogas; 5) Processo de trabalho no serviço de atenção à usuários de álcool
e outras drogas; 6) Recursos e Estratégias do Cuidado; e 7) Singularidades no Cuidado da Rede de Apoio Psicossocial.
O Módulo 1 é composto por 12 itens, Módulo 2 e Módulo 3 por 11 itens cada, Módulo 4 por 8 itens, Módulo 5 por 9 itens, Módulo 6 e Módulo 7 por 10 itens cada. A representação das CCIs dos 71 itens pode ser observada na Figura 16. De forma geral, os parâmetros de discriminação variaram de 0,67 a 2,95, com média de 1,62. Os parâmetros de dificuldade variaram entre -2,32 e 1,35, com média de -0,77. Os parâmetros de acerto ao acaso variaram de 0,07 a 0,28, com média de 0,18.
A escala de referência foi desenvolvida por meio de testes não- adaptativos, que foram aplicados via computador para profissionais de três turmas que concluíram o curso, no período de outubro de 2014 a março de 2015. Assim, utilizou-se a escala N(0,1), onde o zero da escala representa o conhecimento médio deste grupo de referência.
A Função de Informação do Banco de Itens (FIBI) inicial é apresentada na Figura 17. Observa-se que a curva se encontra deslocada à esquerda da média zero da escala de medida, ou seja, há mais itens fáceis do que itens difíceis no BI.
Figura 16 – CCIs dos 71 itens que compõem o BI inicial.
Figura 17 – FIBI com 71 itens.
Fonte: Elaborada pela autora.
A interpretação qualitativa da escala e a definição das habilidades por nível de conhecimento foi realizada por dois especialistas na área de Saúde Mental: Álcool e outras drogas, pelo método de definição de níveis âncora para posicionamento dos itens (ver ANDRADE; TAVARES; VALLE, 2000). A escala de conhecimento em Saúde Mental: álcool e outras drogas possui sete níveis âncora interpretáveis (-3, -2, -1, 0, 1, 2, 3), os quais foram classificados em níveis qualitativos de desempenho: insuficiente, básico, proficiente e avançado, conforme o Quadro 12. 4.2.2 Definição do design do CAT operacional
Diversos métodos foram comparados por meio de simulações com a finalidade de definir o design do CAT, antes de sua aplicação efetiva aos respondentes. Para tal, considerou-se um BI real, cujo traço latente que está sendo investigado é o conhecimento dos profissionais nos temas abordados durante o curso.
O teste, na sua concepção original, não é considerado de alto impacto. Por isso, a definição do design do CAT e a aplicação do teste não restringem os itens a uma taxa máxima de exposição. No entanto, simulações são efetuadas incluindo também esta restrição e seus impactos são avaliados. Por limitações relacionadas ao objetivo da avaliação e do BI, parte da sistemática de manutenção proposta neste trabalho foi
implementada durante a aplicação de duas edições de testes e os resultados serão analisados e apresentados.
Quadro 12 – Feedback geral dos níveis qualitativos da escala em Saúde Mental: Álcool e outras drogas.
Níveis
qualitativos Feedback Insuficiente
(abaixo de -3)
Seu aprendizado sobre os conceitos básicos do campo do cuidado em saúde mental, álcool e outras drogas deve melhorar substancialmente. Sugerimos que retome as leituras dos capítulos e refaça as atividades. Sua participação é essencial para o avanço do cuidado em saúde mental, álcool e outras drogas.
Básico (de -3 a 0)
Você demonstrou domínio de conceitos básicos para atuar no campo da saúde mental, álcool e outras drogas que envolvem a organização dos processos de trabalho na RAPS, os fundamentos da clínica da atenção psicossocial e o desenvolvimento de atitudes e estratégias terapêuticas, bem como a necessidade de desconstruir estereótipos e realizar o acolhimento em situações de crise aos usuários de drogas. Precisa, agora, ampliar ainda mais seus estudos, suas reflexões e conhecimentos. Continue estudando, seu envolvimento com o cuidado das pessoas com uso problemático de álcool e outras drogas é muito importante!
Proficiente (de 0 a 3)
Você demonstrou ter adquirido os conhecimentos esperados pelo curso, para além dos conhecimentos básicos. Você mostrou-se capaz de compreender a atuação em equipe interdisciplinar, analisar a complexidade do campo da atenção psicossocial e as implicações das teorias e concepções aprendidas, planejar ações de prevenção, de redução de danos e posicionar-se frente aos estigmas e preconceitos associados aos usuários de drogas. Sugerimos que aprofunde seus estudos no sentido de qualificar ainda mais o cuidado em rede para as pessoas com uso problemático de álcool e outras drogas. Parabéns!
Avançado (acima de 3)
Você foi além da apreensão dos conhecimentos demandados pelo curso, Parabéns! Agora você pode contribuir para o avanço das políticas e do cuidado em saúde mental, álcool e outras drogas realizando estudos avaliativos e exercendo permanentemente a crítica sobre as práticas e teorias estabelecidas, a partir de pesquisas e produção de conhecimento.
4.2.2.1 Simulação de respondentes e matriz de respostas
Para avaliar a eficiência e precisão dos algoritmos que serão comparados sob diferentes regras e seus impactos na estimação do traço latente e no uso do BI, traços latentes verdadeiros para 1.000 respondentes foram gerados de uma distribuição normal, θ~N(0,1). Posteriormente, considerando o traço latente verdadeiro de cada respondente, as respostas aos 71 itens foram geradas a partir de uma distribuição de Bernoulli com parâmetros pij, para ML3P (Equação 1). Essa matriz de respostas foi armazenada para ser utilizada nos estudos simulados do CAT.
4.2.2.2 Critérios para avaliação dos métodos
Buscando encontrar o melhor design para o CAT operacional, níveis de segurança do BI foram avaliados pelo comprimento médio do CAT, taxa de exposição dos itens, taxa de sobreposição de teste e uso dos itens do BI, que representa o número de itens não utilizados em cada condição.
Para avaliar os impactos na estimação dos traços latentes, utilizaram-se medidas de precisão como viés, RMSE, média do EP, variação do EP (EP máximo e mínimo), proporção de respondentes que atingiram a regra de parada do CAT com base na precisão preestabelecida e correlação entre os traços latentes verdadeiros e estimados.
O Viés e RMSE são calculados da seguinte maneira:
ˆ 1
ˆ
(19) 1 n j j j n viés
ˆ 1
ˆ
(20) 1 2 n j j j n RMSE A taxa de exposição do item i (TEi) é dada por:
) 21 ( n X TEi i
A taxa de sobreposição do teste (TS) é dada por:
) 22 ( 1 1 2 I i i I i i TE TE TSonde n é número de respondentes; θj é o traço latente verdadeiro do respondente j e
ˆj é a estimativa do traço latente para o respondente j; Xi corresponde ao número de vezes que o item i foi administrado entre todos os respondentes j.A administração de todo o conjunto de itens aos respondentes serviu como uma condição de controle, resultando em uma matriz de dados completa para o CAT. Também, são fornecidas algumas representações gráficas e tabelas cujos resultados são condicionais por decil dos traços latentes. Ou seja, estatísticas condicionais da estimativa do traço latente em função dos decis dos verdadeiros níveis de traço latente. Ex.: viés médio condicional por decil.
4.2.2.3 Estudos para definição do algoritmo
Nesta seção, apresenta-se como foram efetuados os seis estudos de simulação para definir o design do CAT operacional. Destaca-se que o resultado de um estudo auxilia na tomada de decisão do algoritmo testado nos estudos subsequentes. A restrição de BC sempre foi considerada nos algoritmos testados para o CAT, a não ser que seja especificado o contrário.
A restrição de BC é especificada pelo Módulo ao qual cada item pertence. Assim, itens são aplicados de forma proporcional a quatidade de itens de cada módulo no BI, conforme os seguintes passos (MAGIS; RAICHE, 2012):
1. Se nenhum item foi administrado, um subgrupo é escolhido