Metodologia de Análise Estatística

A análise estatística teve três focos principais: avaliar o desempenho dos estudantes nas dimensões cognitiva (prova escrita), procedimental (OSCE) e atitudinal (Mini-CEX).

4.7.1.1 Análise Estatística da Avaliação do Desempenho Cognitivo

Tendo em vista a utilização do instrumento anteriormente detalhado, composto por uma prova objetiva de múltipla escolha contendo 27 questões de saúde sexual e reprodutiva, resultaram 27 questões dicotômicas (Certo/Errado). Além desses resultados foram registrados o sexo e a idade do estudante e se ele havia cursado ou não o componente curricular optativo Saúde Reprodutiva (Grupos SR e não SR, respectivamente).

Foram definidos, segundo o quadro 4, dez temas em função de subconjuntos das 27 questões , ..., da prova objetiva, denotando Erro=0 ou Acerto=1. O desempenho em cada tema foi avaliado por 10 vezes a média das questões Qi a ele pertencentes, gerando uma nota no intervalo [0, 10]. Após a

definição dos dez temas, foram definidas três dimensões como sendo a média das notas dos temas a elas pertencentes, segundo a padronização discriminada no quadro 3.

A hipótese nula multivariada sob teste é a de que “os fatores Grupo (SR, não SR), Sexo (Masculino, Feminino) e a covariável Idade não têm efeito sobre o perfil médio de resposta” formado pelos dez temas, bem como sobre o perfil médio de respostas formado pelas três dimensões. Para avaliar tal hipótese foram ajustados dois modelos Multivariados de Covariância (ANCOVA) com medidas repetidas descritos pela seguinte formulação matemática:

, onde i=1, 2,...,n indica o i-ésimo indivíduo e j=1, 2, ..., k indica a k-ésima variável resposta.

O primeiro modelo teve como resposta o vetor de Temas e como predictores os fatores Grupo, Sexo e a covariável Idade. O segundo modelo foi similar ao primeiro, mas tendo como resposta o vetor de Dimensões ]. Ao ser detectado efeito significativo em pelo menos um dos fatores, foram estimados contrastes univariados para destacar o efeito existente sobre os Temas e Dimensões. Os resultados também foram ilustrados através de gráficos de perfil

médio com intervalos de 95% de confiança. Média, Erro Padrão e Intervalo de confiança de 95% são apresentados em tabelas para Temas e Dimensões por grupo e Sexo.

4.7.1.2 Análise Estatística da Avaliação do Desempenho Procedimental (OSCE)

Em cada OSCE foram registradas variáveis dicotômicas (1=Realizada, 0=Não realizada) relativas a duas dimensões: Comunicação (variáveis Ci, i≤ 8) e

Técnica (variáveis Qi, i≤ 13), além do Desempenho Global. Transformações destas

variáveis geraram três componentes: Componente Comunicação - , Componente Técnica - , e Nota Final

Ponderada - ).

Para o componente Comunicação, foram também geradas três sub componentes ou domínios da comunicação (ANEXO B), segundo as seguintes fórmulas: domínio da informação - DOM_INFO = 10.MÉDIA(C3,C5,C6,C8), domínio Rapport - DOM_RAPPORT = 10.MÉDIA(C1,C2,C4,C7),e domínio da Educação - DOM_EDUC = 10.MÉDIA(C2,C6). O agrupamento dos itens do domínio Comunicação nos subdomínios acima referidos resultou da análise por parte de um comitê constituído por três professores com especialização em Educação Médica e expertise na área de avaliação por competências, tomando como referência as categorias relatadas por Truncali et al72(2011).

Portanto, seis variáveis foram geradas a partir dos itens avaliados nos checklists das estações de OSCE, além do Desempenho Global, que constitui um vetor resposta de dimensão set na escala [0 a 10].

 Efeito dos fatores sobre a resposta: para cada variável resposta representando a nota obtida pelo aluno nas várias componentes de avaliação, foi ajustada um modelo ANCOVA fatorial com a seguinte formulação matemática:

, onde Yi é a nota obtida pelo i-ésimo aluno em dada componente de avaliação.

O modelo acima teve como finalidade estimar o efeito dos fatores Grupo (SR ou não SR), Sexo (Masculino, Feminino), Avaliador (1, 2) e a interação entre Grupo e Sexo, eliminando o possível confundimento com a covariável Idade.

 Fidedignidade entre avaliadores: para avaliar a fidedignidade (ou coerência) entre os avaliadores 1 e 2 em relação aos sete componentes, foi aplicado o coeficiente alfa de Cronbach (α–Cronbach) padronizado, estatísticas sobre as respostas dos avaliadores e o test F para comparar a média entre avaliadores. A mesma metodologia foi aplicada na comparação da resposta média dos avaliadores 1 e 2 com a resposta do ator no componente Comunicação. O coeficiente alfa de Cronbach é uma medida da consistência interna em um grupo de itens, calculado segundo a seguinte fórmula:

,

Onde N é o número de itens, é a covariância média entre itens e a variância média. Quanto maior o valor de , maior a fidedignidade entre os itens73.

 Correlação entre componentes de avaliação e desempenho global (nota subjetiva): a correlação entre os componentes de avaliação e o desempenho global foi mensurada pelo coeficiente de correlação de Pearson.

 Correlação entre o desempenho cognitivo e desempenho procedimental: foi avaliada usando uma técnica de Análise Estatística Multivariada denominada Correlação Canônica. Ela se aplica quando se necessita avaliar globalmente a correlação entre dois diferentes conjuntos de variáveis medidas em cada indivíduo. Neste caso, o primeiro conjunto consiste em seis componentes de avaliação medidas nos diversos OSCE (excluindo-se a componente NFP por ser combinação das demais), e o segundo conjunto consiste dos dez temas medidos na prova objetiva (as dimensões não foram consideradas por haver forte redundância com os temas). A técnica de análise consiste em avaliar a correlação simples entre um par de variáveis canônicas (V1, V2) determinadas, representantes de cada conjunto das variáveis originais. Cada variável Vi, i=1, 2, é uma soma ponderada das variáveis de seu conjunto obtidas segundo a condição de que elas detêm a máxima

correlação(ρ) entre si denominada primeira correlação canônica. O resultado é apresentado pelo valor da correlação encontrada e o p-valor obtido no teste da hipótese H0 : ρ=0 versus H1 ≠ 0, além do diagrama de dispersão constituído pelos

pares de pontos (xi, yi) formados pelos escores fatoriais canônicos.

4.7.1.3 Análise Estatística da Avaliação do Desempenho atitudinal (Mini-CEX)

Na avaliação do desempenho atitudinal aplicou-se a mesma metodologia usada na avaliação cognitiva. No primeiro modelo foram consideradas como respostas as diversas competências avaliadas com o instrumento (Quadro 7) e num segundo modelo, as duas variáveis representando o grau de satisfação do avaliador e o grau de satisfação do estudante. Em ambos, foram considerados como fatores preditivos o grupo (SR, não SR), sexo (masculino, feminino) e a covariável idade.