“O EXAME OBJECTIVO ESTRUTURADO COMO METODOLOGIA DE AVALIAÇÃO DE COMPETÊNCIAS: PRINCÍPIOS BASEADOS NA
INVESTIGAÇÃO EM EDUCAÇÃO MÉDICA”
João José Cerqueira, Hugo Almeida, José Miguel Pêgo Escola de Ciências da Saúde da Universidade do Minho
jcerqueira@ecsaude.uminho.pt
Resumo
A avaliação de competências dos estudantes no ensino superior é um imperativo actual, transversal a todas as áreas disciplinares. Na área da Educação Médica, o tema tem sido objecto de múltiplos e variados trabalhos de investigação, De facto, na área considera-se que existe uma “tecnologia implementada nas práticas de avaliação dos estudantes “ ao nível da pré-graduação e também ao nivel da especialização (Van der Vleuten 2012). Desde a década de 1990 em particular, tem sido desenvolvido um conjunto vasto de metodologias de avaliação inovadoras, aplicáveis tanto em contextos reais como controlados – como os centros ou laboratórios de simulação clínica. Entre as metodologias mais trabalhadas e actualmente aplicadas ao nível da certificação ao nível por exemplo do continente Norte Americano, encontra-se o exame estruturado de competências clínicas (OSCE de Objective Structured Clinical Examination), proposta em 1976 (Ronald Harden 1976). O exame consiste num conjunto de encontros estandardizados do estudantes com indivíduos treinados para desempenhar o papel de um paciente específico. Em cada encontro, todos os estudantes têm o mesmo tempo e dispõem dos mesmos recursos para conduzirem uma entrevista ao paciente estandardizado, sendo avaliados por avaliadores treinados e pelos próprios pacientes. Esta comunicação descreverá a experiência da Escola de Ciências da Saúde da Universidade do Minho com estas provas e incidirá sobre os princípios subjacentes. Explorar-se-á o tema de forma a revelar a aplicabilidade deste tipo de provas a outras áreas disciplinares.
Introdução
A entrada no mundo do ensino superior de conceitos como empregabilidade e mercado de trabalho, gerou mudanças de paradigma, das quais uma das mais importantes é sem dúvida o foco na aquisição, por parte dos estudantes, de competências (de vária índole) e não apenas de um corpo de conhecimentos, durante o seu percurso académico. Neste sentido, torna-se imperativo o desenho de métodos de avaliação que, acompanhando esta evolução, permitam fornecer informação sobre o desenrolar do processo de aprendizagem das competências, tanto numa perspectiva formativa como sumativa. Na área da educação médica, o ensino baseado em competências começou a ser introduzido a partir do anos 1960, por pressão da sociedade (doentes, seguradoras e prestadores de serviços) para que os médicos recém-graduados fossem melhores no desempenho das suas funções. Esta melhoria requeria não apenas um excelente domínio científico e do corpo de conhecimentos, mas um conjunto mais
abrangente de aptidões técnicas e de realização de manobras, capacidade de comunicação, profissionalismo e empatia, entre outras características (Englander et al., 2013). Em 1990, Miller conceptualizou os níveis atingir por um aluno de medicina, durante o processo de aquisição de competências que o transformará de noviço em perito, desde saber e saber como se faz até mostrar que faz e fazer realmente, numa construção em pirâmide que alcançou justa fama (Miller, 1990). De facto, a pirâmide de Miller ajuda a perceber que, além de ensinar o aluno a saber, é imperioso ensiná-lo a saber fazer, a ser capaz de mostrar que o sabe e, mais importante, mas muito mais difícil, a fazê-lo realmente quando estiver a exercer a sua profissão. Torna-se claro, ao acompanhar estas ideias, que uma aprendizgem com estes degraus só pode ser bem avaliada com novos instrumentos, que introduzam componentes de fazer e de maior autonomia. Graças a estes instrumentos, que incluem, além do que dá o título a esta apresentação, observações estruturadas de procedimentos, mini-exames clínicos, portefolios e avaliação de 360º (incluindo pelos doentes e por outros profissionais), para citar alguns exemplos, considera-se que na educação médica existe uma verdadeira “tecnologia implementada nas práticas de avaliação dos estudantes“ ao nível da pré-graduação e também ao nivel da especialização (Van der Vleuten et al., 2012).
Objectivos
Descrever o exame estruturado de competências clínicas (OSCE de Objective Structured Clinical Examination) e analisar os seus benefícios e problemas.
Métodos
Descrição da experiência da escola de ciências da saúde (ECS) da Universidade do Minho e revisão da literatura.
Resultados e conclusões
O OSCE, proposto em 1976 por Harden (Harden et al., 1976) é considerado o método de eleição para avaliação de competências, porque especificamente desenhado para esse fim, podendo ser usado tanto para avaliação formativa como sumativa (Epstein, 2007). Na actualidade, é uma das metodologias mais investigadas, aperfeiçoadas e aplicadas na avaliação das competências em profissionais de saúde, sendo não apenas utilizado por uma parte significativa das escolas médicas, mas também por entidades com responsabilidade última na certificação profissional dos médicos, em países como o Canadá, os Estados Unidos ou o Reino Unido. O exame consiste num conjunto de estações, nas quais o candidato tem um tempo limite para realizar uma tarefa bem definida, envolvendo competências de colheita de história
clínica, comunicação médico-doente, realização do exame físico, interpretação de exames auxiliares ou prescrição (Howley, 2004). Cada estação recorre a um paciente estandartizado (PE), uma pessoa (não necessariamente doente) treinada (e por vezes até caracterizada) para representar uma determinada situação clínica de modo absolutamente reprodutível e o mais fidedigno possível (van der Vleuten e Swanson, 1990). Em cada encontro, todos os estudantes têm o mesmo tempo e dispõem dos mesmos recursos para responder a solicitações semelhantes, sendo o seu desempenho avaliado por monitores treinados e pelos próprios PEs com recurso a uma lista de items ou a uma escala de avaliação global. O recurso a PEs para retratar um caso, a utilização de listas de resposta estruturadas, a observação direta ou gravada do encontro, a multiplicidade de encontros/estações e um sumário escrito dos achados são as principais características distintivas dos OSCE modernos (Casey et al., 2009).
Na ECS, o OSCE foi introduzido em 2009 para avaliar os alunos no final do terceiro ano, sendo desde 2012-2013 obrigatória aprovação no exame (e na disciplina de introdução à medicina clínica) para inscrição a qualquer disciplina clínica dos anos subsequentes. Para permitir a realização dos OSCE, mas também para promover a aprendizagem das competências de entrevista clínica, exame físico e comunicação, tanto em horário escolar como extra-escolar, foi criado também, no âmbito do laboratório de aptidões clínicas da escola, o programa de PEs, que conta actualmente com cerca de 45 pacientes e 50 histórias clínicas preparadas para utilização, numa média de 10 novos pacientes e 12 novas histórias por ano. Em 2012-2013, o OSCE da ECS avaliou 161 alunos e consistiu em 6 estações de 15 minutos, cada uma com um PE, e 5 minutos de intervalo entre estações. Em cada encontro o aluno deve colher uma história clínica e realizar uma manobra de exame físico, avaliados por um monitor presente na sala com recurso a listas de items previamente construídas e validadas. Além destas competências, o aluno é também avaliado, em cada encontro, por um instrumento de avaliação de capacidade de comunicação, preenchido tanto pelo monitor como pelo PE, e, no final de três dos 6 encontros, deve também realizar atividades de síntese da informação clínica, elaborando pequenos relatórios, cotados com recurso a um conjunto de critérios previamente definidos para o efeito.
Ao padronizarem as situações de exame, com recurso aos PEs, e introduzirem uma objectividade na avaliação e, sobretudo, ao permitirem que cada aluno, nas mesmas condições, com os mesmos recursos e durante o mesmo tempo, esteja exposto a um leque alargado de situações, semelhantes entre alunos, e a um leque diversificado de
júris, de composição também semelhante, os OSCEs oferecem uma boa fiabilidade e reprodutibilidade. Contudo, esta pode ser comprometida facilmente se não forem tidos alguns cuidados. Em particular, é necessário ter em atenção o problema da especificidade do conteúdo, ou seja o facto de o desempenho de um aluno dependender criticamente do conteúdo da estação (por exemplo do grupo de patologias). Nestes casos, um número baixo de estações, ao limitar o conteúdo efectivamente testado, pode compremeter irremediavelmente a reprodutibilidade da avaliação uma vez que o desempenho do aluno passa a depender criticamente de determinado conteúdo estar presente ou não no exame. Um maior número de estações (por vezes também medido em termos de duração do exame), além de um excelente treino de avaliadores e dos PEs, é pois uma condição essencial para um exame reprodutível, embora o número mínimo recomendável seja variável consoante os cenários e os modelos estatísticos utilizados (van der Vleuten e Swanson, 1990). Além das dificuldades com a fiabilidade, outra crítica aos OSCE é a sua validade. O recurso a PEs para retratar fielmente situações reais e a utilização de laboratórios de aptidões clínicas com instalações semelhantes aos cenários encontrados na prática clínica aumentam a validade aparente desta modalidade de avaliação, enquanto a utilização de mapas (“Blueprints”) de conteúdos, ao permitir uma distribuição mais alinhada com os objectivos da avaliação, assegura uma boa validade a esse nível. Já a validade medida por comparação com outros métodos (comparativa) se torna mais problemática, em grande medida devido à especificidade dos construtos avaliados pelos OSCE. Na realidade, a maioria dos métodos de avaliação com os quais se poderia comparar o desempenho dos alunos nos OSCE destina-se a avaliar outros domínios, que não o das competências, o que pode implicar, logo à partida, uma correlação baixa entre os dois (van der Vleuten e Swanson, 1990). Finalmente, a validade preditiva parece ser razoável, havendo dados que mostram uma boa associação entre desempenho de cada aluno no OSCE e desempenho do mesmo na sua vida profissional futura (Auewarakul et al., 2005).
A necessidade de quantificar o desempenho dos alunos coloca sempre desafios. No caso dos OSCEs, um bom treino dos PEs, para tornar o quadro o mais reprodutível e fidedigno possível, mas sobretudo um excelente treino dos avaliadores, para evitar problemas como inconsistência entre avaliações do mesmo avaliador, leque muito restrito de avaliações ou avaliadores demasiado exigentes ou demasiado permissivos, são essenciais (Iramaneerat e Yudkowsky, 2007). Também relevante é a discussão entre a utilização de listas de items e escalas de avaliação global, cada vez mais ganha em
favor da segunda. Na realidade, embora uma das caraterísticas dos OSCE, tal como foram criados, fosse a utilização de listas de items, que permitiriam uma maior objetividade na avaliação, a experiência com a sua utilização mostrou que a avaliação delas resultante era, ainda assim, dependente do avaliador. Mais importante, constatou-se que, ao privilegiar a objetividade, estas listas podiam não refletir os componentes subjectivos, mas ainda assim essenciais, do desempenho de uma tarefa, comprometendo a validade das avaliações resultantes, em particular em domínios como as competências de comunicação (Mazor et la., 2005). Embora inerentemente mais sujeitas a subjectividade, porque menos dirigidas, as escalas de avaliação global, sobretudo se precedidas de um treino adequado dos avaliadores, envolvendo ampla discussão dos conceitos de bom e mau desempenho e, idealmente, exercícios de calibração com visualização de desempenhos em situação real, parecem proporcionar maior reprodutibilidade inter-observador e maior validade (Regehr et al., 1998). Finalmente, importa ainda salientar alguns problemas de índole mais pragmática inerentes aos OSCEs, como o facto de consumirem extensos recursos, desde tempo dos docentes a dinheiro da instituição, necessitarem de acesso a um número suficiente de PEs bem treinados, requerendo por isso um programa de PEs bem desenvolvido, e precisarem também de um espaço próprio, o mais realista possível, idealmente um laboratório de aptidões clínicas, cuja manutenção pode ser difícil (Turner e Dankoski, 2008).
Apesar das dificuldades, os benefícios dos OSCE vão muito para além de permitirem avaliar competências dos alunos, oferecendo um equilíbrio entre uma situação controlada, mas ao mesmo tempo próxima do real que é difícil obter com outros métodos. Na realidade, o conhecido efeito de “ensinar para o teste”, que em curricula orientados para a aprendizagem pode ser reformulado como “aprender para o teste”, habitualmente entendido como prejudicial, pode neste caso gerar dividendos muito positivos. Escolas que implementam exames tipo OSCE reportam, por exemplo, mais informação obtida pelos tutores sobre os desempenho dos seus alunos, uma melhoria das sessões preparadas pelos docentes para os alunos, um aumento da motivação de ambos e maior confiança e menos ansiedade dos segundos, o conjunto resultando num aumento gradual do desempenho colectivo dos alunos não só no teste como nos seu percurso futuro (Duerson et al., 2000). Neste sentido, podemos considerar os OSCE não apenas como um instrumento de avaliação de competências com bom perfil psicométrico, como também um motor de mudança no sentido de um maior
empenho de docentes e discentes no processo de aprendizagem, sendo por isso um elemento precioso no armamentário de qualquer instituição de ensino superior.
Referências
Auewarakul C, Downing SM, Jaturatamrong U, Praditsuwan R. (2005) Sources of validity evidence for an internal medicine student evaluation system: an evaluative study of assessment methods. Med Educ 39:276-83.
Casey PM, Goepfert AR, Espey EL, Hammoud MM, Kaczmarczyk JM, Katz NT, Neutens JJ, Nuthalapaty FS, Peskin E; Association of Professors of Gynecology and Obstetrics Undergraduate Medical Education Committee. (2009) To the point: reviews in medical education--the Objective Structured Clinical Examination. Am J Obstet Gynecol. 200(1):25-34.
Duerson MC, Romrell LJ, Stevens CB.(2000) Impacting faculty teaching and student performance: nine years’ experience with the objective structured clinical examination. Teach Learn Med 12(4):176-82.
Englander R, Cameron T, Ballard AJ, Dodge J, Bull J, Aschenbrener CA. (2013) Toward a Common Taxonomy of Competency Domains for the Health Professions and Competencies for Physicians. Acad Med. (in press)
Epstein R. (2007) Assessment in medical education N Engl J Med 356(4):387-96.
Harden R, Stevenson M, Downie WW, Wilson GM. (1975) Clinical competence in using objective structured examination. Br Med J 1:447-51.
Howley L. (2004) Performance assessment in medical education: where we’ve been and where we’re going. Eval Health Prof 27(3):285-303.
Iramaneerat C, Yudkowsky R. (2007) Rater errors in a clinical skills assessment of medical students. Eval Health Prof 30(3):266-83.
Mazor KM, Ockene JK, Rogers HJ, Carlin MM, Quirk ME. (2005) The relationship between checklist scores on a communication OSCE and analogue patients’ perceptions of communication. Adv Health Sci Educ 10(1):37-51.
Miller G. (1990) The assessment of clinical skills/competence/performance. Acad Med 65:S63– S67.
Regehr G, MacRae H, Reznick RK, Szalay D. (1998) Comparing the psychometric properties of checklists and global rating scales for assessing performance on an OSCE-format examination. Acad Med 73(9):993-7.
Turner JL, Dankoski ME (2008) Objective Structured Clinical Examinations: a critical review. Fam Med 40(8):574-8.
van der Vleuten CP, Schuwirth LW, Driessen EW, Dijkstra J, Tigelaar D, Baartman LK, van Tartwijk J. (2012) A model for programmatic assessment fit for purpose. Med Teach. 34(3):205-14.
van der Vleuten CPM, Swanson DB. (1990) Assessment of clinical skills with standardized patients: state of the art. Teach Learn Med 2(2):58-76.
