Avaliação do Modelo Macbeth

Na etapa de avaliação devem ser realizadas a pontuação e ponderação dos critérios e definição do desempenho das opções.

5.5.2.1 Pontuação dos Critérios do Modelo Macbeth

A pontuação dos critérios consiste em atribuir os julgamentos semânticos de diferenças de atratividade23 e, posteriormente, fazendo uso dos recursos da ferramenta M-macbeth gerar uma escala de pontuação. Os julgamentos semânticos devem ser realizados pela comparação em pares entre os níveis de desempenho (qualitativos ou quantitativos) dos critérios. Nessa comparação são utilizadas as categorias semânticas de diferença de atratividade: nula, muito fraca, fraca, moderada, forte, muito forte e extrema.

A diferença de atratividade deve ser informada de acordo com o sistema de valores e expertise do(s) avaliador(es). A Figura 17 apresenta os julgamentos semânticos de diferença de atratividade do critério segurança.

Figura 17 - Interface de julgamentos semânticos do critério segurança. Níveis de desempenhos muito baixo, baixo, médio e alto julgados pelas categorias

semânticas de diferença de atratividade de nula a extrema.

Fonte: Autor (2013).

23

Na Figura 17, os níveis de desempenho representam a recomendação clínica relacionado a segurança. Essa recomendação, com base na metodologia GRADE pode ser expressa em forte contra, fraca contra, fraca a favor e forte a favor (MS, 2011). Entre os fatores que determinam a recomendação clínica está a qualidade das evidências produzidas em estudos primários. Nesse contexto, a diferença de atratividade foi atribuída, considerando os esforços necessários nos estudos primários para obter validade e confiança nos achados desses estudos. Quanto maior confiança e validade dos achados investigados pelos estudos primários, maiores serão os esforços em relação ao rigor metodológico aplicado. Isso não igualmente proporcional de um a outro nível de qualidade das evidências científicas.

Obtidos os julgamentos semânticos, pressionando o ícone , localizado na parte inferior da Figura 17, é possível obter uma escala Macbeth de pontuação. Essa escala representa a função de valor calculada por modelos de programação linear. A Figura 18 apresenta a interface contendo a escala Macbeth de pontuação do critério segurança.

Figura 18 - Interface da escala Macbeth de pontuação do critério segurança.Os níveis de desempenhos muito baixo, baixo, médio e alto foram quantificados

pelos valores -28,57, 0,00, 42,86 e 100,00, respectivamente.

Analogamente os julgamentos semânticos aos demais critérios foram conduzidos. É importante observar que o julgamento semântico deve ser uma resposta verbal dos decisores em relação à diferença de atratividade entre duas ações potenciais x e y, sendo x mais atrativa que y. Não existem métodos capazes de quantificar ou estimar essa diferença de atratividade porque sempre será uma resposta subjetiva, levando em conta o sistema de valores dos decisores em relação ao critério em análise. Logo, na etapa da pontuação dos critérios, a equipe de incorporação, com auxílio do facilitador, deve entrar em consenso sobre os julgamentos adequados a cada critério.

5.5.2.2 Ponderação dos Critérios do Modelo Macbeth

Antes de realizar a ponderação dos critérios é necessário estabelecer uma ordenação de atratividade global. Essa ordenação deve representar a relevância que cada critério possui em relação ao problema de decisão. Posteriormente, devem ser realizados julgamentos semânticos de diferenças de atratividade entre os critérios. A Figura 19 apresenta a ponderação dos critérios aplicada ao estudo de caso referente aos bisturis harmônico e eletrônico.

Os critérios estão ordenados em ordem decrescente: Segurança, eficácia, custo total de propriedade, facilidade de instalação, facilidade de manutenção, usabilidade e curva de aprendizagem. A ordenação dos critérios e os julgamentos semânticos de diferença de atratividade estão fundamentados na literatura, discussões ocorridas em oficinas científicas e expertise dos pesquisadores. Entretanto, a ponderação apresentada na Figura 19 deve servir apenas como sugestão, devendo a equipe de incorporação estabelecer consensos sobre a ordenação e julgamentos dos critérios pertinentes ao processo de incorporação. O facilitador deverá auxiliar os decisores a identificar os pontos relevantes ao estabelecimento das ordenações e julgamentos dos critérios, e organizar as discussões, sempre na tentativa de alcançar um consenso aceito por todos os membros da equipe de incorporação.

De forma similar foi realizada a ordenação para o estudo de caso que investiga o sistema de cirurgia robótica.

Figura 19 - Ponderação dos critérios: Ordenação dos critérios em termos de atratividade global e julgamento semântico de diferença de atratividade entre os critérios.

5.5.2.3 Definição de Desempenho das Opções do Modelo Macbeth

Essa etapa consiste na avaliação das opções em relação a cada critério considerado. Todavia, essa avaliação deverá ser fundamentada em evidências clínicas e evidências do processo tecnológico que permitam realizar o nível de desempenho adequado a cada critério,considerado nas opções pertencentes ao modelo Macbeth.

Nos Relatórios Técnicos, produzidos para ambos estudos de caso, são descritas com detalhes a revisão da literatura que permitiu recuperar, avaliar e sintetizar as evidências científicas e evidências do processo tecnológico das tecnologias avaliadas. Dessa forma, foi possível atribuir os desempenhos das opções do modelo Macbeth construído. A Figura 20 apresenta o desempenho das opções em relação aos critérios para o estudo de caso do sistema de cirurgia robótica.

Figura 20 - Desempenhos do sistema de cirurgia robótica para o procedimento de prostatectomia em relação aos critérios de segurança, eficácia, curva de aprendizagem, facilidade de instalação, manutenção, usabilidade e CTP.Os desempenhos foram atribuídos com base nas evidências clínica e evidências do

processo tecnológico.

Fonte: Autor (2013).

As Figuras 21 e 22 apresentam os desempenhos das opções em relação aos critérios na avaliação de bisturi harmônico e bisturi eletrônico inerente aos procedimentos de tireoidectomia e colectomia, respectivamente.

Figura 21 - Desempenhos de bisturis para o procedimento de tireoidectomia em relação aos critérios de segurança, eficácia, curva de aprendizagem, facilidade de instalação, manutenção, usabilidade e CTP.As performances foram atribuídas

com base nas evidências clínicas e evidências do processo tecnológico.

Figura 22 - Performances de bisturis para o procedimento de colectomia em relação aos critérios de segurança, eficácia, curva de aprendizagem, facilidade de instalação, manutenção, usabilidade e CTP.As performances foram atribuídas

com base nas evidências clínicas e evidências do processo tecnológico.

Fonte: Autor (2013).