Em geral, a validac¸ ˜ao dos trabalhos considera duas vertentes: validac¸ ˜ao com seres humanos e validac¸ ˜ao t ´ecnica, relacionada ao desempenho da simulac¸ ˜ao.
Em relac¸ ˜ao ao desempenho computacional, foi observada uma
Figura 16 - Tipos de testes envolvendo usu ´arios
Fonte: Autor
al., 2014) (LADJAL; HANUS; FERREIRA, 2013) (LADJAL; HANUS; FER- REIRA, 2011) (GOKSEL; SAPCHUK; SALCUDEAN, 2011a) (WANG et al., 2008) (LADJAL; HANUS; FERREIRA, 2011), principalmente com relac¸ ˜ao `a deformac¸ ˜ao de objetos 3D, que influenciam na interac¸ ˜ao h ´aptica, a qual deve ser mantida a altas taxas de renderizac¸ ˜ao.
Na Figura 16 s ˜ao mostrados trabalhos que realizaram testes com a participac¸ ˜ao de usu ´arios (49,4% do total).
Normalmente em projetos de simulac¸ ˜ao, principalmente de RV e RA, o n´ıvel de realismo proporcionado ´e uma preocupac¸ ˜ao recorrente, sendo men- cionado nos textos de 87,1% dos artigos. Na Figura 17 s ˜ao apresentados dados sobre os tipos de realismo avaliados, mesmo que determinados traba- lhos somente mencionem a preocupac¸ ˜ao com tal aspecto, sem a realizac¸ ˜ao de testes espec´ıficos para determinar o n´ıvel de realismo. As modalidades sensoriais humanas analisadas no contexto de realismo foram visual e t ´atil. Ressalta-se que mesmo a modalidade sonora foi pouco explorada nos traba- lhos, tendo sido citada somente em (LEE et al., 2012). Os recursos visuais e h ´apticos foram amplamente explorados quando comparados com simulac¸ ˜oes de som, cheiro e paladar, sendo que os dois ´ultimos n ˜ao tiveram nenhuma representac¸ ˜ao no conjunto de artigos.
Figura 17 - Natureza do realismo
Fonte: Autor
O treinamento de determinados procedimentos de inserc¸ ˜ao de agulha en- volveu a coordenac¸ ˜ao entre m ˜aos e olhos, pois diversas t ´ecnicas adotaram imagens m ´edicas para auxiliar a execuc¸ ˜ao, por isso, o realismo visual tamb ´em ´e importante no contexto. Outros trabalhos englobaram palpac¸ ˜ao inicial e pos- terior inserc¸ ˜ao de agulha, n ˜ao incluindo o aux´ılio de imagens m ´edicas.
Outro ponto abordado foi a distinc¸ ˜ao entre testes objetivos e subjetivos com usu ´arios. Os testes objetivos est ˜ao relacionados ao desempenho do usu ´ario (tempo de execuc¸ ˜ao de tarefa, erros e acertos durante o movimento da agulha, entre outras m ´etricas de desempenho) (PAOLIS, 2012) (CHAN et al., 2012).
As m ´etricas de desempenho diferem-se de m ´etricas objetivas citadas em trabalhos que visam criar t ´ecnicas para avaliac¸ ˜ao da qualidade da interac¸ ˜ao h ´aptica com base na percepc¸ ˜ao do usu ´ario, (STEINBACH et al., 2012) (CHAUDHARI; STEINBACH; HIRCHE, 2011) (SAKR; GEORGANAS; ZHAO, 2007). A sec¸ ˜ao 4.6 foi elaborada para descrever m ´etricas objetivas perceptu- ais para avaliac¸ ˜ao da interac¸ ˜ao h ´aptica, visto que constitui um dos objetivos do presente trabalho.Em 1,6% dos artigos, as m ´etricas objetivas de desem- penho foram definidas, mas ainda n ˜ao aplicadas (PAOLIS, 2012) (valor n ˜ao computado para os testes objetivos). No conjunto de estudos inclu´ıdos houve
Figura 18 - Tipos de testes estat´ısticos
Fonte: Autor
uma predomin ˆancia dos testes puramente subjetivos, especialmente com o emprego de question ´arios. Foi observada a presenc¸a de 3.2% dos artigos com dois tipos de testes psicof´ısicos (PSE - Point of Subjective Equality e PMRE - Point of Motor Response Equality ) (NISKY et al., 2011) (L ´ECUYER; BURKHARDT; TAN, 2008).
Na Figura 18 s ˜ao apresentados dados sobre os testes estat´ısticos ex- clusivamente com a participac¸ ˜ao de usu ´arios. 55,2% dos artigos inclu´ıdos utilizaram testes estat´ısticos e 3,2% destes apresentaram mais de um teste estat´ıstico. Os testes estat´ısticos empregados com maior frequ ˆencia foram ANOVA (Analysis of Variance) (12,9%), m ´edia (11,3%), desvio-padr ˜ao (8,0%), mediana (6,4%) e t-test (6,4%). No ano de 2009 n ˜ao foi detectada nenhuma aplicac¸ ˜ao de teste estat´ıstico envolvendo usu ´arios.
Na Figura 19 s ˜ao apresentados dados referentes ao n ´umero de partici- pantes dos testes conforme determinados intervalos (menos de 10, de 10 a menos de 20, de 20 a menos de 30, de 30 a menos de 40, de 40 a menos de 50, mais de 50 e N ´umero n ˜ao informado para artigos que n ˜ao especificaram
Figura 19 - N ´umeros de particpantes dos testes
Fonte: Autor o n ´umero de participantes).
Nas Figuras 20 e 21 s ˜ao apresentados dados sobre os n ´umeros de es- pecialistas e novatos que participaram dos testes, considerando os mesmos intervalos adotados para o n ´umero de participantes. O grupo de novatos pode ser formado por iniciantes, residentes e estudantes em qualquer fase do curso, podendo possuir determinada experi ˆencia na realizac¸ ˜ao do procedimento ou tarefa a ser simulada. Os especialistas s ˜ao professores e profissionais relaci- onados ao procedimento ou tarefa a ser simulada.
Na Figura 22 s ˜ao apresentados dados sobre o n ´umero de centros m ´edicos que participaram da validac¸ ˜ao nos experimento dos artigos inclu´ıdos. Tal classificac¸ ˜ao foi efetuada devido `a possibilidade de especialistas de diferentes centros executarem um certo procedimento de formas distintas, apresentando mais de uma soluc¸ ˜ao (COLES; MEGLAN; JOHN, 2011).
A maioria das validac¸ ˜oes com usu ´arios foi realizada com ambas classes de participantes - especialistas e novatos, com 6.4% para artigos envolvendo
somente especialistas e 9,7% somente novatos. Em 48,4% dos artigos n ˜ao
Figura 20 - N ´umeros de especialistas nos testes
Fonte: Autor
Figura 21 - N ´umeros de novatos nos testes
Fonte: Autor
Figura 22 - N ´umeros de centros m ´edicos nos testes
nada a classe dos participantes (4,8%).
O n ´umero de novatos foi maior, com a excec¸ ˜ao de 3,2% dos artigos (CHA- LASANI et al., 2011) (JALOTE-PARMAR; BADKE-SCHAUB, 2010). Os espe- cialistas n ˜ao superaram o intervalo de 20 a 30 pessoas, sendo que os novatos atingiram o intervalo m ´aximo especificado de mais de 50 pessoas, alcanc¸ando um valor m ´aximo de 63 (LUCIANO et al., 2013).
Em 6,4% dos artigos ocorreu uma variac¸ ˜ao nos n ´umeros de participantes de uma fase para outra do experimento por motivos diversos (exclus ˜ao, de- sist ˆencia, participac¸ ˜ao pr ´evia de especialista ou grupo de calibrac¸ ˜ao prelimi- nar, entre outros), normalmente causando a reduc¸ ˜ao desses n ´umeros, como em (LUBOZ et al., 2013) (CHELLALI; DUMAS; MILLEVILLE-PENNEL, 2013) (MANOHARAN et al., 2012) (NISKY et al., 2011).
Os testes foram realizados em um ´unico centro m ´edico (43,5%) do total de 53,2% de artigos que mencionaram os centros, sendo que 6,4% foram em 2 centros e 1,6% em 6 centros. Um ´unico centro m ´edico foi predominante nos anos de 2009, 2011 e principalmente 2012. Dois artigos (3.2%) apresentaram testes formais com especialistas de ´areas distintas (computac¸ ˜ao e medicina) (CHAN et al., 2010) (SOUZA et al., 2008).
Na Figura 23 ´e mostrada a porcentagem de artigos que empregaram ques- tion ´arios na validac¸ ˜ao, classificados como pr ´e, p ´os-testes e ambos. Ques- tion ´arios utilizando escalas Likert com 5, 6 ou 7 itens foram empregados em 11,3% dos artigos. Uma gravac¸ ˜ao dos usu ´arios em ac¸ ˜ao foi observada (LE; NAHAVANDI; CREIGHTON, 2010), entretanto, acredita-se que nos tes- tes objetivos as entradas dos usu ´arios tenham sido gravadas, como trajet ´orias, tempo de execuc¸ ˜ao de tarefas ou fases, n ´umeros de erros e acertos, conside- rando tais entradas como m ´etricas objetivas de desempenho.
Figura 23 - Tipos de question ´arios utilizados nos testes
Fonte: Autor
Os n ´umeros de question ´arios somente pr ´e-teste e ambos foram inferio- res ao n ´umero de question ´arios p ´os-teste, no entanto, s ˜ao dados dif´ıceis de interpretar, pois informac¸ ˜oes consideradas pr ´evias, como sexo, idade, pro- fiss ˜ao, experi ˆencias, entre outras, podem ser adquiridas nos question ´arios p ´os-testes e termos de consentimento para participac¸ ˜ao em experimentos. Seguindo a an ´alise, 3,2% dos artigos utilizaram question ´arios espec´ıficos - ASQ (After-Scenario Questionnaire - IBM (International Business Machines)) (CHOI; CHAN; PANG, 2012) e Coleta Bibliogr ´afica e Escala de Usabilidade de Sistema com 16 itens de satisfac¸ ˜ao (BIBIN et al., 2008).
Para a validac¸ ˜ao de simuladores cir ´urgicos, normalmente s ˜ao utilizadas as medidas validity (MCDOUGALL, 2007). Dessa forma, os n ´umeros de artigos envolvendo face validity, construct validity e content validity foram 4,8%, 1,6% e 1,6%, sendo que em 3,2% dos artigos foram utilizadas mais de uma me- dida, sempre com a presenc¸a da face validity. As medidas predictive validity e concurrent validity n ˜ao foram adotadas.
Para finalizar, com relac¸ ˜ao `a validac¸ ˜ao sob aspectos computacionais, o teste estat´ıstico de regress ˜ao linear foi observado em 4,8% dos artigos, em- pregado para comparac¸ ˜ao entre m ´etodos de Elementos Finitos Linear e N ˜ao Linear (LADJAL; HANUS; FERREIRA, 2013) (LADJAL; HANUS; FERREIRA,
2011), al ´em da comparac¸ ˜ao de trajet ´orias (NISKY et al., 2011). Os testes estat´ısticos m ´edia e desvio-padr ˜ao foram adotados para an ´alise de erros de processamento (MAHDAVIKHAH et al., 2014) (ZHANG et al., 2010b) (MAH- DAVIKHAH et al., 2010) (VILLARD P.F.AND VIDAL et al., 2009).