Os testes do sistema foram feitos com duas categorias de usuários: professores (em um número de três) e alunos (em um número de 15). Os testes foram feitos em micros de diversas configurações, com navegadores dos mais variados.
Os especialistas da área (professores) realizaram iterações com o sistema, analisando cada função do sistema, a inserção de documentos no sistema, bem como sua navegação.
Também foram disponibilizados para usuários não especialistas (alunos), que também realizaram iterações com o sistema, consultando informações sobre os casos clínicos bem como realizando as atividades propostas e as simulações.
Como forma de avaliação do sistema, foi elaborado um formulário (Apêndice A) onde os usuários que realizaram os testes e validações informavam uma nota entre 0 e 10 para os critérios apresentados. Também ao fim do formulário foi delimitado um espaço para o usuário descrever as características relevantes que observou no protótipo e as possíveis melhorias para o mesmo.
No formulário todos os critérios foram apresentados com uma breve descrição, para que o usuário tivesse um auxilio em cada critério de avaliação, sendo definidas duas categorias de avaliação:
Usabilidade: avalia a facilidade de uso de dispositivos de software interativo, com um total de treze critérios: a)Presteza; b)Agrupamento; c)FeedBack; d)Legibilidade;
e)Concisão; f)Ações mínimas; g)Densidade informacional; h)Ações Explícitas;
i)Controle do usuário; j)Flexibilidade; k)Experiência do usuário.; l)Significados; e m)Compatibilidade;
Funcionalidade: avalia o funcionamento e a consistência do protótipo e sua base de conhecimentos, com um total de seis critérios: a)Consistência; b)Contexto; c)Qualidade;
d)Identificação; e)Apresentação; e f)Atendimento;
Para elaboração dos critérios de avaliação da usabilidade do protótipo foi tomado como base o projeto Ergolist (ERGOLIST, 2007) da Universidade Federal de Santa Catarina (UFSC), que apresenta os principais critérios de avaliação de interfaces homem-computador disponibilizadas via Web/Internet.
Este formulário foi apresentado a um total de 18 usuários, sendo 3 usuários especialistas em estomatologia e 15 alunos. Com todas as avaliações realizadas, foram extraídas as notas e realizada uma análise estatística para chegar a nota final do sistema.
As notas informadas pelos usuários foram analisadas separadamente por categoria (Usabilidade e Funcionalidade) e também de maneira geral, sendo então calculadas as médias para cada avaliação realizada, definindo desta forma a amostra de notas para avaliação.
As notas foram divididas em classes. Na Tabela 5 são apresentados as classes de notas e as respectivas freqüências de cada categoria.
Tabela 5. Classes e freqüências
Categoria 5.01 a 6.00 6.01 a 7.00 7.01 a 8.00 8.01 a 9.00 9.01 a 10.00
Usabilidade 1 5 11 1
Funcionalidade 1 6 8 3
Geral 1 5 6 6
Na Figura 52 é apresentado os histogramas de cada categoria representando as classes e freqüências encontradas.
Figura 52. Histograma das notas de usabilidade , funcionalidade e geral.
Também se obteve as medidas de localização que apresentam o centro da amostra e também as medidas de dispersão que apresentam a variabilidade dos valores em relação as medidas de localização, conforme apresentados na Tabela 6.
Tabela 6. Medidas de localização e dispersão Categoria
Média Desv. Padrão
Usabilidade 8,28 0,0256
Funcionalidade 9,82 0,1280
Geral 8,5 0,9800
Pela análise da média em relação ao desvio padrão, os usuários fizeram uma avaliação homogênea do sistema.
Considerando o instrumento aplicado, os professores deram notas mais baixas que os alunos nos itens: Ações Explícitas e Experiência do Usuário. No que se refere as ações explícitas, a queixa se deu devido ao fato dos navegadores Internet Explorer com versões anteriores a versão 6 não estarem respondendo a contento a função de anexar conteúdos. Nestes navegadores tal função está instável, porém pretende-se rever a estrutura para solucionar o problema. No item Experiência do Usuário, a queixa se deve ao fato de haver necessidade em alguns casos de conversão do material
para PDF, o que não faz parte do cotidiano de muitos usuários. Para solucionar isto, há necessidade de um treinamento para a equipe de professores que utilizará o sistema.
Considerando as avaliações dos alunos, os itens com avaliação mais baixas (valores entre 6,5 e 7,3) referem-se a identificação e apresentação. Os alunos se queixaram que o sistema deveria apresentar os conteúdos e as variáveis e explicações em uma linguagem mais formal, ou seja, mais próxima da sala de aula. Tal fato é pertinente uma vez que já é sabido na área de Educação a Distância que o conteúdo disponibilizado deve ter uma linguagem diferenciada para se tornar mais atraente. Tal fato foi reportado aos professores que prepararam os conteúdos (professores estes, que cederam gentilmente seus materiais de aula para esta pesquisa) e sugerido que se houve interesse do curso, seja feita uma oficina sobre como confeccionar tais materiais para ambientes virtuais.
Questionados de maneira informal sobre a motivação em usar um ambiente virtual de aprendizagem, os alunos colocaram que a idéia é interessante, porém ainda esbarra na disponibilidade da tecnologia em suas residências. Muitos alunos ainda possuem internet discada ou não possuem internet em casa, acessando somente na universidade. A maioria se mostrou bem interessado, até mesmo porque desconheciam este tipo de aplicação para a área de Odontologia.
4 CONCLUSÕES
Este trabalho consistiu no desenvolvimento de um projeto para criação de um ambiente virtual para simulação de casos clínicos em estomatologia. Um dos pontos chaves do trabalho foi na escolha da ferramenta a ser utilizada como motor de inferência da árvore de decisão do sistema especialista. Para isso foi feito uma análise de três ferramentas (CLIPS, JCLIPS e JEOPS) para saber qual delas se adequaria melhor para o desenvolvimento do sistema. Entendeu-se que o JEOPS foi a melhor escolha por possuir maior compatibilidade com o Java e principalmente por utilizar o conceito de orientação a objetos na criação de suas regras.
Inicialmente, na proposta do projeto, foi avaliado a necessidade de um fórum específico para discussão de novos casos clínicos que seriam gerenciados pelos professores. Com a modelagem do projeto e prévia implementação, viu-se que não era interessante manter esse recurso separado do próprio fórum a ser disponibilizado no sistema e decidiu-se integrar as duas ferramentas em apenas um fórum dentro do sistema.
Durante o desenvolvimento do sistema, espeficamente o uso da base de regras do JEOPS, notou-se que o JEOPS utiliza uma função (assert) de nome reservado nas versões atuais do Java.
Essa função é responsável pela inserção do objeto dentro da base de regras, fundamental para o funcionamento da simulação. Foi necessário escrever uma nova função com nome diferente (tell) para poder acessar a função sem ocasionar problemas de incompatibilidade com palavras reservadas do Java.
Em relação a aceitação do sistema para utilização por partes dos professores no ensino de Odontologia, os alunos se mostraram surpresos em saber da possibilidade de haver ambientes que ajudem no desenvolvimento de suas habilidades enquanto alunos da área, assim como os professores que consideram uma idéia válida para aplicação do ambiente no ensino.
Para desenvolvimento futuro pode-se citar alguns melhoramentos do ambiente como:
Adicionar novas doenças na base de regras para que se possa simular uma gama maior de doenças;
Melhorar a usabilidade para que alunos e professores tenham uma maior facilidade de usar o ambiente;
Melhorar no que se refere a compatibilidade com navegadores inferiores ao Internet Explorer 6 para que o ambiente possa ser usado em computadores mais antigos que ainda são muito utilizados na maioria das casas dos alunos e universidades;
Desenvolver uma interface adaptativa que se adeque conforme a necessidade e preferências do usuário; e
Adicionar um módulo com gráficos de desempenho do aluno em relação a sua turma, para avaliação própria do rendimento na matéria, possibilitando que o aluno acompanhe seu desempenho.
REFERÊNCIAS BIBLIOGRÁFICAS
ABENO – Associação Brasileira de Ensino Odontológico. Disponível em:
<http://www.abeno.org.br>. Acesso em: 10 jun. 2006.
AGUIAR, R. V. Desenvolvimento e Análise de Ambiente Virtual de Aprendizagem. In: Associação Brasileira de Educação a Distância, 12., 2005, Florianópolis. Anais eletrônicos... Florianópolis:
UFSC, 2005. Disponível em <http://www.abed.org.br/congresso2005/por/pdf/078tcc2.pdf>. Acesso em: 20 mar. 2007.
BARNETT G. O.; FAMIGLIETTI K.T.; KIM R. J.; HOFFER E. P.; FELDMAN M. J. DXplain on the internet, Proc AMIA Symp 1998;:607-11.
BERGERON, B., ILIAD: A diagnostic consultant and patient simulator. MD Comput, 1991.
CARDOSO, S. H. Utilizando Simulações no Ensino Médico. Revista Informática Médica, Campinas, v. 1, n. 4, 1998. Disponível em:
<http://www.informaticamedica.org.br/informaticamedica/n0104/cardoso.htm>. Acesso em: 5 jun.
2007.
CARVALHO, D. R. et al. Construção de sistema especialista: estudos de caso. In: Congresso de Tecnologias para Gestão de Dados e Metadados do Cone Sul, 1., 2003, Ponta Grossa. Anais eletrônicos... Ponta Grossa: UEPG, 2003. Disponível em:
<conged.deinfo.uepg.br/~iconged/Artigos/artigo_13.pdf>. Acesso em: 23 abr. 2007.
CERRI, A. et al. Diagnóstico bucal | estomatologia e semitologia. Disponível em:
<http://www.diagnosticobucal.com.br>. Acesso em: 4 jun. 2007.
CHAN, M.; CLAMP, S. E.; FOX, N. J.; de Dombal, F.T. An Information Technology Course in the Medical Curriculum. Med. Education, 1996.
COOPER, G.; OWENS, G., Patient simulations using seamless digital video. Proceedings of 17th Annual Symposium on Computer Applications in Medical Care. Washington, 1994.
DXPLAIN – PROJECTS - MGH Laboratory of Computer Science. Disponível em
<http://lcs.mgh.harvard.edu/projects/dxplain.html>. Acesso em: 21 out. 2006.
ERGOSLIT. Projeto Ergolist. Disponível em: <http:// labiutil.inf.ufsc.br /ergolist>. Acesso em: 05 nov. 2007.
FERNANDES, A. M. R. Inteligência artificial: noções gerais. Florianópolis: Visual Books, 2003.
FIGUEIRA FILHO, C. S. JEOPS – Integração entre objetos e regras de produção em Java.
2000. 141f. Dissertação de Mestrado (Mestrado em Ciência da Computação) – Centro de Informática, Universidade Federal de Pernambuco, Recife, 2000.
FLORES, C. D. Sociedades artificiais: a nova fronteira da inteligência em máquinas. São Paulo:
Bookman, 2003.
FURTADO, V.; MARQUES, T. C.; PINHEIRO, V. Modelagem de Conhecimento Integrando Regras de Produção e Ontologias. In: X Encontro de Iniciação a Pesquisa, 2004, Fortaleza. Anais eletrônicos... Fortaleza: UNIFOR, 2004. Disponível em
<http://www.mentores.com.br/vasco/artigos/IC_Modelagem%20de%20Onto_Regras.pdf>. Acesso em 24 abr. 2007.
GIRAFFA, L.M.M & VICARI, M.R. Fundamentos dos Sistemas Tutores Inteligentes. In:
Sociedades Artificiais: A nova Fronteira da Inteligência nas Máquinas. Porto Alegre, RS.
Bookman, 2003.
HAYES, K. A.; LEHMANN, C. U. Marshall University Joan C. Edwards School of Medicine.
Disponível em: <http://medicus.marshall.edu>. Acesso em: 22 out. 2006.
HERTZOG, H.M. et al. Desenvolvimento de um software educacional baseado na internet para estudos de casos clínicos. Revista Novas Tecnologias na Educação, Porto Alegre, v. 3, n. 2, 2005.
Disponível em: <www.cinted.ufrgs.br/renote/nov2005/artigosrenote/a55_Artigo_CINTED.pdf>.
Acesso em: 5 jun. 2007
JESUS, P. C. Simulações Clínicas no Ensino Médico. Revista Informática Médica, Campinas, v.
2, n. 2, 1999. Disponível em:
<http://www.informaticamedica.org.br/informaticamedica/n0202/simulacao.htm>. Acesso em: 22 out. 2007.
JOHNSON, L.; GANESHAN, R.; SHAW, E. Pedagogical Agents on the Web. Disponível em:
<http://www.isi.edu/isd/ADE/papers/its98/ITS98-WW.htm>. Acesso em: 21 out. 2006.
JUDE. UML Modeling Tool. Disponível em: <http://jude.change-vision.com/jude- web/index.html>. Acesso em: 24 maio 2007.
MARCUCCI, G. Fundamentos de odontologia: estomatologia. Ed. Guanabara Koogan, São Paulo, 2005.
MEDCASE. Disponível em: <http://webacad.pucrs.br/medcase>. Acesso em: 5 jun. 2007.
MENKEN, M. JCLIPS: Clips for Java. 2005. Disponível em:
<http://www.cs.vu.nl/~mrmenken/jclips>. Acesso em: 10 de outubro 2006.
NASCIMENTO, R. L. Aplicação da tecnologia de agentes para auxiliar o ensino/aprendizagem de periodontia. 2004. 156 f. Trabalho de Conclusão de Curso (Graduação em Ciência da
Computação) – Centro Tecnológico da Terra e do Mar do Curso de Ciência da Computação, Universidade do Vale do Itajaí, Itajaí, 2004.
OLDONI, A. Desenvolvimento de um agente pedagógico utilizando JCLIPS. 2006. 100 f.
Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) – Centro Tecnológico da Terra e do Mar do Curso de Ciência da Computação, Universidade do Vale do Itajaí, Itajaí, 2005.
OLIVEIRA, L.R. et al. Ambiente de Educação em Saúde a Distância. In: Congresso Brasileiro de Informática em Saúde, 9., 2004, Ribeirão Preto. Anais eletrônicos... Ribeirão Preto: Unifesp, 2004.
Disponível em <http://telemedicina.unifesp.br/pub/SBIS/CBIS2004/trabalhos/arquivos/421.pdf>.
Acesso em: 15 fev. 2007.
PINTO, D. S. SOBE - Sociedade brasileira de estomatologia. Disponível em:
<http://www.estomatologia.com.br>. Acesso em: 4 jun. 2007.
PY, M. X. Sistemas especialistas: uma introdução. Disponível em:
<www.inf.ufrgs.br/procpar/disc/cmp135/trabs/mpy/sistemasespecialistas.pdf>. Acesso em: 23 abr.
2007.
RILEY, G. CLIPS: a tool for building expert systems. 2005. Disponível em:
<http://www.ghg.net/clips/CLIPS.html>. Acesso em: 16 de fevereiro de 2007.
______. What is CLIPS?. 2004. Disponível em: <http://www.ghg.net/clips/WhatsIsCLIPS.html>.
Acesso em: 16 de fevereiro de 2007.
SABBATINI, R. M. E.; ESTAPÊ, N. A. R. Hospital Virtual Brasileiro. Disponível em:
<http://www.hospvirt.org.br>. Acesso em: 21 out. 2006.
SABBATINI, R. M.E.; JÄGER, M. O Hospital Virtual Brasileiro. Revista Informática Médica, Campinas, v. 1, n. 5, 1998. Disponível em:
<http://www.informaticamedica.org.br/informaticamedica/n0105/hospvirt.htm>. Acesso em: 5 jun.
2007.
SAVARIS, S. V. A. M. Sistema especialista para primeiros socorros para cães. 2002. 156 f.
Dissertação de Mestrado. (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Universidade Federal de Santa Catarina, Florianópolis, 2002.
SEIXAS, L. M. J. Estratégias pedagógicas para um ambiente multi-agente probabilístico inteligente de aprendizagem – amplia. 2005. 167 f. Tese (Doutorado em Informática na Educação) - Centro Interdisciplinar de Tecnologias na Educação do Programa de Pós-Graduação em Informática na Educação, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2005.
SILVA, A. L. C. Ambientes virtuais de aprendizagem: uma experiência no ensino presencial de graduação. 2003. 107 f. Dissertação de Mestrado (Mestrado em Educação) – Centro de Educação de Ciências Humanas e da Comunicação, Universidade do Vale do Itajaí, Itajaí, 2003.
SOUZA JÚNIOR, O. Sistema inteligente para ensino de histologia bucal. 2005. 152 f. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) – Centro Tecnológico da Terra e do Mar do Curso de Ciência da Computação, Universidade do Vale do Itajaí, Itajaí, 2005.
WARNER, H. R. Jr; BOUHADDOU O. Innovation review: Iliad - a medical diagnostic support program. Top Health Inf Manage. 1994:51-8.
WEBER, R. O. Sistema especialista difuso para análise de crédito. 1993. 78 f. Dissertação de Mestrado. (Mestrado em Engenharia de Produção) – Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina, Florianópolis, 1993.
WIDMAN L. E. Sistemas especialistas em medicina. Revista Informática Médica, Campinas, v.
1, n. 5, 1998. Disponível em:
<http://www.informaticamedica.org.br/informaticamedica/n0105/widman.htm>. Acesso em: 22 out.
2006.
ZUCHI, I. O desenvolvimento de um protótipo de sistema especialista baseado em técnicas de rpg para o ensino de matemática. 2000. 136 f. Dissertação de Mestrado (Mestrado em Engenharia de Produção de Sistemas) - Curso de Pós-Graduação em Engenharia de Produção e Sistemas, Universidade Federal de Santa Catarina, Florianópolis, 2000.
APÊNDICES
A QUESTIONÁRIO DE AVALIAÇÃO
Questionário da avaliação – EstomatoInfo
Métrica Avaliação
Nota de 0 a 10 Avaliação da usabilidade
Presteza:
A presteza diz respeito as informações que permitem ao usuário identificar o estado ou contexto no qual ela se encontra, e bem como o conhecimento das alternativas disponíveis e seu modo de acesso.
Agrupamento:
O critério de Agrupamento/Distinção por Localização diz respeito ao posicionamento relativos dos itens, estabelecido para indicar se eles pertencem ou não a uma dada classe. Também diz respeito às características gráficas (formato, cor, etc.) que indicam se itens pertencem ou não a uma dada classe..
Feedback:
Diz respeito às respostas do sistema às ações do usuário. As respostas do computador devem ser fornecidas, de forma rápida, com passo (timing) apropriado e consistente para cada tipo de transação..
Legibilidade:
Diz respeito às características lexicais das informações apresentadas na tela que possam dificultar ou facilitar a leitura desta informação (brilho do carater, contraste letra/fundo, tamanho da fonte, etc).
Concisão:
Diz respeito à carga perceptiva e cognitiva de saídas e entradas individiuas.
Ações Explícitas:
Refere-se às relações entre o processamento pelo computador e as ações do usuário.
Esta relação deve ser explícita, o computador deve processar somente aquelas ações solicitadas pelo usuário e somente quando solicitado a fazê-lo.
Controle do Usuário:
Se refere ao fato de que os usuários deveriam estar sempre no controle do processamento do sistema. Cada ação possível do usuário deve ser antecipada e opções apropriadas devem ser oferecidas.
Flexibilidade:
Se refere aos meios implementados que permitem personalizar a intreface a fim de levar em conta as exigências da tarefa, de suas estratégias ou seus hábitos de trabalho.
Experiência do usuário:
Diz respeito aos meios implementados que permitem que o sistema respeite o nível de experiência do usuário.
Significados:
Diz respeito a adequação entre a informação apresentada e seu respectivo valor de referência. Códigos e denominações significativas possuem uma forte relação semântica com seu referente.
Compatibilidade:
Refere-se aos procedimentos e as tarefas que são organizadas de maneira a respeitar as expecitativas.
Avaliação da funcionalidade Consistência:
As informações apresentandas pelo sistema são considerados consistentes de acordo com os dados fornecidos
Contexto:
As respostas apresentadas pelos casos clínicos corresponderam as saídas desejadas quando o caso foi devidamente analisado
Qualidade:
As informações apresentadas pelo sistema são adequadas as exepectativas do usuário Identificação:
As caracteristicas apresentadas pelos casos clínicos são compatíveis com as carateristicas analisadas no dia a dia da clínica odontológica
Apresentação:
O sistema apresenta de maneira clara as respostas as solicitações do usuário Atendimento:
O sistema simula adequadamente os casos apresentados.
B ARQUIVO DE BASE DE REGRAS – JEOPS
public ruleBase BaseDeRegrasDasDoencas { rule DoencaPeridontalDeProgressaoRapida {
declarations
CasoClinico caso;
conditions
!caso.ehMaiorQue36Anos();
!caso.temAids();
caso.temSangramentoGengival();
caso.temBolsa();
caso.temPerdaOssea();
caso.temPerdaOsseaLocalizadaEmMaisDe2Dentes();
caso.temExudato();
!caso.temDor();
!caso.temCarie();
!caso.temCarieGeneralizada();
!caso.temHiperplasiaGengival();
!caso.temHipertensaoArterial();
!caso.temDiabetes();
!caso.temProteseAntiga();
!caso.temProteseMalAdaptada();
!caso.temHiperplasiaRelacionadaAProtese();
!caso.temFungosRelacionadosAProtese();
actions
caso.setRespostaAluno("Doença Periodontal de Progressão Rápida");
}
rule Gengivite { declarations
CasoClinico caso;
conditions
!caso.ehMaiorQue36Anos();
!caso.temAids();
caso.temSangramentoGengival();
!caso.temBolsa();
!caso.temPerdaOssea();
!caso.temPerdaOsseaLocalizadaEmMaisDe2Dentes();
!caso.temExudato();
!caso.temCarie();
!caso.temCarieGeneralizada();
!caso.temHiperplasiaGengival();
!caso.temHipertensaoArterial();
!caso.temDiabetes();
!caso.temProteseAntiga();
!caso.temProteseMalAdaptada();
!caso.temHiperplasiaRelacionadaAProtese();
!caso.temFungosRelacionadosAProtese();
}
rule GengiviteUlcerativaNecrosante { declarations
CasoClinico caso;
conditions
!caso.ehMaiorQue36Anos();
!caso.temAids();
caso.temSangramentoGengival();
caso.temBolsa();
!caso.temPerdaOssea();
!caso.temPerdaOsseaLocalizadaEmMaisDe2Dentes();
!caso.temExudato();
caso.temDor();
!caso.temCarie();
!caso.temCarieGeneralizada();
caso.temHiperplasiaGengival();
!caso.temHipertensaoArterial();
!caso.temDiabetes();
!caso.temProteseAntiga();
!caso.temProteseMalAdaptada();
!caso.temHiperplasiaRelacionadaAProtese();
!caso.temFungosRelacionadosAProtese();
actions
caso.setRespostaAluno("Gengivite ulcerativa necrosante");
}
rule PeridontiteUlcerativaNecrosante { declarations
CasoClinico caso;
conditions
!caso.ehMaiorQue36Anos();
caso.temAids();
caso.temSangramentoGengival();
caso.temBolsa();
caso.temPerdaOssea();
caso.temPerdaOsseaLocalizadaEmMaisDe2Dentes();
caso.temExudato();
caso.temDor();
!caso.temCarie();
!caso.temCarieGeneralizada();
!caso.temHiperplasiaGengival();
!caso.temHipertensaoArterial();
!caso.temDiabetes();
!caso.temProteseAntiga();
!caso.temProteseMalAdaptada();
!caso.temHiperplasiaRelacionadaAProtese();
!caso.temFungosRelacionadosAProtese();
actions
caso.setRespostaAluno("Peridontite ulcerativa necrosante");
}