SEMINÁRIO DE PESQUISA EM ONTOLOGIA NO BRASIL
11 E 12 de JulhoUniversidade Federal Fluminense •••• Departamento de Ciência da Informação Niterói •••• Rio de Janeiro •••• Brasil
Esta comunicação está sendo submetida sob o Tema 2 – Técnicas e Ferramentas em ontologias
UMA METODOLOGIA DE AVALIAÇÃO DE FERRAMENTAS
PARA GESTÃO DE ONTOLOGIAS
A METHODOLOGY FOR EVALUATING ONTOLOGY
MANAGEMENT TOOLS
Leonardo Guerreiro Azevedo1,2 (azevedo@uniriotec.br) Mauro Lopes1,2 (mauro.lopes@uniriotec.br)
Jairo Francisco de Souza1 (jairofsouza@gmail.com)
Sean Wolfgand Matsui Siqueira1,2 (sean@uniriotec.br)
Cláudia Cappelli1 (claudia.cappelli@uniriotec.br)
Fernanda Baião1,2 (fernanda.baiao@uniriotec.br) 1NP2Tec – Núcleo de Pesquisa e Prática em Tecnologia 2
Departamento de Informática Aplicada – DIA/UNIRIO
Resumo: Tecnologias semânticas estão cada vez mais sendo utilizadas em ambientes corporativos, onde
ontologias tornam-se mais abrangentes e complexas. Consequentemente, a gestão de ontologias se torna também mais complexa, necessitando de ferramentas e metodologias de apoio. No entanto, a grande quantidade de ferramentas desenvolvidas segundo características específicas dificulta a seleção de ferramentas para a gestão adequada de ontologias. Este trabalho propõe uma metodologia para avaliação de ferramentas para gestão de ontologias composta de passos e critérios de pontuação para seleção de ferramentas. A proposta está sendo empregada em um cenário real, em uma grande empresa brasileira.
Palavras-chave: gestão de ontologias, avaliação de ferramentas, ontologia.
Abstract: The use of semantic technologies is growing in TI projects in enterprises, where ontologies
become bigger and complex. Consequently, ontology management becomes more complex, requiring tools and methodologies. However, existing tools are developed according with specific characteristics, which makes a big challenge to choose a tool for ontology management. This article proposes a methodology for evaluating ontology management tools. This methodology is composed by a set of steps for selecting candidate tools and a set of criteria to scoring these tools. This proposal is experimented in a real scenario in a big Brazilian company.
UMA METODOLOGIA DE AVALIAÇÃO DE FERRAMENTAS
PARA GESTÃO DE ONTOLOGIAS
A METHODOLOGY FOR EVALUATING ONTOLOGY
MANAGEMENT TOOLS
Resumo: Tecnologias semânticas estão cada vez mais sendo utilizadas em ambientes corporativos, onde
ontologias tornam-se mais abrangentes e complexas. Consequentemente, a gestão de ontologias se torna também mais complexa, necessitando de ferramentas e metodologias de apoio. No entanto, a grande quantidade de ferramentas desenvolvidas segundo características específicas dificulta a seleção de ferramentas para a gestão adequada de ontologias. Este trabalho propõe uma metodologia para avaliação de ferramentas para gestão de ontologias composta de passos e critérios de pontuação para seleção de ferramentas. A proposta está sendo empregada em um cenário real, em uma grande empresa brasileira.
Palavras-chave: gestão de ontologias, avaliação de ferramentas, ontologia.
Abstract: The use of semantic technologies is growing in TI projects in enterprises, where ontologies
become bigger and complex. Consequently, ontology management becomes more complex, requiring tools and methodologies. However, existing tools are developed according with specific characteristics, which makes a big challenge to choose a tool for ontology management. This article proposes a methodology for evaluating ontology management tools. This methodology is composed by a set of steps for selecting candidate tools and a set of criteria to scoring these tools. This proposal is experimented in a real scenario in a big Brazilian company.
Keywords: ontology management, tool evaluation, ontology.
1. Introdução
Os resultados obtidos com o uso de tecnologias semânticas têm motivado a utilização das mesmas em ambientes corporativos com diferentes finalidades, como, por exemplo, separar o conhecimento do domínio do conhecimento operacional, compartilhar o entendimento da estrutura de informação entre pessoas e agentes de software, dentre outras (CARDOSO, 2007). Essa demanda por projetos que necessitam de estruturas semânticas propicia o investimento na comercialização de ferramentas para gestão de ontologias.
Como gestão de ontologias, entende-se um conjunto de processos que têm como objetivo planejar, organizar, liderar, coordenar e controlar todo o ciclo de vida de uma ontologia, garantindo sua aplicação e utilização, assim como definindo métodos para conduzir as pessoas responsáveis por sua manipulação através da realização de suas atividades. Assim, ferramentas úteis para a gestão de ontologias são aquelas que apóiam um ou mais desses processos, como, por exemplo, especificação, conceitualização, formalização, integração, implementação e manutenção de ontologias (FÉRNANDEZ et al., 1997). Exemplos de funcionalidades necessárias nas ferramentas são: edição colaborativa de ontologia, permitindo incluir, alterar, remover, consultar, visualizar
itens de ontologia; suporte a diferentes linguagens para descrição e armazenamento de ontologias, por exemplo, OWL e RDF; permitir realizar consultas com linguagens específicas para consultas de itens de ontologias; possuir conversores de formatos; permitir combinação e mapeamento de/entre ontologias; permitir definir padrões organizacionais para descrição de ontologias; permitir a integração de itens da ontologia com esquemas e registros de banco de dados; entre outras.
A utilização mais freqüente e ampla de ontologias pode tornar cada vez mais complexa sua administração. Por outro lado, as ferramentas para tratar ontologias são desenvolvidas segundo abordagens específicas, não abrangendo todas as características necessárias.
Portanto, para a escolha do suporte computacional adequado, é necessária uma análise das opções disponíveis a fim de que a ferramenta escolhida esteja alinhada às expectativas da organização. Algumas publicações (GÓMES-PÉREZ et al., 2002; CORCHO et al., 2003; SURE, 2003) avaliam ferramentas quanto a funcionalidades relacionadas à ontologias, mas não avaliam as ferramentas quanto às necessidades da organização (como facilidades de suporte, regras governamentais, características de confiabilidade, estabilidade etc).
Nesse trabalho é proposta uma metodologia e um conjunto de critérios específicos para avaliar ferramentas para gestão de ontologias. A metodologia e critérios propostos estão sendo empregados em um cenário real, em uma grande empresa brasileira.
2. Metodologia
A metodologia para análise de ferramentas utilizada neste trabalho tem por base a pesquisa desenvolvida em (KITCHENHAM, 1996), a qual define os passos mais importantes para a realização de uma análise de critérios para avaliação de softwares. Os passos propostos são apresentados na figura 1 e detalhados a seguir.
Definir escopo para prospecção de ferramentas: Elaboração de um documento contendo o escopo do trabalho de prospecção a ser feito e os macro-requisitos das ferramentas que se deseja escolher para a organização.
Definição dos critérios essenciais: Identificação dos critérios mínimos para aceite da ferramenta, por exemplo, existência de representante comercial e suporte no país da organização.
Seleção das ferramentas candidatas: As ferramentas existentes no mercado são listadas e avaliadas de acordo com os critérios essenciais definidos. Essa pesquisa de
ferramentas pode se basear em artigos contidos em publicações especializadas, como em (GÓMES-PÉREZ et al., 2002; WELTY, 2004; CARDOSO, 2007), em pesquisas na WEB, participações em congressos, apresentações de fornecedores etc. O resultado desta etapa são as ferramentas que atendem aos critérios essenciais.
Figura 1. Metodologia para avaliação de ferramentas para gestão de ontologias
Definição dos critérios técnicos: Identificar quais propriedades ou características são desejáveis na ferramenta que será avaliada. Os critérios podem ser definidos a partir da confecção de questionários, como proposto por (TARIQ e AKHTER, 2005). .
Neste trabalho, os critérios técnicos foram definidos a partir do levantamento de características presentes em ferramentas existentes no mercado e das necessidades que devem estar presentes nas ferramentas para melhor apoiar as atividades de gestão de ontologias, alguns exemplos de necessidades das ferramentas foi apresentado na seção 1. Estes critérios foram avaliados e revisados com pesquisadores e profissionais da área. Os critérios definidos foram organizados segundo uma taxonomia de macro-critérios, os quais foram classificados, por sua vez, em genéricos e específicos. Macro-critérios genéricos são um conjunto de critérios que podem ser avaliados em qualquer ferramenta, independente da sua área de aplicação, enquanto que macro-critérios específicos são aplicados somente às ferramentas para gestão de ontologias. Por questões de espaço neste artigo, não são listados os critérios detalhados, mas sim os macro-critérios, os quais são apresentados, na Tabela 1.
Tabela 1 – Macro-critérios definidos para ferramentas para gestão de ontologias
MACRO-CRITÉRIOS GENÉRICOS MACRO-CRITÉRIOS ESPECÍFICOS
• Escalabilidade • Distribuição • Usabilidade
• Plataforma Tecnológica
• Integração com outros sistemas • Suporte • Edição de ontologias • Consultas em ontologias • Administração de perfis • Ferramentas de visualização • Ferramentas de relatórios • Armazenamento • Integração de ontologias • Validação de ontologias • Segurança • Qualidade de ontologias
Para exemplificar, o macro-critério “Integração com outros sistemas” pode conter o critério “Permite integração com algum SGDB?” E o macro-critério “Consultas em
ontologias” o critério “Permite realizar consultas nas linguagens SPARQL, OWL-QL ou nRQL?” e “Pode-se incluir dados de mapeamento entre ontologias nas consultas?” Levantamento da documentação: Após a definição dos critérios para avaliação, os fornecedores são contactados e convidados a participar desse processo de avaliação enviando toda documentação existente sobre a ferramenta (manuais, tutoriais, relatórios de testes, melhorias futuras, cases existentes, etc) e agendando uma data para apresentação da ferramenta para a equipe de avaliadores.
Avaliação da documentação e da ferramenta em laboratório: A avaliação dos critérios pode ser feita usando uma pontuação simples do tipo “possui/não possui” ou uma pontuação de escala. Nesta metodologia, seguimos a abordagem proposta em (KITCHENHAM, 1996). A pontuação de escala é dada por um intervalo de 0 a 1, onde o extremo 0 significa uma total inadequação ou ausência do critério na ferramenta e o extremo 1 significa que a ferramenta satisfaz completamente o critério. Além disso, de acordo com a aplicação ou contexto de uso da ferramenta, alguns critérios terão maior importância que outros. Assim, podem ser definidos pesos para diferenciar os critérios: peso 1 para funcionalidade de baixa importância; peso 2 para funcionalidade útil, porém não indispensável; e peso 3 parafuncionalidade indispensável.
Além da pontuação e pesos atribuídos aos critérios, estendemos a abordagem de (KITCHENHAM, 1996) definindo pesos relativos à documentação disponível da ferramenta (peso 1) e à avaliação do critério em laboratório (peso 2).
Como exemplo, um critério avaliado com pontuação 1,0 para a documentação, pode receber pontuação 0,6 para o teste em laboratório. Assim, a nota final para esse critério será (1 × 1 + 2 × 0,6) / (1 + 2) = 0,73.
Elaboração de lista de problemas encontrados e avaliação de respostas: As características que não forem possíveis de serem testadas pela equipe de teste e os problemas encontratos durante a avaliação são listados e enviados em um documento para o fornecedor da ferramenta, para esclarecimentos. As pontuações definidas durante a avaliação da ferramenta são atualizadas de acordo com os esclarecimentos apresentados pelo fornecedor da ferramenta.
Análise e interpretação dos resultados: O quadro de pontuação de cada ferramenta é finalizado. As notas dos critérios em dúvida são preenchidas e é calculada a pontuação de cada ferramenta.
Apresentação dos resultados: Por fim, um ranking das ferramentas avaliadas é gerado, o relatório de avaliação de ferramentas é finalizado e entregue para a equipe responsável pela tomada de decisão na organização, em uma reunião de apresentação dos resultados. O processo proposto pode ser adaptado para ser utilizado em avaliações de ferramentas em outros contextos. Por outro lado, sua adequabilidade para avaliação de ferramentas para gestão de ontologias aparece em vários aspectos, tais como: na definição de escopo adequado; na redução do número de ferramentas a serem avalidadas detalhadamente, pois existem muitas ferramentas para gestão de ontologias, cada uma com funcionalidades específicas (GÓMES-PÉREZ et al., 2002; CARDOSO, 2007); no direcionamento da avaliação às necessidades da organização e segundo as funcionalidades mais importantes para a mesma, dentre outras vantagens.
3. Conclusões
Este trabalho propôs uma metodologia para avaliação de ferramentas para gestão de ontologias, contemplando um conjunto de passos para avaliação, critérios a serem utilizados na avaliação, além da definição do mecanismo de pontuação. Esta metodologia está sendo aplicada na avaliação de ferramentas para gestão de ontologias para uma grande empresa brasileira. Esta experiência de aplicação tem permitido o aprimoramento da metologia aqui proposta bem como tem evidenciado que a atividade de avaliação de ferramentas não é uma tarefa simples, mas de extrema importânica para a melhor escolha da ferramenta para gestão de ontologias em uma organização.
4. Referências bibliográficas
BLÁZQUEZ, M., FERNÁNDEZ-LÓPEZ, M., GARCÍA-PINAR, J.M., et al., 1998, "Building Ontologies at the Knowledge Level using the Ontology Design Environment". In: Eleventh Workshop on
Knowledge Acquisition, Modeling and Management, Banff, Canada, Outubro de 1998.
CARDOSO, J., 2007, "The Semantic Web Vision: Where are we?" IEEE Intelligent Systems, v. 22, n. 5 (2007), pp. 84-88.
CORCHO, O., FERNÁNDEZ-LÓPEZ, M., GÓMEZ-PÉREZ, A., 2003, "Methodologies, tools and languages for building ontologies. Where is their meeting point?" Data & Knowledge
Engineering, v. 46, n. 1, pp. 41-64.
GÓMES-PÉREZ, A., FERNÁNDEZ-LÓPEZ, M., FENSEL, D., 2002, Deliverable 1.3: A survey on
ontology tools, Relatório Técnico IST-2000-29243, OntoWeb - Ontology-based information exchange for knowledge management and electronic commerce.
KITCHENHAM, B., 1996, "DESMET: A method for evaluating software engineering methods and tools". Disponível em <http://www.osel.co.uk/desmet.pdf>, acessado em 11/01/2008.
SURE, Y., 2003, Methodology, tools and case studies for ontology based knowledge management, Tese de Doutorado, Department of Economics and Business Engineering, University of Karlsruhe, Karlsruhe.
TARIQ, N.A., AKHTER, N., 2005, "Comparison of Model Driven Architecture (MDA) based tools",
Proceedings of 13th Nordic Baltic Conference (NBC), v. 9 (2005).
WELTY, C., 2004, "Ontology Maintenance Support: Text, Tools, and Theories". In: Presentation at the
