gi
na
73
Mineração de dados utilizando sistemas adaptativos de inferência
neuro-fuzzy
Thiago C. M. Nunes1 Patricia B. Ribeiro2
1
Departamento de Banco de dados – Faculdade de Tecnologia de Bauru (Fatec Bauru) Rua Manoel Bento Cruz, 3-30, Centro – Bauru – SP – Brasil
2
Escola de Engenharia de São Carlos – Universidade de São Paulo (USP São Carlos) Av. Trabalhador São-carlense, 400, Pq. Arnold Schimidt – São Carlos – SP – Brasil
[email protected]¹, [email protected]²
Abstract. The Adaptative Neuro-Fuzzy systems (ANFIS) are Takagi-Sugeno type fuzzy
inference systems. The main purpose of the present paper was to test the reliability of the ANFIS in the binary classification of network attacks, growing problem nowadays. Three ANFIS models based on membership functions were tested in MATLAB against a public database. The results, calculated through the root-mean-square deviation, have shown the following checking error: 0.12148 for trapezoidal, 0.42045 for gaussian and 0.14143 for sigmoid product, acceptable values regarding anomaly detection.
Resumo. Os sistemas adaptativos neuro-fuzzy (ANFIS) são sistemas de inferência fuzzy do
tipo Takagi-Sugeno. O presente artigo teve como objetivo principal testar a confiabilidade dos ANFIS na classificação binária de ataques a redes de computadores, problema crescente em nosso tempo. Foram testados três modelos ANFIS baseados em funções de pertinência no MATLAB contra uma base de dados pública. Os resultados, calculados a partir da raiz do desvio quadrático médio, apresentaram as seguintes taxas de erro de checagem: 0.12148 para trapezoidal, 0.42045 para gaussiana e 0.14143 para produto sigmóidal. Valores considerados aceitáveis, o que demonstrou serem aptos na detecção de anomalias.
Pá
gi
na
74
1. Introdução
Um dos maiores problemas enfrentados pelos profissionais de segurança da informação são os ataques sofridos em suas redes. O Centro de Estudos, Resposta e Tratamento de Incidentes de Segurança no Brasil (CERT), registra desde 1999 um número crescente de ataques no Brasil [Cert 2013].
Para solucionar tais ameaças faz-se necessária a pesquisa cientifica com a finalidade de criar soluções eficientes na detecção e prevenção de novos ataques.
Este artigo teve como objetivo principal testar a confiabilidade da mineração de dados em conjunto com os sistemas adaptativos de inferência neuro-fuzzy (ANFIS) na classificação binária de ataques a redes de computadores.
2. Lógica fuzzy
A lógica fuzzy ou nebulosa teve seus estudos iniciados com a publicação do artigo Fuzzy sets por Lotfi A. Zadeh veiculado no Information and Control journal em 1965. Diferente da lógica clássica que utiliza os valores “verdadeiro” ou “falso” ao tratar da pertinência de um elemento em um conjunto, esta propõe graduar a pertinência de um elemento com um valor entre 0 e 1, obtido através de uma função matemática, chamada função de pertinência.
A forma com a qual a lógica fuzzy quantifica a pertinência de um elemento em um conjunto é bastante similar com a forma que os seres humanos classificam informações [Pires e Nascimento JR. 2002].
3. Funções de pertinência
Segundo Sancho-Royo e Verdegay (1999) as funções de pertinência devem cumprir os seguintes critérios: a) representatividade; b) unicidade; c) significância, em relação aos conjuntos que representam.
As funções de pertinência utilizadas nesse trabalho estão listadas na Tabela 1. Os gráficos foram gerados com a função plot do MATLAB.
gi
na
75
Tabela 1. Funções de pertinência
Nome Função matemática Gráfico
Trapezoidal Gaussiana Produto sigmóidal Linear Constante 4. ANFIS
Proposto por Jyh-Shing Roger Jang, é um sistema de inferência fuzzy do tipo Takagi-Sugeno, com arquitetura similar a uma rede neural (ver Figura 1). Utiliza dados da própria base a ser analisada para ajustar tanto as funções de pertinência quanto as regras de inferência [Jang 1993].
Pá
gi
na
76
Figura 1. Arquitetura ANFIS [Favieiro e Balbinot 2012]
Os métodos de ajuste propostos por Jang foram backpropagation e um híbrido entre backpropagation e mínimos quadrados.
O backpropagation é um método de treinamento de redes multicamadas, que compara valores desejados com obtidos e tenta minimizar qualquer diferença apresentada. É considerado um dos métodos mais eficientes e simples [Cun 1988].
A técnica de mínimos quadrados é utilizada para resolver sistemas de equações de forma aproximada, ao invés de buscar a solução exata do sistema, busca minimizar a soma dos quadrados entre os valores observados e os valores verdadeiros.[Moler 2004].
5. Experimento
O experimento descrito neste artigo consistiu em testar três modelos ANFIS mostrados na Tabela 2, verificando suas taxas de erro. A ferramenta MATLAB foi utilizada em todas etapas.
Tabela 2. Modelos ANFIS
Funções de pertinência de entrada Função de pertinência de saída
Trapezoidal Linear
Gaussiana Constante
Produto sigmóidal Constante
gi
na
77
Tabela 3. Opções
Opção Valor
Sistema de inferência Partição em grade Método de otimização Híbrido
Tolerância a erro 0 Épocas de treinamento 3
Foi utilizada uma base de dados pública de ataques chamada KDDCUP99, extraída de uma competição anual de mineração de dados e descoberta de conhecimento. Esta base contém 42 colunas mas foram utilizadas somente as colunas descritas na Tabela 4, selecionadas por Narendran (2009) utilizando o filtro AttributeSelection da ferramenta WEKA.
Tabela 4. Colunas utilizadas
Coluna Descrição
protocol type Protocolos utilizados nas conexões
service Serviço de destino das conexões
src bytes Bytes enviados da origem das conexões
dst bytes Bytes enviados do destino das conexões
count Numero de conexões vindas de um mesmo host
A base é composta por 494.022 conexões e para fins de treinamento, validação e checagem dos ANFIS foram criados os subconjuntos listados na Tabela 5 de forma aleatória.
Tabela 5. Subconjuntos
Subconjunto Descrição
Treinamento 50 ataques e 50 normais
Validação 100 conexões
Checagem 100 mil conexões
6. Resultados
As taxas de erro obtidas no MATLAB utilizam a raiz do desvio quadrático médio (RMSD). Calculada a partir da Equação 1, sendo y um vetor com n predições e ŷ um vetor com os valores
Pá
gi
na
78
reais, a equação tem como função mostrar a distância média entre os valores previstos e o valores verdadeiros [Johnson, 1995].
(1)
Equação 1. Raiz do desvio quadrático médio
Os resultados esperados eram 0 e 1 representando ausência ou presença de ataque, mesmo apresentando estes valores na maioria das conexões testadas, foi possível observar altas concentrações de valores no intervalo [0, 1] e em alguns casos baixas ocorrências mais distantes do esperado.
As taxas de erro obtidas nos testes estão dispostas na Tabela 6. As colunas treinamento, validação e checagem mostram as respectivas taxas de erro de cada etapa.
Tabela 6. Taxas de erro
Função Treinamento Validação Checagem
Trapezoidal 0.0000064 0.12826 0.12148
Gaussiana 0.0004064 0.18412 0.42045
Produto Sigmóidal 0.0012781 0.12651 0.14143
As subseções a seguir, discutirão detalhes de cada etapa nos três modelos usados no experimento. Os testes estão dispostos no eixo x e os valores obtidos no eixo y. Os elementos vermelhos representam a saída dos ANFIS e os azuis os valores reais.
6.1. Função trapezoidal
A função trapezoidal apresentou a menor taxa de erro de checagem e demonstrou uma taxa de erro no treinamento extremamente baixa (Figura 2).
gi
na
79
Figura 2. Treinamento
Na etapa de validação demonstrou apenas 5 valores incorretos, variando entre 0.2 e 0.5 (Figura 3).
Figura 3. Validação
Na checagem, apresentou forte concentração de valores iguais a 0.5 e pertencentes ao intervalo [0, 1] o que contribuiu para a baixa taxa de erro, também apresentou uma pequena concentração nos intervalos [0, -1] e [1, 1.5], conforme Figura 4.
Figura 4. Checagem
6.2. Função gaussiana
A função gaussiana apresentou a maior taxa de erro de checagem do experimento. Demonstrou uma alta taxa de acerto de treinamento (ver Figura 5).
Pá
gi
na
80
Figura 5. Treinamento
Mostrou apenas 3 erros durante a validação (ver Figura 6).
Figura 6. Validação
Porém durante a checagem apresentou uma forte concentração de valores próximos a 2, também apresentou uma pequena concentração de valores no intervalo [0, -12] conforme Figura 7.
gi
na
81
Figura 7. Checagem
6.3. Função produto sigmóidal
Apresentou taxa de erro de checagem próxima a da função trapezoidal e baixa taxa de erro na etapa de treinamento (ver Figura 8).
Figura 8. Treinamento
Durante a validação apresentou apenas 4 erros, sendo 2 com distâncias variando entre 0.05 e 0.1 (ver Figura 9).
Pá
gi
na
82
Figura 9. Validação
Na etapa de checagem apresentou uma mediana concentração no intervalo [0, 1] e uma pequena concentração próximo de 2 (ver Figura 10).
Figura 10. Checagem
7. Conclusão
Como demonstrado na seção anterior, o modelo que utiliza função de pertinência trapezoidal apresentou a menor taxa de erro de checagem contra um conjunto de 100 mil conexões aleatórias, no entanto os três modelos testados se mostraram aptos a detectarem anomalias em conexões, com taxas próximas às atingidas pelo modelo mais eficiente.
gi
na
83
Referências
Centro de Estudos, Resposta e Tratamento de Incidentes de Segurança no Brasil (2013)
“Estatísticas dos Incidentes Reportados ao CERT.br”
http://www.cert.br/stats/incidentes/
Pires, J. R. C. e Nascimento JR, C. L. (2002) “Controle fuzzy para braço robótico utilizando anfis do
matlab”, VIII Encontro de iniciação cientifica e Pós-graduação do ITA.
Sancho-Royo, A. e Verdegay, J. L. (1999) “Methods for the Construction of Membership
Functions”, International Journal of Intelligent Systems vol. 14, edição 12 Dezembro 1999. p. 1213 - 1230.
Jang, J. R. (1993) “ANFIS: adaptive-network-based fuzzy inference system”, IEEE
Transactions on Systems, Man and Cybernetics, vol. 23, edição 3, Maio/Junho 1993, p.
665 - 685.
Favieiro, G. W. e Balbinot, A. (2012) “Proposal of a Neuro Fuzzy System for Myoelectric
Signal Analysis from Hand-Arm Segment, Computational Intelligence in Electromyography
Analysis - A Perspective on Current Applications and Future Challenges”, Dr. Ganesh R. Naik (Ed.), ISBN: 978-953-51-0805-4, InTech, DOI: 10.5772/48793.
Cun, Y, L. (1988) “A Theoretical Framework for Back-Propagation”, Proceedings of the 1988
Connectionist Models Summer School, 1988, p. 21 - 28
Moler, C, (2004) “Numerical Computing with MATLAB”, Society for Industrial and Applied
Mathematics, 2004, p. 27
Narendran, C. R., (2009) “Data Mining - Classification Algorithm - Evaluation” disponível em:
http://narensportal.com/papers/datamining-classification-algorithm.aspx
Johnson, L. L., (1995) “A Comparison of Methods for Estimating RMS Error: A `Brute Force" Approach Versus a Mathematically-Elegant Approach, as Applied to the Calculation of a Specific
Retrieval Error for a Limb-Scanning Microwave Radiometer-Spectrometer.”, Air Force Institute
