Configuração Experimental

Os experimentos são baseados no desejo de avaliar o desempenho relativo dos algoritmos Bayesianos estudados sob condições controladas. Com este propósito em mente, foram concebidos três cenários experimentais particulares. Para cada cenário, foram construídos modelos conceituais de redes Bayesianas que codificam as distribuições de probabilidade conjunta sobre um conjunto de variáveis aleatórias. Estes modelos conceituais reproduzem domínios hipotéticos de interesse. Tais modelos foram então usados para gerar conjunto de dados sintéticos (SDs), formados por 5000 instâncias. Cada um destes conjuntos de dados pode ser visto como uma realização particular de uma dada distribuição de probabilidade que representa o respectivo modelo conceitual de rede Bayesiana. Desta forma, distribuições de probabilidade verdadeiras são conhecimentos a priori para cada conjunto de dados usados nos experimentos, permitindo derivar análises interessantes a respeito do desempenho relativo dos algoritmos sob investigação.

O primeiro cenário tem o objetivo de reproduzir domínios que apresentam algumas variáveis interdependentes. Para este cenário, foram construídos três modelos sintéticos de redes Bayesianas (BN1, BN2 e BN3). As estruturas destes modelos são descritas na Figura 5.3 (os nomes das variáveis são representados por números nos nós de cada grafo).

BN1 representa um domínio descrito por 32 variáveis, incluindo a classe. A Figura 5.3 mostra que apenas uma variável influencia diretamente a variável classe. Em outras palavras, uma única variável faz parte da cobertura de Markov (CMB) de BN1.

Além disso, todas as variáveis têm ao menos um pai. Portanto, BN1 representa uma poliárvore. Em aplicações do mundo real, poliárvores dificilmente são adequadas para modelar a distribuição de probabilidade das variáveis [1]. Estas árvores são, contudo, estruturas adequadas para estudar o desempenho de classificadores em domínios onde as inter-relações entre variáveis são consideradas simples.

Estrutura de BN1 Estrutura de BN2

Estrutura de BN3

Figura 5.3. Estruturas de redes Bayesianas para o primeiro cenário experimental.

Similarmente à BN1, BN2 (Figura 5.3) tem 32 variáveis. Diferentemente de BN1, entretanto, em BN2 14 variáveis influenciam diretamente a variável classe. Além disso, cada variável de BN2 pode ter três pais (no máximo), levando assim a relações de interdependência mais complexas entre as variáveis que aquelas encontradas em estruturas de poliárvores, tais como as variáveis representadas por BN1. Portanto, BN2 é um modelo menos restritivo que BN1, potencialmente representando problemas de mineração de dados práticos mais comuns.

O primeiro cenário experimental é concluído com a descrição da BN3, a qual também contém 32 variáveis. Todas estas variáveis fazem parte do CMB, e cada uma delas pode ter sete pais (no máximo).

Para cada modelo de rede Bayesiana descrito, um conjunto de dados é gerado e referenciado aqui como SD1, SD2 e SD3, fazendo referência à BN1, BN2 e BN3, respectivamente. Como um comentário geral, é possível dizer que estes conjuntos de dados (principalmente SD2 e SD3) tendem a favorecer aos classificadores de redes Bayesianas irrestritas (tais como os classificadores induzidos pelo K2).

O segundo cenário tem como objetivo reproduzir domínios onde o viés indutivo do Naive Bayes é particularmente apropriado. Assim, as variáveis nas redes Bayesianas construídas para este cenário são condicionalmente independentes, dado a classe. Como descrito em [75], “não é realístico esperar que esta suposição seja mantida no mundo natural. Correlações entre as variáveis em um dado domínio são comuns”. Contudo,

favorecido pode esclarecer sobre o desempenho relativo dos outros classificadores Bayesianos sendo aqui investigados. Dois modelos (BN4 e BN7, veja Figura 5.4) simulam tal cenário. Além disso, duas variações de cada um destes modelos de redes foram criadas, uma com a adição de variáveis irrelevantes (BN5) e outra com a inclusão de variáveis (BN6). Particularmente, BN5 é baseada em BN4, cujos parâmetros numéricos foram modificados para converter as variáveis 1, 2 e 3 em variáveis irrelevantes. BN6 é obtida pela inclusão de cinco variáveis novas e redundantes em BN4, chamadas de variáveis: 6, 7, 8, 9 e 10. Analogamente à derivação de BN5 e BN6 de BN4, BN8 e BN9 foram concebidas de BN7 (veja Figura 5.4). Mais precisamente, BN8 tem cinco variáveis irrelevantes (1, 2, 3, 4, e 5), enquanto BN9 tem sete variáveis redundantes (8, 9, 10 11, 12, 13 e 14). Visto que variáveis redundantes podem impactar o desempenho de Naive Bayes, o modelo BN9 pode ser visto, em princípio, como um modelo não muito favorável para classificadores Naive Bayes. Contudo, os resultados experimentais, que são informados na seção 5.2.2, mostram que as variáveis redundantes não têm impactado significantemente o desempenho de Naive Bayes.

Estrutura de BN4 Estrutura de BN5

Estrutura de BN6

Estrutura de BN7 Estrutura de BN8

Estrutura de BN9

Figura 5.4. Estruturas de redes Bayesianas para o segundo cenário experimental.

Finalmente, o terceiro cenário é formado por três modelos de redes Bayesianas (BN10, BN11 e BN12) que são baseadas no “Tree Augmented Networks (TAN)” [30].

Estas estruturas são descritas na Figura 5.5.

Estrutura de BN10 Estrutura de BN11

Estrutura de BN12

Figura 5.5. Estruturas de redes Bayesianas para o terceiro cenário experimental.

Em resumo, para cada modelo de rede descrito, um conjunto de dados foi gerado. O primeiro conjunto de dados sintéticos (SD1) é formado por 5000 instâncias, as quais podem ser vistas como uma realização particular da distribuição de probabilidade representada por BN1. Similarmente, são obtidos SD2 de BN2 e assim por diante. A Tabela 5.1 resume as características principais de cada conjunto de dados usados nestes experimentos. A SubSeção 5.3.2 procede com os resultados obtidos.

Tabela 5.1. Conjuntos de dados usados nos experimentos: número de atributos (AT), número de instâncias (IN) e número de valores da classe (NV).

SD1 SD2 SD3 SD4 SD5 SD6 SD7 SD8 SD9 SD10 SD11 SD12

#AT 31 31 31 5 5 10 7 7 14 5 7 9

#IN 5k 5k 5k 5k 5k 5k 5k 5k 5k 5k 5k 5k

#NV 2 2 2 2 2 2 2 2 2 2 2 2