Framework Geral para o Consenso Hierárquico

De forma similar aos frameworks propostos para comitês de agrupamento par- ticionais (VEGA-PONS; RUIZ-SHULCLOPER, 2011), é possível criar um framework detalhado para o comitê de agrupamentos hierárquicos. Muitos dos métodos de comitê para agrupamento de dados focam somente na função consenso que irá produzir a partição consenso. Entretanto, os comitês de agrupamento hierárquico requerem uma etapa de representação do dendrograma, pois o consenso diretamente na estrutura da árvore é difícil (MIRZAEI; RAHMATI, 2008). Outro ponto interessante é o impacto que o método de reconstrução do dendrograma, a partir da representação interna escolhida, tem no resultando final do consenso. Consequentemente, esta proposta prefere abordar o problema de comitês de agrupamento hierárquico não apenas por uma função consenso, mas também cobrir a fase de reconstrução do dendrograma. A Figura 10 apresenta um framework detalhado baseado no esquema proposto por (MIRZAEI; RAHMATI, 2010).

O framework recebe como entrada os dendrogramas obtidos pela etapa de geração, como apresentado na Figura4. Os dendrogramas são obtidos por algoritmos de agrupamento hierárquicos diferentes, ou para um mesmo algoritmo, mas utilizando subconjunto dos exemplos do conjunto de dados, ou por projeções do espaço de atributos. Estes métodos sobre a geração do comitê de agrupamentos hierárquicos serão apresentados na Seção

3.2.2.1.

Uma vez que os dendrogramas estão disponíveis, a etapa do consenso começa. O objetivo é combinar todos os dendrogramas do comitê de agrupamentos hierárquicos no

3.2. Análise de Agrupamentos em Comitês de Agrupamentos Hierárquicos 41

Figura 10 – Modelo geral da etapa consenso para comitê de agrupamento hierárquico.

dendrograma consensual final, também chamado de dendrograma consenso. Primeiramente, é necessário definir uma representação intermediária, pois o consenso diretamente na estrutura de árvore é um problema mais difícil. A representação dos dendrogramas por matrizes ultramétricas é adequada pela ligação direta entre essas duas estruturas. O que diferencia um dendrograma de uma árvore qualquer é justamente a relação da desigualdade triangular mais forte entre os nós internos do dendrograma (JAIN; DUBES, 1988b). Consequentemente, a função consenso é aplicada sobre as matrizes ultramétricas. Por fim, quando necessário há uma etapa final com a função de reconstruir os dendrogramas após o consenso das matrizes ultramétricas. A matriz consenso não é necessariamente uma ultramétricas mesmo se todas as matrizes do comitê sejam ultramétricas. A Seção 3.2.3

vai apresentar detalhes dessa etapa.

O funcionamento de um comitê de agrupamento hierárquico é facilmente entendido. No entanto, algumas considerações são necessárias nas etapas de representação, combinação e reconstrução do dendrogramas.

3.2.2.1 Técnicas de Geração do Comitês Hierárquicos

A etapa inicial é crítica para qualquer método de comitês de agrupamento, pois a etapa de geração do comitê influencia bastante na qualidade dos agrupamentos individuais que formam o comitê. Como o nome sugere, este é o processo de realizar o agrupamento do conjunto de dados 𝑚 vezes para compor o comitê, com o objetivo de gerar variabilidade nos membros do comitê. Este processo é crítico, pois o resultado alcançado por qualquer função consenso está condicionado somente às informações disponíveis pelo comitê. Já que se as soluções dos agrupamentos hierárquicos, que formam o comitê, forem de baixa

42 Capítulo 3. Fundamentação Teóricas

qualidade será difícil o comitê gerar uma solução com alta qualidade. É desejável que exista uma boa acurácia nos agrupamentos, e diversidade entre os resultados apresentados pelos algoritmos básicos para gerar soluções com mais qualidade (KUNCHEVA, 2014).

A maioria das funções que combinam comitê de agrupamentos hierárquicos não exigem um método específico para gerar os membros do comitê. Entretanto, alguns métodos como em (RASHEDI; MIRZAEI,2013) adaptam a técnica boosting e requerem um mecanismo específico de geração.

Diferentemente dos algoritmos que geram partições como de comitê de agrupa- mento particional, os algoritmos de agrupamentos hierárquico não podem ser explorados por sua aleatoriedade e variação de parâmetros de inicialização na criação de comitês diversos. Desse modo, algumas técnicas comuns para comitês de agrupamento particional que exploram a aleatoriedade de diferentes inicializações ou variações de parâmetros, como por exemplo (FRED; JAIN, 2005; AILON, 2008), não são adequadas para comitê de agrupamento hierárquico. Assim, as técnicas mais comuns para criação dos dendrogramas na literatura de comitê hierárquicos são:

Subconjunto de Exemplos: Para um mesmo conjunto de dados, aplique diferentes

métodos ou o mesmo método em subconjuntos de exemplos. Ao invés de usar todos os exemplos disponíveis, somente subconjuntos deles são utilizados para gerar cada dendrograma. Alguns métodos são baseados em estratégias consolidadas no comitê de classificadores como boosting e resampling.

Diferentes Algoritmos: Para um mesmo conjunto de dados, aplique diferentes métodos

de agrupamento hierárquico tradicionais. Um ou mais dendrogramas são gerados utilizando cada algoritmo neste comitê.

Projeção no espaço de Atributos: Para um mesmo conjunto de dados, os exemplos

são representados utilizando diferentes subconjuntos dos atributos disponíveis.

Qual método deve ser utilizado? A resposta não é facilmente respondida pela literatura de comitês. Em casos que há informações adicionais sobre o conjunto de dados, o método de geração deve ser aquele que produza resultados individuais confiáveis para um conjunto de dados específico. Entretanto, quando nenhuma informação está disponível, o comitê que possivelmente vai produzir um bom resultado apresenta alta diversidade entre os agrupamentos (AKBARI, 2015).

3.2.2.2 Representação dos Dendrogramas

Um dendrograma é uma árvore onde cada nó interno está associado à altura (ou nível de decisão) satisfazendo a condição

3.2. Análise de Agrupamentos em Comitês de Agrupamentos Hierárquicos 43 para todos os subconjuntos do conjunto de dados 𝐴 ∩ 𝐵 ̸= ∅, e ℎ(𝐴) e ℎ(𝐵) denotam a altura de 𝐴 e 𝐵, respectivamente.

A Figura 11apresenta um dendrograma com 5 pontos. A linha tracejada indica a altura dos nós internos. Para cada par de pontos (𝑥𝑖, 𝑥𝑗), tal que ℎ𝑖𝑗 é a altura do nó interno que especifica o menor grupo que ambos 𝑥𝑖 e 𝑥𝑗 pertencem. Então um menor valor de ℎ𝑖𝑗 indica uma alta similaridade entre 𝑥𝑖 e 𝑥𝑗.

A altura no dendrograma satisfaz a desigualdade triangular ultramétricas (U4) ,

ℎ𝑖𝑗 ≤ max{ℎ𝑖𝑘, ℎ𝑘𝑗}

para todo 𝑖, 𝑗, 𝑘 ∈ {1, . . . , 𝑛} e é a condição necessária e suficiente para definir um dendro- grama (GORDON,1987). Uma equivalência categórica entre dendrogramas e ultramétricas foi apresentada por CARLSSON; MÉMOLI. Desse modo, qualquer dendrograma pode ser descrito por uma matriz ultramétrica, e um dendrograma equivalente pode ser recuperado dessa matriz ultramétrica (MIRZAEI; RAHMATI, 2010). As duas Definições 3.1 e 3.2

apresentam a relação entre dendrogramas e ultramétricas.

Definição 3.1 (Representando Dendrogramas como Ultramétricas (CARLSSON; MÉMOLI,

2010)): Considere o mapeamento Ψ : 𝒟 → 𝒰 entre o espaço dos dendrogramas 𝒟 sobre um conjunto de dados 𝑋, e a coleção 𝒰 de todas ultramétricas sobre 𝑋. Considere o nível de decisão 𝛿 ∈ [0, ∞], isto é, a altura do dendrograma. Assim, ∼𝐷𝑋(𝛿) uma relação de

equivalência, no qual os objetos 𝑥, 𝑦 ∈ 𝑋 são equivalentes ao nível de decisão 𝛿, 𝑥 ∼𝐷𝑋(𝛿) 𝑦,

se e somente se 𝑥 e 𝑦 estão no mesmo grupo considerando o nível de decisão 𝛿.

Para um dado dendrograma 𝐷𝑋 sobre um conjunto finito 𝑋, tem-se que Ψ(𝐷𝑋) = (𝑋, 𝑢𝑋), e 𝑢𝑋(𝑥, 𝑦) é o menor nível de decisão que 𝑥 e 𝑦 são agrupados num mesmo grupo,

para todo 𝑥, 𝑦 ∈ 𝑋. 𝑢𝑋(𝑥, 𝑦) = min{𝛿 ≥ 0|𝑥 ∼𝐷𝑋(𝛿)𝑦} (3.8) 0 δ1 δ2 δ3 δ4 x1 x2 x3 x4 x5 • • • • Ψ(𝐷𝑋) = 𝑥1 𝑥2 𝑥3 𝑥4 𝑥5 ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ 𝑥1 0 𝛿3 𝛿4 𝛿4 𝛿4 𝑥2 𝛿3 0 𝛿4 𝛿4 𝛿4 𝑥3 𝛿4 𝛿4 0 𝛿1 𝛿2 𝑥4 𝛿4 𝛿4 𝛿1 0 𝛿2 𝑥5 𝛿4 𝛿4 𝛿2 𝛿2 0

Figura 11 – Dado 𝐷𝑋, Ψ(𝐷𝑋) = (𝑋, 𝑢𝑋), define uma ultramétrica 𝑢𝑋.

A Figura 11 apresenta o dendrograma 𝐷𝑋 sobre 𝑋 = {𝑥1, 𝑥2, 𝑥3, 𝑥4, 𝑥5} e a ultra-

44 Capítulo 3. Fundamentação Teóricas

menor valor de decisão para os elementos 𝑥1 e 𝑥3 em que eles são aglomerados num mesmo

grupo.

Definição 3.2 (Representado Ultramétrica como Dendrograma (CARLSSON; MÉMOLI,

2010)): Considere o mapeamento ϒ : 𝒰 → 𝒟 entre o espaço das ultramétricas 𝒰 so- bre o conjunto de dados 𝑋 e a coleção 𝒟 de todos dendrogramas sobre 𝑋.

Para uma ultramétrica 𝑢𝑋 sobre conjunto finito 𝑋 e cada 𝛿, a relação de equiva- lência ∼𝑢𝑋(𝛿) segue,

𝑥 ∼𝑢𝑋(𝛿) 𝑦 ⇐⇒ 𝑢𝑋(𝑥, 𝑦) ≤ 𝛿 (3.9)

Para cada 𝛿 ≥ 0 são definidas as classes de equivalências de 𝑋 sobre a relação ∼𝑢𝑋(𝛿), isto é, forma uma partição 𝑃𝑋. Esta relação de equivalência está ligada ao fato de 𝑢𝑋 ser uma ultramétrica. Dito isso, um nó interno no dendrograma é associado à altura (nível de decisão) 𝛿 e representa os grupos formados pelos objetos da classe de equivalência

de 𝑋/ ∼ 𝑢𝑋(𝛿).

Exemplo 3.1. Considere a ultramétrica 𝑢𝑋 sobre 𝑋 = {𝑥1, 𝑥2, 𝑥3, 𝑥4} por uma matriz

ultramétrica, a partir dela é possível extrair um dendrograma. Por exemplo, seja o nível de decisão, 𝛿 ∈ [0, ∞],para 𝛿 = 0 tal que ∼𝑢𝑋(0) define a partição {𝑥1}, {𝑥2}, {𝑥3}, {𝑥4}.

Para ∼𝑢𝑋(2) define {𝑥1, 𝑥2}, {𝑥3}, {𝑥4}, ∼𝑢𝑋(4) define {𝑥1, 𝑥2}, {𝑥3, 𝑥4} e ∼𝑢𝑋(5) define

{𝑥1, 𝑥2, 𝑥3, 𝑥4}. A representação gráfica desse dendrograma pode ser vista abaixo.

[𝑢𝑋] = 𝑥1 𝑥2 𝑥3 𝑥4 ⎛ ⎜ ⎜ ⎝ ⎞ ⎟ ⎟ ⎠ 𝑥1 0 2 5 5 𝑥2 2 0 5 5 𝑥3 5 5 0 4 𝑥4 5 5 4 0 ϒ(𝑢𝑋) = 0 2 4 5 x1 x2 x3 x4 • • •

Figura 12 – Dado 𝑢𝑋, ϒ(𝑢𝑋) = 𝐷𝑋, define um dendrograma 𝐷𝑋.

Note que um outro dendrograma poderia ser criado se ao invés de utilizar o 𝛿 = 4, fosse utilizado um 𝛿 = 4.5 obteríamos pela relação ∼𝑢𝑋(4.5) a mesma partição

{{𝑥1, 𝑥2}, {𝑥3, 𝑥4}}, mas associado a outro nível de decisão no dendrograma. O novo

dendrograma preservaria a topologia (geram as mesmas partições) mesmo com o nível de decisão associado ao grupo {𝑥3, 𝑥4} diferente.

As definições seguintes são baseadas no trabalho de (ACKERMAN; BEN-DAVID,

3.2. Análise de Agrupamentos em Comitês de Agrupamentos Hierárquicos 45 forma, é possível definir dendrogramas com base em implementações mais recentes, onde o agrupamento de mais de dois grupos é permitido numa mesma iteração.

Dado uma árvore 𝒯 com raiz terminalmente etiquetada sobre um conjunto de dados 𝑋, um dendrograma é um grafo acíclico 𝐺𝒯 = (𝑉𝒯, 𝐸𝒯), cujas folhas e vértices de

grau um são bijectivamente rotuladas pelos objetos de 𝑋 e todos os vértices interiores possuem pelo menos grau de saída igual a dois, e as arestas em 𝐸𝒯 são direcionadas a partir

da raiz (PODANI; DICKINSON, 1984). Por definição, todos os vértices são alcançáveis pela raiz por um caminho dirigido em 𝐺𝒯. O grupo representado pelo vértice 𝑣 ∈ 𝑉𝒯 é

definido pelo conjunto das folhas alcançáveis a partir de 𝑣 por um caminho direto em 𝐺𝒯.

O grupo de um dado vértice interior é obtido pela função 𝐶 : 𝑉𝒯 → 𝒫(𝑋).

𝐶(𝑣) = {𝐹 (𝑦)|𝑦 é uma folha alcançável a partir de 𝑣} (3.10)

em que 𝒫(𝑋) representa o conjunto das partes de 𝑋 e 𝐹 : 𝑓 𝑜𝑙ℎ𝑎𝑠(𝐺𝒯) → 𝑋 é uma

bijeção. Além disso, cada nó é associado a um nível de decisão, usando a função 𝜃 : 𝑉𝒯 →

{0, 𝛿1, . . . , 𝛿𝑖, . . . , 𝛿max}, no qual as folhas são associadas ao nível 0, e os nós possuem

níveis maiores que seus filhos. Onde 𝛿max representa o maior 𝛿 que gera uma partição

diferente, ou seja, qualquer nível de decisão maior que 𝛿max define a mesma partição na

qual é a partição trivial que é o próprio 𝑋. 𝛿max é associado a raiz da árvore, já que

representa o grupo onde todos os objetos são agrupados juntos.

Definição 3.2. (Dendrograma) Um dendrograma sobre (𝑋, 𝑑) é a tripla (𝒯 , 𝐹, 𝜃) onde

𝒯 é uma árvore n-ária com raiz, e terminalmente etiquetada pela função 𝐹 e 𝛿𝑖 ∈ R+∪ {0} tal que,

(D1) Para todo nó folha, 𝑣 ∈ 𝑉𝒯, vale 𝜃(𝑣) = 0.

(D2) Se (𝑣, 𝑤) ∈ 𝐸𝒯, então 𝜃(𝑣) > 𝜃(𝑤)

Note que a Condição (D2) implica que 𝐶(𝑤) ⊂ 𝐶(𝑣) → 𝜃(𝑤) < 𝜃(𝑣).

Dado um dendrograma 𝐷 = (𝒯 , 𝐹, 𝜃) sobre (𝑋, 𝑑), diz-se que um determinado grupo 𝐴 ⊆ 𝑋 está em 𝐷 se existe um nó 𝑣 ∈ 𝑉𝒯 tal que 𝐶(𝑣) = 𝐴. E para um agrupamento

𝐶 = {𝐶1, . . . , 𝐶𝑘} de 𝑋′ ⊆ 𝑋 está em 𝐷 se para todo 𝑖 (1 ≤ 𝑖 ≤ 𝑘), 𝐶𝑖 estiver em 𝐷. O conjunto com todos os grupos de 𝒯 é definido pelo conjunto de todos os grupos definidos pelos vértices

𝐶(𝒯 ) = {𝐶(𝑣)|𝑣 ∈ 𝑉𝒯}.

Esses grupos não formam um agrupamento que particiona inteiramente o domínio 𝑋. Os agrupamentos que formam partições são obtidos quando um corte é feito num determinado nível de decisão em todo o dendrograma. Para o nível de fusão 𝛿𝑖 no dendrograma 𝐷, o 𝜋-corte é um agrupamento em 𝐷 representado pelos vértices do mesmo nível ou diretamente abaixo de 𝛿𝑖. Neste caso, o agrupamento é uma partição de 𝑋.

46 Capítulo 3. Fundamentação Teóricas

Definição 3.3 (𝜋-corte): Dado um nível de decisão 𝛿𝑖 no dendrograma 𝐷 = (𝒯 , 𝐹, 𝜃),

𝜋-corte de 𝐷 é definido por

𝜋-corte(𝛿𝑖) = {𝐶(𝑣)|𝑣 ∈ 𝑉𝒯, 𝜃(𝑝𝑎𝑖(𝑣)) > 𝛿𝑖 e 𝜃(𝑣) ≤ 𝛿𝑖} .

A partir dos 𝜋-cortes e os níveis de decisão 𝛿 é possível determinar todas as partições indexadas por 𝛿. Dada uma relação de equivalência 𝑥𝑖 ∼𝜋-corte(𝛿) 𝑥𝑗, o menor nível de decisão que os nós folhas 𝑥𝑖 e 𝑥𝑗 estão no mesmo grupo em 𝜋-corte(𝛿) do dendrograma 𝐷. Assim, a abrangência dos níveis de decisão é dado pelo intervalo [𝛿0 = 0, . . . , 𝛿max = 𝜃(𝑣𝑟)], sendo 𝑣𝑟 a raiz da árvore 𝒯 do dendrograma 𝐷.

Descritores de Dendrogramas

Os exemplos apresentados na seção anterior foram baseados apenas no nível de decisão, em outras palavras, apenas na informação da métrica quando os grupos foram criados. Definindo o descritor de dendrograma conhecido como Cophenetic Difference, mas outros descritores podem ser definidos utilizando outras relações.

Os descritores de dendrogramas (PODANI; DICKINSON, 1984) refletem dife- rentes aspectos da estrutura de dendrogramas. Um descritor de dendrograma pode ser representado numa matriz simétrica 𝑈 com tamanho 𝑛 × 𝑛, sendo 𝑛 o número de objetos representados no dendrograma. A matriz 𝑈 é definida, como segue

𝑈 = ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ 𝑢11 𝑢12 𝑢13 . . . 𝑢1𝑛 𝑢21 𝑢22 𝑢23 . . . 𝑢2𝑛 .. . ... ... . .. ... 𝑢𝑛1 𝑢𝑛2 𝑢𝑛3 . . . 𝑢𝑛𝑛 ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦

em que, 𝑢𝑖𝑗 representa a diferença dos objetos 𝑥𝑖 e 𝑥𝑗 no dendrograma baseado em algum critério. Dentre esses descritores, os descritores que geram matrizes ultramétricas são amplamente utilizados na área de comitês de agrupamentos hierárquicos pela capacidade de recuperação do dendrograma associado. Em geral, o consenso dos dendrogramas consiste no consenso descritores, como visto na Figura 10 que ilustra o esquema geral para um comitê de agrupamentos hierárquicos. Considerando que o nível de resolução é limitado 𝛿 ∈ [0, 𝛿max], onde 𝛿max é a resolução que a partição definida por ela é a mesma do conjunto

todo 𝑋, e que para qualquer valor maior que 𝛿max a partição é a mesma. Os cinco principais

descritores de dendrogramas ultramétricos são:

Cophenetic Difference (CD) (SOKAL; ROHLF, 1962) é o menor nível de decisão

3.2. Análise de Agrupamentos em Comitês de Agrupamentos Hierárquicos 47

𝐶𝐷(𝑥, 𝑦) = min{𝛿|𝑥 ∼𝐷𝑋(𝛿)𝑦} (3.11)

Partition Membership Divergence (PMD) (PODANI; DICKINSON, 1984) é o

número de partições da hierarquia no qual duas folhas não estão no mesmo grupo. Considerando 𝑃𝛿

𝑋 a partição associada à relação de equivalência ∼𝐷𝑋(𝛿).

𝑃 𝑀 𝐷(𝑥, 𝑦) = 𝐶𝑎𝑟𝑑({𝑃_𝑋𝛿_|𝑥𝐷𝑋(𝛿) 𝑦 e 𝛿 ∈ [0, 𝛿max]}) (3.12)

Cluster Membership Divergence (CMD) (PODANI; DICKINSON, 1984) o ta-

manho do menor grupo na hierarquia que contém os objetos representados por duas folhas no mesmo grupo.

𝐶𝑀 𝐷(𝑥, 𝑦) =| 𝐵 | tal que 𝑥, 𝑦 ∈ 𝐵 ∈ 𝐷𝑋(𝛿min) (3.13)

onde 𝛿min = min{𝛿 ∈ [0, 𝛿max]|𝑥 ∼𝐷𝑋(𝛿)𝑦}, ou 𝛿min= 𝐶𝐷(𝑥, 𝑦).

Sub-dendrogram Membership Divergence (SMD) (PODANI; DICKINSON, 1984)

é o número de sub-dendrogramas no qual duas folhas não estão incluídas.

𝑆𝑀 𝐷(𝑥, 𝑦) = {𝐵𝑘|𝐵𝑘∈ 𝑃

(𝛿)

𝑋 tal que 𝑥 𝐷𝑋(𝛿) 𝑦 e 𝛿 ∈ [0, 𝛿max]} (3.14)

Maximum Edge Distance (MED) é o maior número de arestas no caminho do nó

interno que define um grupo e as folhas formadas nesse grupo. Isto faz com que o med seja menos sensível aos níveis de fusão como o cd, no qual ocorre que dendrogramas com a mesma topologia podem ter valores bem diferentes.

O elemento na posição (𝑖, 𝑗) dessa matriz representa o maior número de arestas entre o ancestral comum dos vértices 𝑣𝑖 e 𝑣𝑗 até os nós folhas. 𝐿𝑒𝑣𝑒𝑙(𝑣(𝐶1) ∩ 𝑣(𝐶2)) =

max{𝐿𝑒𝑣𝑒𝑙(𝑣(𝐶1)), 𝐿𝑒𝑣𝑒𝑙(𝑣(𝐶2))} + 1.

Exemplo 3.1

Os descritores de dendrogramas podem ser redefinidos utilizando a Definição 3.2 de dendrogramas baseada em árvores. Por exemplo, sendo o dendrograma 𝐷 = (𝒯 , 𝐹, 𝜃), o descritor CD (Cophenetic Difference) é calculado por:

𝐶𝐷(𝑥, 𝑦) = 𝜃(𝑤) tal que 𝑤 ∈ 𝑉 (𝒯 ) e 𝑤 = 𝐿𝐶𝐴(𝑣𝑥, 𝑣𝑦) (3.15) onde LCA é o menor ancestral comum, e 𝑣𝑥 =, 𝑣𝑦 são as folhas do dendrograma que representam os objetos 𝑥 e 𝑦, isto é, 𝐶(𝑣𝑥) = {𝑥} e 𝐶(𝑣𝑦) = {𝑦}.

48 Capítulo 3. Fundamentação Teóricas

A dificuldade de combinar estruturas complexas, como por exemplo árvores, leva à redução do problema de consenso de dendrogramas para o consenso de matrizes de descritores. A propriedade de recuperação do dendrograma é suficiente para tornar essa abordagem adequada.