Análise Classificatória de Dados Distribucionais: Abordagem Simbólica e Composicional

(1)

Tese de Mestrado em Análise de Dados e Sistemas de Apoio à Decisão

An´

alise Classificat´

oria de Dados Distribucionais

Abordagem Simb´

olica e Composicional

por

Maria do Ros´

ario Guimar˜

aes Almeida Moreira

Orientada por

Professora Doutora Paula Brito

Faculdade de Economia

Universidade do Porto

(2)

Nota Biogr´

afica

Mestrado em Matemática/Educa¸cão com a classifica¸cão de Muito Bom, com disserta¸cão na área da Matemática Discreta, subordinado ao tema ’Dos grafos aos Gridóides’.

Licenciatura em Matem´atica Ramo Educacional na FCUP, com 12 valores. Experiˆencia Profissional

Setembro 1986/Setembro 1988: Professora do Ensino Básico e Secundário na Escola Secundária Aurélia de Sousa.

Outubro 1988/Outubro 1989: Efetivou-se na Escola C+S de Moreira da Maia, acumulando a fun¸c˜ao de Delegada de Grupo.

Outubro 1989/Agosto 1991: A pedido da Escola Secund´aria Aur´elia de Sousa, pediu destacamento para esta para participar no projeto MINERVA.

Setembro 1991/1994: Apesar de em 1991 ficar colocada efetiva na Escola Secundária Rodrigues de Freitas, preferiu ir trabalhar para a Escola Agr´ıcola em Barcelos, ligada ao IEFP, exercendo cargos de Responsável da Ano e de carácter administrativo.

Setembro 1994/2001: Retoma o seu lugar como professora na Escola Secund´aria Rodrigues de Freitas.

1999/2000: Acumulou fun¸cões de docência no Instituto Politécnico de Gaia no dom´ınio da Álgebra e da Análise.

2001/2005: Lecionou a tempo total no ISPGaya, na qualidade de requisitada. Regente das disciplinas de Estat´ıstica e de Investiga¸cão Operacional. Assistente nas disciplinas de Matemática I e Matemática II. Era a responsável pela análise dos resultados dos diferentes inquéritos realizados na institui¸cão.

2004/2005: Passou também a ser regente das cadeiras de Matemática I e Matemática II nos cursos de engenharia e em 2005/06 rege as mesmas disciplinas mas para os cursos de Contabilidade e Gestão e Informática de Gestão.

(3)

(4)

Agradecimentos

A realiza¸cão desta disserta¸cão de mestrado não seria poss´ıvel sem os apoios e incentivos de muitos. Assim estou profundamente grata:

Aos meus pais a quem devo tudo de bom quanto sou. `

A Professora Doutora Paula Brito, minha orientadora, pela grande paciˆencia que teve, pelo empenho demonstrado e pelas palavras de incentivo.

`

A minha fam´ılia que est´a sempre comigo.

Aos meus amigos sem os quais a vida seria muito pobre. Aos meus colegas de trabalho.

(5)

Tabela de S´ımbolos Matem´

aticos e

Abreviaturas

Nota¸c˜ao Descri¸c˜ao

SDA Symbolic Data Analysis ADS Análise de Dados Simbólicos ASM Abordagem Simbólica Modal ASH Abordagem Simbólica Histograma

AC Abordagem Composicional

x = [x1, . . . , xD] Composi¸c˜ao x

C(x) Operador de Fecho da Composi¸cão x x ∼ y Composi¸cão x Equivalente à Composi¸cão y ⊕ Opera¸cão Perturba¸cão no Espa¸co Simplex ⊗ Opera¸cão Potência no Espa¸co Simplex

< x, y > Produto Interno da Composi¸cão x com a Composi¸cão y alr Transforma¸cão Logar´ıtmica Aditiva

clr Transforma¸cão Logar´ıtmica Centrada ilr Transforma¸cão Logar´ıtmica Isométrica Ψ Fun¸cão Quantil de uma Variável Histograma

(6)

Resumo

O aumento significativo de informa¸cão com que nos deparamos diariamente nas mais diversas áreas torna premente o desenvolvimento de novas técnicas de agrega¸cão, análise e manipula¸cão de dados, com vista a extrair toda a informa¸cão verdadeiramente importante. Esse objetivo pode ser alcan¸cado através da utiliza¸cão de dados mais complexos denominados por simbólicos. Neste novo tipo de dados cada variável pode assumir um conjunto finito de valores/categorias, intervalos e distribui¸cões de probabilidade/frequência. Assim, a Análise de Dados Simbólicos requer técnicas estat´ısticas apropriadas à essência desta nova natureza de dados.

Os dados composicionais são vetores cujas componentes, não negativas, são propor¸cões ou percentagens de um todo, sendo, portanto a sua soma sempre constante. Nenhuma variável é explicada isoladamente. Nesta abordagem torna-se necessário a defini¸cão de um novo espa¸co: Espa¸co Simplex onde se definem duas opera¸cões: perturba¸cão e permuta¸cão e, porque os elementos desse espa¸co são rácios é necessário definir transforma¸cões logar´ıtmicas.

Nesta disserta¸cão pretende -se comparar métodos de classifica¸cão hierárquica e não hierárquica sob o ponto de vista das abordagens simbólicas e composicional. Palavras-Chave: Dados Simbólicos, Dados Composicionais, Classifica¸cão Hier´ ar-quica, Classifica¸cão não-Hierárquica.

(7)

Abstract

Due to the significant increase of information we face daily in several areas, it is urgent to develop new techniques of aggregation, analysis and handling of data in order to extract all the truly important information. This goal can be achieved through the use of more complex data called symbolic. In this new data type each variable can take on a finite set of values /categories, intervals and probability / frequency distributions. Thus, the Analysis of Symbolic Data requires statistical techniques which are appropriate to the essence of this new nature of data

Compositional data consist of vectors whose components are the proportion or percentages of some whole.and they to non-negativity and constant-sum con-straints.No variable is free to vary independent of all rhe others..In this aproach e is necessary a specific space called Simlpex Space where two operations are defined: the pertubation and the permutation. In order to preserve the properties of the composition when we apply those operations, and because their elements are ratios, it is necessary to carry out logarithmic transformationss.

In this dissertation it is intended to compare methods of hierarchical and non-hierarchical classification from the point of view of the symbolic and compositional approaches.

Keywords: Symbolic Data, Compositional Data, Hierarchical Clustering, non-Hierarchical Clustering

(8)

´

_Indice

Nota Biogr´afica i

Agradecimentos iii

Tabela de S´ımbolos Matem´aticos iv

Resumo v Abstract vi 1 Introdu¸cão 1 1.1 Motiva¸cão . . . 2 1.2 Objetivos . . . 3 1.3 Organiza¸cão . . . 3

2 Análise Simbólica 4 2.1 Diversos Tipos de Variáveis . . . 5

2.1.1 Vari´avel Quantitativa de Valor ´Unico . . . 6

2.1.2 Vari´avel Quantitativa de Valor M´ultiplo . . . 6

2.1.3 Vari´avel Intervalar . . . 6

2.1.4 Vari´avel Histograma . . . 7

2.1.5 Variável Categórica de Valor Único . . . 8

(9)

2.1.7 Categ´orica Modal . . . 8

3 An´alise composicional 10 3.1 Generalidades . . . 10

3.2 Espa¸co Simplex . . . 10

3.3 Operador de Fecho . . . 11

3.4 Subcomposi¸c˜ao . . . 11

3.5 Composi¸c˜oes Equivalentes e Invariˆancia de Escala . . . 11

3.6 Opera¸c˜oes no Espa¸co Simplex . . . 12

3.6.1 Opera¸c˜ao Perturba¸c˜ao . . . 12

3.6.2 Opera¸c˜ao Potˆencia . . . 13

3.6.3 M´etrica ∆ . . . 13

3.7 Norma e Produto Interno . . . 14

3.8 Base e Espa¸co Gerador . . . 14

3.9 Principais transforma¸c˜oes nos dados composicionais . . . 15

3.9.1 Transforma¸c˜ao Logar´ıtmica Aditiva (alr) . . . 15

3.9.2 Transforma¸c˜ao Logar´ıtmica Centrada (clr) . . . 16

3.9.3 Transforma¸c˜ao Logar´ıtmica isom´etrica (ilr) . . . 16

3.9.4 Etapas a considerar na utiliza¸c˜ao de Transforma¸c˜oes Logar´ıtmicas . . . 17

3.10 Medidas Estat´ısticas . . . 17

4 Estado de Arte: Análise Classificatória 19 4.1 Conceitos Básicos em Análise Classificatória . . . 19

4.2 Medidas de Dissemelhan¸ca . . . 20

4.3 M´etodos de Classifica¸c˜ao . . . 21

(10)

4.3.2 Métodos não Hierárquicos . . . 23

4.4 O ´Indice de Rand . . . 24

4.5 Análise Classificatória para Dados Simbólicos . . . 26

4.5.1 Medidas de Dissemelhan¸ca para Dados Simb´olicos . . . 26

4.5.2 Estudos Realizados nesta ´Area . . . 27

4.6 An´alise Classificat´oria para Dados Composicionais . . . 29

4.6.1 Medidas de Dissemelhan¸ca para Dados Composicionais . . . . 29

4.6.2 Trabalhos realizados nesta ´Area . . . 30

5 Aplica¸c˜oes 31 5.1 Introdu¸c˜ao . . . 31

5.2 As duas Abordagens . . . 32

5.2.1 Abordagem Simb´olica . . . 32

5.2.2 Abordagem Composicional . . . 32

5.3 Descri¸c˜ao dos dois Problemas . . . 34

5.3.1 Caso Banc´ario . . . 35

5.3.2 Dados Sociol´ogicos Americanos . . . 37

6 An´alise dos Resultados 41 6.1 Introdu¸c˜ao . . . 41

6.2 Dados Banc´arios . . . 41

6.2.1 Classifica¸c˜ao Hier´arquica . . . 41

6.2.2 Compara¸c˜ao de Resultados entre as diferentes Abordagens . . 60

6.2.3 Classifica¸cão Não-Hierárquica . . . 61

6.2.4 Diferen¸ca entre as Duas Classifica¸c˜oes . . . 64

6.3 Dados Sociol´ogicos Americanos . . . 65

(11)

6.3.2 Semelhan¸ca entre as diferentes Abordagens . . . 84

6.3.3 Classifica¸cão Não Hierárquica . . . 85

6.3.4 Semelhan¸ca entre as Diferentes Abordagens . . . 87

6.3.5 Semelhan¸ca entre os dois Tipos de Classifica¸c˜ao . . . 88

7 Conclus˜oes 90 7.1 Considera¸c˜oes Iniciais . . . 90

7.2 Conclus˜oes Finais . . . 90

7.3 Limita¸c˜oes e Trabalho Futuro . . . 92

Bibliografia 93

Anexos 97

A Dados Banc´arios 97

B Dados Bancários após a Transforma¸cão multLN 99

C M´edia das distribui¸c˜oes de cada Grupo relativamente a cada uma

das vari´aveis - Dados Banc´arios 101

(12)

Lista de Tabelas

2.1 Exemplo de Dados resultantes de uma Agrega¸c˜ao Temporal . . . 4

2.2 Dados sobre um Grupo de Estudantes . . . 5

2.3 Exemplo de uma Agrega¸c˜ao Contemporˆanea . . . 5

2.4 Exemplo de Vari´avel Quantitativa de Valor ´Unico . . . 6

2.5 Matriz de Vari´aveis Intervalares . . . 6

2.6 Exemplo de uma Vari´avel Categ´orica Modal. . . 9

5.1 Quartis das diferentes Vari´aveis - Caso Banc´ario . . . 36

5.2 Extrato dos Dados - Dados Banc´arios . . . 37

5.3 Siglas dos Estados Americanos em estudo . . . 38

5.4 Quartis das diferentes vari´aveis - Dados Sociol´ogicos Americanos . . . 38

5.5 Extrato dos Dados Originais - Dados Sociol´ogicos Americanos . . . . 39

6.1 Altura dos Dendrogramas para diferentes Abordagens . . . 42

6.2 Centros - M´etodo Average - ASM - Dados Banc´arios . . . 44

6.3 Centros - M´etodo Complete- ASM - Dados Banc´arios . . . 45

6.4 Centros - M´etodo WardD2-ASM - Dados Banc´arios . . . 47

6.5 Valor do ´Indice de Rand Ajustado -ASM -Dados Banc´arios . . . 48

6.6 Centros - M´etodo Average- AC - Dados Banc´arios . . . 51

6.7 Centros - M´etodo Complete- AC - Dados Banc´arios . . . 54

(13)

6.9 Média das diferentes Distribui¸cões para cada Grupo de Clientes -Dados Bancários . . . 56 6.10 Valor do Índice de Rand Ajustado aplicado aos diferentes métodos da

Abordagem Simbólica Histograma - Dados Bancários . . . 60 6.11 Valor do Índice de Rand Ajustado entre Abordagem Simbólica

Histo-grama e Composicional- Dados Bancários . . . 60 6.12 Valor do Índice de Rand Ajustado - Abordagem Simbólica Modal e

composicional- Dados Bancários . . . 61 6.13 Valor do Índice de Rand Ajustado entre Métodos das Abordagens

Simbólicas - Dados Bancários . . . 61 6.14 Valor do Índice de Rand Ajustado entre ASM Hierárquico e as solu¸cões

das classifica¸cões não hierárquicas - Dados Bancários . . . 64 6.15 Valor do Índice de Rand Ajustado entre AC Hierárquico e as solu¸cões

das classifica¸cões não hierárquicas- Dados Bancários . . . 64 6.16 Valor do Índice de Rand Ajustado entre ASH Hierárquico e as solu¸cões

das classifica¸cões não hierárquicas- Dados Bancários . . . 64 6.17 Altura do dendrogramas para os diferentes Métodos em diferentes

Abordagens: Dados Sociológicos Americanos . . . 66 6.18 Centros - Método Average- ASM - Dados Sociológicos Americanos . . 67 6.19 Centros - Método Complete- ASM - Dados Sociológicos Americanos . 70 6.20 Centros - Método Ward.D2 - ASM - Dados Sociológicos americanos . 72 6.21 Valor do Índice de Rand Ajustado - ASM -Dados Sociológicos

Ameri-canos . . . 73 6.22 Centros-Método Average - AC - Dados Americano . . . 74 6.23 Centros -Método Complete - AC - Dados Sociológicos Americanos . . 76 6.24 Valor do Índice de Rand Ajustado - AC -Dados Sociológicos Americanos 78 6.25 Média de cada Variável pelos diversos Estados - ASH -Dados Sociol´

o-gicos Americanos . . . 79 6.26 Valor do ´Indice de Rand Ajustado aplicado aos diferentes M´etodos

da Abordagem Simbólica Histograma - Dados Sociológicos Americanos 84 6.27 Valor do Índice de Rand Ajustado entre Abordagem Simbólica

(14)

6.28 Valor do Índice de Rand Ajustado - Abordagem Simbólica Euclidiana e Composicional - Dados Sociológicos Americanos . . . 85 6.29 Valor do Índice de Rand Ajustado entre Métodos das Abordagens

Simbólicas - Dados Sociológicos Americanos . . . 85 6.30 Centros das Classes dados pelos Métodos métodos não Hierárquicos

na abordagem Composicional -Dados Sociológicos Americanos . . . . 87 6.31 Centros das Classes - Classifica¸cão não Hierárquica - ASH . . . 87 6.32 Valor do Índice de Rand Ajustado entre os dois Tipos de Classifica¸cões

- Dados Sociol´ogicos Americanos . . . 89

A.1 Dados Banc´arios . . . 98

B.1 Dados Bancários após a Transforma¸cão multLN . . . 100

C.1 Média das distribui¸cões de cada Grupo relativamente a cada uma das variáveis - Dados Bancários . . . 101

(15)

Lista de Figuras

5.1 Distribui¸c˜ao de clientes nos diferentes grupos . . . 35

5.2 Distribui¸c˜ao do N´umero de Cidades pelos diferentes Estados. . . 40

6.1 Dendrograma - M´etodo Average - ASM - Dados Banc´arios . . . 43

6.2 Dendrograma - M´etodo Complete - ASM - Dados Banc´arios . . . 45

6.3 Dendrograma - M´etodo - Ward.D2 -ASM -Dados Banc´arios . . . 48

6.4 Dendrograma - M´etodo Average-AC - Dados Banc´arios . . . 49

6.5 Dendrograma - M´etodo Complete-AC Dados Banc´arios . . . 52

6.6 Dendrograma - M´etodo Ward2 - AC Dados Banc´arios . . . 53

6.7 Dendrograma -M´etodo Average-ASH - Dados Banc´arios . . . 57

6.8 Dendrograma -M´etodo Complete-ASH - Dados Banc´arios . . . 58

6.9 Dendrograma -Método Ward.D2-ASH - Dados Bancários . . . 59 6.10 Dendrograma -Método Average-ASM - Dados Sociológicos Americanos 67 6.11 Dendrograma -Método Complete-ASM - Dados Sociológicos Americanos 69 6.12 Dendrograma -Método Ward.D2-ASM - Dados Sociológicos Americanos 71 6.13 Dendrograma -Método Average - AC - Dados Sociológicos Americanos 74 6.14 Dendrograma -Método Complete-AC - Dados Sociológicos Americanos 76 6.15 Dendrograma -Método WardD2 - AC - Dados Sociológicos Americanos 78 6.16 Dendrograma - Método Average-ASH - Dados Sociológicos Americanos 80 6.17 Dendrograma -Método Complete-ASH - Dados Sociológicos Americanos 81

(16)

(17)

Cap´ıtulo 1

Introdu¸

c˜

ao

A análise de dados simbólicos (ADS ) (em inglês Symbolic Data Analysis-SDA) surge da necessidade de representar informa¸cão complexa que não pode ser descrita a partir dos modelos clássicos [7]. Em análise de dados clássicos cada célula de uma matriz de dados contém apenas um único valor o que torna o modelo muito restritivo tendo em conta a grande variabilidade/incerteza que os dados podem eventualmente conter. Através da análise de dados simbólicos essa variabilidade interna é tomada em considera¸cão.

Tal como no caso da análise clássica, na ADS os dados são apresentados sob a forma de uma matriz, contudo cada célula pode conter um único valor/categoria, um conjunto finito de valores/categorias, ou ainda, uma distribui¸cão [14, 33].

Os dados distribucionais, como indica o próprio nome têm associada a cada variável uma distribui¸cão. Essa distribui¸cão pode ser de dados cont´ınuos, neste caso denomina-se por variável histograma, ou por dados discretos ou ainda, categóricos e nestes dois últimos casos tem-se uma variável denominada modal.

As variáveis distribucionais da ADS podem ser vistas sob o ponto de vista composicional, cuja análise estat´ıstica é realizada de um modo diverso daquele que se faz na ADS.

Os dados composicionais surgem do estudo de problemas em que há uma correla¸cão entre as variáveis e a informa¸cão pertinente de natureza relativa entre rácios de variáveis. Nenhuma dessas variáveis pode ser interpretada isoladamente. Um dos problemas a elencar é o da percentagem de votos numa dada elei¸cão em que não interessa o número de votos conquistados, mas a percentagem que cada partido/candidato consegue obter. O espa¸co amostral deste novo tipo de dados já não será <P _{mas um subespa¸co deste que se designa por Simplex [1]. Nesse espa¸co}

são definidas duas opera¸cões: opera¸cão potência e perturba¸cão que conjuntamente constituem um espa¸co vectorial onde são definidos conceitos de produto interno, norma e base de acordo com a especificidade destes dados (Cap´ıtulo 3). Para este tipo de dados também se define uma nova distância: a distância de Aitchison [1].

(18)

Por esses dados serem de rácios torna-se vantajoso a utiliza¸cão de transforma¸cões logar´ıtmicas. Aitchison propôs duas transforma¸cões e Filzmoser acrescenta uma terceira substancialmente melhor que as anteriores [15, 16].

Uma das tarefas mais relevantes na análise de dados é a análise classificatória que consiste na constru¸cão de grupos por forma a que os elementos de um mesmo grupo sejam tão semelhantes quanto poss´ıvel e que difiram substancialmente dos elementos dos restantes grupos. Para tal, estes métodos partem da premissa de que é poss´ıvel quantificar essa homogeneidade a partir de medidas de semelhan¸ca/dissemelhan¸ca. Assim, o cálculo dessas medidas assume um papel de capital importância neste tipo de análise. Algumas destas medidas são as extensões das usadas na análise de dados clássica, contudo, existem outras especificas de acordo com a natureza dos dados destas duas abordagens, como se irá constatar no Cap´ıtulo 4.

Neste trabalho procura-se estudar o comportamento deste tipo de análise nas duas abordagens simbólica e composicional, pelo que o único tipo de dados a utilizar na ADS são os dados distribucionais.

1.1 Motiva¸

c˜

ao

Devido ao crescente aumento do n´umero e da dimens˜ao das bases de dados e `

a consequente complexidade de análise dessas dados, torna-se necessário encontrar formas alternativas aos tradicionais métodos de análise estat´ıstica. Em particular, é frequentemente necessário agregar dados a partir de conceitos básicos e extrair informa¸cões relevantes a partir deles [14]. A Análise de Dados Simbólicos tem por objetivo generalizar e desenvolver métodos estat´ısticos apropriados às caracter´ısticas dos dados simbólicos. Neste trabalho só serão objeto de estudo os dados distribu-cionais que como se irá ver são de dois tipos: os categóricos modais e os dados histograma.

A abordagem realizada pela análise composicional é bastante diversa da anterior. A informa¸cão pertinente ocorre sob a forma de rácios, sendo necessária a defini¸cão de transforma¸cões logar´ıtmicas capazes de contornar as restri¸cões que advêm da defini¸cão desses rácios.

Uma das análises poss´ıveis é a análise classificatória que consiste na constru¸cão de grupos de elementos similares entre si e tão diferentes quanto poss´ıvel dos elementos dos outros grupos. Nesta análise, usar-se-ão métodos hierárquicos e não hierárquicos. Estes métodos necessitam em geral de medidas de semelhan¸ca ou dissemelhan¸ca entre os objetos a agrupar. Medidas essas que terão em conta a natureza dos dois tipos de dados em questão.

(19)

1.2 Objetivos

Neste trabalho pretende-se utilizar as duas perspetivas, a simbólica e a composi-cional, comparar os resultados evidenciando as caracter´ısticas de cada abordagem. Serão usadas medidas de valida¸cão para avaliar a semelhan¸ca das solu¸cões obtidas em cada caso através do cálculo do valor do ´ındice de Rand. Para analisar o compor-tamento de cada uma das abordagens, serão utilizados dois conjuntos de dados, a saber:

distribui¸cão de despesas de clientes de um banco português,(nome não revelado por exigência da entidade bancária), sendo registada a propor¸cão por tipo de despesa;

dados sociológicos 20 estados americanos, descritos pelas distribui¸cões de variáveis de carácter social (dados de cidades, agregados por estado).

1.3 Organiza¸

c˜

ao

Esta disserta¸cão é composta por sete Cap´ıtulos. Nos Cap´ıtulos 2 e 3 serão abor-dados os conceitos estruturantes da análise simbólica e composicional, respetivamente. Os métodos de classifica¸cão, nomeadamente medidas de semelhan¸ca/dissemelhan¸ca especificas destas abordagens e fundamentais na análise classificatória serão o objeto de estudo no Cap´ıtulo 4. Nesse cap´ıtulo serão referidos os trabalhos existentes nesta ´

area. O modo como serão implementados os casos práticos constará no Cap´ıtulo 5 bem como a caracteriza¸cão dos Estudos de Caso. No Cap´ıtulo 6 serão apresentados e analisados os resultados. A disserta¸cão termina com algumas considera¸cões finais sugerindo futuras linhas de investiga¸cão.

(20)

Cap´ıtulo 2

An´

alise Simb´

olica

Atualmente, a cada instante, é gerada e armazenada uma quantidade significativa de informa¸cão e apesar do grande desenvolvimento ao n´ıvel de processadores, o esfor¸co computacional para a manipula¸cão dessa informa¸cão, é um sério problema. Por outro lado, em muitas ocasiões a utiliza¸cão de informa¸cão através do recurso à análise estat´ıstica clássica, é inadequada por não ter em conta a variabilidade/incerteza inerente aos dados. Neste contexto surge um novo tipo de dados: Os dados simbólicos. Estes dados podem ser obtidos diretamente ou a partir de uma agrega¸cão de dados clássicos. Essa agrega¸cão pode ser realizada de dois modos [5, 8, 14]:

Agrega¸cão Temporal: os dados são recolhidos ao longo do tempo nas mesmas entidades. As agrega¸cões devem ter em linha de conta todo o conjunto de valores ou as respetivas distribui¸cões. Neste tipo de agrega¸cão as unidades estat´ısticas que estão a ser analisadas são invariantes, isto é, são as mesmas antes e depois da agrega¸cão.

Um exemplo será a oscila¸cão da temperatura máxima em quatro cidades ao longo do ano (Tabela 2.1). Essa oscila¸cão varia de ano para ano.

Agrega¸cão Contemporânea: recolhem-se os dados num único momento e analisam-se entidades a um n´ıvel superior àquele em que os dados foram inicialmente recolhidos. Assim, contrariamente à agrega¸cão anterior, as uni-dades estat´ısticas não são as mesmas antes e depois da agrega¸cão, após esta ter sido realizada as unidades estat´ısticas passam a ser grupos espec´ıficos das unidades originais. Cidade Temperatura A [−2, 12] B [−3, 14] C [6, 14] D [7, 13]

(21)

A Tabela 2.2 representa os dados de um grupo de estudantes universit´arios:

Estudante Cidade Sexo Altura N. de Irm˜aos Tempo m´edio (min) Cor Preferida que demora a chegar

a faculdade

A Porto F 1.68 2 20 Azul B Braga M 1.72 3 5 Bege C Porto M 1.85 1 30 Preto D Viana do Castelo F 1.65 0 6 Azul E Braga F 1.8 2 10 Vermelho F Viana do Castelo F 1.82 3 12 Bege G Braga M 1.76 2 6 Vermelho H Porto F 1.78 3 3 Azul

I Viana do Castelo F 1.77 2 12 Azul

Tabela 2.2: Dados sobre um Grupo de Estudantes

Agrupando esses estudantes por cidades, obt´em-se grupos que podem ser descritos pela Tabela 2.3:

Cidade Sexo Altura N. de Irm˜aos Tempo m´edio (min) Cor Preferida que demora a chegar

` a faculdade

Porto (2/3)F ; (1/3)M [1.68, 1.85] {1, 2, 3} [0, 10[, 1/3; [10, 20[, 1/3; { Azul, Preto } [20, 30]1/3

Braga (1/3)F ; (2/3)M [1.72, 1.80] {2, 3} [0, 10[, 2/3; [10, 20[, 1/3; { Vermelho, Beje } [20, 30], 0

Viana do Castelo (1)F ; (0)M [1.65, 1.82] {0, 2, 3} [0, 10[, 1/3; [10, 20[, 2/3; { Azul, Beje } [20, 30], 0

Tabela 2.3: Exemplo de uma Agrega¸c˜ao Contemporˆanea

Este novo tipo de dados denominam-se por dados simbólicos. Tal como nos dados clássicos as variáveis podem ser quer qualitativas quer quantitativas, cada entrada da matriz pode não ser constitu´ıda por um único valor, também pode ser constitu´ıda por um conjunto finito de valores, por intervalos ou por distribui¸c˜oes. Seja: Y1, . . . , Yp o

conjunto de vari´aveis, Oj o dom´ınio subjacente a Yj e Bj o espa¸co de observa¸c˜oes de

Yj, j = 1, . . . , p. Uma descri¸c˜ao ´e definida por {d1, . . . , dp} com dj ∈ Bj, j = 1, . . . , p.

Sendo S = {s1, s2, . . . , sn} o conjunto dos indiv´ıduos observados, ent˜ao Yj(si) ∈ Bj

para j = 1, . . . , p, i = 1, . . . , n. A matriz de dados consiste em n descri¸c˜oes, uma para cada indiv´ıduo si ∈ S, di = (Y1(si), Y2(si), . . . , Yp(si)), i = 1, . . . , n.

No caso da Tabela 2.3, por exemplo,s2 = Braga, Y1(s2) = (M (2/3), F (1/3)),

significando que no grupo dos estudantes de Braga, 1/3 ´e do g´enero feminino e 2/3 do g´enero masculino.

2.1 Diversos Tipos de Vari´

aveis

´

(22)

2.1.1 Vari´

avel Quantitativa de Valor ´

Unico

Dado um conjunto de n entidades, S = {s1, s2, . . . , sn} define-se vari´avel

quan-titativa de valor ´unico por uma aplica¸c˜ao Y : S → O tal que Y (si) = c ∈ O ⊂ <.

Este ´e o caso dos dados quantitativos cl´assicos.

Fam´ılias N´umero de Filhos

A 3

B 2

C 4

Tabela 2.4: Exemplo de Vari´avel Quantitativa de Valor ´Unico

2.1.2 Vari´

avel Quantitativa de Valor M´

ultiplo

Dado um conjunto de n entidades S, define-se vari´avel quantitativa de valor m´ultiplo por uma aplica¸c˜ao Y : S → B tal que si → Y (si) = {ci1, . . . , cini} cujas

imagens são conjuntos finitos de valores reais. No exemplo referido na Tabela 2.3, o número de irmãos é uma variável quantitativa de valor múltiplo.

2.1.3 Vari´

avel Intervalar

Em SDA também é poss´ıvel, como já foi referido, ocorrer um intervalo de números reais. Dado um conjunto S={s1, s2, . . . , sn}, uma variável intervalar é definida pela

aplica¸c˜ao

Y : S → B tal que si → Y (si) = [li, ui] em que B ´e o conjunto de intervalos de

um conjunto subjacente O ⊆ R. Um exemplo deste tipo de vari´aveis ´e a altura dos alunos na Tabela 2.3. . . . Y1 . . . Yj . . . Yp s1 [l11, u11[ . . . [l1j, u1j[ . . . [l1j, u1j[ . . . . si [li1, ui1[ . . . [lij, uij[ . . . [lij, uij[ . . . . sn [ln1, un1[ . . . [lnj, unj[ . . . [lnj, unj]

(23)

2.1.4 Vari´

avel Histograma

Quando se está perante uma variável intervalar perde-se toda a informa¸cão sobre o modo como os valores se distribuem dentro de cada intervalo. A fim de contornar esta situa¸cão criou-se um novo tipo de variáveis: a variável histograma, que consiste na subdivisão em sub-intervalos e para cada um deles é estabelecida uma frequência, considerando que a distribui¸cão dentro desses sub-intervalos é uniforme. Cada valor dessa vari´avel corresponde a um histograma com k classes, sendo k o n´umero de sub-intervalos considerado [6, 8, 9]. Seja S = {s1, s2, . . . , sn}, uma variável

histograma ´e definida por uma aplica¸c˜ao: Y : S → B

si → Y (si) = {[lil, li1[, πi1; [li2, li2[, πi2; . . . , [lik, lik], πik]}

.

Um exemplo deste tipo de dados é o o tempo médio que um aluno demora a chegar à faculdade na Tabela (2.3).

Os valores de uma variável histograma podem ser representados por uma fun¸cão distribui¸cão emp´ırica: F (x) =                        0 x ≤ li1 πi1 x − li1 li1− li1 li1≤ x < li1 .. . F (liki) + πiki x − liki liki − liki liki ≤ x < liki 1 x ≥ liki

A respetiva fun¸c˜ao quantil, Ψ(t) = F−1(t), ´e dada por:

Ψ(t) = F−1(t) =                  li1+ t ωi1 ri1 t < ωi1 li2+ t − ωi1 ωi2− ωi1 ri2 ωi1 ≤ t < ωi2 .. . liki+ t − ωiki−1 1 − ωiki−1 riki ωini−1 ≤ t < 1

sendo rim a amplitude do sub-intervalo m e ωli =

(

0 , l = 0

Pl

h=1πhi l = 1, ..., ni

(24)

Exemplo: seja Y1(j) = {[0, 1[ 0.6; [1, 2] , 0.4} Ψ(t) = F−1(t) =    t 0.6 0 ≤ t < 0.6 1 + t − 0.6 0.4 0.6 ≤ t ≤ 1

Relativamente às variáveis categóricas similarmente ao que ocorre nos dados clássicos elas podem tomar um único valor, mas podem ainda tomar um conjunto finito de valores. E o caso da cor “preferida” do exemplo dado na Tabela 2.3.´ Ainda existe um outro tipo de variável designado por variável categórica modal que assume valores múltiplos e em que cada categoria é descrita com a respetiva probabilidade/frequência com que ocorre (caso da variável sexo do exemplo em estudo).

2.1.5 Vari´

avel Categ´

orica de Valor ´

Unico

Dado um conjunto S = {s1, s2, . . . , sn} e um conjunto finito de categorias O =

{m1, m2, . . . , mk}, uma variável categórica de valor único é definida pela aplica¸cão

Y : S → O(si) = mi ∈ O.

2.1.6 Vari´

avel Categ´

orica de Valor M´

ultiplo

Dado um conjunto S = {s1, s2, . . . , sn} e um conjunto de categorias O =

{m1, m2, . . . , mk}, uma variável categórica de valor múltiplo é definida pela aplica¸cão

Y : S → P (O) tal que Y (si) = {mi1, mi2, . . . , mik} ,sendo P (O) o conjunto dos

subconjuntos finitos, n˜ao vazios, de um conjunto subjacente.

2.1.7 Categ´

orica Modal

Uma variável denomina-se por categ´orica modal de dom´ınio subjacente O = {m1, m2, . . . , mk}, se for categórica de valores múltiplos em que se regista o peso de

cada uma das categorias, indicando a frequˆencia ou a probabilidade de ocorrˆencia dessa categoria nesse elemento. Neste caso, B ´e o conjunto das distribui¸c˜oes sobre O e os seus elementos s˜ao representados por B = {m1π1, m2π2, . . . , mkπk}.

Este é o caso da variável “Sexo” do exemplo dado na Tabela 2.3. Um outro exemplo deste tipo variável pode ser encontrado na Tabela 2.6 que descreve a distribui¸cão da classifica¸cão de três turmas a disciplina de Cidadania. As siglas “NS”, “S”,“SB” significam: Não Satisfaz, Satisfaz, Satisfaz Bem respetivamente.

(25)

Turma Classifica¸c˜ao `a disciplina de Cidadania A (0.2) NS; (0.65) S (0.15) SB B (0.1) NS; (0.80) S; (0.1) SB

C (0.3) NS; (0.7) S

Tabela 2.6: Exemplo de uma Vari´avel Categ´orica Modal.

Os dados histograma e modais denominam-se por dados distribucionais. Neste trabalho ser˜ao estes dados o objeto de estudo.

(26)

Cap´ıtulo 3

An´

alise composicional

3.1 Generalidades

Em diversos problemas de análise de dados cada variável está correlacionada com as restantes, sendo expressa como a parte de um todo. Este tipo de problemas aparece mais frequentemente do que se possa pensar. A composi¸cão de alimentos, e a composi¸cão de solos são alguns exemplos de aplica¸cão desta abordagem mas muitos poderiam ser elencados. Em todos estes exemplos estão subjacentes duas propriedades [1, 38]:

Cada variável é descrita por um valor não negativo;

A soma dos valores das vari´aveis para um qualquer indiv´ıduo ´e sempre constante.

Assim, cada indiv´ıduo vai ser descrito pelas componentes de uma composi¸c˜ao. Os dados deste tipo denominam-se por dados composicionais.

Nas seçcões seguintes serão enunciados os principais conceitos e opera¸cões definidos para esta nova abordagem.

3.2 Espa¸

co Simplex

Denomina-se por composi¸c˜ao [x1, x2, . . . , xD] [1] todo o vetor cujas componentes

são não negativas e fazem parte de um todo, isto é, a sua soma é sempre constante (habitualmente igual a 1 ou a 100 se estiver em percentagem, mas pode tomar

qualquer outro valor).

(27)

 x1, x2, . . . , xD > 0 ;

PD

i=1xi = k.

Os ´ındices 1, 2, . . . .D referem-se `as D partes x1, x2, . . . , xD como sendo as

componen-tes da composi¸c˜ao x. Exemplo: uma pe¸ca de roupa apresenta a seguinte composi¸c˜ao 0.80 de lã e 0.20 de viscose; 0.80 e 0.20 s˜ao as componentes da composi¸c˜ao [0.80, 0.20]. O espa¸co amostral não é o conjunto dos reais, nem é poss´ıvel recorrer às habituais opera¸cões de produto escalar por um vetor, norma, adi¸cão de vetores, etc. O espa¸co amostral (ou conjunto de valores poss´ıveis) é denominado por Simplex.

3.3 Operador de Fecho

Dada uma composi¸c˜ao x = [x1, x2, . . . , xD], denomina-se por operador de

fe-cho,em inglˆes closure, C(x) = " x1 PD i=1xi , . . . , xD PD i=1xi # .

Exemplo: Seja x = [15, 30, 55] ent˜ao C(x) = 15 100, 30 100, 55 100

3.4 Subcomposi¸

c˜

ao

De um modo análogo ao que ocorre com conjuntos e sucessões, em que se podem considerar partes destes, também é poss´ıvel, e por vezes bastante vantajoso considerar partes de uma composi¸cão, denominadas subcomposi¸cões [38]. Dada uma composi¸c˜ao, x = [x1, x2, . . . , xD], denomina-se por subcomposi¸c˜ao de x a composi¸c˜ao

xs= C[xi1, . . . , xis], i1, . . . , is∈ {1, 2, . . . , D}, sendo C o operador de fecho.

Exemplo: Se a composi¸c˜ao for x = [0.15, 0.30, 0.55] uma poss´ıvel subcomposi¸c˜ao ´e xs = C[0.15, 0.30] = 1 3, 2 3 .

3.5 Composi¸

c˜

oes Equivalentes e Invariˆ

ancia de

Es-cala

Sejam x = [120, 200, 100] e y = [6, 10, 5] dois ternos compostos pelas quantidades de farinha, manteiga e leite em dois alimentos distintos. Aparentemente estes são distintos, mas quando estamos num problema de composi¸cão facilmente se observa que as composi¸cões s˜ao equivalentes e escreve-se x ∼ y.

(28)

x ∼ y se e s´o se C(x) = C(y), sendo C o operador de fecho.

Como foi poss´ıvel observar, pode ocorrer que duas composi¸cões aparentemente distintas sejam equivalentes. Este facto, conduz ao problema de ao aplicar uma fun¸cão em composi¸cões equivalentes, haja a garantia de que as suas imagens também o sejam. Assim, um dos conceitos mais importantes no estudo das composi¸cões é a no¸cão de invariância de escala [38]. Uma fun¸cão f é invariante de escala se, dadas duas composi¸c˜oes equivalentes x e y, ent˜ao as respetivas imagens são iguais. De um modo formal: x ∼ y ⇒ f (x) = f (y).

3.6 Opera¸

c˜

oes no Espa¸

co Simplex

Em qualquer espa¸co amostral de dados clássicos existem duas opera¸cões funda-mentais: a transla¸cão e o produto de um vetor por um escalar que desempenham um papel fundamental na Análise Estat´ıstica.

Seja t uma transla¸c˜ao  E (x + t) = E(x) + t  V (x + t) = V (x)

O produto escalar desempenha um papel crucial na An´alise em Componentes Princi-pais e sempre que os modelos sejam lineares. Se k for um escalar:

 E (x × k) = k × E(x)  V (x × k) = k2 _{× V (x)}

Contudo, pode-se reconhecer que estas duas opera¸cões não podem ser definidas no novo espa¸co. Deste modo, nas seçcões seguintes serão definidas duas novas opera¸cões: a opera¸cão perturba¸cão e a opera¸cão potência [1].

3.6.1 Opera¸

c˜

ao Perturba¸

c˜

ao

Dadas duas composi¸c˜oes x = [x1, x2, . . . , xD] , y = [y1, y2, . . . , yD], define-se

operador perturba¸cão, correspondendo à opera¸cão transla¸cão no espa¸co real, o operador ⊕ definido por x⊕y = C [x1× y1, x2× y2, . . . , xD × yD], sendo C o operador

(29)

Exemplo: Sejam x = [0.5, 0.2, 0.3] , y = [0.4, 0.3, 0.3] . x ⊕ y = C [0.2, 0.06, 0.09] = [0.57, 0.17, 0.26] .

A opera¸c˜ao perturba¸c˜ao define uma estrutura de grupo em SD, sendo o elemento neutro e = 1 D, . . . , 1 D .

O elemento inverso de uma composi¸c˜ao

p = [p1, p2, . . . , pD]

´e

p−1 = Cp−1₁ , p−1₂ , . . . , p−1_D .

3.6.2 Opera¸

c˜

ao Potˆ

encia

Dada a composi¸c˜ao x = [x1, x2, . . . , xD], define-se opera¸c˜ao potˆencia

y = k ⊗ x = Cxk₁, xk₂, . . . xk_D . Exemplo: Se x = [0.8, 0.2] e k = 3

y = C0.83, 0.23 = C [0.512, 0.008] = [0.985, 0.015] .

O espa¸co SD _{munido das duas opera¸c˜}_{oes definidas anteriormente constitui um}

espa¸co vetorial [31].

3.6.3 M´

etrica ∆

Neste espa¸co, uma das m´etricas que se pode definir ´e: ∆ : SD × SD

→ RD_{, tal} que: ∆(x, y) = " _D X i=1 ln xi g(x) − ln yi g(y) 2# 1 2

(30)

sendo g() a m´edia geom´etrica das componentes da composi¸c˜ao.

Exemplo: Sejam as composi¸c˜oes x = [0.3, 0.2, 0.5] e y = [0.25, 0.25, 0.5]

g(x) = 0.31 g(y) = 0.32 ln (x/g(x)) = (−0.04, −0.44, 0.48) ln (y/g(y)) = (−0.23, −0.23, 0.46) [ln (x/g(x)) − ln (y/g(y))]2 = (0.04, 0.04, 0) ∆(x, y) = 0.29.

3.7 Norma e Produto Interno

A partir da m´etrica definida acima ´e poss´ıvel definir:

 Norma: kx2_{k = ∆}2_{(x, e) =}PD i=1 ln xi g(x) 2  Produto Interno: < x, y >= PD i=1 ln xi g(x)× ln yi g(y)

Considerando as composi¸cões x e y da seçcão anterior

x2 = 0.42 ln xi g(x) × ln yi g(y) = (0.01, 0.10, 0.23) < x, y >= 0.33

3.8 Base e Espa¸

co Gerador

Em espa¸cos vectorias são fundamentais as no¸cões de base, dependência linear e espa¸co gerador. Neste novo espa¸co define-se combina¸cão linear de composi¸cão

(31)

β1, . . . , βc como uma combina¸cão das opera¸cões potência e perturba¸cão definida por

[3]:

x = (u1⊗ β1) ⊕ . . . ⊕ (uc⊗ βc) .

sendo uk um escalar com k = 1, 2, . . . , c.

As composi¸c˜oes βi, i = 1, . . . , c s˜ao os geradores.

A referida combina¸c˜ao gera algum subespa¸co do espa¸co unit´ario Simplex de acordo com a varia¸c˜ao dos escalares u1, . . . , uc.

Tal como em <p, convém que os geradores sejam linearmente independentes. βi, . . . , βc são linearmente independentes se e só se:

e = (ui⊗ βi) . . . (uc⊗ βc) = 0 → u1 = . . . = uc= 0.

Se βi forem geradores linearmente independentes, o espa¸co gerado denomina-se por

subespa¸co de dimens˜ao c gerado pelas composi¸c˜oes de B = {β1, . . . , βc}. Tamb´em

nesta nova geometria ´e poss´ıvel definir o subespa¸co nulo

null(B) = {x :< β1, x >= 0 . . . < βc, x >= 0} .

A manipula¸cão deste tipo de dados não é simples, pelo que foram definidas três transforma¸cões logar´ıtmicas que serão abordadas em seguida.

3.9 Principais transforma¸

c˜

oes nos dados

composi-cionais

Existem trˆes transforma¸c˜oes logar´ıtmicas muito importantes para este tipo de dados composicionais [2, 41].

3.9.1 Transforma¸

c˜

ao Logar´ıtmica Aditiva (alr)

Dada a composi¸c˜ao x =[x1, x2, . . . , xD], define-se raz˜ao logar´ıtmica aditiva (alr):

alr(x) = y = lnx1 xj , . . . lnxj−1 xj , lnxj+1 xj , . . . , lnxD xj , j ∈ {1, . . . D}

Exemplo: Seja novamente x = [0.3, 0.2, 0.5] Supondo que j = 3,

ln (0.3/0.5) = −0.51 ln (0.2/0.5) = −0.92

(32)

alr (x) = (−0.51, −0.92)

Contudo, esta transforma¸cão apresenta o problema da escolha do denominador, essa escolha conduz a diferentes composi¸cões, embora em termos estat´ısticos os resultados permanecem invariantes face a uma permuta¸cão. Com vista a contornar este problema definiu-se outra transforma¸cão - clr- que será o tema da próxima seçcão.

3.9.2 Transforma¸

c˜

ao Logar´ıtmica Centrada (clr)

Dada a composi¸c˜ao x =[x1, x2, . . . , xD], define-se raz˜ao logar´ıtmica centrada

(clr): clr(x) = y = ln x1 g(x) , . . . , ln xD g(x)

sendo g(x) a m´edia geom´etrica das componentes de x. Exemplo: Seja x a composi¸c˜ao considerada em 3.9.1:

clr (x) = (−0.04, −0.44, 0.48) .

Com esta transforma¸cão fica garantida a unicidade do denominador. Contudo, a soma das componentes é igual a zero, como se pode verificar facilmente, significando que a matriz das covariâncias vai ser singular. Por esta razão aparece posteriormente uma nova transforma¸cão: a razão logar´ıtmica isométrica (ilr) que se baseia na escolha de uma base ortonormada no espa¸co Simplex de dimens˜ao n − 1.

3.9.3 Transforma¸

c˜

ao Logar´ıtmica isom´

etrica (ilr)

Dada a composi¸c˜ao x = [x1, x2, . . . , xD], define-se raz˜ao logar´ıtmica isom´etrica

(ilr): (z1, z2, . . . , zD−1) , zi = r i i + 1ln g (x1, x2, . . . , xi) xi+1 , i = 1 . . . , D − 1

ilr(x) com x ∈ Sn−1 s˜ao as coordenadas de x relativamente `a base(e1, e2, . . . , eD).

Egozcue et al. [15], sugerem para base ortonormal de Sn−1_, _{, e}

i i = 1, 2, . . . , D − 1

com respeito ao produto interno definido anteriormente, sendo

ei = C

"

exp p1/i + 1, . . . p1/i + 1, . . . |{z}

i elementos

, −p1/i − 1, 0 . . . , 0 !#

(33)

Exemplo: Retomando novamente a composi¸c˜ao x considerada em 3.9.1 ilr (x) = (0.29, −0.58) .

Esta transforma¸c˜ao goza das seguintes propriedades:  ilr(k ⊗ x ⊕ m ⊗ y) = k × ilr(x) + m × ilr(y);  < x, y >=< ilr(x), ilr(y) > .

Preserva a distˆancia e a norma

3.9.4 Etapas a considerar na utiliza¸

c˜

ao

de Transforma¸

c˜

oes Logar´ıtmicas

Quando se pretende utilizar alguma das transforma¸cões definidas anteriormente, é necessário ter em considera¸cão os seguintes pontos:

Formular o problema composicional em termos das componentes de uma dada composi¸c˜ao;

Traduzir essa formula¸c˜ao em termos logar´ıtmicos; Transformar as composi¸c˜oes em vetores logar´ıtmicos;

Analisar os dados logaritmizados através de um método estat´ıstico apropriado; Finalmente reverter em termos composicionais as inferências obtidas

anterior-mente.

3.10 Medidas Estat´ısticas

´

E necess´ario readaptar as medidas estat´ısticas utilizadas nos dados tradi-cionais [15]. Dada uma composi¸c˜ao, x = [x1, x2, . . . , xD], define-se medida de

tendência central para dados composicionais como o fecho da média geométrica. Isto ´e, g = C [g1, g2, . . . , gD] em que gi = Qn j=1xij 1

n . Dada uma composi¸cão x = [x1, x2, . . . , xD] é poss´ıvel analisar a dispersão através da matriz de varia¸cão

(34)

cl´assica [38]: T =     t11 t12 . . . t1D t21 t22 . . . t2D · · · · tD1 tD2 . . . tDD     tij = var lnxi xj ou da matriz normalizada T =     t∗₁₁ t∗₁₂ . . . t∗_1D t∗₂₁ t∗₂₂ . . . t∗_2D · · · · t∗_D1 t∗_D2 . . . t∗_DD     t∗_ij = var 1 √ 2ln xi xj

As matrizes T e T∗ são simétricas com zeros na diagonal. A medida da dispersão global é a variância total dada por:

totvar[x] = 1 2D × D X i=1 D X j=1 var lnxi xj = 1 2D D X i=1 D X j=1 tij = 1 D D X i=1 D X j=1 t∗_ij

Nenhuma das matrizes anteriores depende da constante k associada ao espa¸co Simplex, pois os rácios anulam-nas. Assim, o operador de fecho não tem qualquer efeito nos resultados finais. A possibilidade de definir variância total advém de todas as componentes estarem definidas na mesma escala.

(35)

Cap´ıtulo 4

Estado de Arte: An´

alise

Classificat´

oria

4.1 Conceitos B´

asicos em An´

alise Classificat´

oria

O agrupamento é uma das tarefas mais relevantes na análise de dados, pela grande variedade de aplica¸cões poss´ıvel. Este tipo de análise tem sido aplicado a vários campos de investiga¸cão entre os quais se destaca a data mining, ciências sociais, economia, medicina e engenharia [26].

Existem dois tipos de classifica¸cão: a classifica¸cão supervisionada, mais conhecida por análise discriminante e a não supervisionada. No primeiro tipo há um conjunto de indiv´ıduos previamente classificados e pretende-se encontrar uma regra que permita classificar um novo indiv´ıduo.

No caso da classifica¸cão não supervisionada, que será o objeto do nosso estudo, pretende-se agrupar os diferentes elementos com caracter´ısticas comuns em classes [23]. Este tipo de agrupamento é composto por várias etapas:

Representa¸c˜ao dos objetos: Identifica¸c˜ao das caracter´ısticas mais relevantes nas caracter´ısticas originais;

Sele¸cão de uma medida de similaridade: Nas seçcões seguintes serão elen-cadas um conjunto de medidas de similaridade para os dados simbólicos e composicionais;

Agrupamento de dados: O agrupamento pode ser realizado de diversos modos. O resultado pode ser a obten¸cão de uma parti¸cão r´ıgida, cada elemento é colocado numa única classe, ou do modo fuzzy em que cada elemento tem um grau de perten¸ca relativamente a cada classe.

(36)

encaixadas a partir da fusão ou divisão de grupos tendo como referência a similaridade entre eles;

Abstra¸cão dos dados: Consiste na extra¸cão de uma descri¸cão compacta para cada grupo. Habitualmente os grupos são representados por protótipos tais como o centróide;

Valida¸cão: Existem três tipos de valida¸cão [25]:

– A valida¸c˜ao externa em que o ´ındice compara o output do algoritmo com uma parti¸c˜ao previamente conhecida;

– A valida¸c˜ao interna procura determinar se a estrutura ´e intrinsecamente apropriada aos dados;

– Testes relativos que comparam duas estruturas e medem o seu m´erito relativo.

Nas seçcões seguintes, como se referiu anteriormente, serão definidas algumas medidas de dissemelhan¸ca de acordo com a natureza de cada uma das abordagens.

O cap´ıtulo termina com a referência aos trabalhos no âmbito dos dados simbólicos distribucionais e dos dados composicionais.

4.2 Medidas de Dissemelhan¸

ca

Para estabelecer uma compara¸cão entre dois elementos e decidir se estes devem pertencer a um mesmo grupo, existem de um modo análogo ao que ocorre na análise de dados clássicos as medidas de semelhan¸ca e de dissemelhan¸ca. Estas medidas deverão ser ajustadas à nova natureza dos dados.

Uma medida de proximidade ´e uma fun¸c˜ao real definida no conjunto S × S de todos os pares (xi, xj), a qual pode ser descrita por uma dissemelhan¸ca entre esses

objetos e designa-se por d (xi, xj), ou por uma similaridade s (xi, xj). Neste trabalho

s´o ser˜ao consideradas medidas de dissemelhan¸ca.

Uma medida de dissemelhan¸ca apresenta as seguintes propriedades:  d (xi, xj) ≥ 0, ∀xi

 d (xi, xi) = 0 ∀xi

(37)

4.3 M´

etodos de Classifica¸

c˜

ao

Neste trabalho serão objeto de estudo apenas os métodos hierárquicos e métodos não hierárquicos ou de parti¸cão [28, 43].

Os métodos não hierárquicos determinam uma parti¸cão dos elementos em k classes. O valor de k é previamente escolhido. Os métodos hierárquicos, por sua vez, permitem obter uma série de parti¸cões encaixadas. A sua representa¸cão gráfica é uma árvore que se designa habitualmente por dendrograma.

4.3.1 M´

etodos Hier´

arquicos

Uma parti¸c˜ao de um conjunto de S ´e um conjunto de subconjuntos n˜ao vazios {C1, . . . , Cr} tal que:

1. Ci∩ Cj = ∅.

2. S

j=1Cj = S, i = 1 . . . , r.

Um conjunto H = {C1, . . . , Cr} de subconjuntos n˜ao vazios de S, ´e uma

hierar-quia de S se obedece `as seguintes condi¸c˜oes:

1. S ∈ H.

2. ∀wu ∈ S, Cu = {wu} ∈ H.

3. Ci∩ Cj ∈ {Ci, Cj, ∅} ∀i, j.

Os m´etodos hier´arquicos conduzem a uma hierarquia de parti¸c˜oes P1, P2,. . . ,

Pn. Estes podem ser divisivos (em inglˆes top-down) ou aglomerativos (em inglˆes

bottom-up).

No primeiro caso, o processo inicia-se com a totalidade dos indiv´ıduos em uma ´

unica classe. Seguidamente esta é subdividida em duas partes, posteriormente cada uma dessas classes é dividida em duas classes e assim sucessivamente até um número de grupos convenientemente escolhido. No segundo caso, o processo é realizado em sentido inverso. Inicialmente cada classe é constitu´ıda apenas por um único elemento e em cada n´ıvel vão sendo agregadas classes até se obter uma classe com todos os elementos. Neste processo cada classe é agregada no máximo uma vez.

Quando a dimensão do conjunto de dados é grande a visualiza¸cão do dendrograma é dif´ıcil. Para contornar esta dificuldade poder-se-á realizar um corte de acordo com o número de classes pretendidas.

(38)

Nos métodos de classifica¸cão hierárquica é necessário escolher um critério que permita determinar os pares de classes a serem agrupadas (no caso dos aglomerativos) ou a serem divididas (no caso dos divisivos), critérios esses que se designam por critérios de agrega¸cão.

Um dos aspetos mais importantes é definir um corte no dendrograma para estabelecer qual o número de classes ótimo. Existem diversos critérios, neste trabalho fez-se o corte onde os ramos apresentam maior comprimento.

Este tipo de m´etodos possui as seguintes vantagens: Flexibilidade do n´umero de grupos;

Ajustam-se facilmente a qualquer medida de dissemelhan¸ca; Versatilidade relativamente ao tipo de vari´aveis.

Desvantagens:

O crit´erio para terminar o processo ´e vago;

Depois de iniciado o processo a constitui¸cão das classes permanece inalterável; Os algoritmos hierárquicos requerem bastante espa¸co de memória e são de

processamento demorado.

Existem diversos critérios de agrega¸cão [10, 42] dos quais se destacam os seguintes que serão utilizados nas aplica¸cões descritas nos Cap´ıtulos 5 e 6:

Complete Linkage ou critério do vizinho mais afastado. A dissemelhan¸ca entre duas classes A e B é o máximo das dissemelhan¸cas entre os elementos de A e de B. De um modo formal pode-se escrever:

δ2(A, B) = M´ax{d(x, y), x ∈ A, y ∈ B}

.

Average linkage entre grupos. A dissemelhan¸ca entre duas classes A e B ´e a m´edia das dissemelhan¸cas entre os elementos de A e de B:

δ3(A, B) = 1 ]A × ]B X x∈A,y∈B d(x, y)

Índice de Ward. Define a dissemelhan¸ca entre duas classes A e B como o aumento da Inércia quando se procede à reunião dessas classes.

δW = I (A ∪ B) − I A + I B.

O objetivo deste método é maximizar a inércia intercalasses que mede a separa¸cão das classes e minimizar a inércia intra-classes que mede a sua homo-geneidade.

(39)

4.3.2 M´

etodos n˜

ao Hier´

arquicos

Como já se referiu, neste grupo de métodos s˜ao constru´ıdos k grupos e os elementos de S s˜ao divididos e de acordo com a sua semelhan¸ca. Neste tipo de classifica¸cão cada cluster possui pelo menos um elemento e cada elemento pertence somente a um grupo. O valor de k ´e previamente estipulado: para tal, são efetuados testes para diferentes valores de k [25].

Estes métodos possuem a vantagem das classes poderem ser alteradas no decorrer do processo. A desvantagem é o facto de ser necessário estabelecer à priori o número de grupos e a maioria do algoritmos ser altamente sens´ıvel às condi¸cões iniciais.

Nesta classe de m´etodos existem quatro que se destacam: Forgy/Lloyd [42] que pode ser descrito a partir dos seguintes passos:

1. Selecionar k centros iniciais, elementos de S, denominados por vezes centr´oides. 2. Calcular a distˆancia de cada indiv´ıduo aos centr´oides, afetando esse indiv´ıduo

ao centr´oide “mais semelhante”.

3. Recalculam-se os centróides. Volta-se ao passo 2 até não surgirem altera¸cões.

Um outro método é o de MacQueen, [10, 29] em que após cada afeta¸cão recalcula-se imediatamente o centróide.

O m´etodo de Hartigan [19] inicia-se, tal como os anteriores, com k centr´oides. As parti¸cões são formadas de modo a reduzir a soma das distâncias quadráticas em rela¸cão ao centróide no interior de cada grupo. Este método possui caracter´ısticas muito peculiares, na medida em que para cada ponto são escolhidos dois centros, como se verá de seguida [19]:

1. Para cada ponto P (P = 1, . . . , n), sendo n o n´umero de indiv´ıduos e supondo que existem k grupos L1, L2, . . . , Lk encontrar os dois grupos cujos centros

sejam os mais pr´oximos. Designem-se por IC1(P ) e IC2(P ) esse grupos, sendo IC1(P ) o grupo mais pr´oximo.

2. Recalcular os centros.

3. Para cada ponto P se houve altera¸c˜ao no grupo ent˜ao ele pertence ao conjunto vivo , durante este passo (inicialmente todos os grupos pertencem ao conjunto vivo ). Se P pertencer ao grupo L1 e este for conjunto vivo passar para 4, caso contr´ario, saltar para 5.

4. Calcular o valor m´ınimo, R2 = N C(L) × D(P, L)

2

N C(L) + 1 para todos os grupos L (L 6= L1, L = 1, . . . , k) (sendo N C(L) o n´umero de elementos do grupo L e D a distˆancia). Se L2 for o grupo com o menor valor, R2, e se esse valor

(40)

for maior ou igual a N C(L) × D(P, L)

2

N C(L) − 1 , n˜ao h´a altera¸c˜ao e L2 passa a ser o novo IC2(P ). Caso contr´ario, o ponto P ´e alocado no grupo L2 e L1 ´e o novo IC2(P ), e recalculam-se os novos centros.

5. Este passo é similar ao anterior, a única diferen¸ca consiste no cálculo do m´ınimo R2 que é feito apenas para os grupos pertencentes ao conjunto vivo .

6. Se o conjunto vivo é vazio STOP, caso contrário ir para o passo seguinte. 7. Para cada ponto P (P = 1, . . . , n), sejam L1 = IC1(P ) e L2 = IC2(P ) (n˜ao é

necess´ario selecionar o ponto P se os grupos L1 e L2 n˜ao sofreram qualquer altera¸c˜ao nos ´ultimos n passos,Calcular os valores R1 = N C(L) × D(P, L)

2

N C(L) − 1 e R2 = N C(L) × D(P, L)

2

N C(L) + 1 . Se R1 ´e menor que R2 o ponto P fica em L1. Caso contr´ario trocar IC1(P ) com IC2(P ) e recalcular os centros dos grupos L1 e L2.

8. Se não houve qualquer transferência nos últimos n passos, ir para o passo 4. Caso contrário ir para o passo 6.

4.4 O ´

Indice de Rand

Após terem sido aplicados diferentes métodos de classifica¸cão, surge a questão se os resultados obtidos têm alguma semelhan¸ca entre eles. Com vista a responder a esta questão, utilizou-se o ´ındice de Rand [39].

Dado um conjunto com n elementos S = {o1, o2, . . . , on} e duas poss´ıveis

parti-¸c˜oes de S: U = {u1, u2, . . . , ur} e V = {v1, v2, . . . , vc} tal que

∪r

i=1ui =Sc_j=1vj = S

 ui∩ ui0 = v_j∩ v_j0 = φ, 1 ≤ i 6= i0 ≤ r, 1 ≤ j 6= j0 ≤ c.

denomina-se por ´ındice de Rand o quociente dado por:

R = a + d

a + b + c + d em que:

 a o n´umero de pares de objetos que est˜ao na mesma classe em U e no mesmo agrupamento em V ;

(41)

 b o número de pares de objetos que estão na mesma classe em U mas que não est˜ao no mesmo agrupamento em V ;

 c o número de pares de objetos que não estão na mesma classe em U mas que est˜ao no mesmo agrupamento em V ;

 d o n´umero de pares de objetos em diferentes classes em U e em diferentes agrupamentos em V .

Este valor situa-se no intervalo [0, 1]. O valor unit´ario significa que as duas classifica¸cões são coincidentes, ou seja não existe pares que estejam numa mesma classe numa classifica¸cão e na outra em classes diferentes. Contudo, este ´ındice apresenta uma limita¸cão no caso em que surge o valor nulo. Para contornar esta situa¸cão surge o ´ındice de Rand ajustado de modo a que o valor esperado seja igual a zero [20].

O ´ındice Rand ajustado baseia-se em trˆes valores:  R ´ındice deRand n˜ao ajustado

 Exp(R) o valor esperado de R;  Max(R) o m´aximo de R.

O seu valor ´e dado pela express˜ao:

Neste trabalho quando for referido o ´ındice de Rand ser´a sempre o ´ındice de Rand ajustado.

(42)

4.5 An´

alise Classificat´

oria para Dados Simb´

olicos

4.5.1 Medidas de Dissemelhan¸

ca para Dados Simb´

olicos

No caso dos dados clássicos a representa¸cão dos valores de cada variável relativa-mente a um indiv´ıduo, é como se sabe constitu´ıda por um único valor. No caso dos dados simbólicos, nomeadamente nos dados distribucionais que são os que interessam para este trabalho, tal não ocorre pelo que é necessário ajustar as medidas clássicas a esta nova natureza de dados e introduzir novas medidas.

Como já for referido no Cap´ıtulo 2, as variáveis a serem utilizadas neste trabalho serão variáveis distribucionais. Por esse facto, apesar de existirem diversas medidas de dissemelhan¸ca para dados simbólicos só serão abordadas aquelas que estão diretamente relacionadas com este tipo de variáveis.

Relativamente às vari´aveis modais: Seja B o conjunto das distribui¸cões sobre o conjunto das modalidades O = {m1, m2, . . . , mk} em que seus elementos são

representados por B = {m1π1, m2π2, . . . , mkπk} .

 Distˆancia City block: d(si, sj) =

Pp k=1 Ps m=1|πkmi− πmjk |.  Distˆancia Euclideana: d(si, sj) = q Pp k=1 Ps m=1(πmki− π k mj) 2_.

Relativamente às variáveis histograma, Gibbs and Su [17], realizaram um estudo comparativo entre várias distâncias concluindo que as mais apropriadas para este tipo de variáveis são a distância de Wasserstein e a de Mallows cujas defini¸cões são as seguintes: Distância de Wasserstein dW (ψ1i, ψ2j) = Z 1 0 |ψij(t) − ψ2j(t)|dt

Distˆancia de Mallows (que ´e derivada da anterior):

D2_M(ψ1,j, ψ2,j) =

Z 1 0

q

[ψ1,j(t) − ψ2,j(t)]2dt

em que ψi,j´e a fun¸c˜ao quantil definida em 2.1.4 de Yj(si), sendo Yj uma vari´avel

histograma.

Contudo, se forem considerados sub-intervalos com a mesma sequˆencia de frequˆencias/pesos, e assumido que para cada entidade sios valores s˜ao uniformemente

(43)

distribu´ıdos dentro de cada intervalo, Verde e Irpino [44, 45] mostraram a possibilidade de calcular a distância de Mallows, através de uma fórmula simplificada:

D_M2 = (Y (si) , Y (sj)) = M X l=1 pi× [(cli− clj)2+ 1 3(rli− rlj) 2_]

sendo cli o centro do l-´esimo sub-intervalo de Y (si) e ri a semi-amplitude do mesmo

intervalo. Exemplo: Sejam Y (i) = {[0, 2[, 0.4; [2, 4], 0.6} e Y (j) = {[1, 2[, 0.4; [2, 3], 0.6} D_M2 (Y (i), Y (j)) = 0.4 × 0, 52 +1 3 × 0.5 2 + 0.6 × 0.52+1 3 × 0.5 2 = 0.46666 .

4.5.2 Estudos Realizados nesta ´

Area

O tipo de dados que surge com maior frequência nos estudos de classifica¸cão para dados simbólicos são os dados intervalares. Utilizam-se métodos não hierárquicos como o das k-médias ou o das nuvens dinâmicas ajustando à especificidade das variáveis em questão [7, 11]. Surgiram ainda métodos consistindo em adapta¸cões do método c- fuzzy tradicional para o caso de variáveis intervalares [6, 13], ainda o Método RICA [24]. No entanto, relativamente ao tipo de dados que se está a estudar existe um número reduzido de trabalhos.

Hardy et al. [18] desenvolveram um módulo para o programa SODAS, deno-minado por SHICLUST que são uma extensão dos quatro métodos de classifica¸cão hierárquica Single Linkage, Complete Linkage, Centroid, Ward os dados são simb´ o-licos modais ou de valor múltiplo. Os referidos autores propõem trˆes medidas: L1,

L2 no conjunto de observa¸c˜oes Bj.

Seja S o conjunto definido em 2.1.1 e ainda:  p vari´aveis Y1, Y2, . . . , Yp;

 πkj frequˆencia associada `as categoria da vari´avel Yj(sk);

 nj o n´umero de categorias da vari´avel yj

Ent˜ao, sk= π1k1 , π 2 1k, . . . , π n1 1k , . . . , π 1 pk, π 2 pk, . . . , π np pk Seja δj a fun¸c˜ao distˆancia definida sobre Bj

(44)

δj : Bj × Bj → R+ (xkj, xlj) 7−→ δj(skj, slj)  Distância L1 δ (skj, slj) = |Yj| X i=1 |πi kj− π i lj|  Distância L2 δ (skj, slj) = |Yj| X i=1 π_kji − πi lj 2 Distância de De Carvalho δ (skj, slj) = |Yj| X i=1 γ × π_kji − γ0 × πi lj γ = ( 1 πij 6= 0 0 πij = 0 γ0 = ( 0 πij = 0 1 πij 6= 0

A partir destas medidas, combinaram p ´ındices δ1, . . . , δp definiram o que

deno-minaram por medida de dissemelhan¸ca global em B: d (skj, slj) =

Pp

j=1δ2(skj, slj)

1 2_,

em que δ2 _´_{e uma das medidas de dissemelhan¸ca definidas anteriormente.}

Irpino, [21] propõe utilizar a distância de Wasserstein para os dados histograma que permite medir a inércia dos dados relativamente ao baricentro. Esta medida satisfaz o teorema de Huygens para a decomposi¸cão de inércia, tendo sido aplicada na classifica¸cão hierárquica baseada no critério de Ward. Verde e Irpino [22], aplicaram os métodos das k-médias e das nuvens dinâmicas, utilizando a distância de Wasserstein na análise classificatória particional para dados do tipo histograma, pressupondo uma distribui¸cão uniforme em cada sub-intervalo, utilizando a formula simplificada de cálculo descrita anteriormente.

Em [27] é proposta uma extensão do método de Ward que segundo os autores, conjuntamente com o método do L´ıder permite formar grupos para conjuntos dados de grande dimensão. Inicialmente aplica-se o método aglomerativo para determinar os lideres a serem considerados e definir o número de agrupamentos a considerar e, seguidamente aplica-se o método dos lideres.

(45)

Mais recentemente, em [22] os autores propuseram um método de classifica¸cão do tipo nuvens dinâmicas para dados do tipo histograma. Em cada etapa é realizada uma pondera¸cão automática das variáveis utilizando a distância de Mallows e ainda distâncias adaptativas.

4.6 An´

alise Classificat´

oria para Dados

Composici-onais

4.6.1 Medidas de Dissemelhan¸

ca para Dados

Composicio-nais

Sejam xi = [xi1, xi2, . . . , xiD] e xj = [xj1, xj2, . . . , xjD] duas composi¸c˜oes

quais-quer. As medidas de dissemelhan¸ca mais utilizadas para dados composicionais s˜ao [31]:  City block: d (xi, xj) = PD k=1|xik− xjk|  Euclideana: d (xi, xj) = q PD k=1(xik− xjk) 2  Aitchison: d (xi, xj) = s PD k=1 ln xik g (xi) − ln xjk g (xj) 2  Blattacharya (ln) : d (xi, xj) = ln PD k=1 √ xik √ xjk  J-divergence: d (xi, xj) = q PD k=1(ln (xik) − ln (xjk)) (xik− xjk)  Mahalanobis (crude) : d (xi, xj) = (xi− xj) 0 K+_(x i− xj) 1/2  Mahalanobis (clr) : d (xi, xj) = clr (xi) − clr (xj) 0 Γ+_{(clr (x} i) − clr (xj)) 1/2 .

em que K+ ´e a matriz inversa de Moore-Penrose da matriz de covariˆancia K, do conjunto dos dados composicionais, Γ+ _´_{e tamb´}_{em uma matriz inversa de}

Moore-Penrose da matriz de covariˆancia dos dados transformados pela fun¸c˜ao clr, definida em 3.9.2.Aitchison [1] refere que uma medida adequada a dados composicionais deve ser:

Invariante face `a escala;

(46)

Invariante face a uma perturba¸c˜ao;

 Dom´ınio sub-composicional: a distˆancia entre 2 subcomposi¸c˜oes sx e sy das

composi¸c˜oes x e y dever´a ser menor que a distˆancia entre x e y.

Das medidas elencadas anteriormente, apenas a de Aitchison e Mahalanobis (crude), verificam as quatro propriedades.

4.6.2 Trabalhos realizados nesta ´

Area

Os trabalhos existentes nesta área são escassos, não tendo sido encontrado nenhum estudo sobre classifica¸cão não hierárquica aplicada a dados composicionais. Fernández et al.[31] aplicam os métodos tradicionais de classifica¸cão hierárquica, nomeadamente: single, complete e average linkage, Ward e centróide concluindo ser necessário ajustar estes métodos à natureza dos dados em questão nomeadamente no que se refere à defini¸cão de medida de dissemelhan¸ca.