Área de Engenharia Electrotécnica e de Computadores
Optimização da Combinação de Agrupamentos
baseado na Acumulação de Provas pesadas por
Índices de Validação e com uso de Amostragem
Fernando Jorge Ferreira Duarte
Tese submetida à Universidade de Trás-os-Montes e Alto Douro
Para obtenção do grau de Doutor em Engenharia Electrotécnica e de Computadores
Dissertação realizada sob a orientação da
Professora Doutora Maria de Fátima Coutinho Rodrigues e co-orientação do
Professor Doutor Manuel da Ressurreição Cordeiro
União Europeia
Fundo Social Europeu
Os trabalhos de Investigação apresentados nesta Tese de Doutoramento foram parcialmente financiados por uma bolsa do Programa PRODEP III, Eixo 3, Medida 5, Acção 5.3.
Resumo
O objectivo do agrupamento de dados consiste em organizar os objectos de um conjunto de dados em grupos homogéneos, de forma que exista similaridade entre objectos do mesmo grupo e dissimilaridade entre objectos de grupos diferentes. Apesar do vasto número de algoritmos de agrupamento de dados existentes, nenhum é aplicável com êxito a todas as possíveis estruturas presentes nos conjuntos de dados multidimensionais.Nos últimos anos, a combinação de agrupamentos de dados tem sido foco de grande actividade de investigação com o intuito de, nomeadamente: minimizar os problemas inerentes ao processo de agrupamento de dados e obter um agrupamento de dados final de melhor qualidade do que aqueles que lhe deram origem, reutilizar agrupamentos de dados já existentes e usar agrupamentos de dados que se encontrem fisicamente distribuídos (eventualmente com diferentes objectos e/ou atributos), sem que para tal seja necessário realizar a centralização dos objectos de dados.
A validação de agrupamentos de dados e a descoberta do número de grupos existente nos dados têm sido também motivo de intensa investigação. O objectivo da validação de agrupamentos de dados consiste em seleccionar entre os agrupamentos de dados existentes, o que melhor se ajusta aos dados. Mais uma vez, apesar de existirem várias medidas de validação de agrupamentos de dados, nenhuma captura todas as propriedades de um qualquer bom agrupamento de dados. Estas medidas podem ser classificadas em medidas baseadas em critérios externos e internos. As medidas de validação de agrupamentos de dados baseadas em critérios internos podem ainda ser subdivididas em medidas que avaliam o ajuste ou correspondência entre os dados e o agrupamento de dados obtido e em métodos de determinação do número K de grupos existente nos dados.
Neste trabalho de dissertação são apresentados vários conteúdos relacionados com o agrupamento de dados, nomeadamente, os conceitos e aspectos formais a ele relacionados, os algoritmos de agrupamento de dados mais referenciados, as principais medidas de validação de agrupamentos de dados e as abordagens de combinação de agrupamento de dados mais importantes.
Duas das mais valias deste trabalho consistem no desenvolvimento do método de combinação ponderada de agrupamentos de dados com amostragem, WEACS, e da medida de consistência dos grupos do conjunto de agrupamentos de dados, MCG.
De forma a possibilitar a análise do comportamento de diversos algoritmos de agrupamento, de diversas medidas de validação de agrupamentos de dados e de diversos métodos de combinação de agrupamentos de dados, procedeu-se à sua implementação. Outra das contribuições deste trabalho consiste na disponibilização de uma toolbox com interface gráfica, que permite obter resultados pela aplicação de vários algoritmos de agrupamento, de várias medidas de validação de agrupamentos e de várias abordagens de combinação de agrupamentos de dados.
Nesta dissertação foram realizados vários estudos comparativos com vários conjuntos de dados reais e sintéticos: para avaliar o desempenho de vários algoritmos de agrupamento de dados; para avaliar o desempenho de várias medidas de validação de agrupamentos de dados baseadas em critérios externos e em critérios internos; para avaliar o desempenho de vários métodos de combinação de agrupamentos de dados, incluindo o método WEACS proposto nesta dissertação; para avaliar o desempenho de medidas para a selecção do melhor agrupamento de dados final combinado com base nos agrupamentos do conjunto de agrupamentos, incluindo a medida MCG proposta nesta dissertação.
Os resultados obtidos nos estudos realizados para avaliar o desempenho dos vários algoritmos de agrupamento de dados e dos vários métodos de combinação de agrupamentos de dados, mostraram que apesar da configuração TODOS5+WR do passo complementar do método WEACS não obter sempre os melhores resultados, o seu desempenho em quase todas as situações é claramente superior ao desempenho médio dos restantes métodos de combinação de agrupamentos
de dados, aproximando-se sempre dos melhores resultados nas situações em que isso não acontece. Por esse facto, o método WEACS constitui uma opção robusta e recomendável para a combinação de agrupamentos de dados.
O estudo comparativo para a avaliação do desempenho das medidas para a selecção do melhor agrupamento de dados, obtido pela combinação de agrupamentos de um determinado conjunto de agrupamentos de dados, apresentou resultados que mostram que existe uma relação directa entre os resultados obtidos pela medida MCG e a qualidade dos agrupamentos de dados finais obtidos, já que o aumento ou a diminuição dos valores da medida MCG são acompanhados pelo aumento ou diminuição da qualidade dos agrupamentos de dados finais. As restantes medidas usadas no estudo, não apresentaram esta correlação ou só apresentaram em alguns conjuntos de dados. Estes resultados demonstram que a medida MCG constitui uma opção aconselhável como medida para a selecção de agrupamentos de dados finais resultantes da combinação de agrupamentos de dados.
Outra vertente desta dissertação está ligada à liberalização do mercado de energia eléctrica. Esta liberalização provocou a necessidade das empresas produtoras, distribuidoras e comercializadoras de energia eléctrica terem disponíveis ferramentas de previsão do comportamento de consumo de energia eléctrica dos seus clientes, de forma a poderem reduzir e atenuar os riscos. A caracterização de consumidores de energia eléctrica constitui uma ajuda indispensável na obtenção desses objectivos. Esta necessidade de ferramentas de previsão do comportamento de consumo de energia eléctrica levou à inclusão neste trabalho de uma metodologia para a caracterização de consumidores de energia eléctrica.
Neste trabalho de dissertação é apresentado um caso de estudo sobre a caracterização de perfis de consumo de clientes de média tensão sendo assim realizada uma aplicação da metodologia para a caracterização de consumidores de energia eléctrica proposta. Na fase de determinação dos perfis de consumo pôde-se constatar que a configuração TODOS5+WR do passo complementar do método WEACS alcançou os melhores resultados, isto é, obteve os grupos melhor divididos do que qualquer um dos outros algoritmos de agrupamento usados no estudo.
Abstract
The purpose of data clustering is to organize the objects of a data set in homogeneous groups, in such a way that there is similarity between the objects in the same group, and dissimilarity between objects of different groups. Despite the existing wide number of data clustering algorithms, none is successfully applicable in all the possible structures present in multidimensional data sets.Lately, the combination of clustering ensembles has been extensively focused on by investigation activities. This focus aims at minimizing the problems inherent to the data clustering process, at getting a final data partition better in quality than their predecessors, at reusing already existent data partitions, and at using physically distributed data partitions (eventually with different objects and/or attributes), without the need for data objects centralization.
Data clustering validation and the determination of the number of groups existent in data have also been the target of thorough investigation. The objective of data clustering validation is to select, among the existent data partitions, the one that fits data the best. Once again, although there are several data clustering validation measures, none captures all the properties of any good data partition. These measures may be classified in external and internal criteria based measures. Clustering validation measures based on internal criteria may still be subdivided into measures that evaluate the adjustment or the correspondence between the data and the obtained data partition, and methods of determining the existent K number of groups in the data.
In this dissertation several contents related to data clustering are presented, namely its related formal concepts and aspects, the most referenced data clustering algorithms, the main data clustering validation measures, and the most important clustering ensemble combination approaches.
Two of the most valuable aspects of this research work consist in the development of the weighed clustering ensemble combination method with sampling, WEACS, and in the development of the clustering ensemble consistency measure of groups, MCG.
Several clustering algorithms, diverse data clustering validation measures, and diverse clustering ensemble combination methods were implemented so that their behavior could be analyzed. Another contribution of the present research work consists in the availability of a toolbox with graphical interface, which enables getting the results by applying various clustering algorithms, various clustering validation measures, and various clustering ensemble combination approaches.
In this dissertation various comparative studies were performed with various real and synthetic data sets: to evaluate the performance of several data clustering algorithms; to evaluate the performance of several data clustering validation measures based on external and on internal criteria; to evaluate the performance of several clustering ensemble combination methods, including the WEACS method proposed in this dissertation; to evaluate the performance of measures to select the best final combined data partition based on the clustering ensemble data partitions, including the MCG measure proposed in this dissertation.
The results obtained in the studies to evaluate the performance of the several data clustering algorithms and of the several clustering ensemble combination methods showed that although the TODOS5+WR configuration of the WEACS method’s complementary step has not always obtained the best results, its performance in almost every situation is clearly superior to the average performance of the rest of the clustering ensemble combination methods, always being close to the best results even in the situations in which that does not happen. Therefore, the WEACS method is a robust and recommendable option for clustering ensemble combination.
The comparative study to evaluate the performance of the measures for the selection of the best data partition, obtained by the combination of partitions of a determined clustering ensemble, presented results that show that there is a direct relation between the results obtained through the
MCG measure and the quality of the final data partitions, once the raising or lowering of the MCG measure values are accompanied by the raising and lowering of the quality of the final data partitions. The other measures used in the study did not present this correlation, or only presented it in some sets of data. These results reveal that the MCG measure constitutes an advisable option as a measure for the selection of final data partitions resulting from the clustering ensemble combination.
Another aspect of this dissertation is connected to the liberalization of the electrical power market. This liberalization has raised the need for companies that produce, distribute and commercialize electrical power to have at their disposal tools able to predict their clients’ electrical energy consumption behavior, so that they can reduce and minimize risks. The characterization of the electrical power consumers constitutes an invaluable help in reaching those objectives. This need for electrical power consumption behavior predicting tools has led to include in this work a methodology for characterizing electrical power consumers.
In this dissertation a case study about the characterization of medium power clients’ consumption profiles is presented. This way, the proposed methodology for characterizing the electrical power consumers was applied. In the consumption profiles determination phase, it was possible to observe that the configuration TODOS5+WR of the WEACS method’s complementary step reached the best results, i.e. obtained better divided groups than any of the other clustering algorithms used in the study.
Agradecimentos
De todos aqueles que me ajudaram gostaria de começar por agradecer aos meus pais, a quem devo os alicerces do que sou hoje, todo o amor, apoio e encorajamento concedidos e a confiança em mim depositada durante toda a minha vida.Aos meus irmãos, pela preocupação, solidariedade, compreensão e apoio proporcionado e ao meu sobrinho Gabriel por ter sido uma motivação acrescida para a realização desta dissertação.
À minha orientadora, a Professora Doutora Fátima Rodrigues, pela total disponibilidade que dedicou à orientação, pelos contributos científicos, por toda a colaboração e apoio concedido, pelas correcções sugeridas, pelo estímulo, compreensão e amizade manifestadas, o meu muito obrigado.
Ao meu co-orientador Professor Doutor Manuel Cordeiro, por todo o apoio e disponibilidade com que acompanhou este trabalho e resolveu algumas dificuldades logísticas entretanto surgidas.
À Professora Doutora Ana Fred, por me ter recebido amigavelmente no Instituto Superior Técnico e ter-me disponibilizado um local de trabalho e o equipamento necessário, durante o tempo que necessitei. A sua orientação, a sua competência científica, as suas sugestões e directrizes, a documentação e referências disponibilizadas, o seu apoio e acompanhamento de todo o trabalho realizado, o seu encorajamento e a sua amizade foram determinantes para o resultado final deste trabalho de dissertação. Por tudo o que foi referido, um obrigado muito especial.
À Professora Zita Vale, pela leitura e revisão de três capítulos desta dissertação bem como todo o contributo científico concedido na área dos sistemas eléctricos de energia sempre que foi necessário, no decorrer desta dissertação.
À Professora Doutora Conceição Neves, pela compreensão e esforço demonstrados, de forma a contemplar todos os meus pedidos de preferência de serviço docente.
Ao João Duarte, pela sua valiosa contribuição como bolseiro, na implementação de muitos dos algoritmos e métodos de combinação de agrupamentos de dados, bem como pela vasta troca de ideias, excelente relacionamento e ambiente de trabalho proporcionado. Um obrigado especial.
À Isabel Praça e ao Sérgio Ramos, pela amizade e disponibilidade demonstradas sempre que foram solicitados e à Maria João Viamonte e Goreti Marreiros pela força e amizade manifestadas.
À Universidade de Trás-os-Montes e Alto Douro, pela oportunidade de realizar este trabalho. À Fundação para a Ciência e a Tecnologia (FCT), pelo suporte concedido aos dois projectos de I&D em que estive envolvido, DAMICE e EMUSSL.
Ao GECAD, na pessoa do Professor Doutor Carlos Ramos, por todas as facilidades concedidas e pela disponibilização do vasto número de máquinas para a realização dos estudos comparativos.
Ao ISEP, o facto de ter apoiado a minha candidatura a uma bolsa PRODEP para a realização da presente dissertação e ao PRODEP que financiou as minhas propinas.
Ao meu amigo Marco Morado, pela grande amizade demonstrada, pela disponibilização da sua casa em Lisboa durante o período que necessitei lá estar e por todo apoio logístico proporcionado.
À minha amiga Paula Sá pela ajuda prestada, nomeadamente, na correcção gramatical da tese. A todos os meus amigos que me deram força e me ajudaram a descontrair e a enfrentar as dificuldades com mais leveza, nomeadamente, Rui Santos, Humberto, Fernanda, Vítor, Catarina, Miguel Queda, Paulo Ribeiro, Paula, Fati, Luís, Miguel, Paulo, Gilberto, Fábio, Carla, entre outros.
À minha amiga Fátima Pacheco, pela sua preocupação, força, apoio e notória amizade. Ao meu amigo Campante, pela sua grande amizade, apoio constante e partilha de incertezas. Ao meu amigo Raul Teles por ter estado sempre presente, pela partilha de dúvidas e indecisões, pela força, pelo apoio e compreensão demonstrada.
Índice
Resumo ...vii
Abstract ... ix
Agradecimentos... xi
Índice ...xiii
Índice de Figuras ...xix
Índice de Tabelas...xxv
Notação Utilizada...xxxiii
Capítulo 1 ... 1
Introdução... 1
1.1. Enquadramento... 1
1.2. Aprendizagem Supervisionada, Semi--Supervisionada e Não Supervisionada .. 2
1.3. Objectivos e Contribuições... 4
1.4. Abordagem e Organização da Tese... 6
Capítulo 2 ... 9
Agrupamento de Dados ... 9
2.1 Introdução ... 9
2.2 Fases num processo de Agrupamento de Dados...12
2.3 Estruturas de Dados no Agrupamento de Dados ...14
2.4 Tipos de Dados ...15
2.5 Normalização de Dados ...15
2.6 Medidas de Proximidade ...17
2.6.1 Medidas de Proximidade para Atributos Contínuos ...17
2.6.2 Medidas de Proximidade para Atributos Categóricos ...19
2.6.2.1 Atributos Binários ...20
2.6.2.2 Atributos Nominais...21
2.6.2.3 Atributos Ordinais ...22
2.6.3 Medidas de Proximidade para Atributos de Diferentes Tipos...23
2.7 Representação de grupos ...24
Capítulo 3 ...25
Algoritmos de Agrupamento de Dados...25
3.1 Taxonomia ...25
3.2 Algoritmos de Agrupamento de Partição ...27
3.2.1 K-Médias ...28
3.2.2 K-Medóides ...31
3.2.2.1 CLARA (Clustering LARge Applications) ...32
3.2.2.2 CLARANS (Clustering Large Applications based upon RANdomized Search)...33
3.3 Algoritmos de Agrupamento Hierárquicos ...36
3.3.2 – CURE (Clustering Using REpresentatives) ... 41
3.3.3 - Chameleon ... 44
1ªFase : Obtenção dos subgrupos iniciais ... 45
2ª Fase: Junção de subgrupos usando uma estrutura dinâmica ... 46
3.4 Algoritmos de Agrupamento baseados em Densidade... 48
3.4.1 – DBSCAN (Density Based Spatial Clustering of Applications with Noise) .. 49
3.4.2 – DENCLUE (DENsity-based CLUstEring)... 51
3.5 Algoritmos de Agrupamento baseados em Grelha... 54
3.5.1 – STING (STatistical INformation Grid) ... 55
3.5.2 – CLIQUE (CLustering In QUEst)... 57
3.6 Algoritmos de Agrupamento baseados em Modelos ... 60
3.6.1 – Agrupamento Probabilístico ... 60
3.6.1.1 – Algoritmo EM (Expectation Maximization) ... 61
3.6.2 – Agrupamento Conceptual ... 63
3.6.2.1 – COBWEB ... 63
3.6.3 - Abordagem de Rede Neuronal ... 67
3.6.3.1 – Aprendizagem Competitiva ... 67
3.6.3.2 – Mapa de Características Auto-Organizáveis... 68
3.7 Outros Algoritmos de Agrupamento ... 71
3.7.1 Algoritmos de Agrupamento baseados em Grafos ... 71
3.7.1.1 – Algoritmos de Agrupamento Metis e hMetis ... 72
3.7.1.2 – Algoritmos de Agrupamento Espectral ... 73
3.7.2 Algoritmos de Agrupamento Difuso... 74
Capítulo 4... 77
Validação do Agrupamento de Dados ... 77
4.1 Introdução... 77
4.2 Medidas de Validação baseadas em Critérios Externos ... 79
4.3 Medidas de Validação baseadas em Critérios Internos... 84
4.3.1 Medidas de Validação que avaliam o ajuste entre os Dados e o Agrupamento de Dados obtido ... 84
4.3.2 Métodos de determinação do Número de Grupos... 90
4.3.2.1 Métodos baseados em Dispersão ... 91
4.3.2.1.1 GAP ... 91
4.3.2.2 Métodos baseados em Previsão ... 93
4.3.2.2.1 Método da Força de Previsão... 94
4.3.2.2.2 Clest... 96
4.3.2.2.3 Método de Roth... 97
4.3.2.3 Métodos baseados em Estabilidade... 99
4.3.2.3.1 Método de Ben-Hur baseado na Comparação dos Agrupamentos de Diferentes Amostras de Dados... 99
4.3.2.3.2 Método de Ben-Hur baseado na Comparação do Agrupamento do Conjunto de Dados com o Agrupamento de Amostras de Dados... 100
4.3.2.3.3 Método de Levine... 101
4.3.2.3.4 Método de Monti... 103
Capítulo 5... 107
Combinação de Agrupamentos de Dados ... 107
5.1 Introdução... 107
5.2 Métodos de Construção de Conjuntos de Agrupamentos ... 109
5.2.1 Diferentes Algoritmos e Diferentes Inicializações para o Mesmo Algoritmo ... 109
5.2.2 Subconjuntos Diferentes de Objectos ... 110
5.2.4 Projecções para Subespaços ...114
5.3 Funções de Consenso ...116
5.3.1 Métodos baseados em Votação ...116
5.3.1.1 VMA (Voting-Merging Algorithm) ...117
5.3.1.2 BagClust1...119
5.3.2 Métodos baseados em Co-Associações...120
5.3.2.1 EAC (Evidence Accumulation Clustering) ...121
5.3.2.2 Clusterfusion...122
5.3.2.3 BagClust2...122
5.3.2.4 Método de Combinação de Distribuições de Probabilidade ...123
5.3.3 Métodos baseados em Agrupamento Mediano...124
5.3.3.1 KMCF (K-Means Consensus Function)...125
5.3.3.2 KEROUAC como Heurística para o Agrupamento Mediano...127
5.3.4 Métodos baseados em Hipergrafos ...129
5.3.4.1 CSPA (Cluster-based Similarity Partition Algorithm) ...130
5.3.4.2 HGPA (Hyper-Graph Partitioning Algorithm) ...131
5.3.4.3 MCLA (Meta-CLustering Algorithm) ...132
5.3.5 Métodos baseados em Grafos...134
5.3.5.1 IBGF (Instance-Based Graph Formulation)...134
5.3.5.2 CBGF (Cluster-Based Graph Formulation) ...135
5.3.5.3 HBGF (Hybrid Bipartite Graph Formulation) ...136
5.3.5.4 WSPA (Weighted Similarity Partitioning Algorithm)...138
5.3.5.5 WBPA (Weighted Bipartite Partitioning Algorithm) ...140
5.3.6 Modelos de Mistura ...142
5.3.6.1 Modelo de Mistura usando o EM (Expectation Maximization) ...142
5.3.6.2 IM (Intersection-Merging)...144
5.3.6.3 IMSA (Intersection-Merging with Simulated Annealing) ...146
5.4 Medidas para a selecção do melhor Agrupamento de Dados Final Combinado com base no Conjunto de Agrupamentos ...147
5.4.1 Medidas baseadas na diversidade do conjunto de agrupamentos de dados ...148
5.4.2 Média da Informação Mútua Normalizada ...149
Capítulo 6 ...151
WEACS, MCG e Toolbox...151
6.1 WEACS - Combinação Ponderada de Agrupamentos de Dados com Amostragem...151
6.1.1 Motivação ...151
6.1.2 Método WEACS ...152
6.1.2.1 Normalização das medidas de validação usadas ...155
6.2 MCG– Medida de Consistência dos Grupos do Conjunto de Agrupamentos de Dados ...156
6.2.1 Motivação ...156
6.2.2 Medida MCG ...157
6.3 Toolbox com Interface Gráfica ...159
6.3.1 Interface dos Algoritmos de Agrupamento de Dados...159
6.3.2 Interface dos Índices de Validação de Agrupamentos para a determinação do número de grupos ...161
6.3.3 Interface dos Métodos de Combinação de Agrupamentos de Dados ...162
6.4 Variações ao método WEACS ...164
Capítulo 7 ...167
Aplicações e Resultados Experimentais ...167
7.2. Estudo Comparativo dos Algoritmos de Agrupamento de Dados... 169
7.2.1. Descrição da implementação ... 170
7.2.2. Resultados obtidos ... 170
7.3. Estudo Comparativo das Medidas de Validação de Agrupamentos de Dados 174 7.3.1. Medidas de Validação baseadas em Critérios Externos e Medidas de Validação que avaliam o ajuste entre os Dados e o Agrupamento de Dados obtido ... 174
7.3.1.1 Descrição da implementação ... 174
7.3.1.2 Resultados obtidos... 175
7.3.2 Métodos de Determinação do Número de Grupos ... 178
7.3.2.1 Descrição da implementação ... 178
7.3.2.2 Resultados obtidos... 178
7.4. Estudos Comparativos dos Métodos WEAC e WEACS com Algoritmos de Agrupamento de Dados e Métodos de Combinação de Agrupamento de Dados... 180
7.4.1. Configuração Experimental dos Métodos EAC, WEAC e WEACS ... 182
7.4.1.1 Construção dos Conjuntos de Agrupamentos de Dados ... 182
7.4.1.2 Normalização dos Índices de Validação de Agrupamentos de Dados 183 7.4.1.3 Extracção do Agrupamento de Dados Final ... 184
7.4.2 Resultados Obtidos no Estudo Comparativo do Método WEAC com K-Médias, Clarans, Single-Link, Average-Link, Complete-Link, Chameleon, CLIQUE, CURE, DBSCAN, STING, EAC, CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, Clusterfusion, KEROUAC, WSPA e WBPA ... 184
7.4.3 Resultados Obtidos no Estudo Comparativo do Método WEACS com K-Médias, Clarans, Single-Link, Average-Link, Complete-Link, CLIQUE, CURE, DBSCAN, STING, EAC, CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, Clusterfusion, KEROUAC, WSPA e WBPA... 196
7.4.4. Comparação dos Melhores Resultados e dos Resultados Médios dos Algoritmos de Agrupamentos de Dados e dos Métodos de Combinação de Agrupamentos de Dados com e sem Amostragem Sem Reposição ... 208
7.5. Selecção do Melhor Agrupamento resultante da Combinação de Agrupamentos de Dados ... 210
7.5.1. Configuração Experimental ... 210
7.5.2. Resultados Obtidos... 211
Capítulo 8... 217
Mercado Liberalizado de Energia Eléctrica... 217
8.1 Introdução... 217
8.2 Liberalização do Sector Eléctrico... 218
8.3 Entidades participantes no Mercado liberalizado de Energia Eléctrica... 219
8.4 Novos Modelos de Mercado ... 221
8.4.1 Modelo em Bolsa ... 221
8.4.2 Modelo de Contratos Bilaterais ... 222
8.4.2.1 Contratos bilaterais físicos ... 222
8.4.2.2 Contratos bilaterais financeiros (mercado de derivados) ... 223
8.4.3 Modelo Misto ... 223
8.5 Estratégias e Ferramentas de auxílio aos Mercados Retalhistas ... 223
8.6. Estrutura do Sector Eléctrico Português ... 225
8.7 Mercado Ibérico de Electricidade ... 226
Capítulo 9... 229
Metodologia para a Caracterização de Consumidores de Energia Eléctrica ... 229
9.1 Introdução... 229
9.2 Definição da Amostra de Dados ... 231
9.4 Pré-processamento dos Dados ...233
9.5 Selecção de Atributos ...235
9.5.1 Introdução ...235
9.5.2 Atributos relacionados com o diagrama de cargas ...235
9.5.2.1 Vector com os valores normalizados do diagrama de carga diário representativo de cada cliente...235
9.5.2.2 Índices de forma normalizados ...236
9.5.3 Atributos relacionados com Dados Comerciais...237
9.5.4 Atributos relacionados com Dados das Condições Atmosféricas...238
9.5.5 Outros Atributos ...239
9.6 Determinação dos Perfis de Consumo ...239
9.7 Caracterização dos Perfis de Consumo ...240
Capítulo 10 ...243
Caso de Estudo – Caracterização de Perfis de Consumo de Clientes de Média Tensão ...243
10.1 Introdução ...243
10.2 Descrição da Amostra de Dados ...243
10.3 Filtragem e Limpeza dos Dados ...246
10.4 Pré-processamento dos Dados ...246
10.5 Selecção de Atributos ...248
10.6 Determinação dos Perfis de Consumo ...249
10.7 Caracterização dos Perfis de Consumo ...261
Capítulo 11 ...267
Conclusões ...267
11.1. Síntese e Conclusões do Trabalho Desenvolvido ...267
11.2. Limitações e Futuras Direcções de Investigação...275
Referências ...277
Anexo A ...291
Resultados obtidos pelos Índices de Validação baseados em Critérios Externos e Internos para todos os conjuntos de dados usando os Algoritmos de Agrupamento K-Médias, Clarans, Single-Link, Average-Link e Complete-Link...291
Anexo B ...319
Outros Estudos Comparativos dos Métodos WEAC e WEACS com Algoritmos de Agrupamento de Dados e Métodos de Combinação de Agrupamentos de Dados ...319
B.1. Primeiro Estudo Comparativo do Método WEAC com os Algoritmos K-Médias, Clarans, Single-Link, Average-Link, Complete-Link e os Métodos de Combinação EAC, CSPA, HGPA e MCLA ...320
B.1.1 Configuração Experimental dos Métodos WEAC e EAC ...320
B.1.1.1 Construção dos Conjuntos de Agrupamentos de Dados ...320
B.1.1.2 Normalização dos Índices de Validação de Agrupamentos de Dados 320 B.1.1.3 Extracção do Agrupamento de Dados Final ...321
B.1.2 Resultados Obtidos...321
B.2. Segundo Estudo Comparativo do Método WEAC com os Algoritmos K-Médias, Clarans, Single-Link, Average-Link, Complete-Link e os Métodos de Combinação EAC, CSPA, HGPA e MCLA ...325
B.2.1 Configuração Experimental dos Métodos WEAC e EAC ...326
B.2.1.1 Construção dos Conjuntos de Agrupamentos de Dados ...326 B.2.1.2 Normalização dos Índices de Validação de Agrupamentos de Dados 326
B.2.1.3 Extracção do Agrupamento de Dados Final ... 326 B.2.2 Resultados Obtidos ... 326 B.3. Estudo Comparativo do Método WEACS com os Algoritmos K-Médias, Clarans, Single-Link, Average-Link, Complete-Link e os Métodos de Combinação EAC,
CSPA, HGPA e MCLA ... 334 B.3.1 Configuração Experimental dos Métodos WEACS e EAC ... 334 B.3.1.1 Construção dos Conjuntos de Agrupamentos de Dados... 334 B.3.1.2 Normalização dos Índices de Validação de Agrupamentos de Dados 335 B.3.1.3 Extracção do Agrupamento de Dados Final ... 335 B.3.2. Resultados Obtidos ... 335
Anexo C ... 343
Gráficos com resultados obtidos pelos Algoritmos Single-Link, Average-Link, Complete-Link, Clarans e K-Médias para 9 perfis de consumo... 343
Índice de Figuras
Figura 1.1 Processo de descoberta de conhecimento em bases de dados... 2
Figura 2.1 – Fases do Agrupamento de Dados...13
Figura 3.1. – Classificação dos algoritmos de agrupamento baseada no método adoptado nesta dissertação para a definição dos grupos. ...26
Figura 3.2 – Agrupamento de um conjunto de objectos baseado no algoritmo K-Médias.29 Figura 3.3 – Quatro casos da função de custo para o algoritmo CLARANS...34
Figura 3.4 – Agrupamento hierárquico aglomerativo e divisivo nos objectos de dados
{
x x x x xa, b, c, d, e}
...36Figura 3.5 – Dendograma e diagrama de Venn ...37
Figura 3.6 – Exemplo do agrupamento realizado pelo algoritmo Cure ...45
Figura 3.7 – Algoritmo Chameleon...45
Figura 3.8 – Alcance por densidade e ligação por densidade num agrupamento baseado em densidade ...50
Figura 3.9 - Funções de densidade possíveis para um conjunto de dados bidimensional52 Figura 3.10 – Exemplos de grupos centralmente definidos ...53
Figura 3.11 – Exemplos de grupos com formas arbitrárias ...53
Figura 3.12 – Exemplo de uma árvore de classificação produzida pelo COBWEB ...64
Figura 3.13 – Uma arquitectura para aprendizagem competitiva ...68
Figura 3.14: Arquitectura típica de um mapa auto-organizável unidimensional. ...69
Figura 3.15: Arquitectura típica de um mapa auto-organizável bidimensional. ...69
Figura 4.1. - Exemplo da aplicação do K-Médias com parâmetros diferentes ...78
Figura 4.2. - Variação de informação e respectivas quantidades ...82
Figura 4.3 - Grupos de dados e gráfico de dispersão interna Wk...91
Figura 4.4 - Gráficos a) com os valores observados e esperados de log
( )
WK e b) valores do GAP ...92Figura 4.5. - Ilustração da ideia da Força de Previsão ...94
Figura 4.6. - Resultados para exemplos de conjuntos de dados com um, dois e três grupos. As barras verticais na coluna direita indicam o erro padrão da força de previsão usando 5 subconjuntos de treino para validação cruzada ...95
Figura 4.7 - Duas amostras de um mesmo conjunto de dados ...99
Figura 4.8 - Distribuições de estabilidades para diferentes valores de k. ...100
Figura 4.9 - Medições de consenso para diferentes valores de K ...104
Figura 5.1 – Combinação de Agrupamentos de Dados...108
Figura 5.2 – Taxonomia das abordagens de Combinação de Agrupamentos ...108
Figura 5.3 – Procedimento de voto ...118
Figura 5.4 – Exemplo da construção de um hipergráfo com base num conjunto de agrupamentos de dados...130
Figura 5.5 – Ilustração do hiper-grafo construído no método HGPA ...132
Figura 5.6 – Ilustração do meta-grafo construído no método MCLA ...133
Figura 5.7 – Exemplo da Formulação de Grafos Híbridos Bipartidos ...137
Figura-6.1 – Exemplo de uma similaridade elevada entre um agrupamento do conjunto de agrupamentos e o agrupamento de dados final combinado (a)) e uma similaridade reduzida entre os dois agrupamentos (b)). ...158
Figura 6.2 – Menu Principal ...159
Figura 6.3 – Exemplo da utilização da interface dos algoritmos de agrupamento de dados para o conjunto de dados Iris ...160
Figura 6.4 – Exemplo da utilização da interface dos algoritmos de agrupamento de dados para o conjunto de dados Half-Rings ...161
Figura 6.5 – Exemplo da utilização da interface dos índices de validação para a
determinação do número de grupos existentes no conjunto de dados Iris ... 162
Figura 6.6 – Exemplo da utilização da interface dos métodos de combinação de agrupamentos de dados relativamente ao conjunto de dados Spiral ... 163
Figura 6.7 – Exemplo da utilização da interface dos métodos de combinação de agrupamentos de dados relativamente ao conjunto de dados Cigar... 164
Figura 7.1 – Conjunto de dados Bars ... 168
Figura 7.2 – Conjunto de dados Cigar ... 168
Figura 7.3 – Conjunto de dados Gauss ... 168
Figura 7.4 – Conjunto de dados Gauss3_7 ... 168
Figura 7.5 – Conjunto de dados Half Rings ... 168
Figura 7.6 – Conjunto de dados Spiral ... 168
Figura 7.7 – Melhores resultados dos algoritmos de agrupamento de dados para o conjunto de dados Bars ... 171
Figura 7.8 – Melhores resultados dos algoritmos de agrupamento de dados para o conjunto de dados Cigar... 171
Figura 7.9 – Melhores resultados dos algoritmos de agrupamento de dados para o conjunto de dados Gauss3_7 ... 171
Figura 7.10 – Melhores resultados dos algoritmos de agrupamento de dados para o conjunto de dados Gauss ... 172
Figura 7.11 – Melhores resultados dos algoritmos de agrupamento de dados para o conjunto de dados Half Rings ... 172
Figura 7.12 – Melhores resultados dos algoritmos de agrupamento de dados para o conjunto de dados Spiral ... 172
Figura 7.13 – Resultados das medidas para a selecção do melhor agrupamento de dados no conjunto de dados Bars ... 211
Figura 7.14 – Resultados das medidas para a selecção do melhor agrupamento de dados no conjunto de dados Breast Cancer... 211
Figura 7.15 – Resultados das medidas para a selecção do melhor agrupamento de dados no conjunto de dados Cigar ... 212
Figura 7.16 – Resultados das medidas para a selecção do melhor agrupamento de dados no conjunto de dados Half Rings ... 212
Figura 7.17 - Resultados das medidas para a selecção do melhor agrupamento de dados no conjunto de dados Iris... 212
Figura 7.18 – Resultados das medidas para a selecção do melhor agrupamento de dados no conjunto de dados Log Yeast... 213
Figura 7.19 – Resultados das medidas para a selecção do melhor agrupamento de dados no conjunto de dados Std Yeast ... 213
Figura 7.20 – Resultados das medidas para a selecção do melhor agrupamento de dados no conjunto de dados Optdigits... 213
Figura 7.21 - Resultados das medidas para a selecção do melhor agrupamento de dados no conjunto de dados Spiral ... 214
Figura 10.1 - Fins-de-semana - SL - Grupo 1 ... 253
Figura 10.2 - Fins-de-semana - SL - Grupo 2 ... 253
Figura 10.3 - Fins-de-semana - AL - Grupo 1 ... 253
Figura 10.4 - Fins-de-semana - AL - Grupo 2 ... 253
Figura 10.5 - Fins-de-semana - CL - Grupo 1... 253
Figura 10.6 - Fins-de-semana - CL - Grupo 2... 253
Figura 10.7 - Fins-de-semana - Clarans - Grupo 1 ... 254
Figura 10.8 - Fins-de-semana - Clarans - Grupo 2 ... 254
Figura 10.9 - Fins-de-semana - K-Médias - Grupo 1 ... 254
Figura 10.10- Fins-de-semana - K-Médias - Grupo 2 ... 254
Figura 10.11 - Fins-de-semana - WEACS - Grupo 1 ... 254
Figura 10.12- Fins-de-semana - WEACS - Grupo 2 ... 254
Figura 10.14 - Dias úteis - SL - Grupo 2...255
Figura 10.15 - Dias úteis - AL - Grupo 1...255
Figura 10.16 - Dias úteis - AL - Grupo 2...255
Figura 10.17 - Dias úteis - CL - Grupo 1 ...255
Figura 10.18 - Dias úteis - CL - Grupo 2 ...255
Figura 10.19 - Dias úteis - Clarans - Grupo 1...255
Figura 10.20 - Dias úteis - Clarans - Grupo 2...255
Figura 10.21 - Dias úteis – K-Médias - Grupo 1 ...256
Figura 10.22 - Dias úteis - K-Médias - Grupo 2 ...256
Figura 10.23 - Dias úteis – WEACS - Grupo 1 ...256
Figura 10.24 - Dias úteis - WEACS - Grupo 2 ...256
Figura 10.25 - Fins-de-semana - WEACS - Grupo 1 ...257
Figura 10.26- Fins-de-semana - WEACS - Grupo 2 ...257
Figura 10.27 - Fins-de-semana - WEACS - Grupo 3 ...257
Figura 10.28- Fins-de-semana - WEACS - Grupo 4 ...257
Figura 10.29 - Fins-de-semana - WEACS - Grupo 5 ...257
Figura 10.30- Fins-de-semana - WEACS - Grupo 6 ...257
Figura 10.31 - Fins-de-semana - WEACS - Grupo 7 ...257
Figura 10.32- Fins-de-semana - WEACS - Grupo 8 ...257
Figura 10.33 - Fins-de-semana - WEACS - Grupo 9 ...258
Figura 10.34 - Fins-de-semana - WEACS - 8 perfis de consumo obtidos...259
Figura 10.35 – Dias úteis - WEACS - Grupo 1 ...259
Figura 10.36 - Dias úteis - WEACS - Grupo 2 ...259
Figura 10.37 – Dias úteis - WEACS - Grupo 3 ...259
Figura 10.38 - Dias úteis - WEACS - Grupo 4 ...259
Figura 10.39 – Dias úteis - WEACS - Grupo 5 ...260
Figura 10.40 - Dias úteis - WEACS - Grupo 6 ...260
Figura 10.41 – Dias úteis - WEACS - Grupo 7 ...260
Figura 10.42 - Dias úteis - WEACS - Grupo 8 ...260
Figura 10.43 – Dias úteis - WEACS - Grupo 9 ...260
Figura 10.44 – Dias úteis - WEACS - - 8 perfis de consumo obtidos...261
Figura 10.45 - Potência contratada nos grupos dos dados dos fins-de-semana ...262
Figura 10.46 - Potência contratada nos grupos dos dados dos dias úteis...262
Figura B.1 – Melhores resultados obtidos pelos algoritmos de agrupamento individualmente pelos métodos de combinação de agrupamentos...331
Figura B.2 - Número de conjuntos de dados em que os métodos SWEAC e JWEAC obtiveram em média melhores resultados quando comparados com o método EAC. ...332
Figura B.3. - Percentagem de resultados melhores, piores e iguais comparando o método EAC com as heurísticas de Strehl e Gosh ...332
Figura B.4 - Percentagem de resultados melhores, piores e iguais comparando o método SWEAC com as heurísticas de Strehl e Gosh...332
Figura B.5 - Percentagem de resultados melhores, piores e iguais comparando o método JWEAC com as heurísticas de Strehl e Gosh ...332
Figura B.6 -Percentagem de resultados melhores, piores e iguais comparando o método JWEAC com o método SWEAC ...332
Figura B.7 - Percentagem de resultados melhores, piores e iguais comparando o método JWEAC com o método SWEAC (média) ...333
Figura B.8 - Percentagem de resultados melhores, piores e iguais comparando o método SWEAC com o método EAC ...333
Figura B.9 - Percentagem de resultados melhores, piores e iguais comparando o método JWEAC com o método EAC...333 Figura B.10 - Melhoria percentual média do desempenho do método SWEAC
K-Médias, SL, AL e WR para extrair o agrupamento de dados final, contabilizando todos os conjuntos de dados. ... 333 Figura B.11 - Melhoria percentual média do desempenho do método JWEAC
comparativamente ao método EAC, usando os algoritmos de agrupamento
K-Médias, SL, AL e WR para extrair o agrupamento de dados final, contabilizando todos os conjuntos de dados. ... 334 Figura C.1 - Fins-de-semana - SL - Grupo 1 ... 343 Figura C.2- Fins-de-semana - SL - Grupo 2 ... 343 Figura C.3- Fins-de-semana - SL - Grupo 3 ... 343 Figura C.4- Fins-de-semana - SL - Grupo 4 ... 343 Figura C.5- Fins-de-semana - SL - Grupo 5 ... 343 Figura C.6- Fins-de-semana - SL - Grupo 6 ... 343 Figura C.7- Fins-de-semana - SL - Grupo 7 ... 344 Figura C.8- Fins-de-semana - SL - Grupo 8 ... 344 Figura C.9- Fins-de-semana - SL - Grupo 9 ... 344 Figura C.10 - Fins-de-semana - AL - Grupo 1 ... 344 Figura C.11- Fins-de-semana - AL - Grupo 2 ... 344 Figura C.12- Fins-de-semana - AL - Grupo 3 ... 344 Figura C.13- Fins-de-semana - AL - Grupo 4 ... 344 Figura C.14- Fins-de-semana - AL - Grupo 5 ... 345 Figura C.15- Fins-de-semana - AL - Grupo 6 ... 345 Figura C.16- Fins-de-semana - AL - Grupo 7 ... 345 Figura C.17- Fins-de-semana - AL - Grupo 8 ... 345 Figura C.18- Fins-de-semana - AL - Grupo 9 ... 345 Figura C.19 - Fins-de-semana - CL - Grupo 1 ... 345 Figura C.20- Fins-de-semana - CL – Grupo 2 ... 345 Figura C.21- Fins-de-semana - CL - Grupo 3 ... 346 Figura C.22- Fins-de-semana - CL - Grupo 4 ... 346 Figura C.23- Fins-de-semana - CL - Grupo 5 ... 346 Figura C.24- Fins-de-semana - CL - Grupo 6 ... 346 Figura C.25- Fins-de-semana - CL - Grupo 7 ... 346 Figura C.26- Fins-de-semana - CL - Grupo 8 ... 346 Figura C.27- Fins-de-semana - CL - Grupo 9 ... 346 Figura C.28 - Fins-de-semana - Clarans - Grupo 1... 347 Figura C.29- Fins-de-semana - Clarans - Grupo 2... 347 Figura C.30- Fins-de-semana - Clarans - Grupo 3... 347 Figura C.31- Fins-de-semana - Clarans - Grupo 4... 347 Figura C.32- Fins-de-semana - Clarans - Grupo 5... 347 Figura C.33- Fins-de-semana - Clarans - Grupo 6... 347 Figura C.34- Fins-de-semana - Clarans - Grupo 7... 347 Figura C.35- Fins-de-semana - Clarans - Grupo 8... 347 Figura C.36- Fins-de-semana - Clarans - Grupo 9... 348 Figura C.37- Fins-de-semana – K-Médias - Grupo 1 ... 348 Figura C.38- Fins-de-semana - K-Médias - Grupo 2... 348 Figura C.39- Fins-de-semana - K-Médias - Grupo 3... 348 Figura C.40- Fins-de-semana - K-Médias - Grupo 4... 348 Figura C.41- Fins-de-semana - K-Médias - Grupo 5... 348 Figura C.42- Fins-de-semana - K-Médias - Grupo 6... 348 Figura C.43- Fins-de-semana - K-Médias - Grupo 7... 349 Figura C.44- Fins-de-semana - K-Médias - Grupo 8... 349 Figura C.45- Fins-de-semana - K-Médias - Grupo 9... 349 Figura C.46 – Dias úteis - SL - Grupo 1... 349 Figura C.47- Dias úteis - SL - Grupo 2 ... 349 Figura C.48- Dias úteis - SL - Grupo 3 ... 349 Figura C.49- Dias úteis - SL - Grupo 4 ... 349
Figura C.50- Dias úteis - SL - Grupo 5...350 Figura C.51- Dias úteis - SL - Grupo 6...350 Figura C.52- Dias úteis - SL - Grupo 7...350 Figura C.53- Dias úteis - SL - Grupo 8...350 Figura C.54- Dias úteis - SL - Grupo 9...350 Figura C.55 - Dias úteis - AL - Grupo 1 ...350 Figura C.56- Dias úteis - AL - Grupo 2...350 Figura C.57- Fins-de-semana - AL - Grupo 3...351 Figura C.58- Fins-de-semana - AL - Grupo 4...351 Figura C.59- Dias úteis - AL - Grupo 5...351 Figura C.60- Dias úteis - AL - Grupo 6...351 Figura C.61- Dias úteis - AL - Grupo 7...351 Figura C.62- Dias úteis - AL - Grupo 8...351 Figura C.63- Dias úteis - AL - Grupo 9...351 Figura C.64- Das úteis - CL - Grupo 1 ...352 Figura C.65- Dias úteis - CL - Grupo 2...352 Figura C.66- Dias úteis - CL - Grupo 3...352 Figura C.67- Dias úteis - CL - Grupo 4...352 Figura C.68- Dias úteis - CL - Grupo 5...352 Figura C.69- Dias úteis - CL - Grupo 6...352 Figura C.70- Dias úteis - CL - Grupo 7...352 Figura C.71- Dias úteis - CL - Grupo 8...352 Figura C.72- Dias úteis - CL - Grupo 9...353 Figura C.73 - Dias úteis - Clarans - Grupo 1 ...353 Figura C.74- Dias úteis - Clarans - Grupo 2 ...353 Figura C.75- Dias úteis - Clarans - Grupo 3 ...353 Figura C.76- Dias úteis - Clarans - Grupo 4 ...353 Figura C.77- Dias úteis - Clarans - Grupo 5 ...353 Figura C.78- Dias úteis - Clarans - Grupo 6 ...353 Figura C.79- Dias úteis - Clarans - Grupo 7 ...354 Figura C.80- Dias úteis - Clarans - Grupo 8 ...354 Figura C.81- Dias úteis - Clarans - Grupo 9 ...354 Figura C.82 - Dias úteis – K-Médias - Grupo 1...354 Figura C.83- Dias úteis - K-Médias - Grupo 2 ...354 Figura C.84- Dias úteis - K-Médias - Grupo 3 ...354 Figura C.85- Dias úteis - K-Médias - Grupo 4 ...354 Figura C.86- Dias úteis - K-Médias - Grupo 5 ...355 Figura C.87- Dias úteis - K-Médias - Grupo 6 ...355 Figura C.88- Dias úteis - K-Médias - Grupo 7 ...355 Figura C.89- Dias úteis - K-Médias - Grupo 8 ...355 Figura C.90- Dias úteis - K-Médias - Grupo 9 ...355
Índice de Tabelas
Tabela 3.1 – Algoritmo K-Médias ...28 Tabela 3.2 – Algoritmo K-Medóides ...32 Tabela 3.3 – Algoritmo CLARANS ...34 Tabela 3.4 – Valores dos coeficientes da equação 3.1 para cada um dos algoritmos...39 Tabela 3.5 – Algoritmo hierárquico aglomerativo ...40 Tabela 3.6 – Algoritmo hierárquico divisivo ...40 Tabela 3.7 – Algoritmo CURE...43 Tabela 3.8 – Algoritmo Chameleon...48 Tabela 3.9 – Algoritmo DBSCAN ...51 Tabela 3.10 – Algoritmo DENCLUE ...53 Tabela 3.11 – Algoritmo STING ...56 Tabela 3.12 – Fases do algoritmo CLIQUE...58 Tabela 3.13 – Procedimento de geração de candidatos com p dimensões...59 Tabela 3.14– Pesquisa em profundidade por grupos no conjunto de unidades densasligadas ...60 Tabela 3.15 – Algoritmo EM...62 Tabela 3.16 – Algoritmo COBWEB ...66 Tabela 3.17 – Mapa de características auto-organizáveis ...71 Tabela 3.18 – Algoritmo de agrupamento espectral não normalizado...74 Tabela 3.19 – Algoritmo C-Médias...75 Tabela 4.1 – Algoritmo para a identificação de grupos correspondentes em dois
agrupamentos e cálculo do índice de Consistência...81 Tabela 4.2 – Método GAP ...93 Tabela 4.3 – Método Força de Previsão ...95 Tabela 4.4 – Método Clest ...96 Tabela 4.5 – Método de Roth...98 Tabela 4.6 – Método de Ben-Hur baseado na comparação dos agrupamentos de
diferentes amostras de dados (Ben- Hur1)...100 Tabela 4.7 – Método de Ben-Hur baseado na comparação do agrupamento do conjunto
de dados com o agrupamento de amostras de dados (Ben- Hur2) ...101 Tabela 4.8 – Método de Levine...102 Tabela 4.9 – Método de Monti ...105 Tabela 5.1 – Método de construção de conjuntos de agrupamentos baseado em
Amostragem sem Reposição ...111 Tabela 5.2 – Método de construção de conjuntos de agrupamentos baseado em
Amostragem com Reposição ...112 Tabela 5.3 – Método Adaptativo para a construção de conjuntos de agrupamentos de
dados ...113 Tabela 5.4 – Método VMA. ...119 Tabela 5.5 – Método BagClust1...120 Tabela 5.6 – Método EAC (Acumulação de Evidências). ...121 Tabela 5.7 – Método Clusterfusion ...122 Tabela 5.8 - Método BagClust2 ...123 Tabela 5.9 –Método de Combinação de Distribuições de Probabilidade...124 Tabela 5.10 – Método KMCF ...127 Tabela 5.11 – Método KEROUAC...129 Tabela 5.12 – Método CSPA ...131 Tabela 5.13 – Método HGPA ...132 Tabela 5.14 – Método MCLA ...133 Tabela 5.15 – Método IBGF...135
Tabela 5.16 – Método CBGF... 136 Tabela 5.17 – Método HBGF... 138 Tabela 5.19 – Método WBPA ... 142 Tabela 5.20 – Modelo de Mistura usando o EM ... 144 Tabela 5.21 – Método Intersecção–Fusão... 146 Tabela 5.22 – Método Intersecção-Fusão usando Solidificação Simulada ... 147 Tabela 6.1 – Método de combinação de agrupamento de dados WEACS ... 154 Tabela 6.2 - Índices de Validação usados no método WEACS e respectivos critérios... 155 Tabela 7.1 – Resumo das características dos conjuntos de dados ... 169 Tabela 7.2 – Valores do índice de Consistência para os melhores agrupamentos obtidos
pelos algoritmos de agrupamento de dados em cada um dos conjuntos de dados. ... 170 Tabela 7.3 – Percentagem de vezes em que o número de grupos do agrupamento de
dados escolhido pelas medidas de validação coincidiu com o número de grupos real do conjunto de dados ... 176 Tabela 7.4 – Percentagem de vezes em que o agrupamento de dados escolhido pelas
medidas de validação coincidiu com o melhor agrupamento de dados, segundo o índice de Consistência... 177 Tabela 7.5 – Número de grupos determinados pelos métodos de Determinação do
Número de Grupos ... 179 Tabela 7.6 - Valores do IC(P*,Pº) para o conjunto de dados Bars obtidos com os métodos
EAC e WEAC ... 185 Tabela 7.7 - Valores do IC(P*,Pº) para o conjunto de dados Bars obtidos com os métodos
CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, CF, KEROUAC, WSPA e WBPA... 185 Tabela 7.8 - Valores do IC(P*,Pº) para o conjunto de dados Breast Cancer obtidos com
os métodos EAC e WEAC ... 186 Tabela 7.9 – Valores do IC(P*,Pº) para o conjunto de dados Breast Cancer obtidos com
os métodos CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, CF, KEROUAC, WSPA e WBPA... 186 Tabela 7.10 Valores do IC(P*,Pº) para o conjunto de dados Cigar obtidos com os
métodos EAC e WEAC... 187 Tabela 7.11 - Valores do IC(P*,Pº) para o conjunto de dados Cigar obtidos com os
métodos CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, CF, KEROUAC, WSPA e WBPA... 187 Tabela 7.12 - Valores do IC(P*,Pº) para o conjunto de dados Half Rings obtidos com os
métodos EAC e WEAC... 188 Tabela 7.13 - Valores do IC(P*,Pº) para o conjunto de dados Half Rings obtidos com os
métodos CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, CF, KEROUAC, WSPA e WBPA... 188 Tabela 7.14 - Valores do IC(P*, Pº) para o conjunto de dados Iris obtidos com os métodos EAC e WEAC ... 189 Tabela 7.15 - Valores do IC(P*, Pº) para o conjunto de dados Iris obtidos com os métodos CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, CF, KEROUAC, WSPA e WBPA... 189 Tabela 7.16 - Valores do IC(P*, Pº) para o conjunto de dados Optdigits obtidos com os
métodos EAC e WEAC... 190 Tabela 7.17 - Valores do IC(P*, Pº) para o conjunto de dados Optdigits obtidos com os
métodos CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, CF, KEROUAC, WSPA e WBPA... 190 Tabela 7.18 - Valores do IC(P*, Pº) para o conjunto de dados Log Yeast obtidos com os
métodos EAC e WEAC... 191 Tabela 7.19 - Valores do IC(P*, Pº) para o conjunto de dados Log Yeast obtidos com os
métodos CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, CF, KEROUAC, WSPA e WBPA... 191 Tabela 7.20 - Valores do IC(P*, Pº) para o conjunto de dados Std Yeast obtidos com os
Tabela 7.21 - Valores do IC(P*, Pº) para o conjunto de dados Std Yeast obtidos com os métodos CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, CF, KEROUAC, WSPA e WBPA ...192 Tabela 7.22 - Valores do IC(P*, Pº) para o conjunto de dados Spiral obtidos com os
métodos EAC e WEAC ...193 Tabela 7.23 - Valores do IC(P*, Pº) para o conjunto de dados Spiral obtidos com os
métodos CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, CF, KEROUAC, WSPA e WBPA ...193 Tabela 7.24 – Melhores resultados do IC(P*, Pº) obtidos com os algoritmos de
agrupamento K-Médias, Clarans, SL, AL, CL, CHM, CLIQUE, CURE, DBSCAN e STING e com os métodos de combinação de agrupamento CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, CF, KEROUAC, WSPA,WBPA, EAC, SWEAC e JWEAC em cada conjunto de dados ...194 Tabela 7.25 - Resultados médios do IC(P*, Pº) obtidos com os métodos de combinação
de agrupamento CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, CF, KEROUAC, WSPA, WBPA, EAC, SWEAC e JWEAC em cada conjunto de dados ...195 Tabela 7.27 – Melhoria percentual do IC(P*, Pº) comparando a configuração
TODOS5+WR do passo complementar do método WEAC com os valores médios dos restantes métodos de combinação de agrupamentos...196 Tabela 7.28 – Valores do IC(P*, Pº) para o conjunto de dados Bars obtidos com os
métodos EAC e WEACS ...197 Tabela 7.29 – Valores do IC(P*, Pº) para o conjunto de dados Bars obtidos com os
métodos CBGF, HBGF, KMCF, CSPA, HGPA e MCLA ...197 Tabela 7.30 - Valores do IC(P*, Pº) para o conjunto de dados Breast Cancer obtidos com
os métodos EAC e WEACS ...198 Tabela 7.31 – Valores do IC(P*, Pº) para o conjunto de dados Breast Cancer obtidos com
os métodos CBGF, HBGF, KMCF, CSPA, HGPA e MCLA...198 Tabela 7.32 - Valores do IC(P*, Pº) para o conjunto de dados Cigar obtidos com os
métodos EAC e WEACS ...199 Tabela 7.33 – Valores do IC(P*, Pº) para o conjunto de dados Cigar obtidos com os
métodos CBGF, HBGF, KMCF, CSPA, HGPA e MCLA ...199 Tabela 7.34 - Valores do IC(P*, Pº) para o conjunto de dados Half Rings obtidos com os
métodos EAC e WEACS ...200 Tabela 7.35 – Valores do IC(P*, Pº) para o conjunto de dados Half Rings obtidos com os
métodos CBGF, HBGF, KMCF, CSPA, HGPA e MCLA ...200 Tabela 7.36 - Valores do IC(P*, Pº) para o conjunto de dados Iris obtidos com os métodos EAC e WEACS ...201 Tabela 7.37 – Valores do IC(P*, Pº) para o conjunto de dados Iris obtidos com os
métodos CBGF, HBGF, KMCF, CSPA, HGPA e MCLA ...201 Tabela 7.38 - Valores do IC(P*, Pº) para o conjunto de dados Optdigits obtidos com os
métodos EAC e WEACS ...202 Tabela 7.39 – Valores do IC(P*, Pº) para o conjunto de dados Optdigits obtidos com os
métodos CBGF, HBGF, KMCF, CSPA, HGPA e MCLA ...202 Tabela 7.40 – Valores do IC(P*, Pº) para o conjunto de dados Log Yeast obtidos com os
métodos EAC e WEACS ...203 Tabela 7.41 – Valores do IC(P*, Pº) para o conjunto de dados Log Yeast obtidos com os
métodos CBGF, HBGF, KMCF, CSPA, HGPA e MCLA ...203 Tabela 7.42 - Valores do IC(P*, Pº) para o conjunto de dados Std Yeast obtidos com os
métodos EAC e WEACS ...204 Tabela 7.43 – Valores do IC(P*, Pº) para o conjunto de dados Std Yeast obtidos com os
métodos CBGF, HBGF, KMCF, CSPA, HGPA e MCLA ...204 Tabela 7.44 – Valores do IC(P*, Pº) para o conjunto de dados Spiral obtidos com os
métodos EAC e WEACS ...205 Tabela 7.45 – Valores do IC(P*, Pº) para o conjunto de dados Spiral obtidos com os
Tabela 7.46 – Melhores resultados do IC(P*, Pº) obtidos com os algoritmos de
agrupamento (K-Médias, Clarans, SL, AL, CL, CHM, CLIQUE, CURE, DBSCAN e STING) e com os métodos de combinação de agrupamento (CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, EAC, SWEACS e JWEACS) em cada conjunto de dados .. 206 Tabela 7.47 - Resultados médios do IC(P*, Pº) obtidos com os métodos de combinação
de agrupamento CBGF, HBGF, KMCF, CSPA, HGPA, MCLA, EAC, SWEACS e JWEACS em cada conjunto de dados ... 207 Tabela 7.48 - Resultados do IC(P*, Pº) obtidos após a aplicação do passo complementar
ao WEACS ... 207 Tabela 7.49 - Melhoria percentual do IC(P*, Pº) comparando a configuração
TODOS5+WR do passo complementar do método WEACS com os valores médios dos restantes métodos de combinação de agrupamento... 208 Tabela 7.50 - Resumo dos melhores valores do IC(P*, Pº) obtidos com os algoritmos de
agrupamento individualmente, com os métodos de combinação de agrupamentos (com e sem amostragem sem reposição) e com a configuração TODOS5+WR do passo complementar dos métodos WEACS e WEAC (com e sem amostragem sem reposição)... 209 Tabela 7.51 – Resumo dos valores médios do IC(P*, Pº) obtidos com os métodos de
combinação de agrupamentos (com e sem amostragem sem reposição) e com a configuração TODOS5+WR do passo complementar dos métodos WEACS e WEAC (com e sem amostragem sem reposição) ... 210 Tabela 7.52 – Valores do IC obtidos com os agrupamentos de dados escolhidos pelas
medidas MIMN, MCG, Div1, Div3 e o valor máximo do IC por conjunto de dados . 214 Tabela 9.1 – Índices de forma normalizados para caracterização do diagrama de carga
... 236 Tabela 9.2 - Atributos relacionados com as condições atmosféricas. ... 238 Tabela 10.1 – Resumo dos dados da amostra ... 244 Tabela 10.2 – Distribuição percentual da amostra pelas 4 cidades ... 245 Tabela 10.3 – Distribuição percentual dos clientes em função das potências contratadas
... 245 Tabela 10.4 – Dimensão percentual dos clientes com o mesmo código de actividade
comercial ... 245 Tabela 10.5 –Percentagem de ficheiros danificados e de clientes com todos os registos
nulos... 246 Tabela 10.6 – Resultados das medidas de validação que avaliam o ajuste entre os dados
e o agrupamento de dados obtido pela aplicação do algoritmo SL aos dados dos fins-de-semana... 250 Tabela 10.7 – Resultados das medidas de validação que avaliam o ajuste entre os dados
e o agrupamento de dados obtido pela aplicação do algoritmo SL aos dados dos dias úteis ... 250 Tabela 10.8 – Resultados das medidas de validação que avaliam o ajuste entre os dados
e o agrupamento de dados obtido pela aplicação do algoritmo AL aos dados dos fins-de-semana... 250 Tabela 10.9 – Resultados das medidas de validação que avaliam o ajuste entre os dados
e o agrupamento de dados obtido pela aplicação do algoritmo AL aos dados dos dias úteis ... 251 Tabela 10.10 – Resultados das medidas de validação que avaliam o ajuste entre os
dados e o agrupamento de dados obtido pela aplicação do algoritmo CL aos dados dos fins-de-semana ... 251 Tabela 10.11 – Resultados das medidas de validação que avaliam o ajuste entre os
dados e o agrupamento de dados obtido pela aplicação do algoritmo CL aos dados dos dias úteis... 251 Tabela 10.12 – Resultados das medidas de validação que avaliam o ajuste entre os
dados e o agrupamento de dados obtido pela aplicação do algoritmo Clarans aos dados dos fins-de-semana... 251
Tabela 10.13– Resultados das medidas de validação que avaliam o ajuste entre os dados e o agrupamento de dados obtido pela aplicação do algoritmo Clarans aos dados dos dias úteis ...252 Tabela 10.14– Resultados das medidas de validação que avaliam o ajuste entre os dados
e o agrupamento de dados obtido pela aplicação do algoritmo K-Médias aos dados dos fins-de-semana...252 Tabela 10.15– Resultados das medidas de validação que avaliam o ajuste entre os dados
e o agrupamento de dados obtido pela aplicação do algoritmo K-Médias aos dados dos dias úteis ...252 Tabela 10.16 - Resultados dos métodos de determinação do número de grupos ...253 Tabela 10.17 - Número de consumidores de cada tipo de actividade em cada grupo de
consumidores nos dados dos fins-de-semana ...262 Tabela 10.18 - Número de consumidores de cada tipo de actividade em cada grupo de
consumidores nos dados dos dias úteis...262 Tabela 10.19 – Índices de forma normalizados para caracterização dos perfis de
consumo ...263 Tabela 10.20 - Regras para a caracterização dos perfis de consumo dos dados dos
fins-de-semana ...264 Tabela 10.21 – Regras para a caracterização dos perfis de consumo dos dados dos dias
úteis ...264 Tabela A.1 – Resultados dos índices de validação para o conjunto de dados Bars
utilizando o algoritmo K-Médias ...292 Tabela A.2 – Resultados dos índices de validação para o conjunto de dados Bars
utilizando o algoritmo Single-Link...292 Tabela A.3 – Resultados dos índices de validação para o conjunto de dados Bars
utilizando o algoritmo Complete-Link...293 Tabela A.4 – Resultados dos índices de validação para o conjunto de dados Bars
utilizando o algoritmo Average-Link ...293 Tabela A.5 – Resultados dos índices de validação para o conjunto de dados Bars
utilizando o algoritmo Clarans ...294 Tabela A.6 – Resultados dos índices de validação para o conjunto de dados Cigar
utilizando o algoritmo K-Médias ...294 Tabela A.7 – Resultados dos índices de validação para o conjunto de dados Cigar
utilizando o algoritmo Single-Link...295 Tabela A.8 – Resultados dos índices de validação para o conjunto de dados Cigar
utilizando o algoritmo Complete-Link...295 Tabela A.9 – Resultados dos índices de validação para o conjunto de dados Cigar
utilizando o algoritmo Average-Link ...296 Tabela A.10 – Resultados dos índices de validação para o conjunto de dados Cigar
utilizando o algoritmo Clarans ...296 Tabela A.11 – Resultados dos índices de validação para o conjunto de dados Half Rings
utilizando o algoritmo K-Médias ...297 Tabela A.12 – Resultados dos índices de validação para o conjunto de dados Half Rings
utilizando o algoritmo Single-Link...297 Tabela A.13 – Resultados dos índices de validação para o conjunto de dados Half Rings
utilizando o algoritmo Complete-Link...298 Tabela A.14 – Resultados dos índices de validação para o conjunto de dados Half Rings
utilizando o algoritmo Average-Link ...298 Tabela A.15 – Resultados dos índices de validação para o conjunto de dados Half Rings
utilizando o algoritmo Clarans ...299 Tabela A.16 – Resultados dos índices de validação para o conjunto de dados Spiral
utilizando o algoritmo K-Médias ...299 Tabela A.17 – Resultados dos índices de validação para o conjunto de dados Spiral
Tabela A.18 – Resultados dos índices de validação para o conjunto de dados Spiral utilizando o algoritmo Complete-Link ... 300 Tabela A.19 – Resultados dos índices de validação para o conjunto de dados Spiral
utilizando o algoritmo Average-Link ... 301 Tabela A.20 – Resultados dos índices de validação para o conjunto de dados Spiral
utilizando o algoritmo Clarans... 301 Tabela A.21 – Resultados dos índices de validação para o conjunto de dados Iris
utilizando o algoritmo K-Médias ... 302 Tabela A.22 – Resultados dos índices de validação para o conjunto de dados Iris
utilizando o algoritmo Single-Link ... 302 Tabela A.23 – Resultados dos índices de validação para o conjunto de dados Iris
utilizando o algoritmo Complete-Link ... 303 Tabela A.24 – Resultados dos índices de validação para o conjunto de dados Iris
utilizando o algoritmo Average-Link ... 303 Tabela A.25 – Resultados dos índices de validação para o conjunto de dados Iris
utilizando o algoritmo Clarans... 304 Tabela A.26 – Resultados dos índices de validação para o conjunto de dados Breast
Cancer utilizando o algoritmo K-Médias... 304 Tabela A.27 – Resultados dos índices de validação para o conjunto de dados Breast
Cancer utilizando o algoritmo Single-Link ... 305 Tabela A.28 – Resultados dos índices de validação para o conjunto de dados Breast
Cancer utilizando o algoritmo Complete-Link... 305 Tabela A.29 – Resultados dos índices de validação para o conjunto de dados Breast
Cancer utilizando o algoritmo Average-Link... 306 Tabela A.30 – Resultados dos índices de validação para o conjunto de dados Breast
Cancer utilizando o algoritmo Clarans ... 306 Tabela A.31 – Resultados dos índices de validação para o conjunto de dados Optdigits
utilizando o algoritmo K-Médias ... 307 Tabela A.32 – Resultados dos índices de validação para o conjunto de dados Optdigits
utilizando o algoritmo Single-Link ... 307 Tabela A.33 – Resultados dos índices de validação para o conjunto de dados Optdigits
utilizando o algoritmo Complete-Link ... 307 Tabela A.34 – Resultados dos índices de validação para o conjunto de dados Optdigits
utilizando o algoritmo Average-Link ... 308 Tabela A.35 – Resultados dos índices de validação para o conjunto de dados Optdigits
utilizando o algoritmo Clarans... 308 Tabela A.36 – Resultados dos índices de validação para o conjunto de dados Log Yeast
utilizando o algoritmo K-Médias ... 309 Tabela A.37 – Resultados dos índices de validação para o conjunto de dados Log Yeast
utilizando o algoritmo Single-Link ... 309 Tabela A.38 – Resultados dos índices de validação para o conjunto de dados Log Yeast
utilizando o algoritmo Complete-Link ... 310 Tabela A.39 – Resultados dos índices de validação para o conjunto de dados Log Yeast
utilizando o algoritmo Average-Link ... 310 Tabela A.40 – Resultados dos índices de validação para o conjunto de dados Log Yeast
utilizando o algoritmo Clarans... 311 Tabela A.41 – Resultados dos índices de validação para o conjunto de dados Std Yeast
utilizando o algoritmo K-Médias ... 311 Tabela A.42 – Resultados dos índices de validação para o conjunto de dados Std Yeast
utilizando o algoritmo Single-Link ... 312 Tabela A.43 – Resultados dos índices de validação para o conjunto de dados Std Yeast
utilizando o algoritmo Complete-Link ... 312 Tabela A.44 – Resultados dos índices de validação para o conjunto de dados Std Yeast
Tabela A.45 – Resultados dos índices de validação para o conjunto de dados Std Yeast utilizando o algoritmo Clarans ...313 Tabela A.46 – Resultados dos índices de validação para o conjunto de dados Gauss
utilizando o algoritmo K-Médias ...314 Tabela A.47 – Resultados dos índices de validação para o conjunto de dados Gauss
utilizando o algoritmo Single-Link...314 Tabela A.48 – Resultados dos índices de validação para o conjunto de dados Gauss
utilizando o algoritmo Complete-Link...315 Tabela A.49 – Resultados dos índices de validação para o conjunto de dados Gauss
utilizando o algoritmo Average-Link ...315 Tabela A.50 – Resultados dos índices de validação para o conjunto de dados Gauss
utilizando o algoritmo Clarans ...316 Tabela A.51 – Resultados dos índices de validação para o conjunto de dados Gauss3_7
utilizando o algoritmo K-Médias ...316 Tabela A.52 – Resultados dos índices de validação para o conjunto de dados Gauss3_7
utilizando o algoritmo Single-Link...317 Tabela A.53 – Resultados dos índices de validação para o conjunto de dados Gauss3_7
utilizando o algoritmo Complete-Link...317 Tabela A.54 – Resultados dos índices de validação para o conjunto de dados Gauss3_7
utilizando o algoritmo Average-Link ...318 Tabela A.55 – Resultados dos índices de validação para o conjunto de dados Gauss3_7
utilizando o algoritmo Clarans ...318 Tabela B.1 - Bars...321 Tabela B.2 - Breast Cancer...322 Tabela B.3 - Cigar...322 Tabela B.4 - Half Rings...322 Tabela B.5 - Iris ...322 Tabela B.6 - Optdigits ...323 Tabela B.7- Log Yeast ...323 Tabela B.8 - Std Yeast...323 Tabela B.9 - Spiral ...323 Tabela B.10 - Valores obtidos com as três heurísticas de Strehl e Gosh ...324 Tabela B.11 - Melhores resultados dos algoritmos de agrupamento e dos métodos de
combinação de agrupamentos ...324 Tabela B.12 - Melhoria percentual média do desempenho do método SWEAC e do
método JWEAC comparativamente ao método EAC, em todos os conjuntos de dados ...325 Tabela B.13 - Melhoria percentual média do desempenho do método SWEAC usando o
índice de Hubert Normalizado comparativamente ao método EAC ...325 Tabela B.14 - Resultados do IC obtidos com o método SWEAC usando o índice de
Hubert Normalizado comparativamente ao método EAC, em todos os conjuntos de dados ...325 Tabela B.15 - Bars...327 Tabela B.16 - Breast Cancer...328 Tabela B.17. - Cigar...328 Tabela B.18 - Half Rings...328 Tabela B.19 - Iris ...329 Tabela B.20 - Optdigits ...329 Tabela B.21 - Log Yeast ...329 Tabela B.22 - Std Yeast...330 Tabela B.23 - Spiral ...330 Tabela B.24 - Valores do IC(P*,Pº) para o conjunto de dados Bars ...335 Tabela B.25 - Valores do IC(P*,Pº) para o conjunto de dados Breast Cancer...336 Tabela B.26 - Valores do IC(P*,Pº) para o conjunto de dados Cigar...336 Tabela B.27 - Valores do IC(P*,Pº) para o conjunto de dados Half Rings ...336
Tabela B.28 - Valores do IC(P*,Pº) para o conjunto de dados Iris ... 337 Tabela B.29 - Valores do IC(P*,Pº) para o conjunto de dados Optdigits ... 337 Tabela B.31 - Valores do IC(P*,Pº) para o conjunto de dados Std Yeast... 338 Tabela B.32 - Valores do IC(P*,Pº) para o conjunto de dados Spiral... 338 Tabela B.33. Resultados do IC obtidos com os algoritmos SL, CL, AL e melhores
resultados do IC obtidos com CLR, KM, EAC, SWEACS, JWEACS e heurísticas de Strehl e Gosh na média das 50 repetições ... 339 Tabela B.34 - Resultados médios do IC obtidos com os algoritmos de agrupamento CLR
e KM, com os métodos de combinação EAC, SWEACS, JWEACS e com as
heurísticas de Strehl e Gosh nas 50 repetições... 339 Tabela B.35 - Resultados do IC obtidos com os agrupamentos de dados finais obtidos
após a aplicação do passo complementar no método WEACS ... 340 Tabela B.36 - Melhoria percentual na qualidade dos agrupamentos de dados finais
obtidos pelo método WEACS com o passo complementar relativamente à qualidade média dos agrupamentos de dados que lhe deram origem... 341 Tabela B.37 - Melhoria percentual entre o desempenho da configuração TODOS+WR do
passo complementar do método WEACS e os resultados médios obtidos pela
execução individual dos algoritmos de agrupamento e pelos métodos de combinação EAC, SWEACS, JWEACS e heurísticas de Strehl e Gosh... 341
