Algoritmo de clustering

À semelhança do estudo feito para os consumidores da micro rede anterior, também para os consumidores da “nova” rede procedemos à aplicação do algoritmo de clustering de forma a encontrar o número óptimo de clusters e agrupar dentro dos grupos já definidos no processo de correlação, os consumidores de acordo com a similaridade das suas características.

No caso de estudo anterior foram testados dois algoritmos de clustering, o K-means o

ADE_LPC. Da análise de resultados verificamos que o K-means permitiu fazer uma análise

muito mais completa, uma vez que nos dados normalizados permitiu fazer uma separação não só por tipo de consumidor e quantidade de consumo, mas também pelo seu perfil típico de consumo. Assim esta abordagem mostrou ter mais valor, uma vez que utilizar o K-means conseguiu-se uma identificação dos players da perspectiva relevante em cada um dos casos seja por perfil, por tipo ou por um mix das duas. Por este motivo a abordagem utilizada no clustering do presente caso de estudo foi o K-means. No caso de estudo anterior os agentes foram agrupados em clusters de acordo com a evolução do seu consumo ao longo tempo, nesta nova rede, os consumidores são agrupados atendendo a um conjunto de características num determinado momento. Neste caso são também analisados os índices de validação MIA e CDI para apoiar a escolha do número óptimo de classes.

Nas seguintes secções vão ser expostos os resultados da aplicação do algoritmo e das metodologias seleccionadas para este caso de estudo. Para a realização deste caso prático foi necessário seleccionar os melhores resultados das metodologias e procedimentos testados, assim foram considerados os seguintes:

 Metodologia de normalização:  Sem normalização;  Normalização Regular;  Normalização Customizada  Clustering  K-mean para k=2, 3, 4, 5 e 6

4.4.4.1 Clustering com dados sem normalização

Nesta análise, o processo de clustering foi realizado recorrendo ao algoritmo K-means, considerando o número de grupos a variar de 2 a 6 clusters. Este número de clusters foi definido para não termos um portefólio de resultados demasiado grande e difícil de analisar, nem demasiado pequeno pudesse comprometer a nossa análise. Nas Tabela 7-25, Tabela 7-26, Tabela 7-27, Tabela 7-28 e Tabela 7-29 do Anexo C.3, são apresentadas tabelas com parte dos dados obtidos após a aplicação do processo de clustering sem normalização de dados, dos diferentes grupos (G1, G2, G3, G4 e G5). Nos gráficos das Figura 7.2, Figura 7.3, Figura 7.4, Figura 7.5 e Figura 7.6 do Anexo C.3, estão representados os centroides dos diferentes clusters. Aplicando o processo de clustering foi necessário aferir da qualidade da partição, para isso foram novamente utilizados os índices de validação MIA e CDI. Os resultados obtidos estão representados nos gráficos da Figura 4.29.

Figura 4.29 – Índices de validação MIA e CDI das diferentes simulações de clustering para dados sem normalização

Ao analisar os gráficos anteriores é visível que em qualquer um dos cinco grupos os índices MIA e CDI tem o seu valor baixar nos 3 clusters. Há variáveis onde essa descida é mais evidente e verifica-se mesmo uma curva “cotovelo” nos 3 clusters. Noutras variáveis essa curva é menos acentuada só se verifica uma ligeira descida nos 3 clusters e um pouco mais acentuada já a chegar aos 4 clusters. De uma forma geral é evidente que o ideal são os 3 clusters à semelhança dos resultados do caso de estudo anterior, mas uma vez que nos 4 e 5 cluster os índices continuam baixos, vão ser utilizados os resultados de 3, 4 e 5 clusters na fase seguinte deste caso de estudo. Os resultados da aplicação dos índices de validação estão compilados na Tabela 7-40 do Anexo C.6.

4.4.4.2 Clustering de dados com Normalização Regular

O processo de clustering foi realizado recorrendo ao algoritmo K-means, considerando o número de grupos a variar de 2 a 6 clusters. Nas Tabela 7-30, Tabela 7-31, Tabela 7-32, Tabela 7-33 e Tabela 7-34 do Anexo C.4, são apresentadas tabelas com parte dos dados obtidos após a aplicação do processo de clustering com dados submetidos à metodologia de Normalização Regular, dos diferentes grupos (G1, G2, G3, G4 e G5). No Anexo C.4 são também apresentadas figuras com parte dos valores obtidos após a aplicação do processo de

clustering, com os dados submetidos à metodologia de Normalização Regular, para os

diferentes grupos (G1, G2, G3, G4 e G5). Nos gráficos das Figura 7.7, Figura 7.8, Figura 7.9, Figura 7.10 e Figura 7.11, do mesmo anexo, estão representados os centroides resultantes dos diferentes clusters. Aplicado o algoritmo de clustering foi necessário fazer nova análise para a ferir da qualidade da partição, foram aplicados os índices de validação MIA e CDI. Os resultados da aplicação dos índices de validação MIA e CDI estão representados nos gráficos da Figura 4.30.

Figura 4.30 - Índices de validação MIA e CDI das diferentes simulações de clustering para dados com Normalização Regular

Nos gráficos anteriores é novamente visível que para os cinco grupos os índices MIA e

CDI vêm o seu valor a baixar nos 3 clusters. Há variáveis onde se verifica mesmo uma curva

nos 3 clusters, noutras variáveis essa curva é menos acentuada só se verifica uma ligeira descida nos 3 e um pouco mais acentuada já a chegar aos 4 e 5 clusters. De uma forma geral é nos 3

clusters que o erro desce, mas uma vez que nos 4 e 5 cluster os índices continuam baixos, vão

ser utilizados os resultados de 3, 4 e 5 clusters na fase seguinte deste caso de estudo. Os resultados da aplicação do K-means estão compilados na Tabela 7-41 do Anexo C.6.

4.4.4.3 Clustering de dados com Normalização Customizada

O processo de clustering, realizado com dados submetidos a uma Normalização Customizada, têm verificado melhores resultados, como foi exposto no primeiro caso de estudo. No presente caso de estudo foi utilizado novamente este método de normalização, foi realizado novo processo de clustering recorrendo ao algoritmo K-means, considerando o número de grupos a variar de 2 a 6 clusters. No Anexo C.5 são apresentadas tabelas com extractos dos resultados obtidos após a aplicação do processo de clustering aos dados submetidos à Normalização Customizada das diferentes variáveis. Nas Tabela 7-35, Tabela 7-36, Tabela 7-37, Tabela 7-38 e Tabela 7-39 do é exposta parte de uma folha de cálculo Excel contendo a informação referente aos valores obtidos após o clustering. Nos gráficos das Figura 7.12, Figura 7.13, Figura 7.14, Figura 7.15 e Figura 7.16 estão representados os centroides dos diferentes

clusters, para os processos de clustering com as diferentes variáveis. Aplicando o processo de

clustering foi necessário voltar a aplicar os índices de validação MIA e CDI, os resultados obtidos e estão representados nos gráficos da - Índices de validação MIA e CDI das diferentes simulações de clustering para dados com Normalização Customizada Figura 4.31

Figura 4.31 - Índices de validação MIA e CDI das diferentes simulações de clustering para dados com Normalização Customizada

Os índices MIA e CDI representados nos gráficos anteriores voltam a ver o seu valor baixar nos 3 clusters. Neste caso é mais evidente em todas as variáveis que existe uma curva acentuada nos 3 clusters. Voltou-se a verificar que o ideal são os 3 clusters à semelhança dos resultados anteriores, assim vão ser utilizados os resultados de 3 e 4 clusters na fase seguinte deste caso de estudo. Os resultados da aplicação do K-means estão compilados na Tabela 7-42 do Anexo C.6. Como é possível verificar os resultados dos índices foram mais baixos neste ensaio, em que foram utilizados dados com Normalização Customizada, o que indica que este processo é mais assertivo para a análise que se pretende, contendo um índice de validação mais baixo. No seguimento desta análise foi necessário seleccionar um destes cinco grupos, para dar continuação ao trabalho, no sentido de testar as metodologias de remuneração aplicando-as a determinados conjuntos de consumidores com características e mais relevantes para esta análise.