Clustering de instalações, com (re)definição de segmentos em função do comportamento energético

(1)

Clustering de

instalações, com

(re)definição de

segmentos em função

do comportamento

energético

Joana Raquel Freitas Martins

Dissertação de Mestrado apresentada à

Faculdade de Ciências da Universidade do Porto em

Engenharia Matemática

2014

C lus teri ng de ins talaçõe s, co m (re )def ini ção de segm ent os em f unção do com port am ent o ener gét ico Joan a Raqu el F reitas M ar tins FCUP 2014 2.º CICLO

(2)

com (re)definição de

segmentos em função do

comportamento energético

Joana Raquel Freitas Martins

Mestrado em Engenharia Matemática

Departamento de Matemática da Faculdade de Ciências da Universidade do Porto 2014

Orientador

Prof Dr João Nuno Tavares, Professor Associado, FCUP Profª Dra Ana Paula Rocha, Professora Auxiliar, FCUP

Coorientador

(3)

O Presidente do Júri,

(4)

Gostaria de agradecer aos meus orientadores, Prof Dr Jo ˜ao Nuno Tavares, Profa _Dra

Ana Paula Rocha, Profa Dra Margarida Brito, ProfaDra Maria Eduarda Silva, Dra Susana

Magalh ães e Eng Duarte Duarte, n ão s ó pela disponibilidade e acompanhamento, mas tamb ém pelas suas sugest ões e cr´ıticas que tiveram um contributo fundamental para o desenvolvimento deste est ágio.

A todos os elementos da DGE/EDP Distribuiç ão - Energia, S.A. que me acolheram durante o per´ıodo de est ágio, obrigado pelo carinho e boa disposiç ão que todos os dias transmiti-ram.

Aos meus colegas de mestrado, em especial `a minha colega de est ´agio Elena Selaru, obrigado pelos momentos de entusiasmo e apoio partilhados em conjunto.

Agradeço ainda às pessoas mais especiais da minha vida pelo incentivo, compreens ão e encorajamento, durante todo este per´ıodo.

(5)

Resumo

Este relat ório relata todo o trabalho realizado ao longo do est ágio curricular do Mestrado em Engenharia Matem ática, na empresa EDP Distribuiç ão - Energia, SA.

A EDP Distribuiç ão tem instalados contadores de leitura inteligente (telecontagem) em v árias empresas (instalaç ões) situadas em territ ório nacional. O presente trabalho teve como objetivo o agrupamento de instalaç ões atrav és do seu consumo energ ético di ário. Para alcançar o objetivo foi necess ário, inicialmente, perceber os consumos energ éticos, definindo vari áveis explicativas do consumo, como por exemplo o hor ário de funcionamento de cada instalaç ão, dias de feriado e vari áveis clim áticas (temperatura, humidade, etc). De seguida realizou-se um estudo sobre os consumos numa perspetiva de s éries tem-porais, utilizando m étodos de decomposiç ão, suavizaç ão e an álise espectral singular, e regress ão linear m últipla.

Observou-se que apenas algumas vari áveis s ão explicativas do consumo e por este motivo utilizaram-se os m étodos backward, random forest e correlaç ão para encontrar as vari áveis mais significativas dos consumos energ éticos.

Ap ós selecionar as instalaç ões a utilizar no trabalho, procedeu-se à pesquisa de m étodos de clustering de s éries temporais para dados de grande dimens ão. Utilizaram-se os m étodos u-shapelets e fatores de similaridade.

(6)

Abstract

This report describes all the work realized throughout the Mathematical Engineering Master Degree’s internship at EDP Distribuic¸ ˜ao - Energia, S.A.

EDP Distribuic¸ ˜ao has installed smart meter reading (telemetry) in various companies loca-ted in the national territory. The present study’s aim was to cluster companies considering their daily energy consumption.

Initially, to achieve this goal, it was necessary to understand energy consumption by setting explanatory variables of consumption, such as the opening hours of each company, holidays and climatic variables (temperature, humidity, etc).

Then, a study on consumption in a time series perspective was conducted, using decom-position methods, smoothing and singular spectral analysis, and multiple linear regression. It was observed that only a few variables influence the consumption and, for this reason, backward, random forest and correlation methods were employed to find the most signifi-cant variables in energy consumption.

After selecting the companies for this work, methods of clustering time series for big data were researched and u-shapelets and similarity factors methods were used.

(7)

Conte ´

udo

Resumo i Abstract ii Lista de Tabelas vi Lista de Figuras ix Lista de Abreviaturas x 1 Introduc¸ ˜ao 1

2 An álise preliminar de uma instalaç ão 3

2.1 Introduc¸ ˜ao . . . 3

2.2 An ´alise gr ´afica . . . 3

2.3 Conclus ˜ao . . . 10

3 Seleç ão de medidas, vari áveis e caracter´ısticas 12

3.1 Introduc¸ ˜ao . . . 12

3.2 Medidas de agregac¸ ˜ao . . . 13

(8)

3.3.1 An ´alise dos dados . . . 14

3.3.2 Seleç ão de regi ões de Portugal Continental . . . 15

3.3.3 Seleç ão de vari áveis . . . 18

3.3.3.1 Backward - Regress ˜ao Linear M ´ultipla . . . 19

3.3.3.2 Random Forests . . . 20

3.3.3.3 Correlac¸ ˜ao parcial e cruzada . . . 21

3.4 Detec¸ ˜ao de valores anormais . . . 23

3.5 Conclus ˜ao . . . 27

4 Seleç ão de instalaç ões 29 4.1 Introduç ão . . . 29

4.2 Crit érios de seleç ão de instalaç ões . . . 29

4.3 Resultados . . . 31

5 Agrupamento (Clustering) 34 5.1 Introduc¸ ˜ao . . . 34

5.2 M étodos de transformaç ão dos dados . . . 35

5.2.1 Shapelets . . . 36

5.2.2 Fatores de similaridade . . . 41

5.3 M ´etodos de clustering . . . 46

5.3.1 M étodos de partiç ão . . . 46

5.3.2 M ´etodos hier ´arquicos . . . 47

5.3.3 M ´etodos com base na densidade . . . 48

(9)

5.4.1 Determinar o n ´umero de clusters . . . 49

5.4.2 Medir a qualidade do clustering . . . 49

5.5 Resultados . . . 50

6 Conclus ão e trabalho futuro 62 Bibliografia 64 A An álise Espectral Singular 68 A.1 Decomposiç ão . . . 68

A.2 Reconstruc¸ ˜ao . . . 70

A.3 Informac¸ ˜oes Adicionais . . . 71

A.3.1 Separabilidade . . . 72

A.3.2 Comprimento da janela (L) . . . 72

A.3.3 Escolha dos triplos pr ´oprios . . . 73

B Vari áveis Clim áticas 79 B.1 Descriç ão . . . 79

(10)

Lista de Tabelas

3.1 Coeficiente de determinaç ão ajustado para o conjunto inicial de instalaç ões

com diferentes observaç ões clim áticas . . . 16

3.2 Frequ ências relativas das vari áveis selecionadas atrav és do m étodo backward 20

3.3 Frequ ências relativas das vari áveis selecionadas atrav és do m étodo random

forests . . . 21

3.4 Tempo de processamento dos dados das instalac¸ ˜oes do Lote 1 em SQL Server 28

3.5 Tempo de execuç ão de metodologias aplicadas aos dados das instalaç ões

do Lote 1 em R . . . 28

4.1 Seleç ão de instalaç ões e registos por crit ério para os Lotes 1, 2 e 3 . . . 33

5.1 Coeficientes de silhueta obtidos utilizando o m ´etodo Shapelets aplicado a 14

instalac¸ ˜oes . . . 53

5.2 Resultado do agrupamento das 14 instalaç ões atrav és do m étodo Shapelets 54

5.3 Resultado do agrupamento das 14 instalaç ões atrav és do m étodo Fatores

de Similaridade . . . 56

5.4 Coeficientes de silhueta obtidos utilizando o m ´etodo Shapelets aplicado ao

(11)

Lista de Figuras

2.1 Diagrama de Carga no ano 2013 da instalac¸ ˜ao inicial . . . 4

2.2 Diagrama de Carga em Janeiro de 2013 da instalac¸ ˜ao inicial . . . 4

2.3 Energia total di ária consumida na instalaç ão entre 1 de Janeiro de 2011 e

31 de Agosto de 2013 . . . 5

2.4 Energia m édia di ária consumida na instalaç ão entre 1 de Janeiro de 2011 e

31 de Agosto de 2013 . . . 5

2.5 Gr áfico de barras do consumo m édio energ ético da instalaç ão inicial por ano 7

2.6 Energia m édia di ária consumida na instalaç ão por ano . . . 7

2.7 Energia m édia mensal consumida na instalaç ão por ano . . . 8

2.8 Gr áfico de barras da energia m édia consumida na instalaç ão inicial por estaç ões

do ano . . . 8

2.9 Energia m édia hor ária por ano da instalaç ão inicial . . . 9

2.10 Energia m édia hor ária por dia de semana (1 - Segunda-feira) da instalaç ão

inicial . . . 9

3.1 Classificaç ão de K öppen-Geiger para Portugal continental [17] . . . 17

3.2 Consumo de energia m édia di ária de duas instalaç ões t´ıpicas de cada grupo: Esquerda - Instalaç ão t´ıpica do grupo sem valores anormais; Direita - Instalaç ão

(12)

3.3 Limites de ser um valor de consumo energ ético normal usando a m édia, des-vio padr ão e vari ância em duas instalaç ões t´ıpicas de cada grupo: Esquerda - Instalaç ão t´ıpica do grupo sem valores anormais; Direita - Instalaç ão t´ıpica

do grupo com valores anormais . . . 24

3.4 Limites de ser um valor de consumo energ ético normal usando a m édia e 3.5 do desvio padr ão em duas instalaç ões t´ıpicas de cada grupo: Esquerda - Instalaç ão t´ıpica do grupo sem valores anormais; Direita - Instalaç ão t´ıpica

do grupo com valores anormais . . . 25

3.5 Limites de ser um valor de consumo energ ético normal usando a tend ência, m édia, desvio padr ão e vari ância da tend ência em duas instalaç ões t´ıpicas de cada grupo: Esquerda - Instalaç ão t´ıpica do grupo sem valores anormais;

Direita - Instalac¸ ˜ao t´ıpica do grupo com valores anormais . . . 26

5.1 Clustering usando a dist ˆancia Euclidiana entre s ´eries inteiras [38] . . . 36

5.2 Clustering usando a dist ˆancia Euclidiana ignorando parte das s ´eries [38] . . 37

5.3 Ilustraç ão da separaç ão de D em DAe DB [38] . . . 38

5.4 Dist ˆancias das frases `a palavra Day [38] . . . 40

5.5 Consumos energ éticos m édios di ários de 14 instalaç ões . . . 51

5.6 Agrupamento das 14 instalaç ões de 5.5 pelo m étodo shapelets. Obt êm-se 2 grupos de forma: Grupo 1 - a azul e Grupo 2 - a vermelho. Dentro do Grupo 1 obt êm-se 3 grupos de escala: Grupo A - a rosa; Grupo B - a amarelo e Grupo C - a verde. Dentro do Grupo 2 obt êm-se 2 grupos de escala: Grupo

D - a laranja e Grupo E - a castanho . . . 55

5.7 Gr áfico das m édias de dissimilaridade obtidas usando o m étodo fatores de similaridade, para os diferentes valores de k e de combinaç ões, na amostra

(13)

5.8 Agrupamento das 14 instalaç ões de 5.5 pelo m étodo fatores de similaridade. Obt ém-se 3 grupos: Grupo A - a vermelho; Grupo B - a verde e Grupo C - a

azul . . . 57

5.9 A esquerda: Consumos energ éticos das instalaç ões contidas no Grupo A e` perfil caracter´ıstico do Grupo A (a vermelho). À direita: Consumos energ éticos das instalaç ões contidas no Grupo D e perfil caracter´ıstico do Grupo D (a vermelho) . . . 58

5.10 Gr áfico das m édias de dissimilaridade obtidas usando o m étodo fatores de similaridade, para os diferentes valores de k e de combinaç ões, no Lote 1 . . 60

A.1 No mensal de concentraç ões atmosf éricas de CO2 no Hava´ı entre 1959 e 1997 . . . 74

A.2 Valores singulares da decomposiç ão da s érie em 120 componentes . . . 75

A.3 A esquerda: Gr áfico dos 10 primeiros vetores pr óprios de decomposiç ão da` s érie temporal A.1. À direita: scatterplot’s dos 10 primeiros pares de vetores singulares . . . 76

A.4 Matriz w-correlaç ão das componentes SVD resultantes da etapa decomposiç ão da t écnica SSA aplicada aos dados de concentraç ões de CO2 no Hava´ı. À esquerda: 50 componentes. À direita: 20 componentes . . . 77

A.5 S ´erie original reconstru´ıda em 4 componentes usando os grupos (1,4), (2,3), (5,6), sendo a ´ultima o ru´ıdo . . . 78

B.1 Sum ário das vari áveis clim áticas . . . 80

B.2 Gr áficos de algumas vari áveis clim áticas . . . 81

(14)

Lista de Abreviaturas

ComprDia Vari ´avel explicativa que indica o Comprimento do Dia (node horas de luz solar)

DiaSemana Vari ´avel explicativa que indica o dia da semana (1 - Segunda, 2 - Terc¸a, ...)

HorTrab Vari ável explicativa que indica o hor ário de trabalho de uma instalaç ão por dia da semana

HumMax Vari ´avel explicativa que indica a Humidade M ´axima por dia, medida em percen-tagem (%)

HumMedia Vari ´avel explicativa que indica a Humidade M ´edia por dia, medida em percen-tagem (%)

HumMin Vari ´avel explicativa que indica a Humidade M´ınima por dia, medida em percen-tagem (%)

PC Componentes Principais (do ingl ˆes Principal Components)

PCA An ´alise de Componentes Principais (do ingl ˆes Principal Components Analysis)

PresMax Vari ável explicativa que indica a Press ão ao n´ıvel do Mar M áxima por dia, medida em hetopascal (hPa)

PresMedia Vari ável explicativa que indica a Press ão ao n´ıvel do Mar M édia por dia, me-dida em hetopascal (hPa)

PresMin Vari ´avel explicativa que indica a Press ˜ao ao n´ıvel do Mar M´ınima por dia, medida em hetopascal (hPa)

(15)

PtOrvMax Vari ´avel explicativa que indica o Ponto de Orvalho M ´aximo por dia, medida em

graus Celsius (oC)

PtOrvMedio Vari ´avel explicativa que indica o Ponto de Orvalho M ´edio por dia, medida em

graus Celsius (oC)

PtOrvMin Vari ´avel explicativa que indica o Ponto de Orvalho M´ınimo por dia, medida em

graus Celsius (o_C)

SSA An ´alise Espectral Singular (do ingl ˆes Singular Spectrum Analysis)

STM S ´erie temporal multivariada

SVD Decomposiç ão de Valor Singular (do ingl ês Singular Value Decomposition)

TempMax Vari ´avel explicativa que indica a Temperatura M ´axima por dia, medida em graus

Celsius (oC)

TempMedia Vari ´avel explicativa que indica a Temperatura M ´edia por dia, medida em graus

Celsius (oC)

TempMin Vari ´avel explicativa que indica a Temperatura M´ınima por dia, medida em graus

Celsius (o_C)

VelRajVentoMax Vari ável explicativa que indica a Velocidade M áxima de Rajada de Vento por dia, medida em quil ómetros por hora (km/h)

VelVentoMax Vari ´avel explicativa que indica a Velocidade do Vento M ´axima por dia, me-dida em quilometros por hora (km/h)

VelVentoMedia Vari ável explicativa que indica a Velocidade do Vento M édia por dia, me-dida em quil ómetros por hora (km/h)

(16)

Cap´ıtulo 1

Introduc¸ ˜ao

A EDP Distribuiç ão tem instalados contadores de leitura inteligente (telecontagem) em v árias empresas (instalaç ões) situadas em territ ório nacional. A implementaç ão destas redes inteligentes permite automatizar a gest ão da rede, melhorar a qualidade de serviço, fornecendo ao consumidor meios que permitem gerir e otimizar o seu consumo di ário, minimizando custos e impactos ambientais.

Os sistemas inteligentes registam o consumo de energia el étrica em intervalos de 15 minutos (96 leituras di árias). A estes registos d á-se o nome de diagrama de carga da instalaç ão.

Estes equipamentos extraem uma quantidade enorme de dados que necessitam ser anali-sados. Surgem v ´arios desafios:

• Caracterizar tend ˆencias base de consumo; • Detetar e caracterizar padr ˜oes de consumo;

• Analisar associaç ões com fatores externos (temperatura, humidade, iluminaç ão, aque-cimento, etc.);

• Detetar comportamentos an ´omalos; • Analisar fraudes.

A prop ósito destes problemas, a EDP Distribuiç ão proporcionou dois est ágios de 5 meses para alunos do Mestrado em Engenharia Matem ática, subordinados aos temas seguintes:

(17)

Est ágio 1 Desagregaç ão do consumo energ ético em sub-conjuntos;

Est ágio 2 Clustering de instalaç ões, com (re)definiç ão de segmentos em funç ão do com-portamento energ ético.

O est ágio 1 foi desenvolvido pela aluna Elena Selaru e este relat ório descreve o desenvol-vimento do est ágio 2. Ambos os est ágios avançaram em paralelo, tendo uma parte inicial comum.

Os objetivos comuns a ambos est ´agios foram:

1. Compreender os consumos energ ´eticos;

2. Extrair os fatores externos correlacionados com o consumo;

3. Selecionar as instalac¸ ˜oes a utilizar;

Os objetivos referentes ao tema Clustering de instalac¸ ˜oes foram:

4. Pesquisa e implementaç ão de m étodos de clustering e medidas de semelhança; 5. Avaliaç ão e validaç ão dos m étodos.

Este relat ório de est ágio est á organizado em sete cap´ıtulos, designadamente:

No primeiro cap´ıtulo, contextualiza-se e apresenta-se o est ágio realizado. No segundo cap´ıtulo, descreve-se a an álise gr áfica efetuada a um diagrama de carga e no terceiro cap´ıtulo, a an álise numa perspetiva de s éries temporais, construindo um conjunto de me-didas e vari áveis explicativas do consumo. No quarto cap´ıtulo, apresenta-se o estudo realizado aos conjuntos anteriores, concluindo quais as medidas a utilizar e quais as vari áveis que s ão significativas. No quinto cap´ıtulo, enumera-se o conjunto de crit érios necess ários na seleç ão de instalaç ões a utilizar. Os primeiros 5 cap´ıtulos dizem respeito à parte comum dos est ágios.

No sexto cap´ıtulo exp õe-se a metodologia utilizada para alcançar o objetivo final do est ágio e apresentam-se os resultados obtidos. No s étimo cap´ıtulo, s ão apresentadas as con-clus ões do est ágio e prop õem-se algumas sugest ões para futuros trabalhos no mesmo contexto. O trabalho termina com as refer ências bibliogr áficas, seguidas dos anexos que incluem os instrumentos essenciais para o trabalho realizado.

(18)

Cap´ıtulo 2

An álise preliminar de uma instalaç ão

2.1 Introduc¸ ˜ao

Como j á foi referido no cap´ıtulo 1, o objetivo principal do est ágio foi agrupar um conjunto de instalaç ões segundo o seu consumo energ ético. Para tal, foi necess ário perceber como

é um consumo energ ético de uma instalaç ão e compreender como se comporta.

Inicialmente foi disponibilizado o diagrama de carga de uma instalaç ão. O diagrama de carga de uma instalaç ão cont ém a informaç ão da pot ência, energia consumida a cada intervalo de tempo (neste caso definido em per´ıodos de 15 minutos, ou seja, 96 leituras di árias). Neste caso, o per´ıodo temporal m áximo foi de 1 de Janeiro de 2011 a 31 de Agosto de 2013, o que corresponde a 93 504 observaç ões.

Na pr óxima secç ão ser á apresentada a an álise gr áfica realizada a este diagrama de carga. Esta an álise foi desenvolvida no Excel.

2.2 An ´alise gr ´afica

O objetivo desta an álise foi perceber o consumo energ ético da instalaç ão disponibilizada, sendo assim foi necess ário converter a pot ência em energia. Na figura 2.1 est á represen-tado o diagrama de carga no ano 2013. Observando a figura constatou-se uma enorme

(19)

dificuldade em perceber o comportamento da curva pois existia uma grande quantidade de observaç ões, sendo apenas poss´ıvel concluir que o consumo energ ético varia entre 0 e 130 kWh.

Figura 2.1: Diagrama de Carga no ano 2013 da instalac¸ ˜ao inicial

Figura 2.2: Diagrama de Carga em Janeiro de 2013 da instalac¸ ˜ao inicial

Para uma melhor compreens ão dos dados, na figura 2.2 est á representado o diagrama de carga no m ês de Janeiro de 2013, podendo observar-se que existe um ciclo di ário, ou seja, concluiu-se que nesta instalaç ão o consumo energ ético n ão é constante ao longo do dia e é semelhante em todos os dias do m ês de Janeiro com exceç ão do primeiro dia.

(20)

Observou-se tamb ém que o consumo energ ético baixo (entre 20 a 40 KWH) acontece durante a noite e o consumo energ ético alto (entre 80 a 100 KWH) durante o dia, o que sugere que o hor ário de trabalho desta instalaç ão é durante o dia.

Figura 2.3: Energia total di ária consumida na instalaç ão entre 1 de Janeiro de 2011 e 31 de Agosto de 2013

Figura 2.4: Energia m édia di ária consumida na instalaç ão entre 1 de Janeiro de 2011 e 31 de Agosto de 2013

(21)

2.3 e 2.4 est ão apresentados os consumos di ários desta instalaç ão agregados por soma e m édia, respetivamente, no per´ıodo de 1 de Janeiro de 2011 a 31 de Agosto de 2013. Analisando ambos os gr áficos observou-se que as curvas de energia eram bastante se-melhantes, a menos da escala, e que existia alguns dias em que a energia consumida era bastante inferior aos restantes. Esses dias dizem respeito aos dias de Natal (25 de Dezembro) e Ano Novo (1 de Janeiro) e o consumo sugere que esta instalaç ão esteve fechada nesses dias. Para esta instalaç ão, os únicos feriados que se destacaram foram os de Natal e Ano Novo, mas foi necess ário ter em atenç ão que o consumo de outras instalaç ões podia ser influenciado por outros feriados. Os feriados nacionais utilizados neste trabalho foram Ano Novo, Carnaval, Sexta-feira Santa, P áscoa, 25 de Abril, Dia do

Trabalhador, Corpo de Deus1, Dia de Portugal, Assunç ão de Nossa Senhora, Implantaç ão

da Rep ública1_{, Dia de Todos os Santos}1_{, Restauraç ão da Independ ência}1_{, Imaculada}

Conceic¸ ˜ao e Natal.

No gr áfico 2.3, ao contr ário do gr áfico 2.4, observou-se um dia (4 de Novembro de 2011) onde a energia era tamb ém significativamente baixa em relaç ão aos restantes dias. O dia 4 de Novembro n ão é um feriado e apenas no ano 2011 se verificou este baixo consumo de energia. Assim, foi analisado as observaç ões de 15 em 15 minutos do dia 4 de Novembro de 2011 e observou-se que existiam alguns per´ıodos em falta (20 per´ıodos consecutivos) e por este motivo, a energia agregada pela soma nesse dia era obviamente mais baixa que a energia agregada num dia em que n ão existia falta de per´ıodos.

Esta situaç ão alertou para o facto de ser necess ário verificar a incompletude dos dados, definindo crit érios para exclus ão de dias que n ão tivessem os dados completos e/ou para ajustar o consumo di ário para 96 per´ıodos (24h).

Variac¸ ˜ao Anual

Ap ós analisar os dados em per´ıodos de 15 minutos e di ários foi analisada a variaç ão do consumo energ ético m édio ao longo dos 3 anos. Nas figuras 2.5 e 2.6 est ão apresentados 2 gr áficos referentes ao consumo energ ético m édio anual. O gr áfico 2.5 é o gr áfico de barras da energia m édia consumida nos diferentes anos e, uma vez que no ano 2013 apenas se tinha 8 meses de observaç ões, foi calculada a m édia da energia. Em 2.6

tem-se a energia m ´edia di ´aria consumida para os diferentes anos. Observou-se que

existe uma diminuiç ão de consumo energ ético de ano para ano. Esta observaç ão pode 1_{feriado suspenso no ano de 2013}

(22)

dever-se à situaç ão econ ómica do pa´ıs, ao acesso aos diagramas de carga, condiç ões meteorol ógicas, etc.

Figura 2.5: Gr áfico de barras do consumo m édio energ ético da instalaç ão inicial por ano

Figura 2.6: Energia m édia di ária consumida na instalaç ão por ano

Resta salientar que, se no gr áfico 2.6 fosse usado a medida de agregaç ão soma, a con-clus ão seria a mesma.

Variac¸ ˜ao Mensal

A an álise que surgiu imediatamente a seguir à anual foi a an álise mensal, ou seja, observar o comportamento do consumo energ ético m édio mensal. Sendo assim, na figura 2.7 tem-se a energia m édia mensal consumida nos diferentes anos. Obtem-servou-tem-se que o consumo

(23)

mensal é diferente para os 3 anos, como j á foi visto, e que existe variaç ão no consumo ao longo dos meses. Nos meses de Agosto e Setembro verificou-se um consumo maior que nos restantes e nos meses de Janeiro, Março, Abril, Maio e Dezembro (para os anos 2011 e 2012) observou-se um baixo consumo de energia. Estas observaç ões sugeriram que as estaç ões do ano podem influenciar o consumo de energia e, sendo assim, a pr óxima an álise gr áfica foi ao consumo energ ético nas diferentes estaç ões do ano.

Figura 2.7: Energia m édia mensal consumida na instalaç ão por ano

Variaç ão nas Estaç ões do Ano

Para verificar se as estaç ões do ano influenciavam o consumo energ ético desta instalaç ão, foi constru´ıdo o gr áfico de barras da energia m édia consumida nas 4 estaç ões, podendo ser visualizado na figura 2.8. O ano foi dividido nas seguintes estaç ões: Inverno - meses de Dezembro, Janeiro e Fevereiro; Primavera - meses de Março, Abril e Maio; Ver ão - meses de Junho, Julho e Agosto; Outono - meses de Setembro, Outubro e Novembro.

(24)

Observou-se que existiam grandes diferenças no consumo energ ético segundo as estaç ões do ano - nas estaç ões Outono e Ver ão existia um maior consumo de energia do que no Inverno e Primavera. Nesta an álise foi utilizada a medida de agregaç ão m édia uma vez que n ão existia observaç ões da estaç ão Outono no ano 2013.

Variaç ão Semanal e Di ária

Atrav és da figura 2.2 observou-se que, em Janeiro de 2013, o consumo de energia variava ao longo do dia, sendo mais baixo durante a noite, e que para os diferentes dias o consumo era semelhante. Para analisar a variaç ão semanal e di ária, foi necess ário observar se o que foi dito anteriormente para o m ês de Janeiro de 2013 acontece nos 3 anos.

Figura 2.9: Energia m édia hor ária por ano da instalaç ão inicial

Figura 2.10: Energia m édia hor ária por dia de semana (1 - Segunda-feira) da instalaç ão inicial

Na figura 2.9 est á representado o consumo m édio de energia ao longo do dia, para os 3 anos, e observou-se que para todos a variaç ão da energia era semelhante, ou seja, o

(25)

hor ário de trabalho da instalaç ão era entre as 8h e as 23h (caso onde o consumo de energia era maior). Restava verificar se este hor ário era semelhante para os diferentes dias da semana. Na figura 2.10 est á apresentado o gr áfico da energia m édia consumida ao longo do dia para os 7 dias da semana. Observou-se que, para todos os dias, o consumo de energia era muito semelhante, assim como o hor ário de trabalho da instalaç ão. O mesmo se conclu´ıa se a medida de agregaç ão fosse a soma.

Atrav és desta an álise foi poss´ıvel perceber o hor ário de funcionamento da instalaç ão nos diferentes dias de trabalho e saber se o trabalho foi semelhante ou n ão nos diferentes dias da semana. Sendo assim, na ferramenta R (http://cran.r-project.org/) criou-se uma funç ão que devolve o hor ário da instalaç ão para os 7 dias da semana e para os feriados. Para esta funç ão os dados do consumo energ ético tinham que estar agregados por hora e por dia da semana (incluindo Feriado), ou seja, uma tabela de 8 linhas referentes aos 7 dias da semana mais feriados e 24 colunas referentes às horas do dia, para cada instalaç ão. O algoritmo consistia em calcular as diferenças de consumo entre horas consecutivas de um mesmo dia da semana. Caso a diferença fosse significativamente grande (ap ós v ários testes, o valor mais adequado foi 13% da amplitude do consumo) obtinha-se o hor ário da instalaç ão do dia da semana correspondente. A primeira diferença positiva corresponderia à hora inicial de trabalho e a última negativa corresponderia à hora final de trabalho. Caso n ão existisse diferenças significativas ent ão o hor ário de funcionamento da instalaç ão seria o dia inteiro ou a instalaç ão n ão funcionava nesse dia, ou seja, a hora inicial de trabalho era igual à hora final.

2.3 Conclus ˜ao

Na secç ão anterior analisou-se o consumo energ ético de uma instalaç ão agregando o consumo atrav és de v árias medidas e vari áveis. A necessidade de agrupar o consumo surgiu pela quantidade elevada de observaç ões, que tornou imposs´ıvel a an álise visual, e tamb ém pela morosidade do processamento computacional dos dados.

As medidas de agregaç ão mais utilizadas foram a m édia e a soma, uma vez que o m´ınimo e o m áximo s ão medidas de extremos, n ão sendo as mais adequadas para an álise do

(26)

comportamento do consumo energ ético. No entanto, ao longo desta an álise, observou-se que a soma n ão era a melhor medida a utilizar quando existia falta de observaç ões. Ao longo da an álise gr áfica foram constru´ıdas v árias vari áveis que podiam influenciar o consumo de energia de uma instalaç ão:

• Ser feriado ou n ˜ao (Feriado)

• Ano

• Estaç ões do Ano (Estaç ão)

• Dia da Semana (DiaSemana)

• Ser Fim-de-Semana ou n ˜ao (FimSemana)

• Hor ´ario de trabalho (HorTrab)

A an álise anterior foi realizada a mais 5 instalaç ões e obtiveram-se as mesmas conclus ões. Para algumas delas verificou-se que o hor ário de funcionamento era semelhante nos dias úteis, mas diferente no fim de semana e em feriados, o que aumentou a relev ância das vari áveis anteriores.

(27)

Cap´ıtulo 3

Seleç ão de medidas, vari áveis e

caracter´ısticas

3.1 Introduc¸ ˜ao

No cap´ıtulo 2 foi discutido que os dados teriam que ser agregados, uma vez que o problema foi constitu´ıdo por uma grande quantidade de instalac¸ ˜oes e, para cada uma delas, existia

uma grande quantidade de observaç ões. À medida que a an álise gr áfica foi realizada, foi

considerado um conjunto de vari áveis explicativas do consumo energ ético e foi observada a exist ência de valores de consumo energ ético anormais (os dias de Natal e Ano Novo). Na secç ão 3.4 foi decidido utilizar um conjunto de vari áveis clim áticas para explicar o consumo energ ético, mas observou-se que v árias n ão foram estatisticamente significativas.

Deste modo, nas pr óximas secç ões apresentam-se as discuss ões dos seguintes proble-mas: qual a medida de agregaç ão a utilizar; quais as vari áveis explicativas mais importan-tes para este trabalho; como detetar os valores anormais de consumo energ ético.

A an álise realizada nos cap´ıtulos 2 e 3 incidiu apenas sobre uma amostra de 6 instalaç ões. Nesta fase utilizou-se uma amostra de 97 instalaç ões (chamada de Lote 1) onde a variabi-lidade dos consumos era garantida.

(28)

3.2 Medidas de agregac¸ ˜ao

A escolha da medida de agregaç ão mais adequada foi uma das quest ões mais importantes deste trabalho. Caso a escolha n ão fosse a mais adequada, podia-se estar a fazer um estudo sobre dados enviesados. Sendo assim, foi necess ário ter atenç ão às observaç ões em falta e aos valores extremos, uma vez que podiam afetar o valor real da soma e da m édia dos dados, respetivamente.

As medidas de agregaç ão testadas nos cap´ıtulos anteriores foram: m édia, soma, m áximo e m´ınimo.

Como foi referido em 2.3, os dados di ários deviam ser agregados pela soma ou m édia, uma vez que o objetivo foi analisar o comportamento tipico do consumo energ ético. Sendo assim, para toda a an álise que necessitou dos dados di ários utilizou-se a m édia ou a soma como medidas de agregaç ão.

Para a construç ão da vari ável Hor ário de Trabalho foi necess ário agregar os dados por hora e dia da semana. Testando com as medidas enumeradas anteriormente chegou-se à conclus ão que os resultados obtidos pela m édia e soma foram bastante semelhantes e visualizou-se facilmente o hor ário de trabalho; agregando por m áximo n ão se visualizaram variaç ões significativas no consumo energ ético sendo mais dif´ıcil detetar o hor ário de trabalho; agregando por m´ınimo foi imposs´ıvel detetar o hor ário de trabalho uma vez que bastava haver um dia ou horas em que a instalaç ão n ão funcionou, ou houve falha de energia, ou falha nas comunicaç ões para o hor ário da instalaç ão ser admitido como constante (hora inicial igual à hora final).

Por estas raz ões, foram usadas as medidas de agregaç ão soma e m édia, tendo em conta que a soma é sens´ıvel às falhas de dados e a m édia à exist ência de outliers. Quando a medida soma foi utilizada, caso existissem falhas de per´ıodos de 15 minutos ao longo de algum dia, usou-se o crit ério de seleç ão de dias, e caso o dia fosse selecionado, o consumo energ ético di ário era ajustado para 96 per´ıodos (24h).

(29)

3.3 Vari ´aveis Externas

3.3.1 An ´alise dos dados

O per´ıodo de tempo m áximo de observaç ões foi de 1 de Janeiro de 2010 a 31 de Agosto de 2013. Numa an álise inicial às observaç ões clim áticas para a cidade de Lisboa, extra´ıdas do site Weather Underground, no per´ıodo temporal acima referido, deparou-se com a exist ência de falhas (ou seja, valores desconhecidos) e algumas vari áveis incoerentes. A an álise descritiva de cada vari ável pode ser consultada no anexo B.

A vari ável Precipitaç ão cont ém informaç ão da percentagem de precipitaç ão di ária, en-quanto que a vari ável Eventos regista a ocorr ência de Chuva, Trovoada, Nevoeiro, etc. No entanto, em alguns casos quando Eventos toma valor Chuva a Precipitaç ão é 0. Como o valor da Precipitaç ão n ão foi compreens´ıvel, decidiu-se retirar esta vari ável e utilizar apenas a vari ável Eventos, uma vez que esta cont ém informaç ão sobre outras ocorr ências clim áticas.

A vari ável Visibilidade M áxima tem valor constante igual a 10 ( à exceç ão dos valores desconhecidos) e, deste modo, n ão contribuiu com qualquer informaç ão adicional, tendo sido retirada do conjunto de dados.

A exist ência de valores desconhecidos no conjunto de vari áveis clim áticas é discutido a seguir:

Tratamento de falhas

Segundo [29], [28], [14] e [18] existem v árias estrat égias para lidar com os valores desco-nhecidos (NA), as mais comuns s ão:

• Remover os casos ou vari ´aveis com valores desconhecidos;

• Preencher os valores desconhecidos com o valor mais frequente da vari ´avel em quest ˜ao;

• Preencher os valores desconhecidos explorando semelhanc¸as entre casos (vizinhos mais pr ´oximos).

Neste contexto, a primeira opç ão apenas foi aplicada a vari áveis com demasiados valores em falta. Em relaç ão aos casos (dias) com algumas falhas, para n ão perder informaç ões

(30)

clim áticas desses dias, foi necess ário preencher as falhas. Segundo [14], preencher os valores desconhecidos pode enviesar os dados, mas, no entanto, esta última abordagem é uma estrat égia comum. Em comparaç ão com outros m étodos, este usa o m áximo de informaç ão a partir dos dados para prever valores em falta [29][14]. Uma vez que as vari áveis clim áticas dependem da estaç ão do ano, a opç ão mais adequada foi preencher os valores desconhecidos explorando semelhanças entre casos. Para detalhes sobre este m étodo, consultar anexo B.

Ao analisar os dados das vari áveis clim áticas observou-se que a vari ável Velocidade M á-xima de Rajada de Vento tem uma grande quantidade de NA’s (cerca de 88%). Sendo assim, usou-se a primeira abordagem eliminando esta vari ável do conjunto. As restantes vari áveis com NA’s foram tratadas no R atrav és da funç ão knnImputation().

J önsson e Wohlin [18] sugerem que um valor adequado para o n úmero k de vizinhos mais pr óximos é, aproximadamente, a raiz quadrada do n úmero de casos completos nos dados.

Neste caso existiam 1176 casos completos, logo k ≈√1176 ≈ 34.

Uma vez que existiam vari áveis clim áticas com valores inteiros, usou-se a mediana, medida mais robusta, com valor de k ´ımpar. Deste modo, foi usada a mediana dos 33 vizinhos mais pr óximos ao caso com NA, para lhe atribuir um valor.

3.3.2 Seleç ão de regi ões de Portugal Continental

No cap´ıtulo 3 foram usadas as vari áveis clim áticas para explicar o consumo de energia m édia di ária de um pequeno conjunto de instalaç ões (em Regress ão Linear M últipla). Para todo o conjunto foram usadas as observaç ões clim áticas de Lisboa, embora nem todas as instalaç ões sejam de Lisboa ou arredores - existe uma instalaç ão de Beja e outra do

Algarve. Surgiu ent ão as quest ões: É necess ário utilizar observaç ões clim áticas de regi ões

diferentes do Pa´ıs, de acordo com a localizaç ão da instalaç ão? Ou seja, a influ ência das observaç ões clim áticas sobre o consumo de energia diferem por regi ão do Pa´ıs? Que regi ões utilizar?

Na maior parte de Portugal continental o clima é temperado [17]. No entanto, verifica-se que no interior do Pa´ıs o clima é mais seco e quente que no litoral e que o norte e centro do Pa´ıs s ão mais frios do que o sul. Deste modo, esperou-se que a influ ência sobre o consumo energ ético, usando observaç ões clim áticas de regi ões distantes, fosse diferente.

(31)

Nesta fase apenas se tinha uma medida para quantificar a influ ˆencia de um conjunto de

vari áveis sobre a vari ável resposta, o coeficiente de determinaç ão ajustado R2_a (quanto

maior, melhor explica a variaç ão da vari ável resposta). Utilizou-se o coeficiente de deter-minaç ão ajustado com o objetivo de verificar influ ências diferentes no consumo de ener-gia m édio di ário para observaç ões clim áticas de regi ões diferentes. Para o conjunto de instalaç ões inicial, realizou-se a regress ão linear m últipla com diferentes observaç ões

cli-m áticas para se obter o R2_a (usaram-se observaç ões clim áticas da localizaç ão real da

instalac¸ ˜ao, de Lisboa e do Porto). Os resultados podem ser observados na tabela 3.1.

Instalaç ão Localizaç ão Local real Lisboa Porto

A Lisboa 0.60 0.60 0.57 B Lisboa 0.77 0.77 0.76 C Lisboa 0.33 0.33 0.38 D Lisboa 0.72 0.72 0.71 E Beja 0.87 0.85 0.83 F Algarve 0.92 0.93 0.91

Tabela 3.1: Coeficiente de determinaç ão ajustado para o conjunto inicial de instalaç ões com diferentes observaç ões clim áticas

Para as 4 primeiras instalaç ões na tabela 3.1 a localizaç ão real coincidiu com Lisboa logo os valores do coeficiente de determinaç ão ajustado foram comuns nas duas colunas (Local real e Lisboa). Comparando os valores obtidos utilizando observaç ões clim áticas da Localizaç ão real, Lisboa e Porto em todas as instalaç ões, observou-se que s ão bastante semelhantes, sendo superiores na Localizaç ão real à exceç ão das instalaç ões C e F. O facto de existirem instalaç ões em que o melhor coeficiente de determinaç ão ajustado n ão se obteve usando as observaç ões clim áticas da localizaç ão real da instalaç ão, indica que esta medida n ão foi a mais adequada para esta an álise. Esperava-se, pelo senso comum, que as observaç ões clim áticas da localizaç ão real se ajustassem melhor ao con-sumo energ ético, que as observaç ões de regi ões bastante distantes da real. Esperava-se tamb ém, pelo clima de Portugal continental, que existisse uma maior diferença entre os

valores do R2

a, quando usadas observaç ões clim áticas de regi ões bastante distantes no

(32)

Sendo assim, a an álise anterior n ão foi a mais apropriada para analisar a influ ência de observaç ões clim áticas de regi ões distantes.

Decidiu-se pesquisar a exist ência de divis ões climat éricas fundamentadas de Portugal continental para se poder utilizar neste contexto. Apenas se encontrou uma divis ão, a Classificaç ão de K öppen-Geiger [17], figura 3.1, baseada na temperatura do ar e na pre-cipitaç ão [36]. Segundo esta classificaç ão, Portugal continental tem 2 regi ões climat éricas

[17]. Como neste est ágio se usaram mais vari áveis clim áticas, tentou-se confirmar a

classificaç ão de K öppen usando todas as vari áveis, testando se observaç ões de locais distantes, mas na mesma regi ão, s ão semelhantes (atrav és do teste de hip óteses t [32]), no entanto obtiveram-se resultados inconclusivos, ou seja, para algumas vari áveis obteve-se que as curvas s ão obteve-semelhantes podendo pertencer a uma mesma regi ão e para outras obteve-se a conclus ão contr ária.

Figura 3.1: Classificaç ão de K öppen-Geiger para Portugal continental [17]

Decidiu-se tamb ém verificar para quais distritos de Portugal existem informaç ões clim áticas no site de meteorologia Weather Underground, caso fosse necess ário utilizar os distritos de Portugal continental como divis ão em regi ões. Verificou-se que existem observaç ões para Bragança, Ovar/Aveiro, Faro, Monte Real/Leiria, Beja, Castelo Branco, Penhas Dou-radas/Guarda, Montijo/Set úbal, Lisboa, Sintra/Lisboa e Alverca/Lisboa.

(33)

Assim, com base numa an álise cr´ıtica subjetiva e existindo um conhecimento generalizado das diferenças climat éricas entre as regi ões Norte, Centro, Sul e as respetivas regi ões litorais e interiores, num debate de grupo decidiu-se a divis ão do pa´ıs em 6 regi ões:

• Regi ˜ao do Porto, que cont ´em os distritos de Viana do Castelo, Porto e Aveiro;

• Regi ão de Bragança, que cont ém os distritos de Vila Real, Bragança e Guarda;

• Regi ˜ao de Lisboa, que cont ´em os distritos de Coimbra, Leiria e Lisboa;

• Regi ão de Castelo Branco, que cont ém os distritos de Castelo Branco, Santar ém e Portalegre

• Regi ão de Faro, que cont ém os distritos de Set úbal, Algarve e Litoral de Beja (conce-lho Odemira);

• Regi ão de Beja, que cont ém os distritos de Évora e Interior de Beja (todos os

conce-lhos de Beja exceto Odemira).

Concluindo, foram constru´ıdas tabelas de vari áveis clim áticas para cada uma das regi ões acima. A vari ável comprimento do dia foi extra´ıda do site Sun or Moon Rise/Set Table for One Year [27], sendo necess ário colocar as coordenadas geogr áficas das regi ões, consultadas em [1].

3.3.3 Seleç ão de vari áveis

Ap ós a definiç ão de regi ões de Portugal continental a usar, foi necess ário proceder ao tratamento de falhas das tabelas, como em 4.3.1.

Para a vari ável Direç ão do Vento em graus, as observaç ões de Bragança e Castelo Branco s ão constantes, ent ão decidiu-se retirar esta vari ável do conjunto de dados por n ão fornecer informaç ão relevante. As observaç ões da vari ável Cobertura de Nuvens na regi ão de Bragança cont êm 88% de falhas. Mais uma vez, devido à grande quantidade de valores desconhecidos, foi decidido retirar esta vari ável do conjunto de dados.

Para as restantes falhas utilizaram-se os vizinhos mais pr óximos a um caso com falhas para preencher esse valor. Decidiu-se usar o mesmo n úmero k de vizinhos mais pr óximos

(34)

ao caso com falha para todas as regi ões, sendo necess ário verificar qual o n úmero m´ınimo de casos completos. As observaç ões clim áticas de Bragança s ão as que cont êm o menor

n ´umero de casos completos, 869, ou seja, k ≈ √869 ≈ 29. Deste modo, os valores

desconhecidos nas observaç ões clim áticas das seis regi ões foram preenchidos usando a mediana dos seus 29 vizinhos mais pr óximos.

Como referido, as vari áveis constru´ıdas no cap´ıtulo 2 e as vari áveis clim áticas explicavam parte do consumo energ ético. Contudo, tinha-se 23 vari áveis explicativas e viu-se no cap´ıtulo 3 que algumas das vari áveis clim áticas n ão s ão estatisticamente significativas para explicar o consumo energ ético. Uma vez que as vari áveis estatisticamente significativas obtidas pela regress ão linear m últipla variam consoante a instalaç ão é necess ário realizar outras abordagens:

3.3.3.1 Backward - Regress ˜ao Linear M ´ultipla

No cap´ıtulo 3 usou-se a Regress ão Linear M últipla para analisar a influ ência das vari áveis externas sobre o consumo energ ético. Observou-se que, para uma instalaç ão, nem todas as vari áveis s ão estatisticamente significativas (valor − p ≤ 0.05) para explicar o consumo energ ético. Foi pois necess ário restringir o conjunto de vari áveis externas às vari áveis que mais explicam o consumo. No entanto, utilizando uma outra instalaç ão, as vari áveis mais significativas foram diferentes das obtidas anteriormente.

Na regress ão linear m últipla existem m étodos de seleç ão de vari áveis: Forward, Backward e Stepwise (ver [6]). Estes m étodos selecionam as vari áveis que evidenciam os efeitos mais fortes de diferentes formas. Neste trabalho usou-se o m étodo Backward, uma vez que lida com o problema da multicolinearidade de uma forma melhor [6].

Assim, decidiu-se utilizar o Lote 1 como amostra e obter as vari áveis selecionadas pelo backward para cada instalaç ão. As vari áveis mais significativas para o conjunto de instala-ç ões foram as que ocorrem mais vezes. Deste modo, na tabela 3.2 est ão apresentadas as frequ ências relativas para cada vari ável selecionada. Observando a tabela 3.2 concluiu-se que as vari áveis mais significativas (≥ 50%) foram: Estaç ão, Ano, Feriado, Humidade M´ınima, Comprimento do Dia, Temperatura M áxima, Visibilidade M édia Ponto de Orvalho M édio, Press ão M áxima, Press ão M édia e Ponto de Orvalho M áximo. Por exemplo, a vari ável Ano ocorreu como significativa em 95% das instalaç ões, ou seja, em 92 instalaç ões

(35)

Vari ável Estaç ão Ano Feriado HumMin DiaSemana

Frequ ˆencia 98% 95% 77% 77% 75%

Vari ´avel ComprDia TempMax VisibMedia PtOrvMedio PresMax

Frequ ˆencia 71% 67% 58% 56% 53%

Vari ´avel PresMedia PtOrvMax PresMin HumMedia TempMedia

Frequ ˆencia 52% 51% 40% 37% 37%

Vari ´avel PtOrvMin VelVentpMedia Eventos TempMin VisibMin

Frequ ˆencia 34% 34% 33% 32% 29%

Vari ´avel HumMax VelVentoMax FimSemana

Frequ ˆencia 14% 10% 4%

Tabela 3.2: Frequ ências relativas das vari áveis selecionadas atrav és do m étodo backward

de 97.

3.3.3.2 Random Forests

Random forests é um algoritmo popular e bastante eficiente, baseado num conjunto de árvores de decis ão, para ambos problemas de regress ão e classificaç ão [29][14][10]. O algoritmo random forests é poderoso em muitas aplicaç ões diferentes [10], incluindo a seleç ão de vari áveis importantes. A funç ão randomForest() est á dispon´ıvel na package

randomForest do R e, caso se queira avaliar a import ância das vari áveis, é necess ário

colo-car o par âmetro importance=T (os restantes par âmetros da funç ão podem ser consultados e compreendidos em [3]). A medida de import ância das vari áveis é dada por uma nova taxa de erro interno. A quantidade pela qual este erro excede o erro do conjunto original de teste é definida como a import ância da vari ável [3].

Assim, decidiu-se utilizar o Lote 1 como amostra e obter as vari áveis mais importantes para cada instalaç ão (o crit ério que mostrou ser o mais adequado foi considerar as 10 vari áveis com maior erro). As vari áveis mais significativas para o conjunto de instalaç ões foram as que ocorrem mais vezes. Deste modo, na tabela 3.3 est ão apresentadas as frequ ências relativas para cada vari ável selecionada. Observando a tabela 3.3 concluiu-se que as vari áveis mais significativas (≥ 50%) foram: Comprimento do Dia, Estaç ão, Temperatura

(36)

Vari ável ComprDia Estaç ão TempMedia TempMax TempMin

Frequ ˆencia 99% 99% 96% 95% 91%

Vari ´avel Ano PtOrvMax DiaSemana HumMedia Feriado

Frequ ˆencia 84% 78% 64% 62% 52%

Vari ´avel HumMin PtOrvMedio PtOrvMin VisibMedia FimSemana

Frequ ˆencia 49% 39% 23% 14% 13%

Vari ´avel PresMin PresMax VelVentoMedia HumMax PresMedia

Frequ ˆencia 9% 8% 8% 5% 5%

Vari ´avel Eventos VelVentoMax VisibMin

Frequ ˆencia 4% 1% 1%

Tabela 3.3: Frequ ências relativas das vari áveis selecionadas atrav és do m étodo random forests

M édia, Temperatura M áxima, Temperatura M´ınima, Ano, Ponto de Orvalho M áximo, Dia da Semana, Humidade Media e Feriado.

O problema deste m étodo foi que selecionou vari áveis muito correlacionadas, como é o caso das Temperaturas. Mas, neste contexto, n ão existia interesse em selecionar vari áveis correlacionadas uma vez que se queria diminuir o n úmero de vari áveis. Testou-se a funç ão

cforest() da package party onde o problema das vari ´aveis correlacionadas est ´a

re-solvido, contudo este demorou cerca de 12 minutos para uma instalaç ão com 1 ano de observaç ões, n ão sendo vi ável utiliz á-la para o Lote 1 completo.

3.3.3.3 Correlac¸ ˜ao parcial e cruzada

Nas subsecç ões anteriores as vari áveis “significativas” selecionadas eram correlacionadas. No entanto, a exist ência de vari áveis significativas correlacionadas significa que ambas fornecem a mesma informaç ão e, portanto, pode-se eliminar uma delas.

No anexo B pode-se verificar que o m áximo, a m édia e o m´ınimo de uma vari ável (por exemplo a temperatura) s ão bastante correlacionadas.

Assim, nesta subsecç ão foram selecionadas as vari áveis mais significativas n ão correla-cionadas atrav és da correlaç ão cruzada e parcial [16][13].

(37)

por isso consideraram-se como significativas as vari áveis categ óricas devolvidas pelos m étodos anteriores: Estaç ão, Ano, Feriado e Dia da Semana.

Inicialmente, utilizou-se a correlaç ão parcial entre as vari áveis explicativas e a vari ável resposta (consumo energ ético di ário) para determinar as vari áveis estatisticamente

cor-relacionadas com o consumo, excluindo o efeito das restantes. De seguida, usou-se

a correlaç ão cruzada para eliminar das vari áveis anteriores as correlacionadas entre si, da´ı resultando as vari áveis mais correlacionadas com o consumo energ ético di ário e n ão correlacionadas entre si. A correlaç ão cruzada est á dispon´ıvel na funç ão rcorr da package

Hmisc e a correlaç ão parcial na funç ão pcor da package ppcor do R.

O resultado foi Comprimento do Dia, Ponto de Orvalho M áximo e Humidade M´ınima. Segundo o meteorologista Jeff Haby [8] o conforto humano é definido usando o Ponto de Orvalho e a Humidade. Num contexto empresarial, o conforto humano é relevante nas horas de trabalho. Uma vez que a maior parte das instalaç ões trabalham durante o dia, as observaç ões das vari áveis Ponto de Orvalho e Humidade registadas nesse per´ıodo foram a m áxima e o m´ınimo, respetivamente. Esta informaç ão destacou este m étodo como o mais adequado para a escolha das vari áveis significativas do consumo energ ético.

Em suma:

• Os m étodos Backward e Random Forests retornaram como vari áveis significativas, vari áveis correlacionadas;

• O m étodo que utiliza as correlaç ões cruzada e parcial n ão selecionou vari áveis ca-teg óricas;

• A seleç ão das vari áveis categ óricas mais significativas foi realizada atrav és dos dois primeiros m étodos, selecionando: Estaç ão, Dia da Semana, Ano e Feriado;

• As vari áveis num éricas foram selecionadas atrav és do último m étodo, selecionou-se: Comprimento do Dia, Ponto de Orvalho M áximo e Humidade M´ınima. Resta salientar que estas vari áveis tamb ém foram significativas atrav és do m étodo Backward.

(38)

3.4 Detec¸ ˜ao de valores anormais

No cap´ıtulo 2 observou-se que a instalaç ão inicial continha dois valores de consumo ener-g ético di ário bastante mais baixo que os restantes valores, por ano. Esses valores dizem respeito aos dias de Natal e Ano Novo e s ão chamados valores anormais. Ao analisar o Lote 1 de instalaç ões, verificou-se que existem outras instalaç ões com esses valores (nos mesmos dias), enquanto que outras n ão cont êm valores anormais vis´ıveis. A deteç ão destes valores anormais é útil para caracterizar uma instalaç ão, servindo para identificar as instalaç ões que s ão sens´ıveis a feriados e as que n ão s ão. Deste modo, nesta secç ão mostra-se o desenvolvimento de um algoritmo para detetar valores anormais neste con-texto, utilizando o Lote 1 de instalaç ões como amostra.

Figura 3.2: Consumo de energia m édia di ária de duas instalaç ões t´ıpicas de cada grupo: Esquerda - Instalaç ão t´ıpica do grupo sem valores anormais; Direita - Instalaç ão t´ıpica do grupo com valores anormais

No Lote 1 foram distinguidos visualmente dois grupos de instalaç ões. Na figura 3.2 est ão representados os consumos de energia m édios di ários de duas instalaç ões t´ıpicas de cada grupo. Observou-se que a instalaç ão à esquerda n ão cont ém nenhum valor anormal, enquanto que a instalaç ão à direita cont ém 5 valores extremos.

Para detetar os valores anormais pensou-se em utilizar uma abordagem simples com a utilizaç ão da m édia, desvio padr ão ou vari ância do consumo. Na figura 3.3 est ão

(39)

no-vamente representados os consumos das instalaç ões acima, mas com limites, que defi-nem valor normal ou n ão, determinados usando a m édia mais/menos o desvio padr ão ou vari ância. Analisando a figura observou-se que os limites usando a m édia mais/menos o desvio padr ão detetaram demasiados valores anormais em ambos os casos, ou seja, foi necess ário utilizar um fator de escala superior a 1 no desvio padr ão. Os limites usando a m édia mais/menos a vari ância detetaram valores anormais na instalaç ão que n ão os cont ém e n ão detetaram nenhum valor anormal na instalaç ão que cont ém 5 valores anor-mais. Consequentemente, estes limites n ão puderam ser utilizados para detetar estes valores.

Figura 3.3: Limites de ser um valor de consumo energ ético normal usando a m édia, desvio padr ão e vari ância em duas instalaç ões t´ıpicas de cada grupo: Esquerda - Instalaç ão t´ıpica do grupo sem valores anormais; Direita - Instalaç ão t´ıpica do grupo com valores anormais

Testando v ários fatores de escala no desvio padr ão, chegou-se à conclus ão que um fa-tor igual a 3.5 era suficiente para detetar corretamente os valores anormais de ambas instalaç ões, como se pode verificar na figura 3.4. Contudo, testando esta abordagem para as restantes instalaç ões do Lote 1 verificou-se que em 21 instalaç ões de 97 n ão se detetou corretamente os valores anormais de consumo energ ético.

(40)

Figura 3.4: Limites de ser um valor de consumo energ ético normal usando a m édia e 3.5 do desvio padr ão em duas instalaç ões t´ıpicas de cada grupo: Esquerda - Instalaç ão t´ıpica do grupo sem valores anormais; Direita - Instalaç ão t´ıpica do grupo com valores anormais

Decidiu-se utilizar a abordagem anterior, mas usando a tend ência do consumo em vez da m édia, com o objetivo de diminuir o n úmero de instalaç ões onde n ão se detetaram corretamente os valores anormais. Na figura 3.5 pode-se observar os consumos das instalaç ões com os limites, que definem valor normal ou n ão, determinados usando a tend ência mais/menos a m édia, tend ência mais/menos o desvio de padr ão e tend ência mais/menos a vari ância. Observou-se que para detetar corretamente os valores anormais na instalaç ão à esquerda foi necess ário aplicar um fator de escala superior a 1 à m édia, ao desvio padr ão ou à vari ância. Quanto à instalaç ão à direita foi necess ário aplicar um fator de escala entre 0 e 1 à m édia ou à vari ância ou um fator de escala superior a 1 ao desvio padr ão. Sendo assim, a única opç ão comum a ambos os casos foi aplicar um fator de escala superior a 1 ao desvio padr ão.

Experimentaram-se v ários fatores de escala no desvio padr ão do consumo e chegou-se à conclus ão que esta abordagem n ão foi suficiente para detetar corretamente os valores anormais de todas as instalaç ões do Lote 1.

(41)

Figura 3.5: Limites de ser um valor de consumo energ ético normal usando a tend ência, m édia, desvio padr ão e vari ância da tend ência em duas instalaç ões t´ıpicas de cada grupo: Esquerda Instalaç ão t´ıpica do grupo sem valores anormais; Direita -Instalaç ão t´ıpica do grupo com valores anormais

Decidiu-se utilizar a abordagem anterior em simult âneo com outro m étodo. Utilizou-se um m étodo de clustering de Data Mining, DBSCAN, que agrupa as observaç ões criando tamb ém um grupo de outliers [14][28].

Este m étodo, DBSCAN, necessita de 2 par âmetros e, ap ós v ários testes, detetou-se cor-retamente os valores anormais em 82 de 97 instalaç ões. Ao exigir que um valor anor-mal satisfaça ambos os m étodos, tend ência do consumo mais/menos desvio padr ão e DBSCAN, os resultados foram mais satisfat órios, detetando-se corretamente os valores anormais em 93 de 97 instalaç ões.

Concluindo, para detetar os valores anormais neste contexto foram usados os m étodos tend ência do consumo mais/menos desvio padr ão, com fator de escala 2 sobre o desvio padr ão, e DBSCAN com eps=1.9 e MinPts=5, em simult âneo. As conclus ões foram as mesmas para a medida de agregaç ão soma.

Resta salientar que inicialmente foi testado o m étodo tradicional de deteç ão de outliers atrav és do Box-Plot para o Lote 1 e um algoritmo de deteç ão de consumos energ éticos anormais segundo [24]. Contudo, n ão se obtiveram os resultados pretendidos para ambos.

(42)

Como referido anteriormente, a deteç ão de valores anormais é uma forma de caraterizar uma instalaç ão. Assim, decidiu-se construir uma s érie com valor zero em todos os instantes menos nos que cont êm valores anormais, sendo o valor desses instantes igual ao original, com o objetivo de construir uma nova vari ável explicativa do consumo energ ético. Uma outra vari ável importante para o clustering foi a Tend ência. Foi visto no cap´ıtulo 3 que os valores anormais influenciam a tend ência. Deste modo, a vari ável Tend ência foi definida como sendo a tend ência da s érie sem os valores anormais (colocando nesses instantes o valor da tend ência inicial da s érie).

3.5 Conclus ˜ao

Este cap´ıtulo apresentou a escolha das medidas de agregaç ão, das vari áveis significativas, das regi ões de Portugal continental e de outras caracter´ısticas como os valores anormais de consumo energ ético.

• Medidas de agregaç ão: soma e m édia;

• Regi ões de Portugal continental: Regi ão do Porto, Regi ão de Bragança, Regi ão de Lisboa, Regi ão de Castelo Branco, Regi ão de Beja, Regi ão de Faro;

• Vari áveis significativas: Ano, Estaç ão, Dia da Semana, Feriado, Comprimento do dia, Ponto de Orvalho M áximo, Humidade M´ınima;

• Novas vari ´aveis: Valores Anormais e Tend ˆencia.

As ferramentas computacionais utilizadas foram o R e o SQL Server. Os dados de consu-mos energ éticos das instalaç ões estavam registados em bases de dados no SQL Server. Contudo, foi necess ário processar os dados, agregar segundo as medidas de agregaç ão que foram usadas, processar as observaç ões das vari áveis externas, etc. Testou-se agre-gar os dados diariamente, utilizando a m édia, no R e demorou 12 segundos para apenas uma instalaç ão, enquanto que no SQL Server apenas demora 1 segundo. Desta forma,

(43)

foi decidido processar todos os dados em SQL Server, incluindo a junç ão de vari áveis clim áticas segundo a regi ão da instalaç ão.

As restantes metodologias que necessitaram de comandos espec´ıficos do R foram execu-tadas em R.

Nas pr óximas tabelas, 3.4 e 3.5, podem-se visualizar os tempos de execuç ão de cada metodologia e ferramenta para o conjunto de instalaç ões do Lote 1. Em SQL Server, agregaram-se os dados diariamente utilizando a soma e a m édia e agregaram-se os dados por dia da semana (incluindo Feriados) e hora utilizando a m édia para ser poss´ıvel calcular o hor ário de trabalho (ver cap´ıtulo 2). Em R, foi necess ário ler as tabelas constru´ıdas em SQL

Server (atrav és da package RODBC), construir o Hor ário de Trabalho para cada instalaç ão,

tratar os valores desconhecidos existentes nas tabelas de vari áveis clim áticas, selecionar as vari áveis significativas atrav és dos m étodos Backward, Random Forests e Correlaç ão e detetar os valores anormais e a tend ência do consumo sem esses valores.

Tempos de Execuc¸ ˜ao para o Lote 1

SQL Server Tempos de Execuc¸ ˜ao

Agregar diariamente 2 min.

Agregar para Hor ´ario de trabalho 1.5 min.

Tabela 3.4: Tempo de processamento dos dados das instalac¸ ˜oes do Lote 1 em SQL Server

R Tempos de Execuc¸ ˜ao

Ler dados agregados diariamente 26 seg.

Ler dados agregados para Hor ´ario de trabalho 1.2 seg.

Calcular o Hor ´ario de Trabalho 3 seg.

Tratamento de falhas (6 regi ˜oes) 8 seg.

Backward 50 seg.

Random Forests 19 min.

Correlac¸ ˜ao 16 seg.

Valores anormais e tend ˆencia 30 seg.

(44)

Cap´ıtulo 4

Seleç ão de instalaç ˜

oes

4.1 Introduc¸ ˜ao

Neste cap´ıtulo ser ão expostos os crit érios usados para selecionar as instalaç ões que foram utilizadas no estudo. Por exemplo, uma instalaç ão que continha demasiadas observaç ões em falta n ão fornecia dados suficientes para ser poss´ıvel comparar com outras instalaç ões. Salienta-se que, ao longo do trabalho, os crit érios foram ajustados consoante as necessi-dades.

4.2 Crit érios de seleç ão de instalaç ˜

oes

Ao analisar os dados, constatou-se que, por vezes, existiam v árias observaç ões para um mesmo instante de uma mesma instalaç ão. Por vezes era necess ário substituir um contador, ou seja, este passa a estar inativo e o substituto ser á o contador ativo. Nestes casos, o nome do contador inativo passa a conter “!” no in´ıcio e o ativo n ão cont ém nenhum “!”.

Uma possibilidade para a exist ência de mais do que um registo, é que o contador subs-titu´ıdo continue ativo, em simult âneo com o substituto, devido a algum erro.

Uma outra justificaç ão é a exist ência de mais do que um contador. Por exemplo, uma empresa pode ter v ários contadores, um para a cantina, outro para o armaz ém, outro

(45)

para a produç ão e o consumo total dessa empresa é a soma dos registos de todos os contadores. Neste caso, nenhum dos nomes dos contadores cont ém “!”.

Consequentemente, foi necess ário criar crit érios de seleç ão de registos para estes casos. As possibilidades foram:

1. Caso um dos nomes dos contadores contenha no in´ıcio “!” e exista um outro nome que n ão contenha, ent ão escolhe-se os contadores que n ão cont êm “!” no in´ıcio do nome;

2. Caso n ˜ao exista um contador com “!”, somam-se os registos de um mesmo instante;

Ap ós os crit érios anteriores, foram criados outros devido às metodologias usadas.

N ão existia qualquer interesse em analisar instalaç ões que j á estivessem inativas ou indi-cassem que deixaram de produzir. Assim, definiu-se:

3. Para uma instalaç ão ser selecionada é necess ário que contenha registos recentes, ou seja, se o último registo for antes de Março de 2013 n ão se seleciona a instalaç ão;

4. Caso as observaç ões recentes (1 Set 2012 a 31 Ago 2013) de consumo de uma instalaç ão contenham demasiados zeros (80 %), considera-se que a instalaç ão dei-xou de estar ativa e elimina-se do estudo.

Os pr óximos crit érios dizem respeito à quantidade de falhas que pode existir ao longo dos registos.

Primeiro, uma vez que as observaç ões foram agregadas diariamente, foi necess ário ga-rantir que o valor n ão era enviesado do real. Por exemplo, se se considerar uma instalaç ão que trabalhe durante o dia, e para um dia apenas existem observaç ões durante a noite, ao agregar, o consumo di ário ser á muito baixo em relaç ão aos restantes dias de trabalho. Segundo, para uma an álise vi ável aos dados foi necess ário que estes n ão contivessem demasiados dias em falta. Assim foi necess ário um crit ério que elimine os casos em que tal acontece.

(46)

5. Para o primeiro caso dividiu-se o dia em 4 per´ıodos:

• Das 7h às 13h; • Das 13h às 19h; • Das 19h à 1h; • Da 1h às 7h;

e para cada um destes, pode ter-se no m áximo 1h de falhas (ou seja, 4 registos de 15 minutos). Consequentemente, no m áximo por dia podem-se ter 4h de falhas. Caso contr ário, o dia é eliminado;

6. Para o segundo caso, consideram-se as instalaç ões que n ão cont êm mais que 10% de dias em falha, no total;

Por fim, para o clustering foi necess ário que para cada instalaç ão existissem observaç ões suficientes para se comparar com outras. Sendo assim, foi decidido considerar as insta-laç ões que continham 9 meses de observaç ões consecutivas (sem qualquer falha). Ao conter 9 meses de observaç ões garantia-se que existem pelo menos tr ês estaç ões do ano para comparar.

No entanto, no cap´ıtulo 6 ser á discutido que os dados deviam ser restringidos ao ano e meio mais recente. Assim, o m étodo anterior s ó p ôde ser aplicado ap ós restringir os dados, uma vez que se queria ter os 9 meses de observaç ões, sem falhas, nas observaç ões que foram usadas no cap´ıtulo Clustering.

7. A instalaç ão é selecionada caso contenha pelo menos 9 meses de observaç ões con-secutivas (sem falhas) no ano e meio mais recente de observaç ões. Caso contr ário, elimina-se do estudo.

4.3 Resultados

Como referido anteriormente, os dados dos consumos energ éticos estavam em bases de dados em SQL Server. O objetivo de definir crit érios de seleç ão de instalaç ões foi

(47)

eliminar da base de dados registos que n ão eram adequados ao estudo. Assim, esta etapa foi realizada no SQL Server por ser mais simples e mais r ápida a seleç ão de

regis-tos. Em SQL Server existem comandos como SELECT ... FROM ..., DELETE ... FROM

..., que permitem a manipulac¸ ˜ao de registos de uma tabela.

Testaram-se os crit érios para o primeiro Lote de instalaç ões que continham 98 empresas. Inicialmente testou-se a exist ência de mais que um registo num mesmo per´ıodo mas, contudo, para este Lote tal n ão acontece. A necessidade de criar esses crit érios surgiu quando se testaram metodologias nos Lotes 2 e 3.

Assim, nesta secç ão apresentam-se os resultados para os Lotes 1, 2 e 3. As observaç ões das instalaç ões dos Lotes 2 e 3 estavam na mesma tabela, deste modo foram tratadas como um s ó Lote. Neste Lote, Lotes 2 e 3, existiam 199 instalaç ões.

Os crit érios 3 e 4 foram executados ao mesmo tempo, depois eliminaram-se os dias que n ão eram vi áveis (crit ério 5) e verificou-se se a quantidade de falhas era demasiada (crit ério 6). Uma vez que no crit ério 5 podiam ser eliminados registos recentes, aplicou-se nova-mente o crit ério 3. Por fim, selecionaram-se as instalaç ões que continham 9 meses de observaç ões consecutivas e recentes, crit ério 7.

Os resultados da aplicaç ão destes crit érios nos Lotes 1, 2 e 3 podem ser visualizados na tabela 4.1. Os crit érios est ão apresentados pela ordem que foram aplicados.

Observando os resultados para os Lotes 1, 2 e 3 verifica-se que, com estes crit érios, poucas instalaç ões s ão eliminadas.

No cap´ıtulo 4, como mencionado, o Lote 1 continha 97 instalaç ões. Estas instalaç ões foram sujeitas aos crit érios de 1 a 6, uma vez que o crit ério 7 apenas foi aplicado para a metodologia Clustering.

(48)

Crit ´erio Lote 1 Lotes 2 e 3

1 Sem alterac¸ ˜oes Elimina-se 0.6% dos registos

2 Sem alterac¸ ˜oes Soma-se 1.1% dos registos

obtendo 93 625 novos registos

3 e 4 Elimina-se 1 instalaç ão Elimina-se 13 instalaç ões

5 Eliminam-se 0.12% dos dias Eliminam-se 0.23% dos dias

6 Sem alteraç ões Elimina-se 2 instalaç ões

3 Sem alteraç ões Sem alteraç ões

7 Eliminam-se 11 instalaç ões Eliminam-se 46 instalaç ões

Total Selecionam-se 86

instalac¸ ˜oes de 98

Selecionam-se 138 instalac¸ ˜oes de 199

Tempo 4 minutos 20 minutos

(49)

Cap´ıtulo 5

Agrupamento (Clustering)

5.1 Introduc¸ ˜ao

Um problema que se coloca com alguma frequ ência é o de, dado um conjunto de n objetos, agrup á-los em classes, ou subgrupos, de tal forma a que (i) cada subgrupo seja internamente homog éneo (isto é, constitu´ıdo por objetos “similares”), e a que (ii) os v ários subgrupos sejam heterog éneos entre si (isto é, os indiv´ıduos de subgrupos diferentes sejam “dissimilares”). A este processo d á-se o nome de Agrupamento (Clustering) (n ão supervisionado).

Nos cap´ıtulos anteriores foi poss´ıvel perceber as vari áveis que explicavam parte do con-sumo energ ético de uma instalaç ão. Claro que, para al ém das vari áveis encontradas, foi necess ário acrescentar a vari ável Trabalho, que diz respeito à energia consumida pela instalaç ão para produzir.

O objetivo principal deste est ágio foi agrupar as instalaç ões segundo o seu trabalho, ou seja, colocar num mesmo grupo instalaç ões que continham curvas de consumo energ ético semelhantes (os objetos foram as instalaç ões). No entanto, foi necess ário ter atenç ão às vari áveis externas, pois duas instalaç ões podiam ter curvas semelhantes de energia gasta com a produç ão mas, devido às condiç ões externas, terem curvas do consumo energ ético diferentes. Por exemplo, uma instalaç ão situada num local de clima quente e seco com certeza gastar á mais energia no ar condicionado do que uma instalaç ão an áloga situada num local de clima temperado. Deste modo, foi necess ário comparar o consumo