FASE 4 – Avaliação de Desempenho

A fase de avaliação de desempenho é essencial para que se consiga obter uma comparação entre a capacidade de previsão fornecida por diferentes técnicas de AA. Tal como já se explicou na secção 3.2.3, para avaliar correctamente a capacidade de generalização de cada modelo funcional resultante do processo de treino, deverá ser utilizado um conjunto de teste, ou seja, uma amostra contendo exemplos diferentes dos que se utilizaram para o processo de treino. Tendo, no presente trabalho, sido gerado um número de cenários de operação da ordem dos vários milhares, a dimensão do conjunto de dados gerado permitiu que se adoptasse a técnica de Holdout, a qual foi já devidamente descrita na secção 3.2.3.

Saliente-se que, independentemente do tipo de método de AA utilizado, é característico ocorrer alguma variação da capacidade de previsão do modelo funcional treinado com a adopção de diferentes repartições do conjunto de dados para treino e teste. Desta propriedade resulta que a forma mais correcta para comparar o desempenho entre dois métodos de AA, passa pela obtenção, para cada um deles, de um conjunto de erros de teste provenientes de diferentes repartições do conjunto de dados. A partir da média e variância amostral dos erros de previsão assim obtidos, será possível aplicar um teste de hipóteses estatístico (tal como o que se descreve na secção 3.4.1.4) para se conseguir obter o significado estatístico com que um dos métodos é mais preciso do que outro. Tendo-se, no presente trabalho, observado uma diferença significativa entre os erros de previsão fornecidos pelas diferentes técnicas de AA aplicadas, considerou-se não haver necessidade de realizar este procedimento, pelo que se optou por realizar a avaliação de desempenho entre métodos de AA apenas com uma repartição do conjunto de dados.

3.6

C

Neste capítulo foi feita uma descrição detalhada da metodologia que se seguiu, no presente trabalho, para a obtenção de uma estrutura de AA que realize avaliação de segurança do comportamento dinâmico de um sistema eléctrico. Em termos gerais, esta metodologia resume- se na Figura 3.8. que se apresentou na secção 3.5, dividindo-se nas seguintes fases:

• FASE 1: Identificação do problema de segurança;

• FASE 2: Geração do conjunto de dados;

• FASE 3: Treino da estrutura de segurança dinâmica de aprendizagem automática;

• FASE 4: Avaliação de desempenho.

Para o tipo de sistema eléctrico sobre o qual se debruçou esta dissertação – sistema

interligado que explore elevadas penetrações de produção eólica – os resultados da FASE 1

foram já devidamente apresentados na secção 2.3 do Capítulo 2. Relativamente à especificação do conjunto de dados a gerar, na secção 3.5.1 do presente capítulo é feita uma descrição das decisões que foram efectuadas a este nível, com o objectivo de se obter uma estrutura de AA que seja capaz de realizar avaliação de segurança do problema dinâmico em análise:

sobrecargas que possam ocorrer em importantes ramos do sistema de transmissão de uma determinada área de controlo, durante o regime quasi-estacionário associado ao período de pós-perturbação, subsequente à ocorrência de uma súbita perda de produção eólica na área de controlo em análise. Mais concretamente, esta descrição abrangeu a especificação dos

seguintes aspectos:

• Tipo de perturbação a avaliar;

• Condições de operação a variar entre cenários do conjunto de dados;

• Índices de segurança a monitorizar;

• Requisitos do vector de variáveis de entrada candidatas a considerar para o treino das estruturas de segurança, que, em resumo, consistem nas seguintes especificações:

- As variáveis contidas no vector deverão caracterizar as condições de operação que o sistema eléctrico tem durante o regime estacionário prévio ao defeito, devendo também corresponder a valores mensuráveis do sistema e a condições de operação que se alterem entre cenários do conjunto de dados gerado.

- Para evitar problemas numéricos durante o treino de modelos de regressão linear (LRM), o vector não deverá incluir características que estejam entre elas fortemente relacionadas. No caso de treino de redes neuronais artificias (ANN) poderá ser de interesse adoptar também este requisito, no sentido de reduzir a dimensão do vector de variáveis que é necessário construir para utilizar as ANN em ambiente de tempo real. Como excepção, no caso concreto de treino de uma árvore de regressão, e no sentido de obter uma estrutura com maior precisão, poderá ser de interesse incluir variáveis adicionais que tentem medir a relevância conjunta de diversas variáveis de entrada.

- Havendo o propósito de explorar a estrutura de segurança para o fornecimento de medidas de controlo preventivo em ambiente de tempo real, o vector deverá incluir condições de operação que correspondam a variáveis de controlo do sistema. Como excepção, aquando do treino de uma árvore de regressão linear para a obtenção de restrições de segurança dinâmica do tipo linear, a estrutura em árvore deverá ser treinada com entradas que não sejam função das variáveis de decisão do problema de optimização a resolver. Caso contrário, as regras condicionais do tipo If-Then-Else, em que a árvore de regressão se traduz, poderão introduzir descontinuidades no domínio de soluções admissíveis do problema de optimização que o tornem não convexo e, como consequência, não linear.

- Por questões de esforço computacional do algoritmo de controlo preventivo, deverão ainda excluir-se quaisquer variáveis que não correspondam a um dado para a resolução de um problema de trânsito de potências.

Relativamente à FASE 2 (de geração do conjunto de dados), na secção 3.5.2 foi feita uma descrição geral do método de geração aplicado e dos requisitos que se esperam do conjunto de dados gerado. Uma descrição mais detalhada do procedimento desenvolvido, no âmbito do presente trabalho, de geração de um conjunto de dados para a rede interligada de teste analisada, será feita no Capítulo 4.

Previamente à exposição da metodologia geral considerada para a obtenção de uma estrutura de segurança dinâmica de AA que se realiza na secção 3.5, nas secções 3.2 e 3.3 descreveram-se os conceitos de base necessários para a implementação da FASE 3 (de treino

de uma estrutura de segurança dinâmica de AA) e da FASE 4 (de avaliação de desempenho das estruturas treinadas).

Na secção 3.4 descrevem-se as técnicas de aprendizagem automática que foram exploradas no presente trabalho:

• Redes Neuronais Artificiais;

• Modelos de Regressão Linear;

• Estrutura híbrida que resulta da utilização de um modelo de regressão linear em cada folha de uma árvore de regressão (estrutura que se denominada, no presente trabalho, árvore de regressão linear).

No âmbito da descrição da metodologia geral considerada, foram relatados ainda os procedimentos que se adoptaram para realizar:

• Controlo de qualidade do conjunto de dados gerado;

• Normalização das variáveis que compõem cada exemplo do conjunto de dados;

• Selecção de características.

No caso concreto do problema de segurança analisado para a rede interligada de teste estudada, os resultados obtidos da FASE 2 (de geração do conjunto de dados) serão devidamente descritos no Capítulo 4, apresentando-se no Capítulo 5 todos resultados obtidos da FASE 3 e 4 (de treino e avaliação de desempenho das estruturas de segurança de AA).

Capítulo 4: