UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE CENTRO DE TECNOLOGIA – CT
CENTRO DE CIÊNCIAS EXATAS E DA TERRA – CCET PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA E ENGENHARIA DE
PETRÓLEO - PPGCEP
DISSERTAÇÃO DE MESTRADO
APLICAÇÃO DE MODELOS DEEP LEARNING NA ESTIMAÇÃO DE VAZÃO DE PETRÓLEO EM POÇOS OFFSHORE COM
SISTEMA DE BOMBEIO CENTRÍFUGO SUBMERSO
Josenílson Gomes de Araújo
Orientadora: Profa. Dra. Carla Wilza Souza de Paula Maitelli
NATAL/RN, fevereiro de 2022
APLICAÇÃO DE MODELOS DEEP LEARNING NA ESTIMAÇÃO DE VAZÃO DE PETRÓLEO EM POÇOS OFFSHORE COM
SISTEMA DE BOMBEIO CENTRÍFUGO SUBMERSO
Josenílson Gomes de Araújo
NATAL/RN, fevereiro de 2022
Josenílson Gomes de Araújo
APLICAÇÃO DE MODELOS DEEP LEARNING NA ESTIMAÇÃO DE VAZÃO DE PETRÓLEO EM POÇOS OFFSHORE COM SISTEMA DE BOMBEIO
CENTRÍFUGO SUBMERSO
Dissertação de Mestrado apresentada ao Programa de Pós-Graduação em Ciência e Engenharia de Petróleo PPGCEP, da Universidade Federal do Rio Grande do Norte, como parte dos requisitos para obtenção do título de Mestre em Ciência e Engenharia de Petróleo.
Aprovado em 24 de fevereiro de 2022.
____________________________________
Profª Dra. Carla Wilza Souza de Paula Maitelli Orientadora – UFRN
____________________________________
Prof. Dr. Adrião Duarte Dória Neto Membro Interno - UFRN
____________________________________
Dr. Fábio Lima Soares Membro Externo - Petrobras
____________________________________
Profª. Dra. Tatiana Escovedo Membro Externo – PUC-Rio
ARAÚJO, Josenilson Gomes de - Aplicação de modelos deep learning na estimação de vazão de petróleo em poços offshore com sistema de bombeio centrífugo submerso.
Dissertação de Mestrado, UFRN, Programa de Pós-Graduação em Ciência e Engenharia de Petróleo. Área de Concentração: Pesquisa e Desenvolvimento em Ciência e Engenharia de Petróleo. Linha de Pesquisa: Automação da Indústria de Petróleo e Gás Natural. Natal-RN, Brasil.
Orientadora: Profa. Dra. Carla Wilza Souza de Paula Maitelli
RESUMO
A medição de vazão de fluidos é uma atividade fundamental para a indústria de óleo e gás. A correta mensuração dos volumes produzidos proporciona uma boa gestão dos reservatórios, reduzindo as perdas de produção, orientando os planos de otimização do sistema de produção e dos métodos de levantamento e escoamento da produção. A utilização de técnicas de estimativa de fluxo em tempo real por meio de Medição de Fluxo Virtual (Virtual Flow Metering ou VFM na sigla em inglês) tem se mostrado um campo promissor devido à precisão dos resultados fornecidos e ao seu baixo custo de implementação. Os modelos deep learning têm sido aplicados com sucesso na indústria de petróleo e gás. Considerando os avanços tecnológicos e a grande importância da medição de fluidos para a indústria do petróleo, o estudo visa desenvolver um modelo para estimar a vazão de fluidos aplicando uma abordagem combinada com modelos Long short-term memory (LSTM) e modelagem hidrodinâmica. Os dados utilizados frequência, potência e pressão foram coletados em dois poços offshore equipados com bombeio centrífugo submerso (BCS), localizados na região Nordeste do Brasil. Os resultados obtidos com a abordagem combinada tornam o modelo mais robusto, preenchendo lacunas do modelo hidrodinâmico isolado; podem ser úteis para estimar com maior precisão o comportamento da vazão em tempo real em regimes permanentes e transientes e estimar a vazão para uma sequência de instantes de tempo futuros, apoiando uma melhor gestão da produção. Por fim, os resultados obtidos com os modelos LSTM podem ser integrados com outras tecnologias da Indústria 4.0 e contribuir para a transformação digital da indústria de óleo e gás.
Palavras-chave: medição de vazão dos fluidos; medição de fluxo virtual; bombeio centrífugo submerso (BCS); aprendizagem profunda; redes neurais LSTM; Indústria 4.0.
ABSTRACT
The fluid flow measurement is a fundamental activity for the oil and gas industry.
The correct produced volumes mensuration provides a good reservoirs management, reducing production losses, guiding plans of the production system optimization and production flow methods. The use of flow estimation techniques in real time using Virtual Flow Metering (VFM) has shown to be a promising field due to the provided results precision and their low-cost implementation. Deep learning models have been applied successful in the oil and gas industry. Combining technological advances and the great importance of fluid measurement, the study aims to develop a model for the flowrate of liquid applying an approach combined of Long Short-Term Memory (LSTM) models and hydrodynamical modelling. The data used were power, frequency, pressure and were collected from two offshore wells with electric submersible pumps (ESP) in Northeast region of Brazil. The LSTM results compare favorably with the results of hydrodynamical modeling and increases its powerful, they can be useful joint to accurately estimate the flowrate behavior in real time in transient and steady states and to forecast the flowrate for a sequence of future time instants, supporting better production management. It is expected that the results obtained with the LSTM neural networks can be integrated with other technologies of Industry 4.0 and contribute to the digital transformation of the oil and gas industry.
Keywords: fluid flowrate measurement; virtual flow metering (VFM); electric submersible pumps (ESP); deep learning; LSTM neural networks; Industry 4.0.
"Não há nada como o sonho para criar o futuro.
Utopia hoje, carne e osso amanhã."
Victor Hugo em "Os Miseráveis"
DEDICATÓRIA
A um dos maiores amores da minha vida, Maria das Dores (in memoriam), minha avó.
AGRADECIMENTOS
A Deus, pela vida, saúde, sabedoria e energia para conclusão deste trabalho e realização de mais um sonho.
À minha família, pelo apoio incondicional, em especial, minha mãe Dalva, meus irmãos Marcos, Matheus e Cauã.
À minha namorada, Marília Ribeiro, pela compreensão, apoio e incentivo durante esta jornada.
Aos amigos, Fátima Nascimento e Rafael Lopes, por compartilharem seus conhecimentos e apoio nas dificuldades.
A Marcus Venicio, pela amizade no decorrer desta caminhada e muitos momentos, dificuldades e disciplinas compartilhadas.
À Petrobras, nas pessoas de Marcelo Agra e Tuerte Rolim, pela liberação e apoio no desenvolvimento deste Mestrado.
Aos colegas da Petrobras, pela compreensão e apoio nos momentos de dificuldade.
À professora e orientadora Carla Maitelli, pela confiança, atenção, orientação e comprometimento imprescindíveis para realização deste trabalho.
Ao professor Adrião, pelos ensinamentos e sugestões desde a disciplina de deep learning, onde surgiu a ideia desta pesquisa, e durante o desenvolvimento deste trabalho.
Aos amigos do PPGCEP, pelo apoio e amizade durante as muitas dificuldades desta jornada.
Aos Professores e Funcionários do PPGCEP, pela atenção, presteza e apoio neste período.
A todos que contribuíram direta e indiretamente na realização deste sonho: Meu muito obrigado!
SUMÁRIO
1. INTRODUÇÃO ... 15
1.1 Objetivo geral ... 17
1.2 Objetivos específicos... 17
1.3 Organização do trabalho ... 17
2. ASPECTOS TEÓRICOS ... 20
2.1 Elevação artificial por sistema de bombeio centrífugo submerso (BCS) ... 20
2.2 Estudo da vazão ... 24
2.3 Redes neurais artificiais ... 27
2.4 Redes neurais deep learning ... 31
2.5 Redes neurais LSTM (Long-short term memory) ... 36
3. ESTADO DA ARTE ... 44
4. MATERIAIS E MÉTODOS ... 49
4.1 Estruturação da base de dados ... 49
4.2 Validação e ajuste do modelo de vazão ... 50
4.3 Modelagem através das redes neurais LSTM ... 53
5 RESULTADOS E DISCUSSÃO ... 56
5.1 Análise exploratória dos dados ... 56
5.1.1 Resultados do poço A ... 56
5.1.2 Resultados do poço B ... 62
5.2 Aplicação das redes neurais LSTM ... 68
5.2.1 Resultados do poço A ... 70
5.2.2 Resultados do poço B ... 75
6 CONCLUSÃO ... 83
REFERÊNCIAS BIBLIOGRÁFICAS ... 84
LISTA DE FIGURAS
Figura 2.1 Tipos de método de elevação de petróleo por bombeio. ... 20
Figura 2.2 Poço equipado com bomba centrífuga submersa. ... 21
Figura 2.3 Ilustração de um estágio da bomba. ... 22
Figura 2.4 Modelo não-linear de um neurônio artificial. ... 27
Figura 2.5 Ilustração de uma rede neural MLP com duas camadas ocultas. ... 29
Figura 3.6 Ilustração do algoritmo backpropagation. ... 30
Figura 2.7 Ilustração de representação de imagem por modelo deep learning convolucional. ... 32
Figura 2.8 Rede neural MLP simples e rede neural profunda (Deep learning). ... 33
Figura 2.9 Representação de desdobramento de Rede neural recorrente (RNN). ... 36
Figura 2.10 Ilustração de uma rede LSTM e as quatro camadas de interação. ... 38
Figura 2.11 Ilustração do estado da célula de uma rede LSTM. ... 38
Figura 2.12 Ilustração do primeiro gate da rede LSTM. ... 39
Figura 2.13 Ilustração do segundo gate da rede LSTM. ... 40
Figura 2.14 Ilustração da atualização de estado da Ct da rede LSTM. ... 41
Figura 2.15 Ilustração da saída gerada pela rede LSTM. ... 42
Figura 4.1 Dados obtidos para as vazões de testes e estimadas do poço A. ... 51
Figura 4.2 Dados obtidos para as vazões de testes e estimadas do poço B. ... 52
Figura 4.3 Proporções da divisão do conjunto de dados. ... 53
Figura 4.4 Etapas resumidas do procedimento experimental da pesquisa. ... 54
Figura 5.1 Comportamento da potência ativa do poço A. ... 57
Figura 5.2 Comportamento da frequência do poço A. ... 57
Figura 5.3 Comportamento da pressão de sucção do poço A... 58
Figura 5.4 Comportamento da pressão na cabeça do poço A... 58
Figura 5.5 Vazão Calculada do poço A. ... 59
Figura 5.6 Matriz de correlação linear entre as variáveis do poço A. ... 61
Figura 5.7 Comportamento da potência ativa do poço B. ... 62
Figura 5.8 Comportamento da frequência do poço B. ... 63
Figura 5.9 Comportamento da pressão de sucção do poço B. ... 63
Figura 5.10 Comportamento da pressão na cabeça do poço B. ... 64
Figura 5.11 Vazão calculada do poço B. ... 65
Figura 5.12 Ilustração do acúmulo de gás no espaço anular do poço B. ... 65
Figura 5.13 Matriz de correlação linear entre as variáveis do poço B. ... 67
Figura 5.14 Ilustração de tensor com formato [3, 2, 5]. ... 69
Figura 5.15 Vazão observada e vazão prevista pela LSTM para o poço A. ... 71
Figura 5.16 Resultado da função de métrica para o conjunto de treinamento do poço A. ... 72
Figura 5.17 Resultado da função de métrica para o conjunto de validação do poço A. ... 72
Figura 5.18 Resíduos previstos da vazão estimada pela LSTM para o poço A. ... 74
Figura 5.19 Função distribuição acumulada dos resíduos absolutos da vazão do poço A. ... 75
Figura 5.20 Vazão observada e vazão prevista pela LSTM para o poço B. ... 76
Figura 5.21 Resultado da função de métrica para o conjunto de treinamento do poço B. ... 77
Figura 5.22 Resultado da função de métrica para o conjunto de validação do poço B. ... 78
Figura 5.23 Resíduos previstos da vazão estimada pela LSTM para o poço B. ... 79
Figura 5.24 Função distribuição acumulada dos resíduos absolutos da vazão do poço B. ... 80
LISTA DE TABELAS Tabela 4.1 Características dos poços A e B estudados. ... 49
Tabela 4.2 Visualização dos dados utilizados na modelagem. ... 50
Tabela 5.1: Estatísticas descritivas da Vazão do poço A em m³/d. ... 60
Tabela 5.2 Estatísticas descritivas da Vazão do poço B em m³/d. ... 66
Tabela 5.3 Hiperparametros otimizados da rede LSTM para o poço A. ... 70
Tabela 5.4 Estatísticas descritivas da vazão e resíduos preditos do poço A. ... 73
Tabela 5.5 Hiperparametros otimizados da rede LSTM para o poço B. ... 76
Tabela 5.6 Estatísticas descritivas da vazão e resíduos preditos do poço B. ... 78
LISTA DE ABREVIATURAS
BCS – Bombeio centrífugo submerso
BEP – Best efficiency point ou ponto de melhor eficiência
BSW – Basic sediment and water ou quantidade de água e sedimentos na amostra de fluido (%) IP – Índice de produtividade (m³/d)/(kgf/cm²)
LSTM – Long short-term memory
MSE – Mean squared error ou erro quadrático médio (adimensional) MLP –Multilayer Perceptron ou redes neurais perceptron multicamadas NN – Neural Network ou redes neurais
PF – Power factor ou Fator de potência do motor (%) RGO – Razão gás-óleo (m³/m³)
RGL – Razão gás-líquido (m³/m³) RNN – Recurrent Neural Network RNA – Rede neural artificial
LISTA DE SIMBOLOS
|a| – Módulo do número a
∆𝑃 – Pressão diferencial na bomba (psi) 𝜎 – Função de ativação sigmoide
𝑏𝑓 – Bias de 𝑓
𝐶𝑡 – Estado da célula no instante t 𝑓 – Frequência (Hertz)
𝑓(. ) – Função de ativação
ℎ𝑡−1 a informação recorrente do instante 𝑡 − 1 I – Corrente do motor (Ampère)
𝜂𝑚 – Rendimento do motor (%)
𝜂𝑏 – Rendimento da bomba no ponto de máxima eficiência (%) 𝑄𝑝 – Vazão da bomba (m³/d)
𝑞𝑚𝑎𝑥 – Vazão máxima (m³/d)
r – coeficiente de correlação linear de Pearson (adimensional) 𝑡 – Instante do tempo (minuto)
𝑉𝑚 – Tensão do motor no fundo do poço (volts) 𝑊𝑓 – Matriz de pesos sinápticos de 𝑓
𝑥𝑡 – Entrada da rede neural no instante 𝑡 𝑌𝑡 – Saída da rede neural no instante 𝑡
√3𝑉𝑚𝐼𝑓𝑐𝑜𝑠𝜑 – Potência ativa da bomba em kW
CAPÍTULO I
INTRODUÇÃO
1. INTRODUÇÃO
A operação de um campo de produção de petróleo e gás passa necessariamente pela medição individualizada da produção realizada em cada poço que pertence ao campo. Esta medição, em um primeiro momento, é importante para que a engenharia de reservatórios possa realizar uma boa gestão do campo, com identificação de taxas de declínio, do percentual de volume recuperado e das reservas, realização de ajuste de modelos de simulação e estudos de viabilidade de implantação de métodos de recuperação suplementar, dentre outros aspectos. A correta medição também é necessária para o atendimento aos aspectos de segurança, legais e tributários da legislação vigente. As equipes de operação e os especialistas de elevação também necessitam dos registros de vazão dos poços, pois somente com essas informações é possível verificar se os poços estão produzindo conforme o esperado ou se ocorre algum problema operacional que deva ser corrigido para reestabelecimento da capacidade produtiva do poço.
Do ponto de vista legal, as operadoras de campos de petróleo e gás são obrigadas a aferir as vazões para que os tributos e royalties possam ser alocados corretamente para proprietários de terra, estados e municípios e para o próprio país. Dessa forma, quanto mais precisa e fidedigna for a medição dos fluidos produzidos em cada poço, maior será a capacidade da operadora em extrair o máximo de resultado dos campos de petróleo, de forma que se possa obter maior rentabilidade no negócio e proporcionar maiores receitas aos entes da federação.
Dentro deste universo estão os poços produtores de petróleo que possuem como método de elevação artificial o sistema de bombeio centrífugo submerso (BCS). Os sistemas de elevação artificial são instalados em poços cuja chamada elevação natural não permite mais produzir uma vazão que seja economicamente desejada e viável. Nesses casos, embora o poço tenha potencial para produzir as vazões desejadas, é necessário instalar equipamentos que possam reduzir a pressão requerida, para trazer os fluidos desde o fundo do poço até a superfície (ex: gas lift contínuo) ou equipamentos que possam complementar a pressão disponível no poço, de forma que seja viabilizada a produção na vazão desejável. O bombeio centrífugo está enquadrado nesta classe de sistemas de elevação, pois as bombas de fundo utilizadas no método são capazes de fornecer energia ao fluido, sob a forma de pressão, quando instaladas em um poço de petróleo, de forma a complementar a energia necessária para elevar os fluidos até a superfície na vazão economicamente desejada. Os mais modernos sistemas de produção que operam com BCS como Phoenix CTS (Schlumberger, 2021) ou Welllift (Baker Hughes, 2021) permitem a instalação de sensores na base do motor que podem registrar dados como a pressão
de sucção da bomba, as temperaturas do fluido e do próprio motor, além dados de pressão de descarga e de vibração, a depender da tecnologia embarcada. Esses dados de fundo são transmitidos até a superfície através do próprio cabo elétrico que fornece potência elétrica para acionamento do motor.
Atualmente, a transformação digital é parte de um grande processo tecnológico e tem sido aplicada em diversas áreas, inclusive, na indústria de óleo e gás. Talvez, ainda não se possa imaginar toda a transformação que ocorrerá na operação de um campo de petróleo a partir do emprego conjunto de tecnologias da Indústria 4.0, apoiada firmemente em Big Data, Internet of things (IoT ou Internet das coisas), cloud computing (Computação em nuvem), deep learning (Aprendizagem profunda), entre outras tecnologias.
Deep learning é um dos principais mecanismos de construção de sistemas de inteligência artificial, tem um profícuo campo de pesquisa e aplicações como, por exemplo, a criação de algoritmos de reconhecimento de voz e imagens, processamento de linguagem natural e tecnologias de carros autônomos. Em relação aos modelos estatísticos e às redes neurais tradicionais, os modelos deep learning possuem ganhos em termos de eficiência, velocidade e maior capacidade de lidar com problemas que exigem mais complexidade em sua modelagem.
Especificamente na área de estudo deste trabalho, relacionado à medição de fluidos em sistemas de produção que usam bombas centrífugas submersas (BCS), a aplicação das técnicas computacionais da Indústria 4.0 possibilita o adequado tratamento do grande volume de dados gerados a partir dos sensores de fundo instalados na BCS - algo que era inviável alguns anos atrás - e, como também, viabiliza soluções de modelagem da estimativa de vazão, reproduzindo fenômenos transientes como paradas e partidas de poços, por exemplo.
Este estudo propõe a aplicação de uma abordagem combinada do modelo hidrodinâmico, baseado em conhecimentos físicos dos fluidos, com os modelos de deep learning do tipo Long short-term memory (LSTM) para modelagem e predição da vazão de líquido de dois poços produtores marítimos no Nordeste do Brasil, cuja elevação artificial é realizada por bombeio centrífugo submerso (BCS).
A abordagem usando apenas o modelo hidrodinâmico possui algumas desvantagens como não incorporar a estrutura estocástica dos dados e uma grande dependência da disponibilidade desses mesmos dados. Num cenário hipotético de restrição no envio dos dados dos sensores, o modelo hidrodinâmico poderia indicar uma vazão igual a zero, mesmo que o
poço ainda esteja operando. Desta forma, a abordagem combinada com o modelo LSTM pode fornecer uma modelagem mais robusta, com dados comparáveis ao modelo hidrodinâmico, e suprir suas limitações. Além disso, pode ser incorporado, futuramente, aos sistemas inteligentes de produção petrolífera, possibilitando a análise de dados em tempo real, melhorando a produtividade e o processo de tomada de decisão dos engenheiros do campo. Ademais, espera- se que a realização deste trabalho possa contribuir com o processo de transformação digital na indústria de óleo e gás, em especial, no que se refere às aplicações de ferramentas de medição virtual, fornecendo resultados confiáveis que suportem uma melhor gestão da produção de óleo e gás.
1.1 Objetivo geral
O objetivo principal do trabalho é aplicar uma abordagem combinada dos modelos hidrodinâmico e deep learning para monitoramento da vazão de dois poços marítimos com sistema de elevação por bombeio centrífugo submerso (BCS) na região Nordeste do Brasil.
1.2 Objetivos específicos
São objetivos específicos deste trabalho:
a) Aplicação das redes neurais do tipo Long short-term memory (LSTM) para modelagem dos dados de vazão de alta frequência de dois poços marítimos, operando por BCS, localizados nos Nordeste do Brasil;
b) Utilização de linguagem Python para desenvolvimento do trabalho no ambiente Google Colaboratory;
c) Comparação dos resultados da abordagem combinada com os resultados do modelo hidrodinâmico proposto por Camilleri, Banciu e Ditoiu (2010).
1.3 Organização do trabalho
Esta dissertação está estruturada em seis capítulos. Este primeiro capítulo introduz o tema e as motivações para o trabalho realizado, apresenta seus objetivos e a estrutura do trabalho. No Capítulo 2 – Aspectos Teóricos – é apresentada a fundamentação teórica dos assuntos envolvidos no trabalho, abordando a teoria de elevação artificial de petróleo, em especial, bombeio centrífugo submerso, o estudo da medição da vazão de petróleo, as redes neurais, redes deep learning e, por fim, redes do tipo Long-short term memory (LSTM).
O Capítulo 3 – Estado da Arte – é mostra uma revisão da literatura de aplicações mais recentes de redes neurais em engenharia de petróleo e, especificamente, na medição de fluxo virtual e vazões de fluidos.
O Capítulo 4 – Materiais e métodos – apresenta a estrutura da base de dados utilizada, as características dos poços estudados, a validação e ajuste da modelagem empregada para estimar a vazão de óleo.
O Capítulo 5 – Resultados e discussão – traz a análise exploratória dos dados, a aplicação das redes LSTM aos dois poços de petróleo, os resultados que foram obtidos e uma discussão sobre esses resultados. Por fim, o Capítulo 6 – Conclusão – apresenta as principais conclusões obtidas, os objetivos alcançados, comentários e sugestões para os trabalhos futuros.
CAPÍTULO II
ASPECTOS TEÓRICOS
2. ASPECTOS TEÓRICOS
Neste capítulo são abordados os aspectos teóricos referentes ao funcionamento de sistema de elevação artificial de bomba centrífuga submersa (BCS) e noções de redes neurais, com foco nos modelos deep learning do tipo Long short-term memory (LSTM).
Os aspectos teóricos apresentados a seguir são de grande importância para entendimento da modelagem proposta que é detalhada no Capítulo 4 e os resultados obtidos que estão no Capítulo 5.
2.1 Elevação artificial por sistema de bombeio centrífugo submerso (BCS)
A elevação é uma das principais etapas do processo de produção e escoamento de petróleo e pode ser classificada em elevação natural e artificial. A elevação natural é oriunda da fonte de energia natural proveniente da pressão estática do reservatório. Já a elevação artificial é oriunda de fontes incrementais de energia artificial como a proveniente de uma bomba centrífuga. (Andreolli, 2016).
Os sistemas de elevação artificial podem ser classificados em dois grupos:
pneumáticos e de bombeio. Segundo Takács (2009), os métodos pneumáticos de elevação utilizam gás comprimido injetado a partir da superfície para ajudar a elevação dos fluidos produzidos pelo poço. Já os métodos de elevação por bombeio empregam uma bomba que fornece energia ao fluido de modo a superar as perdas de carga requeridas para o escoamento do fluido produzido até a superfície, dentre os quais, encontra-se o Bombeio centrífugo submerso (BCS) que será abordado no presente trabalho. A Figura 2.1 exemplifica os principais métodos de elevação por bombeio.
Figura 2.1 Tipos de método de elevação de petróleo por bombeio.
Fonte: Andreolli, 2016
A bomba centrífuga submersa que é utilizada na elevação de petróleo foi concebida por Armais Arutunoff. (Takács, 2009). Em 1930, Arutunoff fundou a REDA – Rusian Electrical Dynamo of Arutunoff, companhia pioneira em equipamentos e serviços de BCS. Os equipamentos do sistema BCS podem ser subdivididos em equipamentos de superfície e de subsuperfície. De forma simplificada, os equipamentos de superfície são o quadro de comando, transformador, caixa de junção ou ventilação e uma fonte de energia. Por sua vez, os componentes de subsuperfície são um motor elétrico de indução de dois polos, que opera submerso no fluido, um dispositivo de proteção do motor, que protege o fluido dielétrico do motor contra a contaminação que o fluido do poço pode gerar, um intake (sucção) da bomba, um cabo e uma bomba centrífuga multiestágios. A Figura 2.2 ilustra o esquema de um poço equipado com sistema BCS e seus principais componentes
Figura 2.2 Poço equipado com bomba centrífuga submersa.
Fonte: Costa, 2012.
O número de estágios está relacionado à altura de elevação ou head, bem como à potência requerida do motor. Cada estágio consiste em um impelidor rotativo (rotor) que transmite a energia cinética sob a forma de velocidade ao fluido e um difusor estacionário que converte a energia cinética do líquido coletado do rotor em pressão e encaminha o fluido bombeado para o próximo impelidor, posicionando o fluido imediatamente acima conforme pode ser observado na Figura 2.3.
Figura 2.3 Ilustração de um estágio da bomba.
Fonte: Manual da Centrilift, 2008.
Um cabo elétrico proveniente da superfície alimenta o motor elétrico de fundo, o qual aciona o eixo em alta rotação (normalmente 3500 rpm). Como o eixo se prolonga até a bomba, há o giro dos impelidores em alta rotação. Os fluidos que estão no estágio da bomba são acelerados por uma força centrífuga até se chocarem com as paredes do estator, momento em que há conversão de energia cinética em energia potencial sob forma de pressão.
A presença de gás no fluido reduz a eficiência do processo de elevação por bombeio em função do aumento das frações de gás liberadas. A presença do gás na mistura do fluido também promove uma mudança na massa específica da mistura. Estas perturbações inseridas pela presença do gás se refletem no comportamento da potência ativa consumida efetivamente no processo de bombeio e consequentemente no comportamento da corrente elétrica, de forma que estas variáveis passam a oscilar com uma maior dispersão em relação aos valores médios.
O caso extremo é observado quando as frações de gás são instantaneamente tão elevadas que ocorre o preenchimento praticamente total dos estágios com bolsões de gás, sendo usualmente os primeiros estágios os mais afetados. Neste cenário, pode vir a ocorrer uma perda completa da eficiência de bombeio, de forma que o poço deixa de produzir para a superfície, situação em que se diz que o equipamento está com bloqueio por gás. A potência e as correntes são menores e, embora o poço deixe de produzir para
a superfície, cabe ressaltar que o fluxo do reservatório para dentro do poço permanece, de modo que a pressão de fluxo no fundo do poço apresenta um comportamento ascendente.
Quando a velocidade da bomba centrífuga é modificada, as curvas características da bomba também se modificam. Tais mudanças são previsíveis e as equações que as regem são chamadas de Leis de Afinidade. Pode-se dizer que a nova vazão é proporcional à velocidade, o novo head (altura de elevação) é proporcional ao quadrado da velocidade e a nova potência é proporcional ao cubo da velocidade.
A respeito dos fatores operacionais que afetam o desempenho da bomba pode-se listar: RGO, BSW do fluido produzido, pressão de fluxo do fundo do poço, pressão do separador, pressão do reservatório, abertura das válvulas de superfície, viscosidade e temperatura do fluido. Ou seja, qualquer fator que afete a pressão de descarga, sucção ou peso específico do fluido bombeado afeta a curva de desempenho da bomba (Costa, 2012).
Embora seja de interesse dos operadores maximizar a vida útil dos equipamentos, há fatores que afetam a sua vida útil. Segundo Costa (2012), os fatores críticos que impactam a vida útil do BCS são: o correto dimensionamento, pois os sistemas são dimensionados para funcionar dentro de uma faixa de operação recomendada indicada na curva de performance pelo fabricante; a temperatura de operação do motor, pois os motores elétricos são sensíveis à temperatura de operação; a presença de fluidos corrosivos e materiais estranhos como areia ou incrustantes; a ocorrência de problemas elétricos causados por falhas de componentes, sobrecarga e desequilíbrio de tensões;
práticas operacionais inadequadas; produção de fluidos gaseificados e viscosidade do fluido.
Segundo Andreolli (2016), entre as principais vantagens da BCS, destaca-se a flexibilidade do método, podendo produzir em ampla faixa de vazões (de 50m³/d a 5.000 m³/d) com altos ou baixos valores de BSW, aplicável tanto em terra quanto no mar, e a poços desviados ou horizontais, dependendo do ângulo de desvio. Já em relação as desvantagens, as principais são o alto custo dos equipamentos e da manutenção do sistema (necessidade de operação com sonda), quando comparado a outros métodos, desempenho afetado significativamente pela presença de gás livre e viscosidade do fluido.
O conjunto de bombeio centrífugo submerso também permite a instalação de um sensor na base do motor, que usualmente possui a capacidade de registrar a pressão de sucção da bomba, as temperaturas do fluido e do próprio motor, além de, eventualmente, fornecer dados de pressão de descarga e de vibração em modelos do equipamento com maior tecnologia embarcada. Estes dados de fundo são transmitidos até a superfície através do próprio cabo elétrico e podem ser utilizados em sistemas inteligentes de monitoramento do poço, bem como em modelagens, como a que propõe este trabalho, estimando a vazão de fluido a partir do que sugerido por Camilleri, Banciu e Ditoiu (2010).
2.2 Estudo da vazão
Em função das dificuldades da medição real da vazão de fluidos em poços em tempo real, a medição da vazão dos poços produtores é orientada por critérios técnicos de gestão da produção ou ainda por normas regulatórias que indicam a frequência em que os testes de produção devem acontecer. Em geral, os testes de poços são obrigatórios e sua frequência depende das condições do poço, reservatório e concessão, consoante com o Regulamento Técnico de Medição de Petróleo e Gás Natural (RTM - Resolução Conjunta ANP/INMETRO Nº1).
Devido à limitação de obtenção dos dados de vazão, isto é, a disponibilidade limitada dos dados reais, alguns estudos têm sido direcionados ao desenvolvimento de soluções para medição virtual de fluido, a partir da modelagem hidrodinâmica do sistema de bombeio centrífugo submerso.
Neste trabalho, será considerada a metodologia sugerida por Camilleri, Banciu e Ditoiu (2010) e patenteada por Camilleri (2010), que sugeriram um modelo baseado na equação de equilíbrio de potência, que considera que a potência absorvida pela bomba será equivalente à potência entregue pelo motor no eixo. Segundo os autores, a técnica é válida em ambas as condições transitória e estacionária e, portanto, calcula a vazão instantânea a qualquer momento quando os dados estão disponíveis.
Sendo a relação matemática mostrada na Equação 1 definida por:
∆𝑃 × 𝑄𝑝
58847 × 𝜂𝑝 =𝑉𝑚× 𝐼 × 𝑃𝐹 × 𝜂𝑚× √3
746 (1)
onde ∆𝑃 é a pressão diferencial na bomba em psi; 𝑄𝑝 é a vazão da bomba em m³/d; 𝜂𝑝 é o rendimento da bomba; 𝑉𝑚 é a tensão do motor no fundo do poço em volts; I é a corrente do motor em ampères; 𝜂𝑚 é o rendimento do motor e PF é o fator de potência do motor.
As grandezas elétricas tensão, corrente e fator de potência do motor são disponibilizadas pelo VSD, e admite-se conhecidos os valores de eficiência da bomba e do motor. A eficiência da bomba será zero se a vazão ou head for igual a zero, e será máxima no ponto de melhor eficiência (BEP). A dificuldade na aplicação da Equação (1) está na ampla variação do rendimento da bomba, entre os extemos zero e eficiência máxima.
A potência requerida é obtida a partir do quociente entre a potência hidráulica necessária ao bombeio e a eficiência da bomba. Partindo do princípio de que a potência requerida no eixo do conjunto deve ser igual à potência entregue pelo motor no mesmo ponto, é válida a Equação 2:
𝑞𝑏∆𝑝
𝜂𝑏 = [√3𝑉𝑚𝐼𝑓𝑐𝑜𝑠𝜑𝜂𝑚] (2)
onde 𝑞𝑏 é a vazão da bomba em m³/d; ∆𝑝 é a pressão diferencial na bomba (pressão de descarga - pressão de sucção) em psi; 𝜂𝑏 é o rendimento da bomba no best efficiency point (BEP) ou ponto de máxima eficiência; √3𝑉𝑚𝐼𝑓𝑐𝑜𝑠𝜑 é a potência ativa da bomba em kW; 𝑉𝑚 é a tensão do motor no fundo do poço em volts; e 𝜂𝑚 é o rendimento do motor.
Em seguida, aproximando a curva de eficiência por uma parábola (equação de segundo grau), pode-se chegar numa equação de cálculo da vazão a partir deste conceito.
Desta forma, define-se a vazão, através da Equação 3, como:
𝑞 = 𝑞𝑚𝑎𝑥 𝑓
60[1 − 𝑞𝑚𝑎𝑥∆𝑝
√3𝑉𝑚𝐼𝑓𝑐𝑜𝑠𝜑𝜂𝑚4(𝜂𝑏)𝐵𝐸𝑃(𝑓
60)] (3)
onde 𝑞𝑚𝑎𝑥 é a vazão máxima em m³/d; 𝑓 é a frequência em Hz; ∆𝑝 é a pressão diferencial na bomba (pressão de descarga - pressão de sucção) em psi; √3𝑉𝑚𝐼𝑓𝑐𝑜𝑠𝜑 é a potência ativa da bomba em kW; 𝑉𝑚 é a tensão do motor no fundo do poço em volts; 𝜂𝑚 é o
rendimento do motor e 𝜂𝑏 é o rendimento da bomba no best efficiency point (BEP) ou ponto de máxima eficiência.
Dessa forma, na Equação 3 leva-se em consideração o modelo de bomba instalado, a eficiência esperada desta bomba e do motor. Logo, a partir da Equação 1, da modelagem de aproximação da curva de eficiência da bomba por uma parábola e do uso das leis de afinidade de bombas centrífugas é possível chegar na expressão exposta pela Equação 3, onde é estimada a vazão de líquido da bomba.
Neste modelo matemático, admite-se que a bomba possui rendimento (𝜂𝑏) similar ao apresentado na condição de bomba nova, o que implica em um possível erro na determinação do cálculo da vazão à medida que o equipamento sofre desgaste ou ocorrem depósitos e resíduos nas partes internas das bombas. Entretanto, Camilleri, Banciu e Ditoiu (2010) sugerem que é possível realizar a calibração dos parâmetros através dos resultados de testes realizados em poços reais. Outro ponto positivo desta abordagem é o fato de que, mesmo sem algumas vezes obter o valor real de vazão pelo uso de parâmetros incorretos de rendimento, a tendência de comportamento da variável é válida, o que pode auxiliar aos técnicos na análise de problemas e tomada de decisão.
O valor da pressão diferencial na bomba (P) pode ser obtido diretamente das medições de pressão de sucção e descarga da bomba, que são dados fornecidos pelo sensor de fundo instalado. Nos casos em que o sensor não faz a medição da pressão de descarga, existe a possibilidade de tentar estimar esta pressão através do uso de correlações de fluxo multifásico. O fator de potência e o rendimento do motor podem ser obtidos de curvas de desempenho dele, sendo aproximadamente constantes ao longo de uma larga faixa de trabalho do equipamento.
As demais variáveis são obtidas a partir das medições disponíveis no painel de acionamento e comando na superfície. Duas limitações importantes nesta modelagem são: não considera a estrutura estocástica dos dados de forma que não pode ser usada para previsões ao longo do tempo; a dependência da disponibilidade de dados provenientes do sensor de fundo, já que o diferencial de pressão na bomba é essencial para os cálculos de vazão. Uma vez que ocorra uma falha no sensor ou a impossibilidade de transmissão de dados, situação que pode ocorrer quando o poço opera com falha em uma das fases elétricas, se torna inviável realizar a estimativa contínua e em tempo real da produção do poço.
2.3 Redes neurais artificiais
As redes neurais estão inseridas dentro da área conhecida como sistemas inteligentes ou inteligência computacional que inclui também os sistemas fuzzy computação evolutiva, agentes inteligentes, entre outros (Silva, Spatti e Flauzino, 2010).
As características mais atrativas das redes neurais que as tornam ferramentas poderosas consistem em suas elevadas habilidades em mapear sistemas não-lineares, aprendendo os comportamentos envolvidos a partir de informações obtidas.
Uma RNA é um processador paralelamente distribuído e constituído de unidades de processamentos simples que têm a propensão natural para armazenar conhecimento experimental e torná-lo disponível para uso.
Ela é inspirada no cérebro humano em dois aspectos: o conhecimento é adquirido pela rede a partir de seu ambiente através de um processo de aprendizagem; e as forças de conexão entre os neurônios, conhecidos como pesos sinápticos, são utilizadas para armazenar o conhecimento adquirido. (Haykin, 2001, p. 28)
No ano de 1943, McCulloch e Pitts propuseram um modelo artificial de neurônio e apresentaram suas capacidades computacionais (Haykin, 2001). De uma forma geral, os neurônios artificiais envolvem os seguintes elementos: pesos sinápticos que representam a ligação entre os neurônios; combinador linear, função de ativação, valor de entrada ou dos estímulos, bias e a saída. A Figura 2.4, a seguir, ilustra o modelo não linear de um neurônio artificial:
Figura 2.4 Modelo não-linear de um neurônio artificial.
Fonte: Haykin (2001)
A partir do modelo de neurônio artificial proposto por McCulloch e Pitts (1943), surgiu o modelo de perceptron de Rosenblatt (1958). O perceptron é a forma mais simples de uma rede neural, de camada única, sem camadas ocultas e usada para a classificação de padrões ditos linearmente separáveis. Basicamente, ele consiste em um único neurônio com pesos sinápticos ajustáveis e bias, construído em torno de um único neurônio e limitado a realizar classificação de padrões em apenas duas classes (Haykin, 2001).
Entretanto, padrões não linearmente separáveis ocorrem frequentemente e surgem, por exemplo, dos problemas do tipo XOR (Exclusive OR). Desta forma, um perceptron elementar não pode resolver problemas desse tipo; contudo, podemos resolver tais problemas utilizando uma única camada oculta com dois neurônios. Em outras palavras, acrescentando novas camadas ocultas, abre-se um leque de possibilidades de problemas que podem ser resolvidos e uma nova classe de modelos de redes neurais, mais poderosa, a Multilayer Perceptron (MLP).
As redes Multilayer Perceptron (MLP) ou Perceptron Multicamadas são caracterizadas pela presença de pelo menos uma camada intermediária, oculta, de neurônios situada entre as camadas de entrada e saída. As redes MLP foram concebidas para resolver problemas mais complexos, os quais não poderiam ser resolvidos pelo modelo de perceptron básico. As MLP são os modelos mais tradicionais de redes neurais, possuem a propriedade de aproximador universal com aplicações nas mais diversas áreas, e é a base para os modelos deep learning que serão usados neste trabalho.
A arquitetura de uma rede MLP é formada pela combinação de neurônios artificiais e são definidas pelo tipo de conexão entre as redes. Usualmente, os neurônios são organizados em camadas da rede, que podem estar conectadas à camada posterior, sendo as camadas classificadas em três tipos: entrada, que é onde o padrão é apresentado à rede; intermediária ou oculta, que é onde ocorre a maior parte do processamento por meio dos pesos sinápticos e de saída, que é onde o resultado é concluído e apresentado.
A Figura 2.5 ilustra uma rede neural MLP com camada de entrada, duas camadas escondidas ou ocultas com n1 e n2 neurônios e uma camada de saída com m neurônios.
Figura 2.5 Ilustração de uma rede neural MLP com duas camadas ocultas.
Fonte: Adaptado de Vasilev et al (2019).
Os ajustes dos pesos e do limiar de cada um dos neurônios da rede MLP é efetuado utilizando-se uma regra de treinamento bem definida, onde os pesos são ajustados de acordo com os padrões apresentados. Em outras palavras, elas aprendem por meio de exemplos. De acordo com Haykin (2001), “aprendizagem é um processo pelo qual os parâmetros livres de uma rede neural são adaptados através de um processo de estimulação pelo ambiente no qual a rede está inserida.”
A adaptabilidade das redes neurais, ou seja, sua capacidade de serem treinadas e retreinadas é uma das qualidades das redes neurais e vantagem em relação aos modelos tradicionais. Sobre isto comenta Haykin (2001), “É desejável que uma rede neural possa adaptar continuamente seus parâmetros às livres variações em tempo real. Assim, o sistema responde a toda entrada distinta como uma nova entrada”. E complementa: “o processo de aprendizagem encontrado num sistema adaptativo nunca para, com a aprendizagem sendo realizada enquanto o processamento de sinal está sendo executado pelo sistema.”
O tipo de aprendizagem é determinado pela maneira pela qual a modificação dos parâmetros ocorre e o principal algoritmo de aprendizagem utilizado nas redes MLP é o backpropagation ou retropropagação dos erros, e é bastante atraente pela baixa complexidade computacional e fácil ajuste dos ganhos.
Essencialmente, a aprendizagem pelo backpropagation (retropropagação) consiste em dois passos através das diferentes camadas da rede: um passo para frente, a propagação, e um passo para trás, a retropropagação. A Figura 2.6 ilustra o referido processo de aprendizagem.
Figura 2.6 Ilustração do algoritmo backpropagation.
Fonte: o autor, adaptado de https://slideteam.net
No passo para frente um padrão de atividade (vetor de entrada) é aplicado aos nós sensoriais da rede e seu efeito se propaga pela rede, camada por camada. Durante este passo os pesos sinápticos são fixos. Finalmente, um conjunto de respostas é produzido como a resposta real da rede. Durante o passo para trás, por outro lado, os pesos sinápticos são todos ajustados de acordo com uma regra de correção de erro. Especificamente, a resposta real da rede é subtraída de uma resposta desejada (alvo) para produzir um sinal de erro. O gradiente da função custo ou função perda, então, é propagado contra a direção das conexões sinápticas, para trás através da rede (daí o nome retropopagação ou backpropagation). Os pesos são ajustados para fazer com que a resposta real da rede se mova para mais perto da resposta desejada, em um sentido estatístico. (Haykin, 2001).
Os resultados da modelagem podem ser quantificados por meio de métricas como mean squared error (MSE) ou erro quadrático médio para as variáveis quantitativas como a vazão de líquido ou matriz de classificação, para o caso de variáveis qualitativas como equipamento com defeito ou operacional. O processo de aprendizado da rede, a métrica
de avaliação e demais parâmetros dependem do problema a ser resolvido e da modelagem considerada.
2.4 Redes neurais deep learning
Os modelos de redes neurais profundas ou deep learning fazem parte de uma abordagem de aprendizado de máquina (machine learning) que se baseia fortemente em nosso conhecimento do cérebro humano, estatística e matemática aplicada. Nos últimos anos teve um crescimento vertiginoso em sua popularidade e utilidade, com aplicações em áreas como reconhecimento de voz, visão computacional, processamento de imagens, entre outras. Grandes companhias de tecnologia como Google, Facebook, IBM, Baidu, Apple, Netflix, NVIDIA têm usado os modelos deep learning (Goodfellow, Bengio e Courville, 2016).
Uma das principais fontes de dificuldade em muitas aplicações de inteligência artificial do mundo real é que muitos dos fatores de variação influenciam todos os dados que podemos observar. Os pixels individuais em uma imagem de um carro vermelho podem ser muito próximos do preto à noite. A forma da silhueta do carro depende do ângulo de visão. A maioria das aplicações exige que separemos os fatores de variação e descartemos aqueles com os quais não nos importamos.
Obviamente, pode ser muito difícil extrair dos dados brutos as medidas exatas dos fatores de variação. Muitos destes fatores, como o sotaque de um falante, podem ser identificados apenas usando uma modelagem sofisticada dos dados, quase de nível humano. Os modelos deep learning resolvem esse problema central no aprendizado de representação introduzindo representações que são expressas em termos de outras representações mais simples. Eles permitem que o computador construa conceitos complexos a partir de conceitos mais simples. (Goodfellow, Bengio e Courville, 2016).
A Figura 2.7 mostra como um modelo deep learning convolucional pode representar o conceito de uma imagem de uma pessoa combinando conceitos mais simples, como cantos e contornos, que por sua vez são definidos em termos de arestas ou bordas.
Figura 2.7 Ilustração de representação de imagem por modelo deep learning convolucional.
Fonte: Goodfellow, Bengio e Courville (2016)
O exemplo quintessencial de um modelo deep learning é a rede deep feedforward ou rede MLP (perceptron multicamadas). Conforme visto na seção anterior, uma rede MLP com uma única camada é capaz de aproximar qualquer função. Todavia, a camada pode ser inviavelmente grande e falhar em aprender e generalizar corretamente. As redes MLP funcionam bem em uma variedade de problemas importantes.
Segundo Goodfellow, Bengio e Courville (2016), “em muitas situações o uso de modelos deeper (ou mais profundos) podem reduzir o erro de generalização e aproximar de maneiras mais eficientes diversas famílias de funções”. Em relação às arquiteturas das redes, a Figura 2.8 ilustra o comparativo entre uma rede neural simples MLP e uma rede neural deep learning.
Figura 2.8 Rede neural MLP simples e rede neural profunda (deep learning).
Fonte: o autor, adaptado de Alzubaidi et al (2019).
Como pode ser observado na Figura 2.8, uma rede neural com maior profundidade tem um maior número de camadas intermediárias ou ocultas (Alzubaidi et al, 2019).
Pode-se dizer que a profundidade possibilita a implementação de modelos neurais mais complexos. Redes com maior profundidade podem executar mais instruções em sequência. As instruções sequenciais oferecem grande poder porque as instruções posteriores podem referir-se aos resultados das instruções anteriores. (Goodfellow, Bengio e Courville, 2016).
Decorrente do maior número de camadas, as redes deep learning têm um aumento exponencial no número de parâmetros que podem chegar a milhões ou bilhões em casos como o BERT (Bidirectional Encoder Representations from Transformers) do Google ou o GPT-3 da OpenAI (Data Science Academy, 2021). Ou seja, o aumento do tamanho dos modelos ao longo do tempo é um dos fatores pelos quais as redes neurais deep learning têm alcançado tanto sucesso atualmente. Todavia, merece atenção o fato de o grande número de parâmetros dos modelos poder causar problemas de sobre ajuste ou overfitting.
Para evitar isto, é necessário um conjunto de ajustes no modelo neural com base na teoria da regularização.
Um segundo ponto importante que tem contribuído com o sucesso é que atualmente tem-se os recursos computacionais para executar modelos com milhões de parâmetros. Tanto a disponibilidade de CPUs (unidades centrais de processamento) mais
rápidas, o advento de GPUs (unidades de processamento de gráfico) de uso geral, conectividade de rede mais rápida e melhor infraestrutura de software para computação distribuída, são algumas das tendências mais importantes da história dos modelos deep learning.
Uma terceira tendência e não menos importante é a disponibilidade de conjuntos de dados maiores. Segundo Goodfellow, Bengio e Courville (2016), “esta tendência tem sido dirigida pelo aumento da digitalização da sociedade”. E acrescentam: “Cada vez mais as nossas atividades são realizadas em computadores. E como nossos computadores são conectados, se tona mais fácil centralizar os dados e fazer a curadoria de grandes bancos de dados”.
Uma regra geral é que um algoritmo de deep learning supervisionado geralmente alcançará um desempenho aceitável com cerca de 5.000 exemplos rotulados por categoria e irá corresponder ou exceder o desempenho humano quando treinado com um conjunto de dados contendo pelo menos 10 milhões de exemplos rotulados. (Goodfellow, Bengio e Courville, 2016, p. 20)
Ainda em relação ao processo de aprendizado ou para analisar o modelo aprendido, o algoritmo backpropagation não é o único modo de calcular o gradiente da função de custo em relação aos parâmetros, mas é um método prático que continua a servir bem. Yann LeCun forneceu a primeira demonstração prática de backpropagation com os modelos deep learning quando desenvolveu um sistema usado para ler dígitos manuscritos em cheques (LeCun et al, 1989).
Muitas vezes, as funções custo são estocásticas. Por exemplo, muitas funções são compostas por uma soma de subfunções avaliadas em diferentes subamostras de dados;
neste caso, a otimização pode ser mais eficiente tomando passos de subfunções gradiente individuais, no método conhecido como stochastic gradient descent (SGD) ou gradiente descendente estocástico. O SGD, que é uma extensão do algoritmo do gradiente descendente, provou-se um método de otimização eficiente e eficaz com muito sucesso em problemas de machine learning, e mais recente com avanços em deep learning (Graves, Mohamed e Hinton, 2013)
Kingma e Ba (2015) propuseram o Adam, um algoritmo para otimização baseada em gradiente de primeira ordem de funções custo estocásticas, baseadas em estimativas adaptativas de momentos de ordem inferior. O método é simples de implementar, computacionalmente eficiente, tem poucos requisitos de memória, e é adequado para problemas que são grandes em termos de dados e parâmetros. O método também é apropriado para objetivos não estacionários e problemas com gradientes muito ruidosos ou esparsos. Resultados empíricos demonstram que Adam trabalha bem em prática e compara favoravelmente com outros métodos de otimização estocástica (Kingma e Ba, 2015).
Um problema central da modelagem é a capacidade de fazer um algoritmo funcionar bem não apenas para o conjunto de treinamento, mas também com novos dados.
Muitas estratégias usadas em machine learning são planejadas para reduzir o erro de teste, possivelmente ao custo do aumento do erro de treinamento. Estas estratégias são conhecidas como regularization ou regularização. (Goodfellow, Bengio e Courville, 2016). Iremos detalhar um pouco mais as duas técnicas de regularização que serão usadas neste trabalho: dropout e early stopping (“parada antecipada”).
Dropout é uma estratégia barata em termos computacionais, poderosa, para regularizar uma ampla família de modelos. Basicamente, consiste em treinar sub-redes que podem ser construídas removendo unidades da rede mais básica e que avalia todos os subconjuntos em cada exemplo de teste. Srivastava, N., et al (2014) mostraram que o dropout é mais eficaz do que outros regularizadores padrão como weight decay (decaimento ponderado), filter norm constraints (restrições de filtro normal) e sparse activity regularization (regularização de atividades esparsas). Além disso, também pode ser combinada com outras formas de regularização para produzir uma melhoria adicional.
Early stopping ou “parada antecipada” é uma forma discreta de regularização, pois não requer quase nenhuma mudança no procedimento de treinamento subjacente, na função objetivo ou no conjunto de valores de parâmetros permitidos. Isso significa que é fácil de usar, não prejudica a dinâmica de aprendizagem e pode ser usada sozinha ou em conjunto com outra estratégia de regularização (Goodfellow, Bengio e Courville, 2016).
Ao treinar modelos com grande complexidade é frequente observarmos que o erro do conjunto de treinamento diminui continuamente com o tempo, mas o erro do conjunto de validação começa a aumentar a partir de certo ponto. Isso significa que podemos obter
um modelo configurado no ponto com o menor erro do conjunto de validação. O algoritmo com o early stopping termina quando não há melhoria significativa no erro de validação após algum número pré-especificado de iterações (Goodfellow, Bengio e Courville, 2016).
Por fim, muitas arquiteturas de redes neurais deep learning foram desenvolvidas para tarefas específicas. Arquiteturas especializadas para visão computacional são conhecidas como redes convolucionais. Já as redes neurais recorrentes foram desenvolvidas para processamento de dados em sequência, com estrutura temporal e as estudaremos as características do tipo LSTM na seção 3.5.
2.5 Redes neurais LSTM (Long-short term memory)
As redes neurais tradicionais têm limitações no tratamento de dados com estruturas temporais que usam o aprendizado de eventos anteriores para prever eventos futuros. Daí a necessidade de se considerar outros tipos de redes neurais como as Redes Neurais Recorrentes ou RNNs (Rumelhart et al., 1986a).
As RNNs são uma família de redes neurais para processamento de dados sequenciais. (Goodfellow, Bengio e Courville, 2016). Uma Rede Neural Recorrente (RNN) é uma rede neural especializada para processar uma sequência de valores X1, X2..., Xn. As RNNs podem escalar para sequências muito mais longas do que seria prático para redes neurais tradicionais, que não são baseadas em dados sequenciais. A Figura 2.9 ilustra o processo denominado desdobramento, que consiste em representar a rede recorrente por uma rede feedforward equivalente.
Figura 2.9 Representação de desdobramento de Rede neural recorrente (RNN).
Fonte: http://colah.github.io/posts/2015-08-Understanding-LSTMs/
No diagrama acima, parte da RNN A tem a entrada Xt e produz um valor ht. Um loop de realimentação permite que as informações sejam passadas de uma etapa da rede para a próxima. Isso mostra que este tipo de rede está relacionado às sequências e listas.
Ou seja, como pode ser observado, as RNN são redes com loops de realimentação, permitindo que as informações persistam.
Em relação ao processo de aprendizado, as RNN usam o Back Propagation Through Time (BPTT), que é uma extensão do algoritmo backpropagation usado nas MLP. Entretanto, dependendo da estrutura dos dados, seus resultados ainda podem parecer bastante limitados, pois o problema do vanish gradient – perda da informação do gradiente - se torna bastante comum em dados temporais com dependências de longo prazo, tornando assim necessário usar uma variação das RNN que contemple a estrutura de longo prazo dos dados e solucione este problema.
As redes Long short-term memory (LSTM) são um tipo especial de RNN capaz de aprender dependências de longo prazo. Elas foram introduzidas por Sepp Hochreiter e Juergen Schmidhuber (1997) e aperfeiçoadas em trabalhos posteriores. A ideia inteligente de introduzir autoloops para produzir caminhos onde o gradiente pode fluir por longos períodos é uma contribuição central dos modelos LSTM. Eles são extremamente bem-sucedidos em muitas aplicações como reconhecimento de fala, tradução automática de idiomas, legendas em imagens e geração de texto. (Goodfellow, Bengio e Courville, 2016).
Como visto anteriormente na Figura 2.9, as RNN têm a forma de uma cadeia de módulos repetidos de rede neural. Em RNNs padrão, este módulo de repetição terá uma estrutura muito simples, como uma única camada de tanh (função tangente hiperbólica).
As LSTMs também têm essa estrutura em cadeia, mas o módulo de repetição tem uma estrutura diferente. Em vez de ter uma única camada de rede neural, existem quatro, interagindo de uma maneira muito especial. Na Figura 2.10 pode ser observada a estrutura de uma LSTM e as quatro camadas de interação dentro do módulo de repetição.
Figura 2.10 Ilustração de uma rede LSTM e as quatro camadas de interação.
Fonte: http://colah.github.io/posts/2015-08-Understanding-LSTMs/
A chave para os LSTMs é o estado da célula, a linha horizontal que atravessa a parte superior do diagrama. O estado da célula é como uma correia transportadora. Ele percorre toda a cadeia, com apenas algumas. interações lineares menores. É muito fácil para as informações fluírem inalteradas. A Figura 2.11 ilustra o estado da célula.
Figura 2.11 Ilustração do estado da célula de uma rede LSTM.
Fonte: http://colah.github.io/posts/2015-08-Understanding-LSTMs/
A rede LSTM tem a capacidade de remover ou adicionar informações ao estado da célula, cuidadosamente regulado por estruturas chamadas de gates ou portões. Um LSTM tem três dessas portas, para proteger e controlar o estado da célula. Os portões são uma forma opcional de permitir a passagem de informações. Será comentado de forma breve o funcionamento de cada um dos gates do modelo LSTM com o intuito de permitir uma boa compreensão da modelagem.
A primeira etapa em nosso LSTM é decidir quais informações serão descartadas do estado da célula. Essa decisão é feita por uma camada sigmoide chamada “forget gate layer” ou "camada de portão para esquecer" que é ilustrada na Figura 2.12 e definida na Equação 4.
Figura 2.12 Ilustração do primeiro gate da rede LSTM.
Fonte: http://colah.github.io/posts/2015-08-Understanding-LSTMs/
As entradas são ℎ𝑡−1 e𝑥𝑡 e produzem uma saída entre 0 e 1 para cada número no estado de célula Ct−1. A saída igual a 1 representa "manter toda a informação", enquanto uma saída igual a 0 representa "não manter qualquer informação".
𝑓𝑡 = 𝜎(𝑊𝑓∙ [ℎ𝑡−1, 𝑥𝑡] + 𝑏𝑓) (4) onde 𝜎 é a função de ativação, 𝑊𝑓 é a matriz de pesos do gate 𝑓, 𝑏𝑓 a bias do gate 𝑓, ℎ𝑡−1 a informação recorrente do instante 𝑡 − 1 e 𝑥𝑡 a entrada no instante 𝑡.
A próxima etapa é decidir quais novas informações serão armazenadas no estado da célula. O segundo gate tem duas partes: primeiro, uma camada sigmóide chamada
“input gate layer” ou “camada de porta de entrada” decide quais valores atualizaremos. Em seguida, uma camada tanh cria um vetor de novos valores candidatos, 𝐶̃t, que poderia ser adicionado ao estado. O funcionamento do segundo gate é ilustrado na Figura 2.13 e definido nas Equações 5 e 6.
Figura 2.13 Ilustração do segundo gate da rede LSTM.
Fonte: http://colah.github.io/posts/2015-08-Understanding-LSTMs/
𝑖𝑡 = 𝜎(𝑊𝑖∙ [ℎ𝑡−1, 𝑥𝑡] + 𝑏𝑖) (5)
onde 𝜎 é a função de ativação sigmoide, 𝑊𝑖 é a matriz de pesos do gate 𝑖, 𝑏𝑖 a bias do gate 𝑖, ℎ𝑡−1 a informação recorrente do instante 𝑡 − 1 e 𝑥𝑡 a entrada no instante 𝑡.
𝐶̃ = 𝑡𝑎𝑛ℎ(𝑊𝑡 𝐶∙ [ℎ𝑡−1, 𝑥𝑡] + 𝑏𝐶) (6)
onde 𝑡𝑎𝑛ℎ é a função tangente hiperbólica, 𝑊𝐶 é a matriz de pesos do gate 𝐶, 𝑏𝐶 a bias do gate 𝐶, ℎ𝑡−1 a informação recorrente do instante 𝑡 − 1 e 𝑥𝑡 a entrada no instante 𝑡.
Em seguida é atualizado o antigo estado da célula Ct-1, para o novo estado de célula Ct. As etapas anteriores já decidiram quais partes da informação devem ser ou não consideradas. Conforme pode ser observado na Equação 7, é multiplicado o antigo estado por 𝑓𝑡, então é adicionado 𝑖𝑡∗ 𝐶̃t. Os valores de 𝑓𝑡, 𝑖𝑡 e 𝐶̃t são os mesmos das Equações (4), (5) e (6), respectivamente.
𝐶𝑡 = (𝑓𝑡∙ 𝐶𝑡−1+ 𝑖𝑡∙ 𝐶̃ ) (7) 𝑡
Então, os novos valores de Ct são os valores candidatos, dimensionados de acordo com o quanto de informações foi decidido atualizar cada valor de estado. A Figura 2.14 ilustra a operação descrita.
Figura 2.14 Ilustração da atualização de estado da Ct da rede LSTM.
Fonte: http://colah.github.io/posts/2015-08-Understanding-LSTMs/
Finalmente, é necessário decidir qual será a saída da rede. Essa saída será baseada no estado de célula, mas será uma versão filtrada. Primeiro, é executada uma camada sigmoide que decide quais partes do estado da célula serão consideradas, e é definida na Equação (8).
𝑜𝑡 = 𝜎(𝑊𝑜∙ [ℎ𝑡−1, 𝑥𝑡] + 𝑏𝑜) (8)
onde 𝜎 é a função de ativação, 𝑊𝑜 é a matriz de pesos do gate 𝑜, 𝑏𝑜 a bias do gate 𝑜, ℎ𝑡−1 a informação recorrente do instante 𝑡 − 1 e 𝑥𝑡 a entrada no instante 𝑡.
Então, conforme descrito na Equação (9), coloca-se o estado da célula em tanh (para “empurrar” os valores para estar entre −1 e 1) e multiplica-se pela saída da porta sigmoide, de modo que apenas sejam produzidas as partes escolhidas.
ℎ𝑡= 𝑜𝑡∙ 𝑡𝑎𝑛ℎ(𝐶𝑡) (9)
onde 𝐶𝑡 e 𝑜𝑡 são os resultados das Equações (7) e (8), respectivamente. A Figura 2.15 ilustra a atualização da saída da rede.
Figura 2.15 Ilustração da saída gerada pela rede LSTM.
Fonte: http://colah.github.io/posts/2015-08-Understanding-LSTMs/
No presente trabalho, foi usado o modelo LSTM clássico; as escolhas dos hiperparâmetros, número de camadas ocultas e os respectivos números de neurônios são encontrados empiricamente realizando-se testes com várias configurações da rede e escolhendo-se aquela que apresentou menor erro para o conjunto de dados. Além disso, foram usadas técnicas de dropout e early stopping com objetivo de minimizar problemas de overfitting. O modelo LSTM suas variações como o GRU (gated recurrent unit) e os desenvolvimentos matemáticos envolvidos podem ser obtidos em Graves (2012).
CAPÍTULO III
ESTADO DA ARTE
