Sistema de apoio à decisão no desenvolvimento de um campo de petróleo com injeção de água usando aprendizagem por reforço

(1)

Natal/RN, junho de 2019 CENTRO DE TECNOLOGIA – CT

CENTRO DE CIÊNCIAS EXATAS E DA TERRA – CCET

PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA E ENGENHARIA DE PETRÓLEO - PPGCEP

DISSERTAÇÃO DE MESTRADO

SISTEMA DE APOIO À DECISÃO NO DESENVOLVIMENTO DE UM

CAMPO DE PETRÓLEO COM INJEÇÃO DE ÁGUA USANDO

APRENDIZAGEM POR REFORÇO

Kaline Souza dos Santos

Orientador: Prof. Dr. Adrião Duarte Dória Neto Co-orientador: Prof. Dr. Wilson da Mata

(2)

Natal/RN, junho de 2019

SISTEMA DE APOIO À DECISÃO NO DESENVOLVIMENTO DE UM

CAMPO DE PETRÓLEO COM INJEÇÃO DE ÁGUA USANDO

APRENDIZAGEM POR REFORÇO

(3)

CDU 622.257.1 RN/UF/BCZM

1. Sistema inteligente - Dissertação. 2. Aprendizagem por reforço - Dissertação. 3. Algoritmo Q-Learning - Dissertação. 4. Campo de petróleo - Dissertação. I. Dória Neto, Adrião Duarte. II. Mata, Wilson da. III. Título.

Santos, Kaline Souza dos.

Sistema de apoio à decisão no desenvolvimento de um campo de petróleo com injeção de água usando aprendizagem por reforço / Kaline Souza Dos Santos. - 2019.

96 f.: il.

Dissertação (Mestrado) - Universidade Federal do Rio Grande do Norte, Centro de Ciências Exatas e da Terra, Programa de Pós- Graduação em Ciência e Engenharia de Petróleo, Natal, RN, 2019.

Orientador: Prof. Dr. Adrião Duarte Dória Neto. Coorientador: Prof. Dr. Wilson da Mata.

Universidade Federal do Rio Grande do Norte - UFRN Sistema de Bibliotecas - SISBI

(4)

K

aline Souza dos Santos

SISTEMA DE APOIO À DECISÃO NO DESENVOLVIMENTO DE UM CAMPO DE

PETRÓLEO COM INJEÇÃO DE ÁGUA USANDO APRENDIZAGEM POR

REFORÇO

Dissertação de Mestrado apresentada ao Programa de Pós-Graduação em Ciência e Engenharia de Petróleo PPGCEP, da Universidade Federal do Rio Grande do Norte, como parte dos requisitos para obtenção do título de Mestre em Ciência e Engenharia de Petróleo.

(5)

Kaline Souza dos Santos v

SANTOS, Kaline Souza dos – Sistema de Apoio à Decisão no Desenvolvimento de um Campo de Petróleo com Injeção de Água Usando Aprendizagem por Reforço. Dissertação de Mestrado, UFRN, Programa de Pós-Graduação em Ciência e Engenharia de Petróleo. Área de Concentração: Pesquisa e Desenvolvimento em Ciência e Engenharia de Petróleo. Linha de Pesquisa: Automação na Indústria de Petróleo e Gás Natural, Natal – RN, Brasil.

Orientador: Prof. Dr. Adrião Duarte Dória Neto Co-orientador: Prof. Dr. Wilson da Mata

RESUMO

Para o desenvolvimento de um campo de petróleo a solução operacional é bastante complexa, devido às grandes quantidades de variáveis envolvidas no processo, tais como: espaçamento entre poços, números de poços, sistema de injeção de fluidos para a recuperação suplementar, entre outros. Nesse contexto, esta pesquisa apresenta a implementação e a aplicação de um sistema inteligente de apoio à decisão buscando alternativas para o desenvolvimento de um campo de petróleo, submetido ao processo de injeção de água, utilizando Aprendizagem por Reforço (AR) com base no algoritmo Q-Learning. O ambiente considerado foi um modelo de simulação de reservatório homogêneo, semissintético, com alguns dados semelhantes de um reservatório localizado no Nordeste Brasileiro. O modelo analisado corresponde ao um reservatório de dimensões 400 m x 400 m x 26 m, permeabilidades entre 40 mD e 400 mD, porosidade de 23%. O algoritmo de aprendizado consiste encontrar, em conjunto com o simulador matemático STARS (Steam Thermal and Advanced Processes Reservoir Simulator) da CMG (Computer Modelling Group), a política ótima (diminuir ou não alterar a vazão de injeção de água inicial), em tempo hábil, que forneça como recompensa o maior Valor Presente Líquido (VPL) em um horizonte de produção de 240 meses. Os resultados mostram que a política ótima de injeção de água obtida usando a implementação de AR possibilitou aumentos significativos no VPL e no Fator de Recuperação de Óleo no fim do projeto, além de melhorar a rentabilidade, reduzindo os custos com a injeção de água, tratamento e descarte da água produzida e aumentando o tempo de viabilidade do projeto.

Palavras-Chaves: Sistema Inteligente. Aprendizagem Por Reforço. Algoritmo Q-Learning. Análise Econômica.

(6)

Dissertação de Mestrado PPGCEP / UFRN

ABSTRACT

For the development of an oil field the operational solution is quite complex, due to the high amounts of variables involved in the process, such as: well spacing, well numbers, fluid injection system for supplementary recovery, among others. In this context, this research presents the implementation and the application of an intelligent decision support system searching for alternatives for the development of an oil field, submitted to the water injection, using Reinforcement Learning (RL) based on Q-Learning algorithm. The environment considered was a homogeneous, semi synthetic reservoir simulation model, with some similar data from a reservoir located in the Brazilian Northeast. The analyzed model corresponds to a reservoir of dimensions 400m x 400m x 26m size, permeabilities between 40mD and 400mD, porosity of 23%. The learning algorithm was applied, along with the mathematical simulator STARS (Steam Thermal and Advanced Processes Reservoir Simulator) from CMG (Computer Modeling Group), the optimal policy (decrease or not change the initial water injection rate), in a timely manner, to provide as reward the highest Net Present Value (NPV) in a production horizon of 240 months. The results show that the optimum water injection approach was obtained using the implementation of RL allowed significant increases in NPV and the Oil Recovery Factor at the end of the project, as well as improving profitability, reducing costs of injection, treatment and disposal of the produced water, thus increasing the time feasibility of the project.

Keywords: Intelligent System. Reinforcement Learning. Q-Learning Algorithm. Economic analysis.

(7)

Kaline Souza dos Santos vii

“Peça a Deus que abençoe os seus

planos, e eles darão certo.” (provérbios

16:3), “Pois o Senhor, o teu Deus, que

o segura pela tua mão direita lhe diz:

Não temas; eu te ajudo.” (Isaías 41:13)

(8)

AGRADECIMENTOS

A Deus, o EU SOU, por estar comigo em todos os momentos da minha vida, guiando-me e concedendo-me força e sabedoria, e por me dar o privilégio de galgar este sonho. “Porque Dele, por Ele e para Ele são todas as coisas.” (Romanos 11:36).

A minha família, em especial a mãe, titia, vovó, tio Val e ao meu avô (in memoriam), pelas orações, por transmitirem os melhores ensinamentos e valores que eu poderia receber e por sempre estarem ao meu lado me apoiando e incentivando a nunca desistir dos sonhos que Deus sonhou para mim. Sinto-me honrada por Deus ter dado vocês como minha família.

Ao meu professor e orientador, Dr. Adrião Duarte Dória Neto, pelos seus valiosos ensinamentos transmitidos, pela confiança depositada em mim, pela paciência e compreensão nos momentos em que tive me ausentar e pela disponibilidade em me ajudar durante essa jornada. Muito obrigada!

Ao meu professor co-orientador, Dr. Wilson da Mata, por toda dedicação, atenção e apoio durante esse tempo e por me ajudar com o seu precioso conhecimento para conclusão desse trabalho. Muito obrigada!

Ao professor, Dr. Marcos Allyson Felipe Rodrigues, por toda atenção, paciência e grande contribuição para à realização deste trabalho. Muito obrigada!

Aos meus amigos, Dr. Daniel Lopes Martins por me ajudar na compreensão e estruturação do sistema no ambiente MATLAB e Ms. Marcelo Penninck Júnior por me auxiliar no entendimento e no uso do simulador numérico STARS. Sou grata a Deus por ter colocado vocês em meu caminho. Muito obrigada pelo apoio e incentivo.

A todos os colegas dos Laboratórios de Sistemas Inteligentes (LSI) e de Estudos Avançados em Petróleo (LEAP) pelas contribuições, apoio e sugestões que certamente foram importantes ao êxito deste trabalho.

À CAPES pelo apoio financeiro, importante para execução do trabalho.

(9)

Kaline Souza dos Santos ix

SUMÁRIO

Lista de Figuras x

Lista de Tabelas xi

Lista de Algoritmos xi

Lista de Símbolos e Abreviaturas xii

1. INTRODUÇÃO GERAL ... 16

1.1 OBJETIVOS ... 17

1.2 ORGANIZAÇÃO DO TRABALHO ... 18

2. ASPECTOS TEÓRICOS ... 20

2.1 MÉTODOS DE RECUPERAÇÃO AVANÇADA...21

2.1.1 MÉTODOS CONVENCIONAIS DE RECUPERAÇÃO ... 21

2.1.1.1 INJEÇÃO DE ÁGUA ... 22

2.1.1.2 OPÇÕES DE GERENCIAMENTO DE ÁGUA EM CAMPO DE PETRÓLEO ... 24

2.2 SIMULAÇÃO NUMÉRICA DE RESERVATÓRIOS ... 25

2.3 ANÁLISE ECONÔMICA DE PROJETOS ... 26

2.3.1 VALOR PRESENTE LÍQUIDO (VPL) ... 27

2.3.2 VPL EM UM PROJETO DE INJEÇÃO DE ÁGUA ... 28

2.3.2.1 RECEITA – R ... 28

2.3.2.2 CAPEX (CAPITAL EXPENDITURES) ... 28

2.3.2.3 OPEX (OPERATIONAL EXPENDITURES). ... 29

2.4 PLANEJAMENTO E OTIMIZAÇÃO DE EXPERIMENTOS ... 31

2.5 SISTEMAS INTELIGENTES E O PROCESSO DE TOMADA DE DECISÃO ... 32

2.6 APRENDIZAGEM POR REFORÇO ... 33

2.6.1 PROCESSO DE DECISÃO DE MARKOV (PDM) ... 33

2.6.2 CARACTERIZANDO UM PROBLEMA DE APRENDIZAGEM POR REFORÇO ... 35

2.6.3 ALGORITMO Q-LEARNING ... 38 3. ESTADO DA ARTE ... 40 3.1 ESTADO DA ARTE ... 41 4. METODOLOGIA EXPERIMENTAL ... 43 4.1 FERRAMENTAS COMPUTACIONAIS ... 44 4.2 MODELO DO RESERVATÓRIO ... 45 4.3 MODELAGEM DO FLUIDO ... 49

4.4 DESCRIÇÃO DAS CONDIÇÕES DA INJEÇÃO DE ÁGUA ... 50

4.5 ANÁLISE DE VIABILIDADE TÉCNICO-ECONÔMICA ... 52

4.6 MODELANDO O SISTEMA DE APOIO À DECISÃO ... 53

4.7 ARQUITETURA DO SISTEMA INTELIGENTE PROPOSTO ... 56

4.8 FLUXOGRAMA DA METODOLOGIA DO TRABALHO...58

5. RESULTADOS E DISCUSSÕES ... 59

(10)

5.2 ANÁLISE DAS INTERAÇÕES ENTRE OS PARÂMETROS OPERACIONAIS ... 61

5.3 APLICAÇÃO DO ALGORITMO Q-LEARNING ... 65

5.3.1 ANÁLISE PARA DIMENSÃO DE MALHA 100M...69

5.4 ANÁLISE DE SENSIBILIDADE PREÇO DO BARRIL DE ÓLEO X VPL DO PROJETO...81

6. CONCLUSÕES E RECOMENDAÇÕES ... 84

6.1 CONCLUSÕES ... 85

6.2 RECOMENDAÇÕES FUTURAS...86

REFERÊNCIAS BIBLIOGRÁFICAS ... 87

ANEXOS... 92

ANEXO I – EXPERIMENTOS 18 E 27 – DIMENSÃO DE MALHA 100M...93

ANEXO II – EXPERIMENTOS 72 E 81 – DIMENSÃO DE MALHA 200M...94

ANEXO III – EXPERIMENTOS 45 E 54 – DIMENSÃO DE MALHA 300M...95

(11)

Kaline Souza dos Santos xi

LISTA DE FIGURAS

Figura 2.1:Classificação dos métodos de recuperação avançada de petróleo. ... 19

Figura 2.2:Esquema de Injeção Periférica. ... 21

Figura 2.3:Esquema de Injeção na base e injeção no topo. ... 22

Figura 2.4: Injeção em malhas Five Spot normal. ... 23

Figura 2.5: Injeção em malhas Nine Spot invertido. ... 23

Figura 2.6: Interação agente-ambiente na aprendizagem por reforço. ... 37

Figura 4.1: Modelos bases em 3 dimensões. . ... 46

Figura 4.2: Curvas de permeabilidade relativa ao sistema água-óleo. ... 48

Figura 4.3: Curvas de permeabilidade relativa para o sistema gás-óleo.. ... 48

Figura 4.4:Canhoneio dos poços no perfil de saturação inicial de óleo. ... 50

Figura 4.5: Gráfico com as curvas de Fator de Recuperação versus tempo. ... 51

Figura 4.6: Arquitetura do sistema inteligente proposto. ... 57

Figura 4.7:Fluxograma da metodologia de trabalho. ... 58

Figura 5.1: Diagrama de Pareto para a injeção de água - Fator de recuperação ao final do período de produção . ... 61

Figura 5.2: Superfície de resposta para o Fator de recuperação após 20 anos de produção, interação entre a Dimensão da malha (m) - Dij, com os parâmetros: completação (5.2.a), vazão de injeção (5.2.b) e Modelo de Malha (5.2.c). ... 62

Figura 5.3: Superfície de resposta para o Fator de recuperação ao final do período de produção na interação do modelo de malha com os fatores completação e vazão de injeção. 64 Figura 5.4: Superfície de resposta para o Fator de recuperação ao final do período de produção na interação do fatore completação com vazão de injeção. ... 65

Figura 5.5: Curva de VPL antes da linha de ação versus curva do VPL após a linha de ação para o estado de dimensão de malha 100m (Exp_9). ... 72

Figura 5.6 Curva de FR antes da linha de ação e após a linha de ação para o estado de dimensão de malha 100m (Exp_9). ... 72

Figura 5.7: Curva de VPL antes da linha de ação versus curva do VPL após a linha de ação para o estado de dimensão de malha 200m (Exp_63). ... 75

(12)

Figura 5.8 Curva de FR antes da linha de ação e após a linha de ação para o estado de

dimensão de malha 200m (Exp_63). ... 76

Figura 5.9: Curva de VPL antes da linha de ação versus curva do VPL após a linha de ação para o estado de dimensão de malha 300m (Exp_36a). ... 78

Figura 6: Curva de FR antes da linha de ação e após a linha de ação para o estado de dimensão de malha 300m (Exp_36a). ... 79

Figura 6.1: Curva de VPL antes da linha de ação versus curva do VPL após a linha de ação para o estado de dimensão de malha 400m (Exp_36b). ... 81

Figura 6.2: Curva de FR antes da linha de ação e após a linha de ação para o estado de dimensão de malha 400m (Exp_36b). ... 82

Figura 6.3: Curva de VPL antes da linha de ação e após a linha de ação para o Exp_9 com US$ 75,30 para US$ 55,30. ... 84

Figura 6.4: Curva de VPL antes da linha de ação e após a linha de ação para o Exp_9 com US$ 75,30 para US$ 95,30. ... 86

LISTA DE TABELAS Tabela 4.1: Propriedades da rocha-reservatório. ... 47

Tabela 4.2: Composição do óleo. ... 49

Tabela 4.3: Parâmetros definidos e seus respectivos níveis para o planejamento fatorial completo 34. ... 52

Tabela 4.4: Dados considerados para a análise de viabilidade técnico-econômica... 53

Tabela 4.5: Exemplo de espaço de estados no ambiente. ... 54

Tabela 5.1: Nomenclatura dos parâmetros operacionais estudados nos diagramas de Pareto. 60 Tabela 5.2: Experimentos selecionados para análise da viabilidade econômica a partir da análise de superfície de resposta. ... 66

Tabela 5.3: Resultados dos cenários avaliados após aplicação das linhas de ação. ...68

Tabela 5.4: Fatores de Recuperação ao final do projeto antes e após a linha de ação. ...70

Tabela 5.5: Resultados dos cenários avaliados após aplicação das linhas de ação 100m. ...71

(13)

Kaline Souza dos Santos xiii

LISTA DE ALGORITMO

4.1 Algoritmo Q-Learning. ...56

LISTA DE SÍMBOLOS E ABREVIATURAS

Cagua – Custo de separação, tratamento e descarte da água US$.

Cagua-inj – Custo da água injetada US$.

Cel – Custo de elevação dos fluidos US$.

Coleo – Custo de separação e tratamento do óleo US$.

Cp – Custo de perfuração e completação do poço US$.

FC - fluxo de caixa US$.

Fr - Fator de recuperação (%). i – Taxa de desconto (%).

Iinj – Influência de poço injetor na malha considerada adimensional.

Io – Investimento inicial de um projeto US$.

Iprod - Influência de poço produtor na malha considerada adimensional.

k – Permeabilidade absoluta da formação mD.

Kh – Permeabilidade horizontal mD.

ko - permeabilidade efetiva ao óleo mD.

krg - permeabilidade relativa ao gás adimensional.

Kro – Permeabilidade relativa ao óleo adimensional.

krog - permeabilidade relativa ao óleo no sistema óleo-gás adimensional.

krow - permeabilidade relativa ao óleo no sistema óleo-água adimensional.

krw - permeabilidade relativa à água adimensional.

Kv – permeabilidade vertical mD.

kw - permeabilidade efetiva à água mD.

Pbbl – Preço do barril de petróleo US$/bbl.

Pperf – Preço de perfuração e completação de um poço vertical onshore raso US$/poço.

Q– Vazão de injeção de água (m³/dia). R – Receita US$.

Sl - saturação de líquido %.

So - saturação de óleo %.

Soi - saturação inicial de óleo %. Sor - saturação de óleo residual %. Sw - saturação de água %.

Swc - saturação de água conata %. t - tempo de projeto anos.

Vagua-inj – Volume de água injetada m³std.

Vagua-pro – Volume de água produzida m³std.

Voleo-pro – Volume de óleo produzido m³std.

Vpro – Volume de fluido produzido m³std.

α – Coeficiente de aprendizagem utilizado no algoritmo Q-learning.

ε – Parâmetro que regula o critério guloso na política ε-gulosa. γ – Fator de desconto utilizado no algoritmo Q-learning. API - American Petroleum Institute.

(14)

BSW - Basic Sediments and Water. CAPEX – Capital Expendirure. CMG - Computer Modelling Group. EOR – Enhanced Oil Recovery. IOR - Improved Oil Recovery. OPEX – Operational Expenditure. PDM – Processo de Decisão de Markov. RAO - Razão Água Óleo m³std/m³std.

STARS – “Steam, Thermal and Advanced Reservoir Simulator”. TMA - Taxa Mínima de Atratividade %.

(15)

Kaline Souza dos Santos

(16)

Dissertação de Mestrado PPGCEP / UFRN Capítulo I: Introdução Geral

1. INTRODUÇÃO GERAL

Na engenharia de reservatórios uma das principais tarefas a ser realizada é o desenvolvimento de estratégias que aumentem a produção de petróleo, respeitando as condições físicas e econômicas existentes no reservatório. Após um certo período, ocorre a dissipação de recuperação primária no reservatório e consequentemente um declínio nas curvas de produção (OLIVEIRA, 2010). Com isso, como tentativa de recuperar a produção do campo utilizam-se, frequentemente, métodos convencionais de recuperação avançada que pressurizam a região em interesse.

Os métodos convencionais de recuperação avançada são muito utilizados, pois possuem boa eficiência em escoar o óleo restante no meio poroso até os poços produtores acelerando a produção, bem como estendendo a vida útil do reservatório e beneficiando o fator econômico do processo (AMORIM et al., 2017). Dentre esses métodos de recuperação, a injeção de água é uma técnica convencional amplamente utilizada na indústria de petróleo.

Para o desenvolvimento de um campo de petróleo a solução operacional é bastante complexa, devido à grande quantidade de variáveis envolvidas no processo, tais como: espaçamento entre poços, números de poços, sistema de injeção de fluidos para a recuperação suplementar, entre outros. Segundo Silva (2017), a maneira que o desenvolvimento no campo de petróleo ocorrerá define uma ou mais alternativas, afetando, assim, as decisões futuras, o comportamento de reservatório e as análises econômicas. Diante disso, tornar-se bastante relevante um método de otimização que proporcione a avaliação de diferentes perfis de produção e diferentes representações, de modo auxiliar na tomada de decisão buscando a melhor estratégia de produção e em consequência a maximização dos lucros e a diminuição dos riscos dos altos investimentos na área de petróleo, já que de acordo com (TÚPAC; ALMEIDA, 2011), com o uso de injeção de água no reservatório tem que ser levado em conta essencialmente a viabilidade econômica.

A utilização de técnicas inteligentes tais como redes neurais, lógica fuzzy, algoritmos evolutivos, entre outros vêm sendo muito aplicado na indústria de petróleo. Na literatura muitos pesquisadores têm usados algoritmos inteligentes na resolução de problemas de otimização da produção de petróleo (ALMEIDA et al., 2015; COSTA et al., 2016; GUEVARA et al., 2018; HOURFAR et al., 2019; LIMA JÚNIOR et al., 2010; OLIVEIRA, 2010; OLIVEIRA et al., 2016; SILVA et al., 2016; TALAVERA et al., 2010).

(17)

Kaline Souza dos Santos Nesse contexto, este trabalho apresenta o desenvolvimento e a aplicação de um sistema inteligente de suporte à decisão buscando alternativas para o desenvolvimento de um campo de petróleo, submetido ao processo de injeção de água, utilizando a Aprendizagem por Reforço (AR) com base no algoritmo Q-Learning. Cada ação refere-se em fechar ou reduzir a vazão de injeção de água inicial no poço injetor de um campo de petróleo conhecido. A implementação do algoritmo consiste encontrar, em conjunto com o simulador matemático STARS (Steam Thermal and Advanced Processes Reservoir Simulator), versão 2016 da empresa CMG (Computer Modelling Group), a política de decisão ótima (reduzir ou fechar a vazão de injeção de água), em tempo hábil, que forneça como recompensa o maior Valor Presente Líquido (VPL) em um horizonte de produção de 240 meses.

Diante disso, almeja-se com o manuseio dessa ferramenta de apoio à decisão, os seguintes proveitos: redução dos custos operacionais, bem como do tempo de tomada de decisão; a maximização da produção de petróleo no campo e o aumento da credibilidade do processo de tomada de decisão.

1.1 Objetivos

- Geral:

Implementar e aplicar um sistema inteligente de suporte à decisão buscando alternativas para o desenvolvimento de um campo de petróleo, submetido ao processo de injeção de água, utilizando aprendizagem por reforço com base no algoritmo Q-Learning.

- Específicos:

• Executar a simulação de um modelo de reservatório em um simulador matemático indicando as variáveis para compor o modelo e as condições operacionais usadas no simulador;

• Estudar e desenvolver algoritmo do método da aprendizagem por reforço que automatizem a busca de alternativas para o desenvolvimento de um campo de petróleo submetido ao processo de injeção de água;

• Determinar um conjunto de estratégias de controle e tomadas de decisão verificando os tempos iniciais de produção o qual o reservatório deixa de ser rentável para cessar/reduzir a injeção de água inicial e buscar soluções alternativas de menor custo.

(18)

Dissertação de Mestrado PPGCEP / UFRN Capítulo I: Introdução Geral

1.2 Organização do Trabalho

Esta seção pretende oferecer ao leitor uma noção geral da estruturação utilizada para a elaboração deste trabalho.

Inicialmente é descrita uma breve introdução com a motivação para a efetivação deste trabalho e o objetivo que se pretende atingir ao final do mesmo. Além disso, este trabalho está dividido em mais duas partes. A primeira parte é composta pelos capítulos 2 e 3, onde no capítulo 2 são apresentados os aspectos teóricos necessários para o melhor entendimento do problema envolvido, bem como da metodologia adotada como solução. Também são apresentados os conceitos de análise econômica de projetos, o planejamento de experimentos e otimização, a utilização de sistemas inteligentes e os conceitos e características da aprendizagem por reforço com o algoritmo Q-Learning no processo de tomada de decisão.

O capítulo 3 pretende propiciar ao leitor um histórico dos trabalhos relacionados à utilização de técnicas de inteligência computacional, como aprendizagem por reforço com o algoritmo Q-Learning, aplicadas a problemas de otimização de produção na indústria de petróleo.

A segunda parte do trabalho, formada pelos capítulos 4 e 5 que mostram a maneira como pretende-se alcançar os resultados obtidos.

No capítulo 4 são apresentados os programas utilizados para as simulações, os principais dados de entrada requeridos para a modelagem e simulação do reservatório analisado como estudo de caso, as características dos fluidos, da rocha-reservatório e descrição das condições operacionais. Além disso, é descrita a formulação do problema estudado e a metodologia de análise. As principais propriedades do reservatório são similares a do reservatório localizado no Nordeste Brasileiro.

No capítulo 5, são apresentadas as análises dos resultados obtidos de acordo com os objetivos do estudo.

Por fim, o trabalho é complementado apresentando as principais conclusões obtidas, alguns comentários sobre o trabalho realizado, sobre o objetivo atingido e sobre expectativas futuras em relação à metodologia proposta em estudo.

(19)

(20)

Dissertação de Mestrado PPGCEP / UFRN Capítulo II: Aspectos Teóricos

2. ASPECTOS TEÓRICOS

Nesta seção é apresentada a fundamentação teórica para o desenvolvimento e a efetivação do estudo, que também serve como subsídio para as próximas etapas deste trabalho.

Abordaremos alguns conceitos essenciais de engenharia de reservatório, tais como: métodos convencionais de recuperação, com ênfase no processo de injeção de água; simulação numérica de reservatórios; análise econômica do projeto; o planejamento e otimização, além disso, são explanados a utilização de sistemas inteligentes e os conceitos e características da aprendizagem por reforço.

2.1 Métodos de Recuperação Avançada

Os objetivos essenciais dos métodos de recuperação avançada são o aumento da recuperação do óleo restante no reservatório e a aceleração da produção. “A aceleração da produção provoca a antecipação do fluxo de caixa esperado do projeto, aumentado, portanto, o seu valor presente e consequentemente melhorando a economicidade da explotação do campo” (SILVA, 2017, p.24). Desse modo, a viabilidade econômica de um poço de petróleo ou desenvolvimento de um campo depende bastante dos métodos de recuperação utilizados.

Bautista (2010) afirma que os métodos de recuperação avançada de óleo (Improved Oil Recovery – IOR) podem ser usados desde o início da produção por energia natural do reservatório, sendo esses métodos divididos em:

• Métodos convencionais de recuperação de óleo: resultam do acréscimo da energia natural por meio da injeção imiscível de gás e/ou injeção de água para auxiliar na produção de óleo;

• Métodos especiais de recuperação de óleo (Enhanced Oil Recovery – EOR): resultam da aplicação de processos especiais, como métodos químicos (injeção de surfactantes e álcalis; polímeros, entre outros), térmicos (injeção de vapor; combustão in-situ; dentre outros), miscíveis (dióxido de carbono; nitrogênio), dentre outros como apresenta a Figura 2.1.

(21)

Figura 2.1: Classificação dos Métodos de Recuperação Avançada de petróleo. (Fonte: Modificado de Hong, 1994)

O presente trabalho faz o uso do método convencional de recuperação injeção de água, pois permite preencher o meio poroso ocupado pelos fluidos produzidos e contribui para o deslocamento do petróleo até os poços produtores.

2.1.1 Métodos Convencionais de Recuperação

Os métodos convencionais de recuperação surgiram devido à necessidade da elevação da produção de óleo em detrimento da diminuição da pressão do reservatório suplementando a energia primária (VELOSO et al., 2014).

Nesse método, ao aplicar a injeção de fluidos, o óleo é empurrado até os poços de produção de forma mecânica sem que haja qualquer interação termodinâmica ou química entre o fluido deslocante, a rocha reservatório e os hidrocarbonetos. Borges (2009) comenta que esse comportamento puramente mecânico tem como função oferecer pressões suficientes para deslocar o óleo para fora da rocha. Vale lembrar que para esse método são utilizadas a injeção imiscível de gás e a injeção de água.

A injeção de água é o método avançado, em geral, mais utilizado no mundo, pois possui uma maior eficiência de deslocamento, sobretudo para óleos leves, aumentando a recuperação do óleo. Em complemento, Mothé (2006) nos diz que é o método mais comum e mais barato.

Métodos de Recuperação Avançada Convencionais Injeção de Água Injeção de Gás Especiais Térmicos Injeção de Vapor e Combustão In-Situ Miscíveis Injeção de CO2, N2 e Hidrocarbonetos Químicos Injeção de Polímeros, tensoativos e solução alcalina Outros Microbiológicos

(22)

Dissertação de Mestrado PPGCEP / UFRN Capítulo II: Aspectos Teóricos De acordo com Rosa et al. (2006) esse método foi utilizado primeiramente no Brasil, em 1953, no campo de Dom João localizado na Bahia.

A seguir esse processo, utilizado nesse trabalho, será mais detalhado.

2.1.1.1 Injeção de Água

A injeção de água é, geralmente, o método de recuperação mais aplicado na indústria de petróleo. Isso ocorre, pois possui um menor custo operacional, é um eficiente agente deslocante de óleo, sobretudo para óleo leve, e sua injeção é simples de aplicar (ALENCAR FILHO, 2011).

Segundo Ruiz (2012), os benefícios principais da injeção de água são: a manutenção da pressão do reservatório e o deslocamento do óleo. E ainda, existem alguns fatores que influenciam esse processo. São eles: a geologia da formação; a configuração do sistema de injeção; a componente econômica da análise do campo.

Uma etapa de grande relevância no projeto de injeção é a definição do esquema de injeção, isto é, a forma como os poços injetores e de produção estão distribuídos no campo. De acordo com Rosa et al. (2006), o modelo escolhido deve seguir algumas características, tais como: proporcionar a maior produção possível de óleo em um intervalo de tempo; oferecer boas condições de injetividade para ter uma boa produtividade e ainda visando o fator econômico, fazer a escolha recair sobre um esquema onde existe uma menor quantidade possível de poços a serem perfurados.

Os tipos principais de esquema de injeção são: injeção na base, injeção no topo, injeção de malhas e injeção periférica. Passos (2013) afirma que a injeção no topo, injeção na base e injeção periférica possuem poços produtores e injetores que se concentram em determinadas áreas dos reservatórios. Já a injeção de malhas, cada modelo tem uma malha básica que se repete em todo reservatório.

A injeção periférica ocorre quando os poços injetores se encontram na parte externa do reservatório, injetando abaixo do contato óleo/água e ao redor dos poços produtores que se encontram no centro do reservatório (ALENCAR FILHO, 2011).

A injeção na base ocorre quando o reservatório apresenta uma inclinação e é necessário injetar água, e os poços que se encontram na parte mais baixa se transformam em poços produtores localizados. Já a injeção no topo é o contrário da injeção na base, isto é, os poços injetores encontram-se na parte superior do reservatório e os poços produtores na parte mais baixa (ROSA et al., 2006), além disso, ressalta-se que essa injeção é usada para gás. A Figura 2.2 apresenta os esquemas de injeção.

(23)

Kaline Souza dos Santos gás

Figura 2.2. Esquemas de injeção a) periférica; b) topo; c) base (Fonte: Rosa et al., 2006)

E por fim, a injeção em malhas ou “in-fill” acontece quando os poços de injeção se localizam entre os poços de produção. Esse tipo de injeção é aplicado em reservatórios com áreas grandes, pequenas inclinações e espessuras, onde a injeção periférica não consegue atingir seus ideais na grande parte do reservatório. Nesse segundo grupo existem vários tipos de modelos de esquema de injeção em malhas, tais como: injeção em linhas esconsas e linhas diretas; injeção Seven-Spot normal e invertida; injeção Five-Spot normal e invertida e injeção Nine-Spot normal e invertida (ALENCAR FILHO, 2011).

Para este trabalho destacam-se duas: Five-Spot normal e invertida e a Nine-Spot normal e invertida.

A injeção em malha Five-Spot normal é constituída por quatro poços injetores e um poço produtor que se localiza no centro da malha, já a injeção Five-Spot invertida a malha básica é formada por quatro poços produtores e um poço injetor.

Por outro lado, na injeção em malha Nine-Spot normal possui oito poços injetores e um água

a)

b)

c)

Produção _Injeção Injeção óleo óleo água óleo

(24)

poço produtor onde se encontra no centro da malha, já no esquema invertido são oito poços produtores e um poço injetor que se localiza no centro da malha. A figura 2.3 representa o tipo de esquema de injeção em malhas Five-Spot normal e Nine-Spot invertido.

Figura 2.3. Injeção em malhas a) Five-Spot normal; b) Nine-Spot Invertido (Fonte: Rosa et al., 2006)

2.1.1.2 Opções de Gerenciamento de Água em Campo de Petróleo

Gerenciar reservatórios constitui-se por fazer certas escolhas. O objetivo principal do gerenciamento de reservatório é controlar operações para obter a recuperação mais econômica possível de um reservatório, baseado em informações e conhecimentos. Preda et al. (2008) esclarecem que gerenciar significa conhecer em detalhes o reservatório, definir a sua estratégia de explotação, identificando desvios e propondo correções, a fim de maximizar, não só a recuperação de hidrocarbonetos, como também os indicadores econômicos e ambientais da jazida.

Ainda nesse contexto, entre os diversos tipos de informações, destacam-se: os dados sísmicos; as propriedades petrofísicas, como porosidades, permeabilidades absolutas, permeabilidade relativas, pressão capilar, entre outros; os perfis adquiridos nos poços perfurados; os dados de pressões estáticas dos reservatórios e as vazões e produções acumuladas dos fluidos produzidos (óleo, gás e água) ou injetados (água, gás e vapor).

Dentre as várias estratégias de explotação de um determinado reservatório, a injeção de água é a mais utilizada na indústria de petróleo, pois é um método muito eficiente de reposição da energia primária do reservatório. Os principais motivos para a grande utilização deste método de recuperação de óleo são: disponibilidade de água; baixo custo operacional em relação à injeção de outros fluidos; facilidade operacional deste tipo de injeção; alta eficiência com que a água desloca o óleo.

Injeção

Produção Injeção

Produção

(25)

Kaline Souza dos Santos A análise do gerenciamento de água em campos de petróleo abrange fatores técnicos e econômicos (SILVA, 2017). Alternativas eficazes de gerenciamento de água podem aumentar o horizonte econômico da produção de óleo com a redução de custos relevantes e o aumento de receitas. Diante disso, várias metodologias e parâmetros são utilizados para a análise econômica de estratégias de gerenciamento de reservatórios e água. A mais usada é a avaliação por intermédio da determinação do Valor Presente Líquido (VPL), onde este consiste na atualização do fluxo de caixa descontado, relativo ao projeto.

2.2 Simulação Numérica de Reservatórios

Devido às restrições de manipulação de campos petrolíferos reais para experimentar as diversas alternativas de produção que podem ser definidas durante o desenvolvimento do projeto de exploração, torna-se viável a utilização de simuladores de produção de campos petrolíferos que a partir de dados de entrada como: propriedades da rocha e dos fluidos, número de poços, espaçamento entre poços, condições de operação, sistemas de injeção de fluidos para recuperação, entre outros, o simulador fornece como saída valores de produção de água, óleo e gás, dentre outros parâmetros.

A engenharia de reservatórios visa, entre outros aspectos, quantificaros fluidos do interior das rochas e transportá-los à superfície com custos otimizados e de maneira segura. Com isso, uma das atividades fundamentais na engenharia de petróleo, tanto ao descobrir uma jazida como ao longo da vida produtiva, é a estimativa de quanto fluido pode ser recuperado, dito de volume recuperável. Existem várias maneiras de estimar os volumes e as reservas em jazidas, tais como: por analogia, análise de risco, método volumétrico e a performance do reservatório, ou seja, o seu desempenho.

O método de desempenho (performance) do reservatório baseia-se no comportamento passado do reservatório para construir uma previsão de performance futura. Porém, é necessário que o campo já tenha um histórico de produção. Os métodos que estão inseridos nesse grupo são: a análise do declínio de produção, a equação de balanço de materiais e a simulação numérica de reservatório (SILVA, 2013).

A simulação numérica, ferramenta que utilizaremos neste trabalho e largamente utilizada pela indústria de petróleo, é um dos métodos principais da engenharia de reservatório, pois são aplicadas definições e técnicas, com base na modelagem matemática visando analisar o comportamento do fluido no poço. Sousa (2009) aponta que essa ferramenta combina matemática, física, engenharia e programação de computadores para prever o desempenho do campo.

(26)

Dissertação de Mestrado PPGCEP / UFRN Capítulo II: Aspectos Teóricos Os simuladores numéricos possuem três classificações, são elas: o tratamento matemático utilizado, o número de dimensões consideradas e o número de fases admitidas. No tratamento matemático agrupa os seguintes modelos: modelo tipo beta ou numérico, também conhecido como Black-Oil, sendo o mais indicado para simular o fluxo no reservatório por meio do processo de injeção de água. Além disso, vale salientar que nesse modelo as três fases e os três componentes são representadas por água, óleo e/ou gás envolvendo funções de pressão e temperatura; modelo composicional onde a pressão, a temperatura e as composições de muitas fases são consideradas no meio poroso. Quanto ao número de dimensões, é realizado o agrupamento com base no número de dimensões sendo: unidimensional (fluxo em uma direção), bidimensional (fluxo em duas dimensões) e tridimensional (fluxo de fluidos em três direções). E por fim, quanto ao número de fases podendo ser: monofásico (água, óleo ou gás), bifásico, que geralmente é óleo e água (reservatório de óleo) ou gás e água, e trifásico com óleo, água e gás (DINIZ, 2015).

Rodrigues (2008) assegura, que os simuladores numéricos permitem ao engenheiro de reservatórios maior sofisticação no planejamento no desenvolvimento do campo, sendo vital dispor de dados de rochas, da geologia, dos fluidos do reservatório. Desse modo, essa ferramenta permite a obtenção de informações sobre o reservatório podendo, assim, serem determinadas estratégias ótimas para se produzir esse campo.

2.3 Análise Econômica de Projetos

Na engenharia econômica é usado um grupo de técnicas e critérios para quantificar e avaliar os riscos financeiros compreendidos nos projetos. A utilização dessas técnicas possibilita definir a atratividade de cada alternativa apoiando as empresas a optar pelas melhores oportunidades financeiras. Com isso, uma análise econômica fornece os resultados que serão considerados na escolha de todas possíveis alternativas de investimento (projetos) para a tomada de decisão.

Segundo Rodrigues (2012) a avaliação da viabilidade econômica e técnica de um projeto de recuperação avançada de petróleo é essencial para a maximização de lucros e a minimização de riscos do projeto. Pois, após a efetivação de uma seleção de métodos de recuperação avançada, candidatos para um reservatório específico, do ponto de vista da engenharia, deve-se realizar uma análise econômica para indicar a melhor estratégia entre aquelas previamente escolhidas. A decisão por uma alternativa errada pode levar a lucros menores do que se estivesse escolhido outro método e em caso de uma má opção, conduzir a grandes prejuízos financeiros.

(27)

Kaline Souza dos Santos Logo, a utilização do indicador econômico adequado é relevante, pois para cada alternativa fornecem o melhor embasamento para a tomada de decisão. Entre os indicadores mais utilizados estão: Taxa Interna de Retorno (TIR), Retorno Sobre Investimento (ROI) e o Valor Presente Líquido (VPL). O indicador econômico usado neste trabalho é o Valor Presente Líquido (VPL).

2.3.1 Valor Presente Líquido (VPL)

O indicador econômico mais utilizado em análises de investimentos é o Valor Presente Líquido (VPL). Conforme Túpac (2005), é a forma mais usada para avaliação de alternativas na área de explotação de reservatórios petrolíferos, sendo ainda habitualmente explicado como a diferença entre o valor presente do campo e o valor presente dos investimentos a serem feitos.

O VPL representa, em termos financeiros, o resultado da efetuação de um projeto. Ou seja, no desenvolvimento de um campo de petróleo, o valor presente líquido vem a ser o quanto vale o campo hoje, levando em conta que os pagamentos, dados a partir da produção, só serão realizados nos anos seguintes.

Ao verificar um fluxo de caixa relacionado à determinada alternativa j, dispõe-se de vários valores envolvidos, ora como receitas, ora com dispêndios. A somatória algébrica de todos os valores envolvidos nos n períodos analisados, reduzidos ao instante considerado inicial ou instante zero e sendo i a taxa de desconto, se chama Valor Presente Líquido. Então, o Valor Presente Líquido de um fluxo de caixa de uma alternativa j é, portanto, a somatória dos diversos valores presentes Ft incluídos neste fluxo de caixa (RODRIGUES, 2012). Logo, é

definido como na Equação (1).

𝑉𝑃𝐿_𝑗 = ∑ ( 𝐹𝑡

(1 + 𝑖)𝑡) − 𝐼𝑜 Equação (1) 𝑁

𝑡=1

Onde:

VPLj = Valor Presente Líquido de um fluxo de caixa de alternativa j.

Ft = cada um dos diversos valores envolvidos no fluxo de caixa e que ocorrem em t. É

definido como a diferença entre a receita gerada e os dispêndios do período t. i = Taxa Mínima de Atratividade (TMA) ou ainda, neste caso, taxa de desconto. I0 = Investimento inicial do projeto.

Além disso, para o Valor Presente Líquido de um projeto de desenvolvimento têm-se as seguintes possibilidades (SILVA, 2017):

(28)

Dissertação de Mestrado PPGCEP / UFRN Capítulo II: Aspectos Teóricos - VPL maior do que zero: significa que o investimento é economicamente atrativo, pois o valor presente das entradas de caixa é maior do que o valor presente das saídas de caixa;

- VPL igual à zero: o investimento é indiferente, pois o valor presente das entradas de caixa é igual ao valor presente das saídas de caixa;

- VPL menor do que zero: indica que o investimento não é economicamente atrativo, pois o valor presente das entradas de caixa é menor do que o valor presente das saídas de caixa.

2.3.2 VPL em Projeto de Injeção de Água

1

No presente trabalho, o modelo econômico usado no cálculo do VPL levará em conta os investimentos realizados durante a fase de desenvolvimento do campo e os custos inclusos para manter a produção tais como: o de elevação dos fluidos, tratamento e separação dos fluidos, entre outros.

2.3.2.1 Receita – R

Para o cálculo das receitas deve-se ter a produção acumulada de óleo durante todo o tempo de projeto, calcular o volume de óleo produzido anualmente (se o fluxo de caixa utilizado for anual) e a partir daí, faz-se o cálculo das receitas (R) da seguinte forma:

𝑅 = 𝑉𝑜𝑙𝑒𝑜−𝑝𝑟𝑜. 𝑃𝑏𝑏𝑙 Equação (2)

Onde:

𝑉𝑜𝑙𝑒𝑜−𝑝𝑟𝑜= Volume de óleo produzido na condição padrão por ano (bblstd/ano)

𝑃𝑏𝑏𝑙= Preço do barril (US$/bblstd)

2.3.2.2 CAPEX (Capital Expenditures)

O CAPEX representa os investimentos realizados durante a fase de desenvolvimento do campo, incluindo os custos em perfuração de poços, instalações de superfícies e vias de escoamento de produção. Para o projeto de injeção de água, o custo de investimento considerado foi o custo de perfuração dos poços (Cp).

a) Custo de perfuração dos poços (C

p

).

O custo de perfuração dos poços é definido pela seguinte equação:

(29)

𝐶𝑝 = 𝑃𝑝𝑒𝑟𝑓 . 𝐼𝑖𝑛𝑗 + 𝑃𝑝𝑒𝑟𝑓. 𝐼𝑝𝑟𝑜 Equação (3)

Onde:

𝐶𝑝 = Custo de perfuração dos poços (US$).

𝑃𝑝𝑒𝑟𝑓= Preço de perfuração de um poço “onshore” (US$).

𝐼𝑖𝑛𝑗 = Influência do poço injetor na malha considerada.

𝐼𝑝𝑟𝑜 = Influência do poço produtor na malha considerada.

Para o custo inicial do poço, a influência do poço na malha significa a participação do poço na malha considerada. Por exemplo, para o modelo de malha Nine-Spot invertido o poço injetor é tido como completo, porém as diferenças ocorrem nas influências dos poços produtores para cada tipo de malha, ou seja, a influência dos poços produtores laterais é de 50%, pois esses estão divididos entre duas malhas, já nos poços das esquinas esta influência é de 25%, pois esses estão divididos em quatro malhas, sendo o custo inicial dividido para um total de quatro poços. Desse modo, a influência do poço na malha é um critério de rateio utilizado para não supercustear a perfuração dos poços.

Diante disso o CAPEX considerado deve ser: 𝐼0 = 𝐶𝑝

2.3.2.3 OPEX (Operational Expenditures)

O OPEX engloba os custos incorridos para manter a produção tais como o de elevação dos fluidos, tratamento e separação dos fluidos entre outros. Para o projeto de injeção de água, os custos considerados foram: custo com elevação dos fluidos (Cel), separação, transporte e

tratamento do óleo (Coleo), tratamento e descarte da água produzida (Cagua) e o custo com a

injeção de água (Cagua-inj.).

a) Custo de elevação dos fluidos (C

el

).

O custo de elevação dos fluidos está relacionado com as despesas para o deslocamento dos fluidos do fundo do poço para a superfície.

𝐶𝑒𝑙 = 𝐶𝑒𝑙/m³. 𝑉𝑝𝑟𝑜 Equação (4)

Onde:

𝐶𝑒𝑙= Custo de elevação dos fluidos (US$).

𝐶𝑒𝑙/𝑚³= Custo de elevação de fluidos por m³ de fluido produzido (US$/m³).

𝑉𝑝𝑟𝑜= Volume de fluido produzido em m³.

b) Custo de separação, transporte e tratamento do óleo (C

oleo

).

O custo de separação, transporte e tratamento do óleo consiste nas despesas relacionadas ao processamento e tratamento dos fluidos, para obter o óleo em condições aceitáveis para o refino.

(30)

_{𝐶𝑜𝑙𝑒𝑜 = 𝐶𝑜𝑙𝑒𝑜/𝑚³. 𝑉𝑜𝑙𝑒𝑜−𝑝𝑟𝑜} _{Equação (5)}

Onde:

𝐶𝑜𝑙𝑒𝑜= Custo de separação, transporte e tratamento do óleo (US$).

𝐶𝑜𝑙𝑒𝑜/𝑚³ = Custo de separação, tratamento e transporte do óleo por bbl. de óleo produzido

(US$/m³std).

𝑉𝑜𝑙𝑒𝑜−𝑝𝑟𝑜 = Volume de óleo produzido em m³std.

c) Custo de tratamento e descarte da água produzida (C

agua

).

O custo de tratamento e descarte da água produzida consiste nas despesas relacionadas a deixar a água em condições de ser descartada sem prejuízos ambientais em emissário submarino, por exemplo.

_{𝐶𝑎𝑔𝑢𝑎 = 𝐶𝑎𝑔𝑢𝑎/𝑚³. 𝑉𝑎𝑔𝑢𝑎−𝑝𝑟𝑜} _{Equação (6)}

Onde:

𝐶𝑎𝑔𝑢𝑎= custo de tratamento e descarte da água produzida (US$).

𝐶𝑎𝑔𝑢𝑎/𝑚³= Custo de tratamento e descarte da água por m³ de água produzida (US$/m³).

𝑉𝑎𝑔𝑢𝑎−𝑝𝑟𝑜= Volume de água produzida em m³std.

d) Custo de injeção de água (C

agua-inj

)

O custo de injeção de água consiste nas despesas relativas à água.

_{𝐶𝑎𝑔𝑢𝑎−𝑖𝑛𝑗 = 𝐶𝑎𝑔𝑢𝑎−𝑖𝑛𝑗/𝑚³. 𝑉𝑎𝑔𝑢𝑎−𝑖𝑛𝑗}_{Equação (7)}

Onde:

𝐶𝑎𝑔𝑢𝑎−𝑖𝑛𝑗= Custo da água injetada (US$).

𝐶𝑎𝑔𝑢𝑎−𝑖𝑛𝑗/𝑚³= Custo da água injetada por m³ (US$/m³).

𝑉𝑎𝑔𝑢𝑎−𝑖𝑛𝑗= Volume de água injetada em m³.

Diante destes custos considerados, a Equação (8) foi desenvolvida com o objetivo de realizar uma análise econômica, através do VPL, para as configurações operacionais estudadas.

(31)

2.4 Planejamento e Otimização de Experimentos

No planejamento de quaisquer experimentos, o primeiro passo diz respeito em decidir quais são os fatores e as respostas de interesse. Os fatores, em linhas gerais, são variáveis que o experimentador tem possibilidades de controlar ou atributos de incerteza de um sistema, enquanto que as respostas são as variáveis de saída do sistema nas quais possuem importância. Dependendo do problema, pode haver várias respostas de interesse, que talvez precisem ser consideradas simultaneamente. Assim como os fatores, as respostas podem ser qualitativas ou quantitativas (RODRIGUES, 2012). Desse modo, é uma técnica de extrema importância para a indústria, pois seu emprego permite resultados mais confiáveis economizando dinheiro e tempo, parâmetros fundamentais em tempos de concorrência acirrada.

Um Experimento Fatorial Completo inclui todas as possíveis combinações entre os níveis dos fatores do experimento. Um exemplo de classificação, de um experimento fatorial completo, é o fatorial 2k com k fatores e dois níveis em cada fator. Em complemento, Diniz (2015) nos mostra um exemplo em um processo de recuperação avançada de petróleo, onde podem ser examinados os efeitos de duas variáveis, injeção de água e de gás, com cada uma delas variando em dois níveis, mínimo (-1) e máximo (+1). Porém, quando se adiciona uma outra variável (salinidade da água), também adotando dois níveis, as possíveis combinações aumentam podendo chegar até 8 experimentos. Então, dependendo do número de variáveis acrescentadas, o número de experimentos podem ser representados como: 2² = 4, 2³ = 8, 24₌

16,...,2k_.

A análise de sensibilidade de parâmetros sobre uma resposta a ser considerada pode ser feita através de diagramas de pareto, que consiste em um gráfico de barras usado pra estabelecer uma ordem em nível de importância. Segundo Galvão (2012), no diagrama de pareto, os efeitos, onde as barras estiverem à direita da linha divisória (p = 0,05) são estatisticamente ao nível de 95% de confiança em relação aos demais. Já a otimização de experimento é obtida por meio de superfícies de respostas onde se têm os valores máximos e mínimos para uma determinada função objetivo. De acordo com Barros Neto (2003), essa técnica foi introduzida por G. E. P. Box na década de 1950 e desde então tem sido utilizada com sucesso na modelagem de vários processos industriais.

A solução de um problema de otimização geralmente possui duas etapas: a primeira consiste em transformar o problema em um modelo e na segunda um algoritmo deve ser implementado para resolver o problema conforme modelado. Ainda, de acordo com Nakashima (2004), os elementos de um modelo são:

(32)

Variáveis de decisão: parâmetros onde os valores determinam uma solução para o problema, por exemplo, quantidades produzidas ou recursos utilizados;

Função objetivo: uma função das variáveis de decisão que deve ser maximizada ou minimizada, por exemplo, minimizar custos, maximizar lucros.

Restrições: um conjunto de funções que estabelece o espaço possíveis de soluções, por exemplo, restrições operacionais de um processo de produção, limitações físicas e técnicas.

2.5 Sistemas Inteligentes e o Processo de Tomada de Decisão

A competitividade e o desenvolvimento na área de tecnologia alcançados nos últimos anos proporcionaram a indústria de petróleo a usar sistemas computacionais cada vez mais aprimorados. Esses sistemas tem a utilização de métodos inteligentes para apoiar as decisões dos especialistas.

Na engenharia de reservatórios um dos temas que vem crescendo muito é a utilização de poços inteligentes. Segundo Almeida et al. (2006), esses poços têm o objetivo de baratear as operações de restaurações mais frequentes por meio do controle de sua tecnologia. Quando se prolonga o conceito de poço inteligente chega-se ao que se chama campo inteligente, definido por um conjunto de poços injetores e produtores integrados entre si tornando, como apontam (ARAÚJO JÚNIOR et al., 2011), os problemas de tomada de decisão mais complexos já que aumenta o número de fontes de geração de dados e o número de fatores inter-relacionados.

Diante desta complexidade, o uso de sistema inteligente de suporte à decisão vem sendo, consideravelmente, utilizados na indústria de petróleo, pois auxilia no cotidiano do engenheiro de reservatório em problemas de otimização de alternativas no desenvolvimento de campos petrolíferos. Conforme Borges (2013), um sistema de apoio à decisão é um sistema de informação interativo, adaptável e flexível, desenvolvido para o suporte de solução de um problema não estruturado, melhorando a tomada de decisão.

Com isso, a metodologia desse sistema inteligente analisará o comportamento do reservatório ao longo dos anos, com auxílio de um simulador matemático, e a implementação do algoritmo Q-Learning da aprendizagem por reforço que visa promover a melhor estratégia de produção, e consequentemente a maximização dos lucros e a minimização dos riscos à área de petróleo.

(33)

2.6 Aprendizagem por Reforço

A Aprendizagem por Reforço (AR) é um campo da aprendizagem de máquina que possibilita ao indivíduo aprender da sua interação com o ambiente no qual ele está inserido e consiste no aprendizado do mapeamento de estados em ações, afim de que um valor numérico de recompensa seja maximizado (SUTTON;BARTO, 2017). Como afirma Costa (2016), é uma aprendizagem baseada em recompensas e punições. A utilização dessa abordagem computacional é recomendada quando não se têm modelos a priori, ou quando não se consegue ter exemplos indicados às situações onde o agente aprendiz irá enfrentar. Conforme Costa (2017), a tarefa do agente é encontrar de forma autônoma uma política ótima de atuação por meio da interação com o ambiente, pois, após tomar uma ação, o agente imediatamente recebe uma recompensa, mas não fica sabendo qual deveria ser a melhor ação para maximizar o retorno em longo prazo.

Na seção a seguir será exposto o formalismo matemático que modela a AR conhecido como Processo de Decisão de Markov.

2.6.1 Processo de Decisão de Markov (PDM)

O Processo de Decisão de Markov (PDM) é utilizado para modelar problemas de tomada de decisão sequencial sob incerteza. O problema de se tomar uma sequência de decisões em um ambiente que apresenta incerteza surge em diversas áreas e em um PDM apenas as informações oferecidas pelo estado e ação atuais são essenciais para o cálculo das recompensas, conjunto de ações possíveis e probabilidades de transição do sistema de modo que a propriedade de Markov seja garantida, ou seja, a chance de prever o futuro do processo dado o presente, independentemente do passado.

De acordo com Puterman (2009), um processo de decisão sequencial pode ser denotado pela quíntupla M = {T,S,A,R,P} cujos elementos são descritos a seguir.

T (Conjunto de Instantes de Decisão): no processo de decisão sequencial as decisões são tomadas em instantes de tempo chamados de instantes de decisão. o conjunto T = {1, 2,...,N} com N ≤ ∞, representa o conjunto discreto de instantes de decisão, que pode ser finito ou infinito.

S (Conjunto de Estados do Ambiente): em cada instante de decisão t o processo assume um estado s ϵ S, que representa como o ambiente é percebido pelo agente (ou tomador de decisão) naquele instante. O conjunto S pode ser discreto, contínuo, finito ou infinito.

(34)

A (Conjunto de Ações Possíveis): Em cada estado s ϵ S, o agente deve escolher uma ação a de um conjunto de ações disponíveis no estado s, A(s), sendo 𝑨 = ⋃𝑨(𝒔),∀ 𝒔 ∈ 𝑺. É importante observar que S e A(s) não variam com t e que A(s) também pode ser discreto, contínuo, finito ou infinito.

R (Função de Recompensa ou Retorno): como consequência da escolha de uma ação a ϵ A(s) a partir do estado s no instante de decisão t o agente recebe uma recompensa rt(s,a). A

escolha da ação a modifica a percepção do agente em relação ao ambiente, levando-a a um novo estado st+1 que o conduzirá ao novo instante de decisão t +1. A função rt (s,a) definida

para s ϵ S e a ϵ As representa o valor da recompensa no instante t. Quando rt (s,a) é positivo é

visto como lucro ou prêmio, quando negativo é visto como custo ou punição.

P (Função de Probabilidade de Transição): o estado do ambiente no próximo instante de decisão t+1 é determinando pela distribuição de probabilidade pt( .| s,a) ∀ t, s, a. A função pt( j

| s,a), denominada a função de probabilidade de transição, denota a probabilidade do processo está no estado j ϵ S no instante t+1, quando o agente escolheu a ação a ϵ A(s) estando no estado s, no instante de tempo t.

Uma regra de decisão dt (s) especifica a ação a ser escolhida em um dado instante

particular t. Uma política π permite ao agente definir uma estratégia de escolha das ações em qualquer estado, ou seja, uma política π = {d1, d2, …, dN}, N ≤ ∞. Resolver um problema de

decisão sequencial é determinar, a priori, uma política π*_{que otimize a sequência de retornos a}

ser obtido pelo agente.

Como em um PDM tem que ser obedecida a propriedade de Markov, ou seja, as ações possíveis, os retornos e as probabilidades de transição dependem somente do estado e da ação corrente e não dos estados visitados e ações escolhidas previamente. então esta pode ser expressa como na equação (9).

𝑃_𝑠,𝑠′𝑎 _{= Pr{𝑠}

𝑡+1= 𝑠′|𝑠𝑡= 𝑠, 𝑎𝑡 = 𝑎} Equação (9)

Onde Pr representa a probabilidade de st+1 ser s’, a depender somente do estado e da ação

corrente.

A propriedade de Markov é importante para a aprendizagem por reforço, pois, ela possibilita que as decisões sejam tomadas em função apenas do estado atual, ou seja, o estado do processo no futuro depende apenas do estado do processo e da decisão escolhida no presente. Esta característica da propriedade de Markov torna possível a utilização de métodos incrementais, onde a partir do estado corrente pode-se obter soluções para cada um dos estados futuros.

(35)

2.6.2 Caracterizando um Problema de Aprendizagem por Reforço

Segundo Sutton e Barton (2017) na aprendizagem por reforço pode-se indicar quatro elementos essenciais: uma política, uma função de reforço, uma função valor e idealmente um modelo do ambiente:

1. Política: uma política π define como o agente deve decidir por certas ações em

detrimento de outras. O agente faz isso por meio do mapeamento de estados s e ações a, em um valor 𝝅(𝒔, 𝒂) que corresponde a probabilidade de o agente escolher a ação 𝒂 𝝐 𝑨(𝒔) quando ele está no estado 𝒔 𝝐 𝑺.

2. Função de Reforço e Retorno Total Esperado: o reforço é um sinal do tipo escalar

(𝒓_𝒕+𝟏), que é percebido pelo agente no ambiente em que está, logo que uma ação a tenha sido executada e uma transição de estado (𝒔𝒕 → 𝒔𝒕+𝟏) tenha ocorrido. Este sinal

de reforço é definido com base em uma função que expressa o objetivo que o agente de aprendizagem deseja alcançar. O objetivo do agente é maximizar a quantidade total de reforços recebidos, denominado de retorno acumulado, o que nem sempre significa maximizar o reforço imediato a receber, mas maximizar o valor do retorno acumulado durante o processo como um todo. Assim, o agente de AR busca maximizar o retorno total esperado, que é a função da sequência de reforços recebidos até um tempo T final. No caso de um problema episódico, o retorno é um somatório simples denotado por:

𝑅_𝑡 = 𝑟_𝑡+1+ 𝑟_𝑡+2+ 𝑟_𝑡+3+ ⋯ + 𝑟_𝑇 Equação (10)

Em alguns casos, a interação entre o agente e o ambiente pode não terminar em um episódio (sequência de estados que termina em um estado final), mas continua ilimitadamente. Nestes casos 𝑇 → ∞ e o valor do retorno esperado tenderá a infinito. Deste modo, um fator de desconto é introduzido para amortizar os valores futuros, estabelecendo assim, certo controle sobre o grau de influência que estes valores têm sobre o retorno total esperado. A expressão do retorno aplicando o fator de desconto 𝛾 será denotada pela equação (11):

𝑅𝑡 = 𝑟𝑡+1+ 𝛾. 𝑟𝑡+2+ 𝛾2. 𝑟𝑡+3+ ⋯ = ∑ 𝛾𝑘. 𝑟𝑡+𝑘+1 Equação (11) ∞

𝑘=0

Onde 𝟎 ≤ 𝜸 ≤ 𝟏. Se γ = 0, o agente tem uma visão míope dos reforços, maximizando apenas os reforços imediatos. Se γ = 1, a visão do reforço abrange todos os estados futuros dando a mesma importância para ganhos neste momento e qualquer ganho

(36)

futuro. Para uma determinada tarefa, dada uma política π, como não se conhece a priori o valor do retorno total esperado 𝑹_𝑻𝝅 pode-se então obter uma estimativa do mesmo utilizando aprendizagem por reforço.

3. Função Valor: associa um valor a um estado (ou par estado-ação). O valor V (s) é

obtido a partir do reforço atual (recebido no estado s) e dos reforços futuros. O valor V (s) representa uma estimativa do valor que o agente espera acumular ao longo do processo de aprendizagem, partindo do estado s. A função valor que considera apenas o estado s é denotada por V (s) e é denominada função valor- estado, enquanto que a função valor que considera o par estado-ação (s, a), denotada por Q(s, a) é denominada função valor estado-ação. Formalmente tem-se:

- Função Valor Estado: a quantidade de reforços que o agente espera receber no futuro depende de quais ações ele irá escolher, logo a função valor é definida em relação a uma política específica. Considerando uma política π específica, a função valor estado V(s) pode ser expressa por:

𝑉𝜋(𝑠) = 𝐸𝜋{𝑅𝑡|𝑠𝑡 = 𝑠} = 𝐸𝜋{∑ 𝛾𝑘𝑟𝑡+𝑘+1|𝑠𝑡= 𝑠} Equação (12) ∞

𝑘=0

Onde 𝐸_𝜋 é o valor esperado dado que o agente seguiu a política π, a partir de um estado 𝑠𝑡 = 𝑠, no instante t. Uma política ótima de ações é aquela que maximiza o

valor esperado, ou seja:

𝑉∗_{(𝑠) = max} 𝜋 𝑉

𝜋_{(𝑠) Equação (13)}

- Função Valor Estado-Ação: Da mesma maneira, considerando o par estado ação (s,a) pode-se ter 𝑄𝜋_{(𝑠, 𝑎), chamada função valor estado-ação denotada por:}

𝑄𝜋_{(𝑠, 𝑎) = 𝐸}

𝜋{𝑅𝑡|𝑠𝑡 = 𝑠, 𝑎𝑡 = 𝑎} = 𝐸𝜋{∑ 𝛾𝑘𝑟𝑡+𝑘+1|𝑠𝑡 = 𝑠, 𝑎𝑡= 𝑎} Equação (14) ∞

𝑘=0

que é semelhante a equação (12), considerando agora o reforço esperado para um estado st e uma ação at no instante t, assumindo que do momento t+1 em diante o

comportamento do agente é caracterizado pela política π. De forma análoga a função valor estado-ação ótima seria determinada por:

(37)

Kaline Souza dos Santos 𝑄∗(𝑠, 𝑎) = max

𝜋 𝑉

𝜋_{(𝑠, 𝑎) Equação (15)}

4. Modelo do Ambiente: o ambiente no qual o agente está inserido deve ser, de alguma

forma, pelo menos parcialmente observável. Caso toda informação relevante esteja disponível (conhecimento de 𝒑_𝒕(. |𝒔, 𝒂) 𝒆 𝑹𝒕(. |𝒔, 𝒂)) pode-se criar um modelo que

imite o comportamento do ambiente, de forma que, dado um estado st e uma ação at,

tal modelo possibilita predizer o próximo estado st+1 e a próxima recompensa rt+1.

Infelizmente nem sempre é possível a construção de um modelo preciso do ambiente. O processo interativo da resolução de um problema de AR pode ser resumido da seguinte maneira: o agente e o ambiente interagem em uma sequência de passos de tempo discretos 𝒕 = {𝟎, 𝟏, 𝟐, 𝟑, … }. Em cada etapa de tempo t, existe uma representação do ambiente, ou seja, um estado st ϵ S onde S é o conjunto de possíveis estados do ambiente. Com base nesse estado st o

agente aprendiz seleciona uma ação at ϵ A(st), onde A(st) é o conjunto de ações disponíveis no

estado st. Como consequência da escolha da ação, o ambiente é de alguma maneira modificado

e esta modificação é comunicado ao agente por meio de um sinal de reforço e da mudança para um novo estado st+1 do ambiente.

Essa interação permite que o agente possa definir, após um determinado número de experimentações, qual a melhor ação a ser executada em cada estado. Assim, o agente consegue aprender uma política ótima de atuação que maximize a estimativa do retorno total esperado representado pela função valor, independente do estado inicial do sistema. A Figura 2.4 mostra um esquema da interação do agente com o ambiente.

Figura 2.4: A Interação Agente-Ambiente na Aprendizagem por Reforço (Fonte: Sutton e Barton, 2017)