CURITIBA2017 ALGORITMODEPROCURACOMESCOLHADINˆAMICADASCOORDENADASPARAPROGRAMAC¸˜AON˜AOLINEARCOMRESTRIC¸˜OES MARIAJOSEANEFELIPEGUEDESMACˆEDO UNIVERSIDADEFEDERALDOPARAN´A

UNIVERSIDADE FEDERAL DO PARAN ´ A

MARIA JOSEANE FELIPE GUEDES MACˆ EDO

ALGORITMO DE PROCURA COM ESCOLHA DIN ˆ AMICA DAS COORDENADAS PARA PROGRAMAC ¸ ˜ AO N ˜ AO LINEAR COM

RESTRIC ¸ ˜ OES

CURITIBA

2017

MARIA JOSEANE FELIPE GUEDES MACˆ EDO

ALGORITMO DE PROCURA COM ESCOLHA DIN ˆ AMICA DAS COORDENADAS PARA PROGRAMAC ¸ ˜ AO N ˜ AO LINEAR COM

RESTRIC ¸ ˜ OES

Tese de Doutorado apresentada ao Programa de P´os- Gradua¸c˜ao em Matem´atica da Universidade Federal do Paran´a para obten¸c˜ao do t´ıtulo de Doutora em co- tutela de tese com a Universidade do Minho.

Orientadoras: Dra Elizabeth Wegner Karas Dra M. Fernanda P. Costa Dra Ana Maria A. C. Rocha

CURITIBA

2017

iii

iv

v

Dedico este trabalho ao meu filho, Luis Hen-

rique; aos meus pais, Guedes e Tiana; ao meu

esposo, ´ Alvaro; ao meu sobrinho, Pedro; e

aos meus irm˜ aos, Josicleide e Felipe.

vi

vii

Agradecimentos

Agrade¸co primeiramente a Deus, pois foi nele que me refugiei especialmente nas horas mais dif´ıceis.

A minha fam´ılia, em especial aos meus pais Guedes e Tiana, os melhores do mundo, que sempre se sacrificaram em prol da educa¸c˜ ao dos filhos. Pela maneira como conduziram nossa fam´ılia, mesmo nos piores momentos nunca nos faltou nada, principalmente o amor.

Vocˆ es s˜ ao o meu orgulho, a minha inspira¸c˜ ao e tˆ em participa¸c˜ ao especial em tudo isso.

Aos meus irm˜ aos Josicleide e Felipe, sempre presentes em minha vida mesmo que muitas vezes distantes fisicamente, amo muito vocˆ es. Ao meu sobrinho Pedro, o amor de titia.

Aos meus cunhados Gil e Wel. Obrigada a todos por cuidarem de Luis Henrique quando mais precisei.

Ao meu esposo ´ Alvaro e ao meu filho Luis Henrique, pela compreens˜ ao e apoio incondicional que recebi de vocˆ es, meus amores. A caminhada fica muito mais f´ acil com vocˆ es ao meu lado, seja em Mossor´ o, em Curitiba ou em Portugal. ´ Alvaro, meu amor, obrigada por tudo, essa tese ´ e sua tamb´ em. N˜ ao foram poucas as vezes que vocˆ e abriu m˜ ao de se dedicar ao seu doutorado para que eu pudesse me dedicar ao meu. Luis Henrique, mam˜ ae agradece todos os dias a Deus por vocˆ e ser esse filho t˜ ao maravilhoso e compreensivo, apesar de t˜ ao novinho. Mam˜ ae te ama al´ em do infinito. Aos meus cunhados Rodrigo, Murilo e Manuela e ao meu sogro Luiz. Em especial a minha cunhada, Heloiza, por ter cuidado de Luis Henrique nos momentos que precisei me ausentar de Mossor´ o.

A minha orientadora, no Brasil, Dra. Elizabeth Karas, que desde o primeiro contato por email foi extremamente atenciosa. Por estar sempre presente, nessa etapa de minha vida, de modo que em momento algum me senti desamparada. Pelos ensinamentos de Matem´ atica e de vida que me passou nesses anos de conv´ıvio. Espero que continuar com nossa parceria.

Vocˆ e ´ e um grande exemplo na minha vida, muito obrigada por tudo.

As minhas orientadoras, no exterior, Dra. Maria Fernanda e Dra. Ana Rocha. Muito

obrigada pela acolhida, na Universidade do Minho, pela aten¸c˜ ao dedicada, pelo carinho,

pelos ensinamentos e pela presen¸ca constante no decorrer deste trabalho. Foi um prazer

viii

imenso trabalhar convosco e espero que continuemos com nossa parceria. Que sorte a minha, por ter tido a oportunidade de trabalhar com trˆ es orientadoras maravilhosas.

Aos membros da banca, em especial ao Dr. Welington de Oliveira, pela disponibilidade e pelas valiosas contribui¸c˜ oes que permitiram o crescimento do trabalho.

A Universidade Federal do Paran´ ` a e ao Programa de P´ os-gradua¸c˜ ao em Matem´ atica (PPGM) na figura dos professoras, alunos e funcion´ arios, muito obrigada pela ´ otima aco- lhida no curso de doutorado em Matem´ atica. Aos amigos e parceiros de estudo que encon- trei no decorrer dessa jornada, em especial Ana Chorobura, Monique, Adriano Delfino e Teles. Sofremos mas tamb´ em demos muitas risadas juntos, sentirei saudades. A secretaria do PPGM, em especial ` a Cinthia, pela eficiˆ encia e presteza com que me auxiliou durante o doutorado.

A Universidade do Minho, pelo acolhimento durante o meu doutoramento sandu´ıche na ` Escola de Ciˆ encias e por aceitar o meu pedido de admissibilidade ` a prepara¸c˜ ao do Douto- ramento em Ciˆ encias, especialidade em Matem´ atica, em regime de cotutela.

A Universidade Federal Rural do Semi- ´ ` Arido (UFERSA), da qual me orgulho em fazer parte, pela libera¸c˜ ao para que pudesse me dedicar integralmente ao meu doutorado. Aos meus colegas de Matem´ atica que me apoiaram disponibilizando-se a assumir disciplinas extras caso houvesse necessidade, em especial a Suene, Paulo C´ esar, Jackson e Elmer. A minha amiga Jusciane, que desviou sua rota na Europa para confraternizar o Natal conosco.

Ao apoio financeiro da CAPES, Coordena¸c˜ ao de Aperfei¸coamento de Pessoal de N´ıvel Superior - Brasil, durante parte do doutorado no Brasil e pela bolsa de doutorado sandu´ıche no exterior.

A hospitalidade e o carinho da minha prima Ad´ elia e das minhas amigas, Ju Carmona, Simone Bodanese, Adriana Belotto, Lucila Domingues, que muitas vezes me acolheram em suas casas em Curitiba.

A todas as pessoas que direta ou indiretamente passaram pela minha vida e de alguma forma contribu´ıram com a minha forma¸c˜ ao cont´ınua.

Finalizo meus agradecimentos com o sentimento de que n˜ ao ´ e o fim de uma jornada, e sim

o come¸co.

ix

“N˜ ao se cansem de trabalhar por um mundo mais justo e solid´ ario.”

Papa Francisco

x

xi

Resumo

Neste trabalho desenvolvemos um algoritmo geral estoc´ astico de filtro, para resolver pro- blemas de otimiza¸c˜ ao n˜ ao lineares e n˜ ao convexos com restri¸c˜ oes gerais. A generalidade deste algoritmo est´ a no fato de que a an´ alise de sua convergˆ encia quase certamente ´ e garan- tida desde que a distribui¸c˜ ao de probabilidade utilizada no c´ alculo dos iterandos satisfa¸ca algumas hip´ oteses. O controle da inviabilidade ´ e feito atrav´ es da estrat´ egia dos m´ etodos de filtro. Baseados nesse algoritmo geral, desenvolvemos o Algoritmo FDDS, que baseia-se na ideia de busca com escolha dinˆ amica das coordenadas do Algoritmo DDS, para gerar os seus iterandos, e no m´ etodo de filtro para controlar a inviabilidade. No FDDS os ite- randos s˜ ao calculados adicionando-se perturba¸c˜ oes aleat´ orias com distribui¸c˜ ao normal nas coordenadas, escolhidas de forma dinˆ amica, do melhor ponto corrente. No entanto, com a estrat´ egia de gerar m´ ultiplos pontos tentativos em cada itera¸c˜ ao, o gasto com avalia¸c˜ oes da fun¸c˜ ao objetivo pode ser bastante elevado. Com o intuito de reduzir o n´ umero de ava- lia¸c˜ oes de fun¸c˜ ao, propomos o Algoritmo FDDSRBF, que tamb´ em se encaixa na estrutura do algoritmo geral e cujos m´ ultiplos pontos tentativos s˜ ao gerados da mesma maneira que no FDDS. No entanto, o FDDSRBF utiliza um modelo c´ ubico de fun¸c˜ oes de base radial, para aproximar a fun¸c˜ ao objetivo, na sele¸c˜ ao do melhor ponto tentativo. Os algoritmos propostos n˜ ao calculam ou aproximam quaisquer derivadas da fun¸c˜ ao objetivo e das res- tri¸c˜ oes. Resultados te´ oricos acerca das condi¸c˜ oes suficientes para a convergˆ encia quase certamente dos algoritmos foram apresentados. Resultados computacionais promissores, comparando-se o desempenho dos algoritmos propostos com alguns algoritmos existentes na literatura ao resolverem 42 problemas de trˆ es conjuntos diferentes, foram apresentados.

O Algoritmo FDDSRBF mostrou-se bastante eficiente e robusto, com uma significativa redu¸c˜ ao do n´ umero de avalia¸c˜ oes de fun¸c˜ ao.

Palavras-chave: M´ etodos estoc´ asticos; otimiza¸c˜ ao global; algoritmo DDS; m´ etodos de

filtro.

xii

xiii

Abstract

In this work we present an stochastic filter algorithm for solving nonlinear and noncon- vex constrained global optimization problems. The generality of this algorithm lies in the fact that the analysis of its convergence is almost always guaranteed once the probability distribution used in the calculation of the iterates satisfies some hypotheses. The control of infeasibility is done through the strategy of the filter methods. Based on this general algorithm, we developed the FDDS algorithm, which combines the filter method with the dynamically dimensioned search algorithm. In the FDDS the iterates are calculated by ad- ding random perturbations with normal distribution in the dynamically chosen coordinates of the best current point. However, with the strategy of generating multiple trial points in each iteration, the cost with objective function evaluations can be quite high. In order to reduce the number of function evaluations, we propose the FDDSRBF algorithm, which has the same general algorithm structure and whose multiple trial points are generated in the same way as in the FDDS. The FDDSRBF uses a cubic model of radial basis functions, to approximate the objective function, in the selection of the best trial point. The proposed algorithms do not compute or approximate any derivatives of the objective and constraint functions. Theoretical results concerning the sufficient conditions for the almost surely convergence of the proposed algorithms were presented. Promising computational results, in comparison to performance of the proposed algorithms with other algorithms in the literature when solving 42 problems of three different sets, were obtained. The FDDSRBF Algorithm provided competitive results when compared to the other methods.

Keywords: Stochastic methods; global optimization; DDS algorithm; filter methods.

xiv

´ Indice

Lista de Tabelas xix

Lista de Figuras xxii

Lista de algoritmos xxiii

Nota¸ c˜ ao e terminologia xxvii

1 Introdu¸ c˜ ao 1

1.1 Motiva¸c˜ ao . . . . 1

1.2 Contribui¸c˜ oes da Tese . . . . 5

1.3 Estrutura da Tese . . . . 7

2 Conceitos da teoria de probabilidade 9 2.1 Espa¸cos de probabilidade . . . . 9

2.1.1 Probabilidade condicional e independˆ encia . . . . 11

2.1.2 Vari´ aveis aleat´ orias . . . . 12

2.1.3 Vetores aleat´ orios . . . . 15

2.1.4 Sequˆ encias de eventos e o Lema de Borel-Cantelli . . . . 19

2.1.5 Distribui¸c˜ ao normal multivariada . . . . 19

2.2 Convergˆ encia no contexto probabil´ıstico . . . . 21

3 Algoritmos estoc´ asticos com iterandos vi´ aveis 23 3.1 O problema . . . . 23

xv

xvi

3.2 Um algoritmo geral . . . . 24

3.2.1 Algoritmo . . . . 24

3.2.2 Condi¸c˜ oes suficientes para convergˆ encia do algoritmo . . . . 26

3.3 Exemplos de aplica¸c˜ ao da teoria de convergˆ encia . . . . 34

3.3.1 Algoritmo de busca aleat´ oria localizada . . . . 34

3.3.2 O Algoritmo de Busca com Escolha Dinˆ amica das Coordenadas . . 38

3.3.3 O Algoritmo de Busca com Escolha Dinˆ amica das Coordenadas usando Modelos de Superf´ıcie de Resposta . . . . 44

4 Algoritmos estoc´ asticos com controle de inviabilidade 53 4.1 O problema . . . . 54

4.2 M´ etodos de filtro . . . . 55

4.3 Um algoritmo geral estoc´ astico de filtro . . . . 59

4.3.1 Algoritmo geral . . . . 59

4.3.2 Convergˆ encia do algoritmo . . . . 64

4.4 O Algoritmo de busca com escolha dinˆ amica das coordenadas e de filtro . . 69

4.4.1 Algoritmo FDDS . . . . 72

4.4.2 Convergˆ encia em probabilidade . . . . 74

4.5 Algoritmo FDDS usando modelos de aproxima¸c˜ ao por fun¸c˜ oes de base radial 75 4.5.1 Algoritmo FDDSRBF . . . . 79

4.5.2 Convergˆ encia em probabilidade . . . . 80

5 Experimentos num´ ericos 81 5.1 Detalhes de implementa¸c˜ ao . . . . 82

5.2 Resultados num´ ericos . . . . 83

5.2.1 Experimento para os problemas descritos em [3] . . . . 85

5.2.2 Experimento para os problemas descritos em [20] . . . . 91

5.2.3 Experimento para os problemas descritos em [47] . . . . 94

5.3 An´ alise do desempenho dos algoritmos . . . . 97

xvii

6 Conclus˜ oes e trabalhos futuros 99

Referˆ encias 101

xviii

Lista de Tabelas

5.1 Resultados num´ ericos para os problemas de [3] . . . . 88 5.2 Resultados num´ ericos para os problemas de [20] . . . . 93 5.3 Resultados num´ ericos para os problemas de engenharia descritos em [47] . 96

xix

xx

Lista de Figuras

4.1 Regra de dominˆ ancia de Pareto . . . . 56

4.2 Diferen¸ca entre uma regi˜ ao proibida com filtro reto e inclinado . . . . 57

4.3 Filtros reto e inclinado . . . . 58

4.4 Regi˜ oes proibidas no plano f × h para o filtro reto e inclinado . . . . 59

4.5 Caso em que X

´ e vi´ avel . . . . 61

4.6 Crit´ erio de sele¸c˜ ao do melhor ponto corrente . . . . 62

4.7 Sele¸c˜ ao do melhor ponto tentativo no FDDS . . . . 71

4.8 Sele¸c˜ ao do melhor ponto tentativo no FDDSRBF . . . . 78

5.1 Perfil de desempenho do n

, baseado nos valores da melhor rodada para os problemas descritos em [3] . . . . 86

5.2 Perfil de desempenho do n

, baseado nos valores da mediana das 30 rodadas para os problemas descritos em [3] . . . . 87

5.3 Perfil de desempenho do n

, baseado nos valores da melhor rodada para os problemas descritos em [20] . . . . 91

5.4 Perfil de desempenho do n

, baseado nos valores da m´ edia das 30 ro- dadas para os problemas descritos em [20] . . . . 92

5.5 Perfil de desempenho do n

, baseado nos valores da melhor rodada para os problemas descritos em [47] . . . . 95

5.6 Perfil de desempenho do n

, baseado nos valores da mediana das 30 rodadas para os problemas descritos em [47] . . . . 96

xxi

xxii

5.7 Perfil de desempenho do n

, baseado nos valores da melhor rodada para

as trˆ es cole¸c˜ oes de problemas teste . . . . 98

Lista de algoritmos

A seguir listamos os algoritmos apresentados no trabalho:

• Algoritmo geral . . . . 25

• Algoritmo de busca aleat´ oria localizada (LRS) . . . . 36

• Algoritmo de Busca com Escolha Dinˆ amica das Coordenadas (DDS) . . . . 41

• Algoritmo de Busca com Escolha Dinˆ amica das Coordenadas usando Modelos de Superf´ıcie de Resposta (DYCORS) . . . . 49

• Algoritmo geral estoc´ astico de Filtro . . . .. 60

• Algoritmo de Busca com Escolha Dinˆ amica das Coordenadas e de Filtro (FDDS) . . . .. 72

• Algoritmo de Busca com Escolha Dinˆ amica das Coordenadas e de Filtro usando interpola¸c˜ ao por Fun¸c˜ oes de Base Radial (FDDSRBF) . . . .. 79

xxiii

xxiv

Nota¸ c˜ ao e terminologia

A seguir listamos as nota¸c˜ oes e s´ımbolos mais utilizados no trabalho:

• IR: conjunto dos n´ umeros reais

• IR

: espa¸co euclidiano n-dimensional

• | · |: valor absoluto

• k · k: norma vetorial ou matricial

• B(z, δ): bola aberta de centro em z e raio δ

• A

: transposta da matriz A

• det(A): determinante da matriz quadrada A

• ]I: cardinal do conjunto I

• N

: complementar do conjunto N

• Ω: espa¸co amostral abstrato

• F : σ-´ algebra de subconjuntos (eventos) aos quais se atribuir´ a uma probabilidade

• P : fun¸c˜ ao que atribui probabilidades aos eventos

• P (A): probabilidade do evento A

• P (A|B): probabilidade condicional de A dado B

xxv

xxvi

• (Ω, F , P ): espa¸co de probabilidade

• (Ω, F ): espa¸co mensur´ avel

• µ: medida

• F

: fun¸c˜ ao de distribui¸c˜ ao da vari´ avel aleat´ oria X

• g: fun¸c˜ ao de densidade

• B(IR): subconjuntos de Borel em IR

• B(Ω): σ-´ algebra de Borel

• lim

k→∞

A

=[A

infinitas vezes]: evento “ocorrˆ encia de um n´ umero infinito dos A

”

• ∆

: operador diferen¸ca no intervalo I

• U [0, 1]: distribui¸c˜ ao uniforme entre 0 e 1

• N (γ, λ

): distribui¸c˜ ao normal com m´ edia γ e variˆ ancia λ

• O s´ımbolo “∼” significa “tem como distribui¸c˜ ao” ou “est´ a distribu´ıdo como” (exem- plo: X ∼ N (0, 1))

• X

→

X

: X

converge em probabilidade para X

• {Λ

}: cole¸c˜ ao dos elementos aleat´ orios gerados na itera¸c˜ ao k

• O

: or´ aculo associado ` a cole¸c˜ ao de elementos aleat´ orios gerados at´ e a itera¸c˜ ao k

• Θ: fun¸c˜ ao determin´ıstica dos elementos aleat´ orios de O

• P

: probabilidade da itera¸c˜ ao k associada ` a escolha das coordenadas para perturba¸c˜ ao aleat´ oria

• h: fun¸c˜ ao medida de inviabilidade

• F

: filtro permanente da itera¸c˜ ao k

xxvii

• F ¯

: filtro tempor´ ario da itera¸c˜ ao k

• F

: regi˜ ao, na itera¸c˜ ao k, permanentemente proibida em IR

• F ¯

: regi˜ ao, na itera¸c˜ ao k, temporariamente proibida em IR

• A

: conjunto de pontos utilizados para alimentar o modelo RBF na itera¸c˜ ao k

• S: fun¸c˜ ao utilizada para aproximar a fun¸c˜ ao objetivo na itera¸c˜ ao k

Outras nota¸c˜ oes ser˜ ao, naturalmente, introduzidas ao longo do texto.

xxviii

Cap´ıtulo 1 Introdu¸ c˜ ao

Esta tese enquadra-se na ´ area da Otimiza¸c˜ ao N˜ ao Linear. O objetivo da tese ´ e desenvol- ver novos algoritmos estoc´ asticos de otimiza¸c˜ ao global eficientes e robustos para resolver problemas de otimiza¸c˜ ao n˜ ao lineares com restri¸c˜ oes, n˜ ao convexos e n˜ ao suaves, em que avalia¸c˜ oes da fun¸c˜ ao objetivo s˜ ao de custo computacional elevado.

1.1 Motiva¸ c˜ ao

Muitos problemas que surgem de uma vasta gama de aplica¸c˜ oes reais do cotidiano em di- versas ´ areas s˜ ao modelados como problemas n˜ ao convexos de otimiza¸c˜ ao n˜ ao lineares com restri¸c˜ oes. Devido ao contexto em que surgem estes problemas, ´ e natural que em algu- mas aplica¸c˜ oes reais n˜ ao seja poss´ıvel calcular as derivadas, ou porque o custo de c´ alculo

´

e elevado ou porque as fun¸c˜ oes n˜ ao est˜ ao dispon´ıveis. Assim, ´ e de todo inconveniente utilizar m´ etodos que recorram ao uso de derivadas para determinar uma solu¸c˜ ao de um problema desta natureza. Neste contexto, os m´ etodos estoc´ asticos s˜ ao atrativos devido

`

a sua simplicidade computacional e por n˜ ao envolverem o uso de derivadas anal´ıticas ou num´ ericas. Por sua vez, problemas de otimiza¸c˜ ao envolvendo modelos estoc´ asticos ocorrem frequentemente em diversas ´ areas como, por exemplo engenharias, ciˆ encias, finan¸cas, tele- comunica¸c˜ oes e medicina (ver [25, 47, 49]). Este tipo de problema ´ e extremamente dif´ıcil

1

2 Cap´ıtulo 1. Introdu¸c˜ ao de resolver, o que estimula o interesse na an´ alise e desenvolvimento de novos algoritmos de resolu¸c˜ ao eficientes e robustos para obter a solu¸c˜ ao de tais problemas. Devido ` a presen¸ca de parˆ ametros aleat´ orios, a combina¸c˜ ao de conceitos da teoria de otimiza¸c˜ ao com a teoria de probabilidade e estat´ıstica s˜ ao primordiais. Tais parˆ ametros aleat´ orios podem estar presentes no problema e/ou no pr´ oprio algoritmo de otimiza¸c˜ ao. Em geral, os m´ etodos estoc´ asticos foram inicialmente desenvolvidos para resolver problemas de otimiza¸c˜ ao sem restri¸c˜ oes, ou com restri¸c˜ oes de limites simples nas vari´ aveis de decis˜ ao (tamb´ em desig- nadas por restri¸c˜ oes de caixa), e posteriormente estendidos para resolver problemas de otimiza¸c˜ ao com restri¸c˜ oes gerais. ´ E de salientar que, o problema com restri¸c˜ oes gerais

´

e mais dif´ıcil de resolver e o m´ etodo de otimiza¸c˜ ao ter´ a que incorporar estrat´ egias para controle da inviabilidade dos iterandos ao longo do processo iterativo.

Uma importante classe de m´ etodos para resolver problemas de otimiza¸c˜ ao n˜ ao lineares com restri¸c˜ oes s˜ ao os m´ etodos de penalidade, que buscam a solu¸c˜ ao substituindo o problema com restri¸c˜ oes original por uma sequˆ encia de subproblemas, ou apenas num, usando fun¸c˜ oes de penalidade, os quais s˜ ao resolvidos por m´ etodos eficientes de otimiza¸c˜ ao n˜ ao linear sem restri¸c˜ oes. Nestes m´ etodos, o objetivo ´ e penalizar iterandos que n˜ ao sejam vi´ aveis, ao mesmo tempo que minimizam a fun¸c˜ ao de penalidade (ver [1, 2, 21, 10]).

Em geral as fun¸c˜ oes de penalidade s˜ ao definidas adicionando ` a fun¸c˜ ao objetivo termos

de penalidade (um por restri¸c˜ ao), que s˜ ao positivos se as restri¸c˜ oes s˜ ao violadas, caso

contr´ ario s˜ ao nulos. Os termos de penalidade s˜ ao multiplicados por um parˆ ametro de

penalidade positivo. Nos m´ etodos de penalidade, ao fazer-se o parˆ ametro de penalidade

tender para infinito, vai-se penalizando cada vez mais severamente a viola¸c˜ ao ` as restri¸c˜ oes,

for¸cando assim que o minimizador da fun¸c˜ ao de penalidade se aproxime da regi˜ ao vi´ avel

do problema original. Deste modo, obt´ em-se uma sequˆ encia de minimizadores da fun¸c˜ ao

de penalidade que converge para a solu¸c˜ ao ´ otima do problema original. Estes m´ etodos de

penalidade s˜ ao conhecidos na literatura por m´ etodos de penalidade exterior. Existem na

literatura diferentes termos de penalidade, tais como, linear, quadr´ atico, est´ atico, dinˆ amico,

adaptativo, entre outros, e por conseguinte diferentes fun¸c˜ oes de penalidade, para mais

detalhes ver [33, 34]. Uma quest˜ ao cr´ıtica associada a tais m´ etodos ´ e a escolha apropriada

1.1. Motiva¸c˜ ao 3 para o parˆ ametro de penalidade, o seu valor inicial e respectiva atualiza¸c˜ ao ao longo do processo iterativo, de forma a manter o equil´ıbrio entre a fun¸c˜ ao objetivo e os termos de penalidade.

Uma alternativa aos m´ etodos de penalidade para resolver problemas de otimiza¸c˜ ao com restri¸c˜ oes s˜ ao os m´ etodos de filtro introduzidos por Fletcher e Leyffer em [15]. Os m´ etodos de filtro baseiam-se no conceito de dominˆ ancia, importado da otimiza¸c˜ ao multi-objetivo, onde se constr´ oi um filtro que aceita iterandos apenas se eles melhoram o valor da fun¸c˜ ao objetivo ou o valor da fun¸c˜ ao de medida da inviabilidade, e que ´ e conhecida por regra de dominˆ ancia de Pareto. Os m´ etodos de filtro reformulam o problema de otimiza¸c˜ ao com restri¸c˜ oes num problema bi-objetivo em que minimizam a fun¸c˜ ao objetivo e a fun¸c˜ ao de medida da inviabilidade. Uma das vantagens dos m´ etodos de filtro em rela¸c˜ ao aos m´ etodos de penalidade ´ e que n˜ ao recorrem a fun¸c˜ oes de penalidade, ultrapassando-se assim a dificuldade existente com a atribui¸c˜ ao do valor inicial, bem como os valores a atribuir durante o processo iterativo, ao parˆ ametro de penalidade. Estudos sobre a convergˆ encia global dos m´ etodos de filtro podem ser encontrados em [6, 7, 14, 16, 17, 27, 35, 44].

Existem na literatura alguns algoritmos estoc´ asticos baseados nos m´ etodos de filtro.

Por exemplo, em [46] ´ e apresentado um m´ etodo estoc´ astico populacional baseado numa heur´ıstica que simula o comportamento de um cardume na ´ agua e no m´ etodo de filtro.

Neste m´ etodo, o problema com restri¸c˜ oes original ´ e substitu´ıdo por uma sequˆ encia de sub- problemas bi-objetivos com restri¸c˜ oes de limites simples nas vari´ aveis. Cada subproblema

´

e resolvido globalmente usando o algoritmo estoc´ astico populacional cardume de peixes

artificial e de filtro. Na resolu¸c˜ ao de cada subproblema, a popula¸c˜ ao inicial ´ e formada pelo

minimizador do subproblema anterior e os pontos restantes s˜ ao gerados aleatoriamente

para explorar o espa¸co de busca por uma solu¸c˜ ao global do subproblema em resolu¸c˜ ao, e

utiliza a metodologia de filtro para aceitar pontos n˜ ao-dominados. Em [9] ´ e apresentado

um m´ etodo estoc´ astico de inicia¸c˜ ao m´ ultipla (do inglˆ es, multistart) que incorpora como

procedimento de busca local uma extens˜ ao do m´ etodo de Hooke e Jeeves, ver [22], e de filtro

para calcular m´ ultiplas solu¸c˜ oes de problemas de otimiza¸c˜ ao n˜ ao lineares com restri¸c˜ oes e

vari´ aveis mistas, n˜ ao convexos e n˜ ao suaves.

4 Cap´ıtulo 1. Introdu¸c˜ ao Recentemente, surgiu na literatura um novo algoritmo estoc´ astico designado por Al- goritmo de Busca com Escolha Dinˆ amica das Coordenadas (do inglˆ es, Dynamically Di- mensioned Search algorithm - DDS), que ´ e uma heur´ıstica estoc´ astica desenvolvida por Tolson e Shoemaker [52], para resolver problemas de calibra¸c˜ ao autom´ atica de modelos de simula¸c˜ ao de bacias hidrogr´ aficas. Dado que os problemas de calibra¸c˜ ao tˆ em muitos parˆ ametros (vari´ aveis) o algoritmo DDS apresenta-se como uma ferramenta simples e ro- busta para a resolu¸c˜ ao de tais problemas, os quais s˜ ao demasiado dispendiosos em termos computacionais. Em [52] o desempenho do algoritmo DDS ´ e comparado com o Algoritmo de Evolu¸c˜ ao Complexa Desordenada (do inglˆ es, shuffled complex evolution - SCE) para um conjunto de problemas teste de otimiza¸c˜ ao com restri¸c˜ oes de limites simples nas vari´ aveis e um problema modelo de formula¸c˜ oes de calibra¸c˜ ao autom´ atica SWAT2000 (do inglˆ es, Soil and Water Assessment Tool Documentation, version 2000 [32]). Os resultados apresenta- dos mostraram que o DDS ´ e mais eficiente do que o SCE, requerendo apenas entre 15%

a 20% do n´ umero de avalia¸c˜ oes da fun¸c˜ ao para encontrar bons valores da fun¸c˜ ao objetivo no conjunto de problemas testado. Al´ em disso, tamb´ em mostraram que o DDS converge rapidamente para boas solu¸c˜ oes de calibra¸c˜ ao e evita facilmente ´ otimos locais.

Dada a efic´ acia do Algoritmo DDS na resolu¸c˜ ao de problemas complexos de calibra¸c˜ ao,

tˆ em surgido na literatura extens˜ oes do DDS bem como novas propostas de algoritmos es-

toc´ asticos que incorporam a ideia do DDS. Por exemplo, em [51] ´ e apresentada a extens˜ ao

do DDS para resolver problemas de otimiza¸c˜ ao n˜ ao lineares com restri¸c˜ oes de limites sim-

ples e envolvendo vari´ aveis discretas, chamado de algoritmo de busca com escolha dinˆ amica

das coordenadas h´ıbrido. Em [39] ´ e proposto o algoritmo ConstrLMSRBF, que usa mo-

delos de superf´ıcie de fun¸c˜ oes de base radial (do inglˆ es, Radial Basis Function - RBF), o

qual ´ e uma extens˜ ao do Local Metric Stochastic RBF (LMSRBF) algorithm proposto em

[41] que incorpora a ideia do DDS. O algoritmo LMSRBF original foi desenvolvido para

resolver problemas com restri¸c˜ oes de limites simples nas vari´ aveis com uma fun¸c˜ ao objetivo

do tipo caixa-preta de elevado custo computacional. O algoritmo ConstrLMSRBF ´ e uma

extens˜ ao do LMSRBF, para lidar com restri¸c˜ oes de desigualdade do tipo caixa-preta e usa

modelos de RBF para aproximar a fun¸c˜ ao objetivo e as fun¸c˜ oes de restri¸c˜ ao. Os resul-

1.2. Contribui¸c˜ oes da Tese 5 tados computacionais reportados mostram que o algoritmo ConstrLMSRBF tem melhor desempenho do que os outros m´ etodos de otimiza¸c˜ ao usados para compara¸c˜ ao.

Em [40] ´ e proposto uma extens˜ ao do ConstrLMSRBF, designado por Extended Cons- trLMSRBF, para resolver problemas do mesmo tipo como em [39], mas de grande dimens˜ ao.

O Extended ConstrLMSRBF algoritmo est´ a estruturado em duas fases. Na primeira fase, o algoritmo tenta encontrar um ponto vi´ avel. Uma vez encontrado o ponto vi´ avel, o algo- ritmo entra na segunda fase para melhorar esse ponto vi´ avel, procedendo de modo idˆ entico ao ConstrLMSRBF original. ´ E de referir que em ambos os m´ etodos, as restri¸c˜ oes s˜ ao tra- tadas individualmente atrav´ es do uso de modelos de RBF, em vez do uso de fun¸c˜ oes de penalidade.

1.2 Contribui¸ c˜ oes da Tese

Nesta tese, tendo por base a efic´ acia demonstrada pelo DDS, a principal contribui¸c˜ ao centra-se no desenvolvimento de um novo m´ etodo estoc´ astico que incorpora a ideia do DDS e a metodologia de filtro, para resolver problemas de otimiza¸c˜ ao com restri¸c˜ oes de igualdade e/ou de desigualdade, em que as avalia¸c˜ oes da fun¸c˜ ao objetivo s˜ ao de custo computacional elevado.

Ao longo da tese considera-se o problema de otimiza¸c˜ ao com restri¸c˜ oes gerais, escrito na seguinte forma:

minimizar f (x) sujeito a x ∈ D

,

(1.1)

onde f : A ⊆ IR

→ IR ´ e uma fun¸c˜ ao determin´ıstica qualquer, x ´ e o vetor que cont´ em as

vari´ aveis de decis˜ ao e D

⊆ A ⊆ IR

´ e o conjunto vi´ avel, sendo A o dom´ınio de f. Estamos

particularmente interessados nos casos em que avalia¸c˜ oes da fun¸c˜ ao objetivo s˜ ao de custo

computacional elevado, podendo esta ser do tipo caixa-preta. ´ E de referir que, quando

a fun¸c˜ ao objetivo e/ou algumas das fun¸c˜ oes de restri¸c˜ ao s˜ ao n˜ ao lineares o problema ´ e

classificado como sendo um problema de programa¸c˜ ao n˜ ao linear (PNL). Mais ainda, o

problema de PNL ´ e classificado como n˜ ao convexo quando a fun¸c˜ ao objetivo ´ e uma fun¸c˜ ao

6 Cap´ıtulo 1. Introdu¸c˜ ao n˜ ao convexa ou quando a regi˜ ao vi´ avel D

´ e um conjunto n˜ ao convexo. ´ E de salientar que, os problemas de PNL n˜ ao convexos s˜ ao considerados de dif´ıcil resolu¸c˜ ao dado que o problema poder´ a ter v´ arios minimizadores locais e globais distintos. Se para al´ em disto, alguma das fun¸c˜ oes envolvidas no problema ´ e n˜ ao diferenci´ avel, ent˜ ao temos um problema de PNL n˜ ao convexo e n˜ ao suave, o que dificulta ainda mais a sua resolu¸c˜ ao.

O trabalho desenvolvido nesta tese centra-se na resolu¸c˜ ao de problemas de PNL com restri¸c˜ oes, n˜ ao convexos e n˜ ao suaves, em que a fun¸c˜ ao objetivo ´ e de elevado custo compu- tacional e n˜ ao necessariamente cont´ınua.

Esta tese est´ a dividida em duas fases de estudo. Numa primeira fase s˜ ao apresentados algoritmos estoc´ asticos de otimiza¸c˜ ao global, para a resolu¸c˜ ao de problemas de PNL com restri¸c˜ oes de limites simples, n˜ ao convexos e n˜ ao suaves, entre eles o Algoritmo DDS. Para este tipo de problema, ´ e f´ acil manter a viabilidade dos iterandos ao longo do processo iterativo. Os algoritmos apresentados geram os pontos inicias dentro da regi˜ ao vi´ avel e usam estrat´ egias de proje¸c˜ ao dos iterandos na regi˜ ao vi´ avel, ao longo do processo iterativo para garantir a viabilidade. Nossa contribui¸c˜ ao no contexto de problemas com restri¸c˜ oes de limites simples na vari´ aveis ´ e o estudo da convergˆ encia em probabilidade do Algoritmo DDS, com base nas ideias de [38] e no Lema de Borel-Cantelli. Numa segunda fase, o estudo ´ e direcionado para a resolu¸c˜ ao dos problemas de PNL com restri¸c˜ oes gerais, n˜ ao convexos e n˜ ao suaves. Neste caso, a regi˜ ao vi´ avel D

´ e o conjunto definido por todos os pontos que satisfazem as restri¸c˜ oes de desigualdade e de igualdade do problema, e onde algumas das fun¸c˜ oes, objetivo ou restri¸c˜ oes, podem ser n˜ ao lineares, n˜ ao convexas e n˜ ao suaves.

Neste contexto, prop˜ oe-se um algoritmo geral estoc´ astico de filtro, onde os iterandos

s˜ ao vetores aleat´ orios cujas realiza¸c˜ oes s˜ ao geradas de acordo com alguma distribui¸c˜ ao de

probabilidade e que usa uma metodologia de filtro para controlar a inviabilidade. Para o

algoritmo geral estoc´ astico de filtro, ´ e efetuado um estudo das condi¸c˜ oes suficientes para

que este seja convergente. Com base neste estudo do algoritmo geral estoc´ astico de filtro,

s˜ ao propostos dois algoritmos estoc´ asticos de filtro pr´ aticos que baseiam-se na ideia de

busca com escolha dinˆ amica das coordenadas do DDS para gerar os seus iterandos. O

1.3. Estrutura da Tese 7 primeiro algoritmo pr´ atico proposto ´ e denominado de Algoritmo de Busca com Escolha Dinˆ amica das Coordenadas e de Filtro (do inglˆ es, Filter based dynamically dimensioned search algorithm - FDDS). E o segundo ´ e denominado de Algoritmo de Busca com Escolha Dinˆ amica das Coordenadas e de Filtro usando interpola¸ c˜ ao por Fun¸ c˜ oes de Base Radial (do inglˆ es, Filter-based Dynamically Dimensioned Search using Radial Basis Function in- terpolation - FDDSRBF). ´ E de salientar que o FDDSRBF proposto combina o FDDS com um modelo de interpola¸c˜ ao da fun¸c˜ ao objetivo por fun¸c˜ oes de base radial, para ultrapassar a dificuldade do elevado custo computacional associado ` as avalia¸c˜ oes da fun¸c˜ ao objetivo.

Para finalizar ´ e de referir que, para avaliar os desempenhos dos algoritmos FDDS e FDDSRBF propostos, bem como a compara¸c˜ ao com outros m´ etodos de otimiza¸c˜ ao, ´ e efetu- ado um conjunto de experiˆ encias computacionais recorrendo a problemas teste dispon´ıveis na literatura.

1.3 Estrutura da Tese

A tese est´ a estruturada da seguinte forma. No Cap´ıtulo 2 apresenta-se uma revis˜ ao de

alguns conceitos estat´ısticos b´ asicos e resultados cl´ assicos da teoria de medida em espa¸cos

de probabilidade. No Cap´ıtulo 3 ´ e apresentado um estudo da convergˆ encia, no sentido

probabil´ıstico, de um algoritmo estoc´ astico geral com iterandos vi´ aveis para resolver pro-

blemas de otimiza¸c˜ ao global com restri¸c˜ oes de limites simples. No mesmo cap´ıtulo tamb´ em

s˜ ao apresentados e descritos trˆ es algoritmos estoc´ asticos de busca direta localizada que se

encaixam nos moldes do algoritmo estoc´ astico geral vi´ avel, entre eles o Algoritmo DDS. ´ E

tamb´ em apresentado, um estudo das condi¸c˜ oes suficientes para que o Algoritmo DDS seja

convergente em probabilidade. No Cap´ıtulo 4, o qual teve in´ıcio durante o doutoramento

em regime de cotutela realizado na Universidade do Minho, ´ e proposto um algoritmo geral

estoc´ astico de filtro, te´ orico, e ´ e apresentado um estudo da convergˆ encia em probabilidade

deste algoritmo. Por fim, s˜ ao desenvolvidos e propostos dois algoritmos pr´ aticos baseados

no algoritmo te´ orico, denominados por FDDS e FDDSRBF. No Cap´ıtulo 5, apresentam-se

as experiˆ encias computacionais realizadas com os algoritmos propostos, usando trˆ es conjun-

8 Cap´ıtulo 1. Introdu¸c˜ ao

tos de problemas teste retirados da literatura. Para finalizar, no Cap´ıtulo 6 apresentam-se

as conclus˜ oes deste trabalho e propostas de investiga¸c˜ ao para trabalho futuro.

Cap´ıtulo 2

Conceitos da teoria de probabilidade

Neste cap´ıtulo revisamos algumas defini¸c˜ oes e alguns resultados cl´ assicos da teoria de medida em espa¸cos de probabilidade necess´ arios ao bom entendimento do texto. O objetivo aqui ´ e fornecer uma introdu¸c˜ ao para os leitores que n˜ ao est˜ ao familiarizados com tais conceitos e resultados. Se n˜ ao for o caso, o leitor pode seguir para o Cap´ıtulo 3. Para uma leitura mais completa acerca do assunto, consultar [12, 23, 43, 48].

2.1 Espa¸ cos de probabilidade

Esta se¸c˜ ao ´ e baseada em [12, Sec. 1.1] e tem o objetivo de revisar os principais conceitos de espa¸cos de probabilidade.

Um espa¸co amostral ´ e definido como sendo o conjunto de todos os poss´ıveis resultados de um experimento aleat´ orio. Denotaremos um espa¸co amostral abstrato por Ω. Em geral, n˜ ao ´ e poss´ıvel atribuir probabilidades a todos os subconjuntos de um dado conjunto. Um conjunto ao qual se atribui uma probabilidade ´ e chamado de evento aleat´ orio. Denotar-se-´ a por F a classe dos conjuntos aos quais se atribuir´ a uma probabilidade. Como Ω representa o conjunto de todos os resultados poss´ıveis, a probabilidade de Ω ´ e igual 1. Portanto Ω deve pertencer a F .

Defini¸ c˜ ao 2.1 Uma classe de conjuntos F que satisfaz as seguintes propriedades

9

10 Cap´ıtulo 2. Conceitos da teoria de probabilidade (i) Ω ∈ F;

(ii) se A ∈ F ent˜ ao A

∈ F; e

(iii) se A

∈ F ´ e uma fam´ılia enumer´ avel de conjuntos ent˜ ao [

i

A

∈ F

´

e chamada de σ-´ algebra.

Uma vez que \

i

A

= [

i

A

!

segue que uma σ-´ algebra ´ e fechada sobre uma in- terse¸c˜ ao enumer´ avel.

Defini¸ c˜ ao 2.2 Um espa¸ co de probabilidade ´ e uma tripla (Ω, F , P ), onde Ω representa o espa¸ co amostral correspondente aos resultados de um experimento, F ´ e uma σ-´ algebra de subconjuntos (eventos) de Ω e P : F → [0, 1] ´ e uma fun¸ c˜ ao que atribui probabilidades aos eventos.

Ao omitirmos P , a dupla (Ω, F ) ´ e chamada um espa¸co mensur´ avel, isto ´ e, um espa¸co no qual podemos introduzir uma medida.

Defini¸ c˜ ao 2.3 Uma medida ´ e uma fun¸ c˜ ao µ : F → IR que satisfaz as seguintes proprie- dades:

(i) µ(∅) = 0;

(ii) µ(A) ≥ 0, ∀ A ∈ F;

(iii) Se A

∈ F ´ e uma sequˆ encia enumer´ avel de conjuntos disjuntos, ent˜ ao

µ [

i

A

!

= X

i

µ(A

). (2.1)

Se µ(Ω) = 1 ent˜ ao µ ´ e uma medida de probabilidade, que ´ e usualmente denotada por P . Aqui a fun¸c˜ ao P : F → [0, 1] ´ e uma medida de probabilidade, logo satisfaz a Defini¸c˜ ao 2.3 e P (Ω) = 1.

As propriedades a seguir s˜ ao consequˆ encias diretas da defini¸c˜ ao de uma medida de

probabilidade P .

2.1. Espa¸cos de probabilidade 11 Propriedade 2.4 Sejam A e B eventos num espa¸ co de probabilidade (Ω, F , P ).

(a) P (A

) = 1 − P (A);

(b) P (A ∪ B) = P (A) + P (B) − P (A ∩ B);

(c) (Monotonicidade) Se A ⊆ B ent˜ ao P (A) ≤ P (B );

(d) (Subaditividade) Para eventos A

, com k ≥ 1, tem-se P

∞

[

k=1

A

!

≤

∞

X

k=1

P (A

); (2.2)

(e) (Continuidade) A medida P ´ e cont´ınua para sequˆ encias mon´ otonas:

(i) Se A

↑ A (isto ´ e, A

⊂ A

⊂ · · · e ∪

A

= A) ent˜ ao P (A

) ↑ P (A).

(ii) Se A

↓ A (isto ´ e, A

⊃ A

⊃ · · · e ∩

A

= A) ent˜ ao P (A

) ↓ P (A).

2.1.1 Probabilidade condicional e independˆ encia

Esta se¸c˜ ao est´ a baseada em [23, Sec. 1.2 e 1.3] e tem o objetivo de revisar conceitos e resultados sobre independˆ encia e probabilidade condicional.

A probabilidade condicional permite analisar o resultado de um evento quando existe alguma interven¸c˜ ao no espa¸co amostral.

Defini¸ c˜ ao 2.5 Seja (Ω, F, P ) um espa¸ co de probabilidade. Se B ∈ F e P (B) > 0, a probabilidade condicional de A dado B , denotada por P (A|B), ´ e definida por

P (A|B) = P (A ∩ B)

P (B) , A ∈ F. (2.3)

A express˜ ao (2.3) tamb´ em ´ e conhecida como regra do produto.

A probabilidade condicional ´ e uma medida de probabilidade e portanto satisfaz a De- fini¸c˜ ao 2.3 e P (Ω|B) = 1, bem como as Propriedades 2.4. Al´ em disso, dada uma cole¸c˜ ao de eventos {A

, A

, · · · , A

}, ´ e poss´ıvel mostrar por indu¸c˜ ao que,

P (A

∩ A

∩ · · · ∩ A

) = P (A

)P (A

|A

) . . . P (A

|A

∩ A

∩ · · · ∩ A

) , (2.4)

12 Cap´ıtulo 2. Conceitos da teoria de probabilidade para todo A

, A

, . . . A

∈ F e para todo k = 2, 3, . . ..

Quando dois eventos s˜ ao independentes, a ocorrˆ encia de um n˜ ao exerce nenhuma in- fluˆ encia na probabilidade de ocorrˆ encia do outro.

Defini¸ c˜ ao 2.6 Seja (Ω, F, P ) um espa¸ co de probabilidade. Os eventos aleat´ orios A e B s˜ ao independentes se

P (A ∩ B) = P (A)P (B). (2.5)

Defini¸ c˜ ao 2.7 (a) Os eventos A

, A

, . . . , A

, com k ≥ 2, s˜ ao ditos (coletivamente) independentes se toda subfam´ılia finita deles ´ e de eventos independentes; isto ´ e,

P (A

∩ A

∩ . . . ∩ A

) = P (A

)P (A

) · · · P (A

), (2.6) para todos 1 ≤ i

≤ i

≤ . . . ≤ i

e m = 2, 3, . . . , k.

(b) Os eventos A

, A

, . . . s˜ ao independentes se para todo k ≥ 2, A

, A

, . . . , A

s˜ ao independentes.

(c) Seja I um conjunto de ´ındices tal que ]I ≥ 2. Os eventos A

, com i ∈ I, s˜ ao independentes se toda subfam´ılia finita deles ´ e de eventos independentes, isto ´ e, se A

, A

, . . . , A

s˜ ao independentes para toda combina¸ c˜ ao {i

, i

, . . . , i

} de elemen- tos de I e todo m = 2, 3, . . ..

2.1.2 Vari´ aveis aleat´ orias

Esta se¸c˜ ao est´ a baseada em [23, Sec. 2.1-2.3] e tem o objetivo de revisar conceitos e resultados sobre vari´ aveis aleat´ orias.

Quando o resultado de um experimento ´ e um n´ umero real, o pr´ oprio resultado ser´ a o valor de uma vari´ avel aleat´ oria, definida por X(ω) = ω. Por exemplo, considere escolher um ponto ao acaso no intervalo fechado [0, 1] e seja X o valor do resultado, ent˜ ao Ω = [0, 1]

e X(ω) = ω. Neste caso, cada vari´ avel aleat´ oria ´ e uma fun¸c˜ ao real do resultado do

experimento, onde X ´ e a fun¸c˜ ao identidade. Diremos que X(ω) ´ e vari´ avel aleat´ oria se, e

somente se, o evento [X ≤ x] := {ω ∈ Ω : X(ω) ≤ x} for aleat´ orio para todo x ∈ IR.

2.1. Espa¸cos de probabilidade 13 Defini¸ c˜ ao 2.8 Uma vari´ avel aleat´ oria X num espa¸ co de probabilidade (Ω, F , P ) ´ e uma fun¸ c˜ ao real definida no espa¸ co Ω tal que [X ≤ x] ´ e evento aleat´ orio para todo x ∈ IR; isto

´

e, X : Ω → IR ´ e vari´ avel aleat´ oria se [X ≤ x] ∈ F para todo x ∈ IR.

Um exemplo de uma vari´ avel aleat´ oria ´ e a fun¸ c˜ ao indicadora de um conjunto A ∈ F definida como segue.

1

(x) =







1, x ∈ A 0, x / ∈ A.

(2.7)

Defini¸ c˜ ao 2.9 A fun¸ c˜ ao de distribui¸ c˜ ao da vari´ avel aleat´ oria X, denotada por F

, ´ e de- finida por

F

(x) = P (X ≤ x), x ∈ IR. (2.8)

Na literatura, a fun¸c˜ ao de distribui¸c˜ ao de X ´ e frequentemente denominada de fun¸ c˜ ao de distribui¸ c˜ ao acumulada de X.

A seguir enunciamos algumas propriedades que a fun¸c˜ ao de distribui¸c˜ ao satisfaz.

Propriedade 2.10 Se X ´ e uma vari´ avel aleat´ oria ent˜ ao sua fun¸ c˜ ao de distribui¸ c˜ ao F

satisfaz as seguites propriedades:

(a) Se x ≤ y, ent˜ ao F

(x) ≤ F

(y). Isto ´ e, F

´ e n˜ ao decrescente;

(b) lim

x→∞

F

(x) = 1 e lim

x→−∞

F

(x) = 0;

(c) Se x

↓ x, ent˜ ao F

(x

) ↓ F

(x). Isto ´ e, F

´ e cont´ınua ` a direita.

Defini¸ c˜ ao 2.11 Seja X uma vari´ avel aleat´ oria num espa¸ co de probabilidade (Ω, F , P ).

(a) Dizemos que X ´ e discreta se existe um conjunto finito ou enumer´ avel {x

, x

. . .} ⊂

IR tal que X(ω) ∈ {x

, x

. . .}, para todo ω ∈ Ω. A fun¸ c˜ ao p(x

) definida por

p(x

) = P (X = x

), com i = 1, 2 . . ., ´ e chamada de fun¸ c˜ ao de probabilidade (ou

fun¸ c˜ ao de frequˆ encia) de X.

14 Cap´ıtulo 2. Conceitos da teoria de probabilidade (b) Dizemos que X ´ e (absolutamente) cont´ınua se existe uma fun¸ c˜ ao g mensur´ avel, de-

finida para todo x real, com g(x) ≥ 0, tal que F

(x) =

Z

−∞

g(t) dt, para todo x ∈ IR. (2.9) Neste caso, dizemos que g ´ e a fun¸ c˜ ao de densidade de probabilidade de X ou, sim- plesmente, densidade de X.

Uma fun¸c˜ ao g ´ e densidade de alguma vari´ avel aleat´ oria X se, e somente se, Z

−∞

g (x) dx = 1.

Observa¸ c˜ ao 2.12 (Conjuntos de Borel na reta) Suponha Ω = IR e seja C = {(a, b], −∞ ≤ a ≤ b < ∞}.

Defina os subconjuntos de Borel em IR por B(IR) := σ(C ), onde σ(C) ´ e a σ-´ algebra gerada por C . Assim, os subconjuntos de Borel em IR s˜ ao elementos da σ-´ algebra gerada pelos intervalos que s˜ ao abertos ` a esquerda e fechados ` a direita.

Proposi¸ c˜ ao 2.13 [23, Prop. 2.1] Se X ´ e uma vari´ avel aleat´ oria em (Ω, F , P ), ent˜ ao o evento

[X ∈ B] := {ω ∈ Ω : X(ω) ∈ B} (2.10)

´

e evento aleat´ orio para todo Boreliano B. Isto ´ e,

[X ∈ B] ∈ F , para todo B ∈ B(Ω) := σ-´ algebra de Borel, (2.11) onde B(Ω) ´ e a menor σ-´ algebra contendo os intervalos.

Uma consequˆ encia da Proposi¸c˜ ao 2.13 ´ e que as probabilidades P (X ∈ B) s˜ ao determi-

nadas pela fun¸c˜ ao de distribui¸c˜ ao F

. Al´ em disso, a probabilidade definida na σ-´ algebra

de Borel, P (X ∈ B), ´ e chamada de distribui¸ c˜ ao de X. Existem v´ arias representa¸c˜ oes da

distribui¸c˜ ao de uma vari´ avel aleat´ oria X, onde geralmente ´ e escolhida a representa¸c˜ ao mais

conveniente. No caso cont´ınuo, a distribui¸c˜ ao de uma vari´ avel aleat´ oria X pode ser repre-

sentada tanto por meio da fun¸c˜ ao de distribui¸c˜ ao de probabilidade F

como pela fun¸c˜ ao

de densidade g , por´ em ´ e mais comum trabalhar com a fun¸c˜ ao de densidade.

2.1. Espa¸cos de probabilidade 15 Proposi¸ c˜ ao 2.14 [23, Proposi¸ c˜ ao 2.2 (b)] Se X ´ e uma vari´ avel aleat´ oria absolutamente cont´ınua com densidade g, ent˜ ao

P (X ∈ B) = Z

B

g(x) dx, (2.12)

para todo B ∈ B(Ω).

Exemplo 2.15 A vari´ avel aleat´ oria X possui distribui¸ c˜ ao normal padr˜ ao, denotada por X ∼ N (0, 1), se X tem densidade dada por

g(x) = 1

√ 2π exp(−x

/2), x ∈ IR. (2.13)

Considere b > 0 e c ∈ IR. Se X ´ e uma vari´ avel aleat´ oria, ent˜ ao Y = c + bX tamb´ em

´

e uma vari´ avel aleat´ oria. Pois Y ≤ y se, e somente se, X ≤ y − c

b , de modo que o evento [Y ≤ y] ´ e aleat´ orio para todo y ∈ IR. A proposi¸c˜ ao a seguir mostra como obter a densidade de Y a partir da densidade de X.

Proposi¸ c˜ ao 2.16 [23, Proposi¸ c˜ ao 2.3] Sejam X uma vari´ avel aleat´ oria cont´ınua com den- sidade g

e Y = c + bX, onde b > 0 e c ∈ IR. Ent˜ ao Y tem densidade g

dada por,

g

(y) = 1 b g

y − c b

, y ∈ IR. (2.14)

Exemplo 2.17 Se X ∼ N (0, 1) e Y = γ + λX , com γ > 0 e λ ∈ IR, ent˜ ao da Proposi¸ c˜ ao 2.16 a vari´ avel aleat´ oria Y tem densidade dada por

g (y) = 1 λ √

2π exp

−(y − γ)

2λ

, y ∈ IR. (2.15)

Neste caso Y ∼ N (γ, λ

) e dizemos que Y tem distribui¸ c˜ ao normal com m´ edia γ e variˆ ancia λ

.

2.1.3 Vetores aleat´ orios

Agora vamos nos basear em [23, Sec. 2.4] para estender nossa revis˜ ao sobre vari´ aveis

aleat´ orias para vetores aleat´ orios em IR

.

16 Cap´ıtulo 2. Conceitos da teoria de probabilidade Defini¸ c˜ ao 2.18 Um vetor X ˜ = (X

, X

, . . . , X

), cujas componentes s˜ ao vari´ aveis aleat´ o - rias definidas no mesmo espa¸ co de probabilidade (Ω, F, P ), ´ e chamado vetor aleat´ orio (ou vari´ avel aleat´ oria n-dimensional). Note que o vetor aleat´ orio X ˜ ´ e uma fun¸ c˜ ao de Ω em IR

, isto ´ e, X ˜ : Ω → IR

.

Defini¸ c˜ ao 2.19 A fun¸ c˜ ao de distribui¸ c˜ ao F = F

= F

de um vetor aleat´ orio X ˜ = (X

, . . . , X

) ´ e definida da seguinte maneira,

F (˜ x) = F (x

, . . . , x

) = P (X

≤ x

, . . . , X

≤ x

) , ∀ (x

, . . . , x

) ∈ IR

. (2.16) Al´ em disso, F tamb´ em ´ e chamada de fun¸ c˜ ao de distribui¸ c˜ ao conjunta das vari´ aveis aleat´ o- rias X

, . . . , X

.

O evento [X

≤ x

, . . . , X

≤ x

] :=

n

\

i=1

[X

≤ x

] ´ e aleat´ orio, j´ a que os componentes X

s˜ ao vari´ aveis aleat´ orias e, portanto, [X

≤ x

] ∈ F, para todo i = 1, . . . , n.

Veremos algumas propriedades da fun¸c˜ ao de distribui¸c˜ ao F de um vetor aleat´ orio, mas antes precisamos da seguinte defini¸c˜ ao.

Defini¸ c˜ ao 2.20 Sejam I = (a, b] um intervalo e q : IR

→ IR uma fun¸ c˜ ao. Definimos o operador de diferen¸ ca de q no intervalo I como sendo,

∆

q(x

, . . . , x

) = q(x

, . . . , x

, b) − q(x

, . . . , x

, a) (2.17) Propriedade 2.21 A fun¸ c˜ ao de distribui¸ c˜ ao F de um vetor aleat´ orio (X

, . . . , X

) satis- faz:

(i) F (x

, . . . , x

) ´ e n˜ ao-decrescente em cada uma das suas vari´ aveis. Logo, para cada coordenada i = 1, . . . , n, se x < y, ent˜ ao

F (x

, . . . , x, . . . , x

) ≤ F (x

, . . . , y, . . . , x

); (2.18) (ii) F (x

, . . . , x

) ´ e cont´ınua ` a direita em cada uma das suas vari´ aveis. Logo, para cada

coordenada i = 1, . . . , n, se y

↓ x

quando k → ∞, ent˜ ao

F (x

, . . . , y

, . . . , x

) ↓ F (x

, . . . , x

, . . . , x

), quando k → ∞; (2.19)

2.1. Espa¸cos de probabilidade 17 (iii) Para cada 1 ≤ i ≤ n,

xi

lim

F (x

, . . . , x

) = 0 e lim

xi→∞

F (x

, . . . , x

) = 1; (2.20) (iv) Sejam cada k = 1, . . . , n,

∆

. . . ∆

F (x

, . . . , x

) ≥ 0, ∀ I

= (a

, b

], (2.21) onde a

< b

e ∆

1

. . . ∆

´ e a composta dos operadores de diferen¸ ca definidos em (2.20).

Observa¸ c˜ ao 2.22 Para ilustrar a Propriedade 2.21-(iv), vejamos o caso em que n = 2.

Seja F a fun¸ c˜ ao de distribui¸ c˜ ao do vetor aleat´ orio (X, Y ). Se I

= (a

, b

) e I

= (a

, b

), ent˜ ao

∆

1

∆

2

F (x, y) = ∆

1

[F (x, b

) − F (x, a

)] =

= F (b

, b

) − F (b

, a

) − [F (a

, b

) − F (a

, a

)] ≥ 0.

Defini¸ c˜ ao 2.23 Uma fun¸ c˜ ao F : IR

→ IR que satisfaz as Propriedades 2.21(i) − (iv) ´ e chamada fun¸ c˜ ao de distribui¸ c˜ ao n-dimensional (ou n-variada, ou multivariada).

Temos a seguinte analogia para a Defini¸c˜ ao 2.11-(b), no caso cont´ınuo e multivariado.

Defini¸ c˜ ao 2.24 Seja (X

, . . . , X

) um vetor aleat´ orio e F a sua fun¸ c˜ ao de distribui¸ c˜ ao.

Se existe uma fun¸ c˜ ao g(x

, . . . , x

) ≥ 0 tal que F (x

, . . . , x

) =

Z

−∞

. . . Z

−∞

g(t

, . . . , t

) dt

. . . dt

, ∀ (x

, . . . , x

) ∈ IR

, (2.22) ent˜ ao g ´ e a fun¸ c˜ ao de densidade do vetor aleat´ orio (X

, . . . , X

) ou fun¸ c˜ ao de densidade conjunta das vari´ aveis aleat´ orias X

, . . . , X

e, neste caso, dizemos que (X

, . . . , X

) ´ e (absolutamente) cont´ınuo.

Vejamos outras extens˜ oes de outros conceitos que s˜ ao v´ alidas para o caso multivariado.

18 Cap´ıtulo 2. Conceitos da teoria de probabilidade Proposi¸ c˜ ao 2.25 Se X ˜ = (X

, . . . , X

) ´ e um vetor aleat´ orio no espa¸ co de probabilidade (Ω, F , P ), ent˜ ao [X ∈ B] ∈ F , para todo B ∈ B(Ω), onde B(Ω) ´ e a σ-´ algebra de Borel de Ω = IR

.

Observa¸ c˜ ao 2.26 A σ-´ algebra de Borel no IR

´ e a menor σ-´ algebra contendo todo retˆ angulo n-dimensional, ou seja, ´ e a σ-´ algebra gerada pelos retˆ angulos em IR

.

Defini¸ c˜ ao 2.27 Seja X ˜ = (X

, . . . , X

) um vetor aleat´ orio no espa¸ co de probabilidade (Ω, F , P ). A probabilidade definida em B(Ω) por P ( ˜ X ∈ B) ´ e chamada de fun¸ c˜ ao de distribui¸ c˜ ao de X ˜ ou fun¸ c˜ ao de distribui¸ c˜ ao conjunta de X

, . . . , X

.

Proposi¸ c˜ ao 2.28 Se X ˜ = (X

, . . . , X

) ´ e um vetor aleat´ orio cont´ınuo, com densidade g, no espa¸ co de probabilidade (Ω, F, P ), ent˜ ao

P ( ˜ X ∈ B) = Z

. . . Z

B

g(x

, . . . , x

) dx

, . . . , dx

. (2.23)

Proposi¸ c˜ ao 2.29 [23, Prop. 2.5]

(a) Se X

, . . . , X

s˜ ao independentes e possuem densidades g

, . . . , g

, ent˜ ao a fun¸ c˜ ao g(x

, . . . , x

) =

n

Y

i=1

g

(x

), (2.24)

com (x

, . . . , x

) ∈ IR

, ´ e a densidade conjunta das vari´ aveis aleat´ orias X

, . . . , X

, isto ´ e, g = g

.

(b) Reciprocamente, se X

, . . . , X

tˆ em densidade conjunta g satisfazendo g(x

, . . . , x

) =

n

Y

i=1

g

(x

), (2.25)

com (x

, . . . , x

) ∈ IR

, onde g

(x) ≥ 0 e Z

∞

g

(x) dx = 1, para todo i, ent˜ ao

X

, . . . , X

s˜ ao independentes e g

= g

(densidade de X

), para i = 1, . . . , n.

2.1. Espa¸cos de probabilidade 19 Exemplo 2.30 (Distribui¸ c˜ ao uniforme [49]) Sejam D um conjunto compacto convexo com interior n˜ ao vazio e µ a medida de Lebesgue. A distribui¸ c˜ ao uniforme nesse conjunto tem densidade definida por:

g(x) =



 

  1

µ(D) , x ∈ D 0, x / ∈ D.

(2.26)

2.1.4 Sequˆ encias de eventos e o Lema de Borel-Cantelli

Nesta se¸c˜ ao vamos tratar do Lema de Borel-Cantelli, uma ferramenta das mais ´ uteis na Teoria da Probabilidade, o qual sob determinada hip´ otese garante a ocorrˆ encia ou n˜ ao de um evento infinitas vezes.

Se A

, A

, . . . ´ e uma sequˆ encia de eventos, ent˜ ao o limite superior da sequˆ encia definido por

k→∞

lim sup A

=

∞

\

k=1

∞

[

j=k

A

.

O evento lim

k→∞

sup A

´ e o evento “ocorrˆ encia de um n´ umero infinito dos eventos A

”.

Usaremos a nota¸c˜ ao lim

k→∞

sup A

= [A

infinitas vezes].

Proposi¸ c˜ ao 2.31 (Lema de Borel-Cantelli) [23, Prop. 5.2]

Sejam A

, A

, . . . eventos aleat´ orios em (Ω, F, P ), isto ´ e, A

∈ F para todo k.

(i) Se

∞

X

k=1

P (A

) < ∞, ent˜ ao P (A

infinitas vezes) = 0;

(ii) Se

∞

X

k=1

P (A

) = ∞ e os A

’s s˜ ao independentes, ent˜ ao P (A

infinitas vezes) = 1.

2.1.5 Distribui¸ c˜ ao normal multivariada

Nesta se¸c˜ ao, baseada em [23], estendemos a defini¸c˜ ao de distribui¸c˜ ao normal para n di- mens˜ oes.

Se ˜ X = (X

, . . . , X

) ´ e um vetor aleat´ orio, onde X

, . . . , X

s˜ ao vari´ aveis aleat´ orias independentes com distribui¸c˜ ao N (0, 1), ent˜ ao o vetor aleat´ orio ˜ Y = (Y

, . . . , Y

), onde

Y

= γ

+ a

X

+ · · · + a

X

,