MAR Modelação de Acontecimentos Raros
Capítulo 1. Porquê Teoria de Valores Extremos ?
MEIO MSc ESTATÍSTICA e INVESTIGAÇÃO OPERACIONAL
DEIO - FCUL
2
0Ano - 1
0Semestre
Créditos: 6 ECTS; Carga Horária: 2T + 1TP
Maria Isabel Fraga Alves
mailto:mialves@fc.ul.pt
http://docentes.deio.fc.ul.pt/fragaalves/
Gabinete 6.4.8
Motivação
Katrina : Um desastre (não)natural?
Nova Orleães encontra-se situada abaixo do nível do mar, no meio de dois lagos, a norte e a Este, e do rio Mississipi a sul.De acordo com as informações divulgadas pelas autoridades locais, esta inundação deveu-se, sobretudo, a uma brecha de 60 metros num dique junto ao lago Pontchartrain.
Motivação
New Orleans After Hurricane Katrina: An Unnatural Disaster?
NewYorkTimes,Sept'05
The next thing they need to do is to have a double-tiered dike system. I'll refer to them asdikesinstead of levees, because we needDutch engineersto design these structures, not the Army Corps of Engineers.
The rst structureshould be a concrete damn structure of at least 40-50 feet high
that is built all along the lake and every Canal that connects to the lake. This plan would costbillions, but would guarantee that New Orleans would NEVER face this tragedy again.
Motivação
New Orleans After Hurricane Katrina: An Unnatural Disaster?
NewYorkTimes,Sept'05
New Orleans was built on adelta.
Engineerssurrounded it with dikes for ood protection. Yes, I know aboutHolland.
Holland is not on the Mississippi River. It is not in hurricane alley.
It was amatter of time. So is the next disaster, if this lesson isn't learned.Do we really want to do this again in 20 years?
Motivação
The Catastrophic 1953 North Sea Flood of the Netherlands
Biot Report #317: January 11, 2006 As Americans come to grips with the
New Orleans' ooding caused by Hurricane Katrina's storm surge
overtopping and breaching multiple levees on August 29, 2005,similar historical ood disastersmay provide perspective and guidance.
One such ood was the viciousNorth Sea Storm that crashed into the Netherlandsin the early morning hours ofFebruary 1, 1953.
Motivação
The Catastrophic 1953 North Sea Flood of the Netherlands
de Haan, L. (2006). On Extreme Value Theory. Or: How to Learn from Almost Disastrous Events. Ed. CEAUL. de Haan, L.(1990). Fighting the arch-enemy with mathematics. Statistica Neerlandica 44, 45-68.
O nível das águas excedeu os 5.6 metros acima do nível do mar, destruiu as defesas marítimas, tendo inundado áreas na Holanda, Inglaterra, Bélgica, Dinamarca e França e cerca de 2500 pessoas morreram.
Como resultado, o governo holandês, constituiu a designada Delta Committee. o governo decretou que os diques devem ser construídos com uma altura tal que
a probabilidade de um inundação num determinado ano é de 1 em 10.000
Ora operíodo de observação dos dados é muitíssimo mais curto !!
Motivação
Extremos no Mercado Financeiro
O Comité de Basileia sobre o controlo bancário formula normas e directrizes de supervisão e recomenda boas práticas para as instituições nanceiras.
Entre outras medidas de risco, essa regulamentação envolve a estimação de uma quantidade denominada deValue-at-Risk (VaR)que não é mais do que um quantil extremal da distribuição de perdas e ganhos.
Como poderá ser estimado o VaR a partir da série deRetornos diários Rt (em percentagem) de nidos por
Rt=100 log(Pt/Pt−1)
Extremos no Mercado Financeiro
Motivação
Extremos no Mercado Financeiro
Motivação
Extremos no Mercado Financeiro
Um breve texto crítico sobre o cálculo do VaR através das metodologias tradicionais (Normal-VaR) vs. a Teoria de Vaores Extremos (EV-VaR) pode ser consultado em: Aragonés, J., C. Blanco, K. Dowd. 2000. The Learning Curve: Extreme Value Theory for VaR (Part 1andPart 2), introductory article on EVT.
Questões a ter em consideração:
usualmente existem poucas observações na cauda da distribuição
são requeridas estimativas para além do máximo observado
modelos para a cauda baseados em resultados assintóticos
será sensato para as situações reais ? problema ...!
no entanto,
'All models are wrong but some models are useful'
- George Box
(1919-, Professor Emeritus de Estatística da Universidade de Wisconsin, genro de Sir Ronald Fisher, em Empirical Model-Building and Response Surfaces (1987), co-autor Norman R. Draper, p. 424)Áreas de Aplicação Acontecimentos Raros em:
Ambiente
Finanças e Seguros
Resistência de Materiais
Desporto
Sismologia
Teoria de Valores Extremos: porque nem tudo é Normal!
Fraga Alves, INFO-CIÊNCIAS DIGITAL- 6 Out 2011 De que altura deverá ser projectada uma barragem de aterro, de tal forma que o mar só atinja este nível uma vez em 1000 anos?
Qual a probabilidade de rotura de determinado dique marítimo? Que ordem de grandeza poderá vir a atingir um crash bolsista amanhã? Qual a probabilidade ser ultrapassada a melhor marca de 8.95m em salto em comprimento, dado o actual state of the art?
Teoria de Valores Extremos: porque nem tudo é Normal!
Muitas questões da vida real requerem a estimação sobre acontecimentos acerca dos quais os dados são inexistentes ou se existem são escarsos - são os designadosacontecimentos extremos ou raros.
A Teoria de Valores Extremos (EVT, do inglês Extreme Value Theory)é um ramo probabilista de suporte à Estatística que lida exactamente com tais situações, ajudando a descrever e a quanti car os ditos acontecimentos raros;
em particular, permite a estimação de probabilidades de acontecimentos que não contêm dados, ou como usualmente dizemos,extrapolar para além da amostra. Outra quantidade relevante é operíodo de retorno, que não é mais do que o intervalo de tempo médio entre ocorrências de um determinado valor extremal.
Teoria de Valores Extremos: porque nem tudo é Normal!
Na análise de dados clássica os extremos podem vir a ser rotulados deoutliers, e chegando por vezes mesmo a ser ignorados no estudo, uma vez que se afastam do modelo "ajustado".
Se o objectivo for inferir acerca de acontecimentos do dia-a-dia, realmente poderá ser irrelevante suprimir tais dados nas pontas, mas se a questão fulcral residir em dados que não ocorrem com muita frequência então dever-se-á aplicar ocontexto EVT, dando relevância exactamente a esses valores extremos.
Teoria de Valores Extremos: porque nem tudo é Normal!
Existirá um padrão escondido subjacente a todo o tipo de eventos?
Se medirmos as alturas de muitas pessoas de um mesmo estrato homogéneo e as representarmos por um simples histograma, facilmente descobrimos uma mesma regra, a famosa curva de Gauss, por vezes também denominada distribuição em forma de sino, que não é mais do que a constatação de que a Normal como que "regula"a característica em causa.
Surpreendentemente (ou talvez não ...) muitos dos dados da vida real seguem a distribuição Normal e suas congéneres.
Contudo, quando nos focamos nos extremos, localizados nascaudas das distribuições, esta deixa de ser uma verdade irrefutável.
Teoria de Valores Extremos: porque nem tudo é Normal!
Existirá um padrão escondido subjacente a todo o tipo de eventos?
Nocampo nanceiro, por exemplo nas distribuições associadas aos retornos, é habitual encontrarcaudas mais pesadasdo que as abordagens clássicas consideram. Isto quer basicamente dizer o seguinte: os acontecimentos extremos, embora improváveis por hipótese, são mais frequentes do que seria de esperar segundo o modelo gaussiano.
Existem situações onde a abordagem EVT é primordial. A distribuição associada às maiores observações para aplicações a dados outemperaturas anuais de pico, por exemplo;
por outro lado, adistribuição das menores observaçõesé aplicada a problemas de
resistência de materiais, onde o princípio do elo mais fraco impera, ou ainda a fenómenos como aduração da vida humana.
Teoria de Valores Extremos: porque nem tudo é Normal!
Existirá um padrão escondido subjacente a todo o tipo de eventos?
Em estatística, oTeorema de Fisher-Tippett-Gnedenko(o fulcral teorema dos tipos em valores extremos) é um resultado acerca da distribuição assintótica das estatísticas ordinais extremais.
O teorema dos tipos extremais desempenha um papel análogo ao tão famoso teorema de limite central para as médias.
Basicamente, estabelece queo máximo amostral convenientemente normalizado converge para uma de 3 distribuições possíveis, a Gumbel a Fréchet ou a Weibull. Não importa a forma do centro de distribuição, acauda assume formas sempre muito especiaisquando estamos longe o su ciente na cauda.
O crédito deste resultado é devido aGnedenko em 1948, embora versões anteriores tivessem sido estabelecidas em1927 por Fréchet e em 1928 por Fisher e Tippett.
Estatísticos históricos na área de Extremos
Estatísticos históricos na área de Extremos
Ernst Hjalmar WaloddiWeibull(1887-1979), Emil JuliusGumbel(1891-1966), e Maurice RenéFréchet(1878-1973)
Emil Gumbel:
'It seems that the rivers know the theory. It only remains to convince the engineers of the validity of this analysis.'
'Il est impossible que l'improbable n'arrive jamais.' 'Il y aura toujours une valeur qui dépassera toutes les autres.'
Estatísticos históricos na área de Extremos
Referências Principais:
Beirlant J, Goegebeur Y, Segers J and Teugels J (2004) Statistics of
Extremes: Theory and Applications. Wiley.
Exposição detalhada da TVE e muitos exemplos ilustrativos com dados.
Castillo E, Hadi AS, Balakrishnan N, Sarabia JM (2004) Extreme
Value and Related Models with Applications in Engineering and
Science. Wiley.
Introdução básica à aplicação da TVE, exempli cando com vários conjuntos de dados.
Coles S (2001) An Introduction to Statistical Modeling of Extreme
Values. Springer-Verlag.
Uma introdução clara aos resultados chave e métodos, dirigida aos utilizadores e aqueles que são novos na área.
Outras Referências em TVE:
Embrechts P, Kluppelberg C and Mikosch T (1997) Modelling Extremal Events for Insurance and Finance. Springer.
Um tratamento integrado dos resultados principais e introdutório à estatística de Extremos. Reace ainda para caudas pesadas.
Falk M, Husler J and Reiss R-D (2010) Laws of small numbers: extremes and rare events. 3rd ed. Springer Basel.
Ferreira A, de Haan L (2006) Extreme Value Theory. Springer.
Tratamento matemático avançado da Teoria de Valores Extremos, nas vertentes probabilística e estatística. Galambos J (1987) The Asymptotic Theory of Extreme Order Statistics. 2nd Edition. Krieger.
Gumbel EJ (1958) Statistics of Extremes. Columbia University Press. (Dover Publications 2004). O texto original e clássico de Gumbel.
Kotz S and Nadarajah S (2000) Extreme Value Distributions: Theory and Applications. Imperial College Press.
Um compêndio de de nições e resultados para distribyuções de valores extremos univariadas e multivariadas. Leadbetter MR, Lindgren G and Rootzen H (1983) Extremes and Related Properties of Random Sequences and Process. Springer-Verlag.
Um tratamento rigoroso da TVE univariada.
Reiss R-D and Thomas M (2007) Statistical Analysis of Extreme Values: with Applications to Insurance, Finance, Hydrology and Other Fields. 3rd Edition. Birkhauser.
Uma introdução aos métodos estatísticos com muitos exemplos de casos de estudo. Resnick SI (1987) Extreme Values, Regular Variation, and Point Processes. Springer-Verlag. Tiago de Oliveira J (1984) Statistical Extremes and Applications. Kluwer Academic Publishers.
R packages para Valores Extremos:
ver
Eric Gilleland Software for Extreme Value Analysis (EVA)
R-Packages for Extreme Values
Software in R
evd
evdbayes
evir
ismev
extRemes
extremevalues
fExtremes
lmom
lmomRFA
lmomco
POT
SpatialExtremes
Tópicos a serem abordados em MAR:
Porquê Teoria de Valores Extremos ?Técnicas grá cas usadas na análise de Valores Extremos:
QQ-plots, PP-plots e ME-plots. Dados univariados em ambiente, hidrologia, meteorologia, seguros, nanças e geofísica.
Perspectiva Probabilística:
Distribuições exactas e limite das e.o centrais, extremais e intermédias; leis limite estáveis para máx e mín. Max-Domínios, condições na cauda e POT-Domínios. Distribuições Generalizadas de Valores Extremos e de Pareto.
Índice de valores Extremos e peso de cauda. Caudas pesadas e Variação Regular.
Perspectiva Estatística:
Perspectivas Paramétrica e Semi-Paramétrica de Inferência Estatística em Acontecimentos Raros.
Escolha estatística de Modelos Extremais e de Max-Domínios.
Metodologias MA, POT e PORT na inferência de Acontecimentos Raros: índice de VE, períodos de retorno, probabilidades de excedência e quantis extremais.
