Estima¸c˜ao de M´axima Verossimilhan¸ca Utilizando M´etodos Iterativos

Estima¸c˜ ao de M´ axima Verossimilhan¸ ca Utilizando M´ etodos Iterativos

Carlos Montenegro Silva

Instituto de Matem´atica e Estat´ıstica Universidade de S˜ao Paulo

Outubro, 2014

Motiva¸c˜ ao

Em muitos problemas de estima¸c˜ao de m´axima verossimilhan¸ca, pode ser dif´ıcil ou at´e imposs´ıvel encontrar express˜oes anal´ıticas de forma fechada para os estimadores.

Exemplos:

Fun¸c˜ao de densidade de probabilidade Cauchy: f(x, θ) = 1

π(1 + (x−θ)²), x∈R, θ∈R Fun¸c˜ao de quant´ıa de probabilidade Poisson truncada:

f(x, θ) = e^−θθ^x

(1−e^−θ)x!, x= 1,2, . . . , θ >0 Nos casos das distribui¸c˜oes Gamma e Weibull (com os dois parˆametros desconhecidos).

Problemas de regress˜ao com Modelos Lineares Generalizados (GLM). Problemas de regress˜ao com Modelos n˜ao-lineares (NLM).

Motiva¸c˜ ao

Em muitos problemas de estima¸c˜ao de m´axima verossimilhan¸ca, pode ser dif´ıcil ou at´e imposs´ıvel encontrar express˜oes anal´ıticas de forma fechada para os estimadores.

Exemplos:

Fun¸c˜ao de densidade de probabilidade Cauchy:

f(x, θ) = 1

π(1 + (x−θ)²), x∈R, θ∈R

Fun¸c˜ao de quant´ıa de probabilidade Poisson truncada: f(x, θ) = e^−θθ^x

(1−e^−θ)x!, x= 1,2, . . . , θ >0 Nos casos das distribui¸c˜oes Gamma e Weibull (com os dois parˆametros desconhecidos).

Problemas de regress˜ao com Modelos Lineares Generalizados (GLM). Problemas de regress˜ao com Modelos n˜ao-lineares (NLM).

Motiva¸c˜ ao

Em muitos problemas de estima¸c˜ao de m´axima verossimilhan¸ca, pode ser dif´ıcil ou at´e imposs´ıvel encontrar express˜oes anal´ıticas de forma fechada para os estimadores.

Exemplos:

Fun¸c˜ao de densidade de probabilidade Cauchy:

f(x, θ) = 1

π(1 + (x−θ)²), x∈R, θ∈R Fun¸c˜ao de quant´ıa de probabilidade Poisson truncada:

f(x, θ) = e^−θθ^x

(1−e^−θ)x!, x= 1,2, . . . , θ >0

Nos casos das distribui¸c˜oes Gamma e Weibull (com os dois parˆametros desconhecidos).

Problemas de regress˜ao com Modelos Lineares Generalizados (GLM). Problemas de regress˜ao com Modelos n˜ao-lineares (NLM).

Motiva¸c˜ ao

Em muitos problemas de estima¸c˜ao de m´axima verossimilhan¸ca, pode ser dif´ıcil ou at´e imposs´ıvel encontrar express˜oes anal´ıticas de forma fechada para os estimadores.

Exemplos:

Fun¸c˜ao de densidade de probabilidade Cauchy:

f(x, θ) = 1

π(1 + (x−θ)²), x∈R, θ∈R Fun¸c˜ao de quant´ıa de probabilidade Poisson truncada:

f(x, θ) = e^−θθ^x

(1−e^−θ)x!, x= 1,2, . . . , θ >0 Nos casos das distribui¸c˜oes Gamma e Weibull (com os dois parˆametros desconhecidos).

Problemas de regress˜ao com Modelos Lineares Generalizados (GLM). Problemas de regress˜ao com Modelos n˜ao-lineares (NLM).

Motiva¸c˜ ao

Em muitos problemas de estima¸c˜ao de m´axima verossimilhan¸ca, pode ser dif´ıcil ou at´e imposs´ıvel encontrar express˜oes anal´ıticas de forma fechada para os estimadores.

Exemplos:

Fun¸c˜ao de densidade de probabilidade Cauchy:

f(x, θ) = 1

π(1 + (x−θ)²), x∈R, θ∈R Fun¸c˜ao de quant´ıa de probabilidade Poisson truncada:

f(x, θ) = e^−θθ^x

(1−e^−θ)x!, x= 1,2, . . . , θ >0 Nos casos das distribui¸c˜oes Gamma e Weibull (com os dois parˆametros desconhecidos).

Problemas de regress˜ao com Modelos Lineares Generalizados (GLM).

Problemas de regress˜ao com Modelos n˜ao-lineares (NLM).

Motiva¸c˜ ao

Em muitos problemas de estima¸c˜ao de m´axima verossimilhan¸ca, pode ser dif´ıcil ou at´e imposs´ıvel encontrar express˜oes anal´ıticas de forma fechada para os estimadores.

Exemplos:

Fun¸c˜ao de densidade de probabilidade Cauchy:

f(x, θ) = 1

π(1 + (x−θ)²), x∈R, θ∈R Fun¸c˜ao de quant´ıa de probabilidade Poisson truncada:

f(x, θ) = e^−θθ^x

(1−e^−θ)x!, x= 1,2, . . . , θ >0 Nos casos das distribui¸c˜oes Gamma e Weibull (com os dois parˆametros desconhecidos).

Problemas de regress˜ao com Modelos Lineares Generalizados (GLM).

Problemas de regress˜ao com Modelos n˜ao-lineares (NLM).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search). Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search). Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search). Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search). Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search). Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search). Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search). Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search). Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search). Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search).

Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search).

Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search).

Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search).

Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search).

Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization). Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search).

Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization).

Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo iterativos

Nestas situa¸c˜oes ´e necess´ario calcular as estimativas de m´axima verossimilhan¸ca numericamente, usando algoritmos iterativos.

Para esta tarefa existem v´arios tipos de algoritmos.

Alguns destes m´etodos requerem a avalia¸c˜ao expressa das derivadas parciais da fun¸c˜ao objetivo. Estes algoritmos fazem parte dosm´etodos do gradiente (Khuri, 2003). Exemplos:

I Steepest Descent

I Newton-Raphson

I Fisher scoring

I Davidon-Fletcher-Powell

Outras t´ecnicas de otimiza¸c˜ao se baseiam exclusivamente nos valores da fun¸c˜ao objetivo e s˜ao chamados dem´etodos de busca direta(Direct search).

Exemplos:

I Nelder-Mead

I Quasi-Newton

I Gradiente conjugado

I Simulated annealing

Outra classe de algoritmos s˜ao os da familiaEM(Expectation-Maximization).

Estes algoritmos s˜ao utilizados para estima¸c˜ao de m´axima verossimilhan¸ca em problemas de dados incompletos, truncados, censurados ou com vari´aveis latentes (McLachlan and Krishnan, 2008).

Algoritmo Newton-Raphson

O algoritmo Newton-Raphson (ou m´etodo de Newton) foi desenvolvido por Isaac Newton e Joseph Raphson e tem o objetivo estimar as ra´ızes de uma fun¸c˜ao.

Suponha que queremos encontrar a solu¸c˜ao da equa¸c˜aog(x0) = 0, ondeg´e uma fun¸c˜ao diferenci´avel. Dado um numeroxpr´oximo dex0, segue da expans˜ao em s´erie de Taylor em torno dexque:

0 =g(x0)≈g(x) +g⁰(x)(x0−x) Resolvendo parax0, conseguimos:

x0≈x− g(x) g⁰(x)

Assim, dado um valor estimadoxk, ent˜ao podemos ter um novo valor estimado xk+1 por

xk+1≈xk− g(xk) g⁰(xk)

Este procedimento ´e iterado parak= 1,2,3...at´e|g(xk)/g⁰(xk)|ser suficientemente pequeno.

Algoritmo Newton-Raphson

O algoritmo Newton-Raphson (ou m´etodo de Newton) foi desenvolvido por Isaac Newton e Joseph Raphson e tem o objetivo estimar as ra´ızes de uma fun¸c˜ao.

Suponha que queremos encontrar a solu¸c˜ao da equa¸c˜aog(x0) = 0, ondeg´e uma fun¸c˜ao diferenci´avel. Dado um numeroxpr´oximo dex0, segue da expans˜ao em s´erie de Taylor em torno dexque:

0 =g(x0)≈g(x) +g⁰(x)(x0−x) Resolvendo parax0, conseguimos:

x0≈x− g(x) g⁰(x)

Assim, dado um valor estimadoxk, ent˜ao podemos ter um novo valor estimado xk+1 por

xk+1≈xk− g(xk) g⁰(xk)

Este procedimento ´e iterado parak= 1,2,3...at´e|g(xk)/g⁰(xk)|ser suficientemente pequeno.

Algoritmo Newton-Raphson

O algoritmo Newton-Raphson (ou m´etodo de Newton) foi desenvolvido por Isaac Newton e Joseph Raphson e tem o objetivo estimar as ra´ızes de uma fun¸c˜ao.

Suponha que queremos encontrar a solu¸c˜ao da equa¸c˜aog(x0) = 0, ondeg´e uma fun¸c˜ao diferenci´avel. Dado um numeroxpr´oximo dex0, segue da expans˜ao em s´erie de Taylor em torno dexque:

0 =g(x0)≈g(x) +g⁰(x)(x0−x)

Resolvendo parax0, conseguimos:

x0≈x− g(x) g⁰(x)

Assim, dado um valor estimadoxk, ent˜ao podemos ter um novo valor estimado xk+1 por

xk+1≈xk− g(xk) g⁰(xk)

Este procedimento ´e iterado parak= 1,2,3...at´e|g(xk)/g⁰(xk)|ser suficientemente pequeno.

Algoritmo Newton-Raphson

O algoritmo Newton-Raphson (ou m´etodo de Newton) foi desenvolvido por Isaac Newton e Joseph Raphson e tem o objetivo estimar as ra´ızes de uma fun¸c˜ao.

Suponha que queremos encontrar a solu¸c˜ao da equa¸c˜aog(x0) = 0, ondeg´e uma fun¸c˜ao diferenci´avel. Dado um numeroxpr´oximo dex0, segue da expans˜ao em s´erie de Taylor em torno dexque:

0 =g(x0)≈g(x) +g⁰(x)(x0−x) Resolvendo parax0, conseguimos:

x0≈x− g(x) g⁰(x)

Assim, dado um valor estimadoxk, ent˜ao podemos ter um novo valor estimado xk+1 por

xk+1≈xk− g(xk) g⁰(xk)

Este procedimento ´e iterado parak= 1,2,3...at´e|g(xk)/g⁰(xk)|ser suficientemente pequeno.

Algoritmo Newton-Raphson

O algoritmo Newton-Raphson (ou m´etodo de Newton) foi desenvolvido por Isaac Newton e Joseph Raphson e tem o objetivo estimar as ra´ızes de uma fun¸c˜ao.

Suponha que queremos encontrar a solu¸c˜ao da equa¸c˜aog(x0) = 0, ondeg´e uma fun¸c˜ao diferenci´avel. Dado um numeroxpr´oximo dex0, segue da expans˜ao em s´erie de Taylor em torno dexque:

0 =g(x0)≈g(x) +g⁰(x)(x0−x) Resolvendo parax0, conseguimos:

x0≈x− g(x) g⁰(x)

Assim, dado um valor estimadoxk, ent˜ao podemos ter um novo valor estimado xk+1 por

xk+1≈xk− g(xk) g⁰(xk)

Este procedimento ´e iterado parak= 1,2,3...at´e|g(xk)/g⁰(xk)|ser suficientemente pequeno.

Algoritmo Newton-Raphson

O algoritmo Newton-Raphson (ou m´etodo de Newton) foi desenvolvido por Isaac Newton e Joseph Raphson e tem o objetivo estimar as ra´ızes de uma fun¸c˜ao.

Suponha que queremos encontrar a solu¸c˜ao da equa¸c˜aog(x0) = 0, ondeg´e uma fun¸c˜ao diferenci´avel. Dado um numeroxpr´oximo dex0, segue da expans˜ao em s´erie de Taylor em torno dexque:

0 =g(x0)≈g(x) +g⁰(x)(x0−x) Resolvendo parax0, conseguimos:

x0≈x− g(x) g⁰(x)

Assim, dado um valor estimadoxk, ent˜ao podemos ter um novo valor estimado xk+1 por

xk+1≈xk− g(xk) g⁰(xk)

Este procedimento ´e iterado parak= 1,2,3...at´e|g(xk)/g⁰(xk)|ser suficientemente pequeno.

Algoritmo Newton-Raphson

Figura:Interpreta¸c˜ao Geom´etrica do algoritmo Newton-Raphson

Escolhe-se um valor inicial. Ap´os isso, calcula-se a equa¸c˜ao da reta tangente (derivada) da fun¸c˜ao nesse ponto e a interse¸c˜ao dela com o eixo das abcissas, a fim de encontrar uma melhor aproxima¸c˜ao para a raiz.

Algoritmo Newton-Raphson

Figura:Interpreta¸c˜ao Geom´etrica do algoritmo Newton-Raphson

Escolhe-se um valor inicial. Ap´os isso, calcula-se a equa¸c˜ao da reta tangente (derivada) da fun¸c˜ao nesse ponto e a interse¸c˜ao dela com o eixo das abcissas, a fim de encontrar uma melhor aproxima¸c˜ao para a raiz.

Algoritmo Newton-Raphson

Figura:Interpreta¸c˜ao Geom´etrica do algoritmo Newton-Raphson

Escolhe-se um valor inicial. Ap´os isso, calcula-se a equa¸c˜ao da reta tangente (derivada)

Algoritmo Newton-Raphson

Podemos utilizar o algor´ıtmo Newton-Raphson para encontrar as estimativas de m´axima verossimilhan¸ca.

SejaX uma vari´avel aleat´oria definida sob um espa¸co de probabilidade (Ω, σ, P), comX∈Ω e fun¸c˜ao de densidade de probabilidadef(x, θ), ondeθ∈R.

SejaX= (x1, ..., xn) uma amostra aleat´oria de X eL(θ|X) =Qn

i=1f(xi, θ) a fun¸c˜ao de verossimilhan¸ca.

Suponha que a estimativa de m´axima verossimilhan¸ca ˆθsatisfaz ^∂

∂θˆlnL(ˆθ|X) = 0. Seja ˆθ^ka estimativa deθap´os a itera¸c˜aokdo algoritmo, ent˜ao:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

S(θ) = ∂

∂θlnL(θ|X), H(θ) =−∂²

∂θ²lnL(θ|X)

Se ˆθ⁽⁰⁾´e um estimador deθ suficientemente bom, ent˜ao o estimador: θˆ⁽¹⁾= ˆθ⁽⁰⁾+ S(ˆθ⁽⁰⁾)

H(ˆθ⁽⁰⁾)

tem virtualmente as mesmas propriedades assint´oticas que o EMV (Khuri, 2003).

Algoritmo Newton-Raphson

Podemos utilizar o algor´ıtmo Newton-Raphson para encontrar as estimativas de m´axima verossimilhan¸ca.

SejaX uma vari´avel aleat´oria definida sob um espa¸co de probabilidade (Ω, σ, P), comX∈Ω e fun¸c˜ao de densidade de probabilidadef(x, θ), ondeθ∈R.

SejaX= (x1, ..., xn) uma amostra aleat´oria de X eL(θ|X) =Qn

i=1f(xi, θ) a fun¸c˜ao de verossimilhan¸ca.

Suponha que a estimativa de m´axima verossimilhan¸ca ˆθsatisfaz ^∂

∂θˆlnL(ˆθ|X) = 0. Seja ˆθ^ka estimativa deθap´os a itera¸c˜aokdo algoritmo, ent˜ao:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

S(θ) = ∂

∂θlnL(θ|X), H(θ) =−∂²

∂θ²lnL(θ|X)

Se ˆθ⁽⁰⁾´e um estimador deθ suficientemente bom, ent˜ao o estimador: θˆ⁽¹⁾= ˆθ⁽⁰⁾+ S(ˆθ⁽⁰⁾)

H(ˆθ⁽⁰⁾)

tem virtualmente as mesmas propriedades assint´oticas que o EMV (Khuri, 2003).

Algoritmo Newton-Raphson

Podemos utilizar o algor´ıtmo Newton-Raphson para encontrar as estimativas de m´axima verossimilhan¸ca.

SejaX uma vari´avel aleat´oria definida sob um espa¸co de probabilidade (Ω, σ, P), comX∈Ω e fun¸c˜ao de densidade de probabilidadef(x, θ), ondeθ∈R.

SejaX= (x1, ..., xn) uma amostra aleat´oria de X eL(θ|X) =Qn

i=1f(xi, θ) a fun¸c˜ao de verossimilhan¸ca.

Suponha que a estimativa de m´axima verossimilhan¸ca ˆθsatisfaz ^∂

∂θˆlnL(ˆθ|X) = 0. Seja ˆθ^ka estimativa deθap´os a itera¸c˜aokdo algoritmo, ent˜ao:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

S(θ) = ∂

∂θlnL(θ|X), H(θ) =−∂²

∂θ²lnL(θ|X)

Se ˆθ⁽⁰⁾´e um estimador deθ suficientemente bom, ent˜ao o estimador: θˆ⁽¹⁾= ˆθ⁽⁰⁾+ S(ˆθ⁽⁰⁾)

H(ˆθ⁽⁰⁾)

tem virtualmente as mesmas propriedades assint´oticas que o EMV (Khuri, 2003).

Algoritmo Newton-Raphson

Podemos utilizar o algor´ıtmo Newton-Raphson para encontrar as estimativas de m´axima verossimilhan¸ca.

SejaX uma vari´avel aleat´oria definida sob um espa¸co de probabilidade (Ω, σ, P), comX∈Ω e fun¸c˜ao de densidade de probabilidadef(x, θ), ondeθ∈R.

SejaX= (x1, ..., xn) uma amostra aleat´oria de X eL(θ|X) =Qn

i=1f(xi, θ) a fun¸c˜ao de verossimilhan¸ca.

Suponha que a estimativa de m´axima verossimilhan¸ca ˆθsatisfaz ^∂

∂θˆlnL(ˆθ|X) = 0.

Seja ˆθ^ka estimativa deθap´os a itera¸c˜aokdo algoritmo, ent˜ao: θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k))

H(ˆθ^(k)) onde

S(θ) = ∂

∂θlnL(θ|X), H(θ) =−∂²

∂θ²lnL(θ|X)

Se ˆθ⁽⁰⁾´e um estimador deθ suficientemente bom, ent˜ao o estimador: θˆ⁽¹⁾= ˆθ⁽⁰⁾+ S(ˆθ⁽⁰⁾)

H(ˆθ⁽⁰⁾)

tem virtualmente as mesmas propriedades assint´oticas que o EMV (Khuri, 2003).

Algoritmo Newton-Raphson

Podemos utilizar o algor´ıtmo Newton-Raphson para encontrar as estimativas de m´axima verossimilhan¸ca.

SejaX uma vari´avel aleat´oria definida sob um espa¸co de probabilidade (Ω, σ, P), comX∈Ω e fun¸c˜ao de densidade de probabilidadef(x, θ), ondeθ∈R.

SejaX= (x1, ..., xn) uma amostra aleat´oria de X eL(θ|X) =Qn

i=1f(xi, θ) a fun¸c˜ao de verossimilhan¸ca.

Suponha que a estimativa de m´axima verossimilhan¸ca ˆθsatisfaz ^∂

∂θˆlnL(ˆθ|X) = 0.

Seja ˆθ^ka estimativa deθap´os a itera¸c˜aokdo algoritmo, ent˜ao:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

S(θ) = ∂

∂θlnL(θ|X), H(θ) =−∂²

∂θ²lnL(θ|X)

Se ˆθ⁽⁰⁾´e um estimador deθ suficientemente bom, ent˜ao o estimador: θˆ⁽¹⁾= ˆθ⁽⁰⁾+ S(ˆθ⁽⁰⁾)

H(ˆθ⁽⁰⁾)

tem virtualmente as mesmas propriedades assint´oticas que o EMV (Khuri, 2003).

Algoritmo Newton-Raphson

Podemos utilizar o algor´ıtmo Newton-Raphson para encontrar as estimativas de m´axima verossimilhan¸ca.

SejaX uma vari´avel aleat´oria definida sob um espa¸co de probabilidade (Ω, σ, P), comX∈Ω e fun¸c˜ao de densidade de probabilidadef(x, θ), ondeθ∈R.

SejaX= (x1, ..., xn) uma amostra aleat´oria de X eL(θ|X) =Qn

i=1f(xi, θ) a fun¸c˜ao de verossimilhan¸ca.

Suponha que a estimativa de m´axima verossimilhan¸ca ˆθsatisfaz ^∂

∂θˆlnL(ˆθ|X) = 0.

Seja ˆθ^ka estimativa deθap´os a itera¸c˜aokdo algoritmo, ent˜ao:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k))

onde

S(θ) = ∂

∂θlnL(θ|X), H(θ) =−∂²

∂θ²lnL(θ|X)

Se ˆθ⁽⁰⁾´e um estimador deθ suficientemente bom, ent˜ao o estimador: θˆ⁽¹⁾= ˆθ⁽⁰⁾+ S(ˆθ⁽⁰⁾)

H(ˆθ⁽⁰⁾)

tem virtualmente as mesmas propriedades assint´oticas que o EMV (Khuri, 2003).

Algoritmo Newton-Raphson

Podemos utilizar o algor´ıtmo Newton-Raphson para encontrar as estimativas de m´axima verossimilhan¸ca.

SejaX uma vari´avel aleat´oria definida sob um espa¸co de probabilidade (Ω, σ, P), comX∈Ω e fun¸c˜ao de densidade de probabilidadef(x, θ), ondeθ∈R.

SejaX= (x1, ..., xn) uma amostra aleat´oria de X eL(θ|X) =Qn

i=1f(xi, θ) a fun¸c˜ao de verossimilhan¸ca.

Suponha que a estimativa de m´axima verossimilhan¸ca ˆθsatisfaz ^∂

∂θˆlnL(ˆθ|X) = 0.

Seja ˆθ^ka estimativa deθap´os a itera¸c˜aokdo algoritmo, ent˜ao:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

S(θ) = ∂

∂θlnL(θ|X), H(θ) =−∂²

∂θ²lnL(θ|X)

Se ˆθ⁽⁰⁾´e um estimador deθ suficientemente bom, ent˜ao o estimador: θˆ⁽¹⁾= ˆθ⁽⁰⁾+ S(ˆθ⁽⁰⁾)

H(ˆθ⁽⁰⁾)

tem virtualmente as mesmas propriedades assint´oticas que o EMV (Khuri, 2003).

Algoritmo Newton-Raphson

Podemos utilizar o algor´ıtmo Newton-Raphson para encontrar as estimativas de m´axima verossimilhan¸ca.

SejaX uma vari´avel aleat´oria definida sob um espa¸co de probabilidade (Ω, σ, P), comX∈Ω e fun¸c˜ao de densidade de probabilidadef(x, θ), ondeθ∈R.

SejaX= (x1, ..., xn) uma amostra aleat´oria de X eL(θ|X) =Qn

i=1f(xi, θ) a fun¸c˜ao de verossimilhan¸ca.

Suponha que a estimativa de m´axima verossimilhan¸ca ˆθsatisfaz ^∂

∂θˆlnL(ˆθ|X) = 0.

Seja ˆθ^ka estimativa deθap´os a itera¸c˜aokdo algoritmo, ent˜ao:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

S(θ) = ∂

∂θlnL(θ|X), H(θ) =−∂²

∂θ²lnL(θ|X) Se ˆθ⁽⁰⁾´e um estimador deθ suficientemente bom, ent˜ao o estimador:

θˆ⁽¹⁾= ˆθ⁽⁰⁾+ S(ˆθ⁽⁰⁾) H(ˆθ⁽⁰⁾)

tem virtualmente as mesmas propriedades assint´oticas que o EMV (Khuri, 2003).

Algoritmo Newton-Raphson

Podemos utilizar o algor´ıtmo Newton-Raphson para encontrar as estimativas de m´axima verossimilhan¸ca.

SejaX uma vari´avel aleat´oria definida sob um espa¸co de probabilidade (Ω, σ, P), comX∈Ω e fun¸c˜ao de densidade de probabilidadef(x, θ), ondeθ∈R.

SejaX= (x1, ..., xn) uma amostra aleat´oria de X eL(θ|X) =Qn

i=1f(xi, θ) a fun¸c˜ao de verossimilhan¸ca.

Suponha que a estimativa de m´axima verossimilhan¸ca ˆθsatisfaz ^∂

∂θˆlnL(ˆθ|X) = 0.

Seja ˆθ^ka estimativa deθap´os a itera¸c˜aokdo algoritmo, ent˜ao:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

S(θ) = ∂

∂θlnL(θ|X), H(θ) =−∂²

∂θ²lnL(θ|X)

Se ˆθ⁽⁰⁾´e um estimador deθ suficientemente bom, ent˜ao o estimador:

θˆ⁽¹⁾= ˆθ⁽⁰⁾+ S(ˆθ⁽⁰⁾) H(ˆθ⁽⁰⁾)

tem virtualmente as mesmas propriedades assint´oticas que o EMV (Khuri, 2003).

Algoritmo Newton-Raphson

Podemos utilizar o algor´ıtmo Newton-Raphson para encontrar as estimativas de m´axima verossimilhan¸ca.

SejaX uma vari´avel aleat´oria definida sob um espa¸co de probabilidade (Ω, σ, P), comX∈Ω e fun¸c˜ao de densidade de probabilidadef(x, θ), ondeθ∈R.

SejaX= (x1, ..., xn) uma amostra aleat´oria de X eL(θ|X) =Qn

i=1f(xi, θ) a fun¸c˜ao de verossimilhan¸ca.

Suponha que a estimativa de m´axima verossimilhan¸ca ˆθsatisfaz ^∂

∂θˆlnL(ˆθ|X) = 0.

Seja ˆθ^ka estimativa deθap´os a itera¸c˜aokdo algoritmo, ent˜ao:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

S(θ) = ∂

∂θlnL(θ|X), H(θ) =−∂²

∂θ²lnL(θ|X) Se ˆθ⁽⁰⁾´e um estimador deθ suficientemente bom, ent˜ao o estimador:

θˆ⁽¹⁾= ˆθ⁽⁰⁾+ S(ˆθ⁽⁰⁾)

Exemplo 1: Densidade Cauchy

Fun¸c˜ao de densidade de probabilidade Cauchy: f(x, θ) = 1

π(1 + (x−θ)²) dadox1, ..., xna fun¸c˜ao de log-verossimilhan¸ca ´e:

lnL(θ|X) =−

n

X

i=1

ln[1 + (xi−θ)²]−nln(π) θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

2(xi−θ)ˆ 1 + (xi−θ)ˆ² = 0

ondeS(θ) ´e a derivada delnL(θ|X) (fun¸c˜ao escore). ComoS(θ) n˜ao ´e monotona emθ, a equa¸c˜aoS(ˆθ) = 0 pode ter mais de uma solu¸c˜ao para um dadox1, ..., xn.

Exemplo 1: Densidade Cauchy

Fun¸c˜ao de densidade de probabilidade Cauchy:

f(x, θ) = 1

π(1 + (x−θ)²)

dadox1, ..., xna fun¸c˜ao de log-verossimilhan¸ca ´e: lnL(θ|X) =−

n

X

i=1

ln[1 + (xi−θ)²]−nln(π) θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

2(xi−θ)ˆ 1 + (xi−θ)ˆ² = 0

ondeS(θ) ´e a derivada delnL(θ|X) (fun¸c˜ao escore). ComoS(θ) n˜ao ´e monotona emθ, a equa¸c˜aoS(ˆθ) = 0 pode ter mais de uma solu¸c˜ao para um dadox1, ..., xn.

Exemplo 1: Densidade Cauchy

Fun¸c˜ao de densidade de probabilidade Cauchy:

f(x, θ) = 1

π(1 + (x−θ)²) dadox1, ..., xna fun¸c˜ao de log-verossimilhan¸ca ´e:

lnL(θ|X) =−

n

X

i=1

ln[1 + (xi−θ)²]−nln(π)

θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

2(xi−θ)ˆ 1 + (xi−θ)ˆ² = 0

ondeS(θ) ´e a derivada delnL(θ|X) (fun¸c˜ao escore). ComoS(θ) n˜ao ´e monotona emθ, a equa¸c˜aoS(ˆθ) = 0 pode ter mais de uma solu¸c˜ao para um dadox1, ..., xn.

Exemplo 1: Densidade Cauchy

Fun¸c˜ao de densidade de probabilidade Cauchy:

f(x, θ) = 1

π(1 + (x−θ)²) dadox1, ..., xna fun¸c˜ao de log-verossimilhan¸ca ´e:

lnL(θ|X) =−

n

X

i=1

ln[1 + (xi−θ)²]−nln(π) θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

2(xi−θ)ˆ 1 + (xi−θ)ˆ² = 0

ondeS(θ) ´e a derivada delnL(θ|X) (fun¸c˜ao escore). ComoS(θ) n˜ao ´e monotona emθ, a equa¸c˜aoS(ˆθ) = 0 pode ter mais de uma solu¸c˜ao para um dadox1, ..., xn.

Exemplo 1: Densidade Cauchy

Fun¸c˜ao de densidade de probabilidade Cauchy:

f(x, θ) = 1

π(1 + (x−θ)²) dadox1, ..., xna fun¸c˜ao de log-verossimilhan¸ca ´e:

lnL(θ|X) =−

n

X

i=1

ln[1 + (xi−θ)²]−nln(π) θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

2(xi−θ)ˆ 1 + (xi−θ)ˆ² = 0

ondeS(θ) ´e a derivada delnL(θ|X) (fun¸c˜ao escore). ComoS(θ) n˜ao ´e monotona emθ, a equa¸c˜aoS(ˆθ) = 0 pode ter mais de uma solu¸c˜ao para um dadox1, ..., xn.

Exemplo 1: Densidade Cauchy

Usando a media amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) = 2

n

X

i=1

1−(xi−θ)ˆ² (1 + (xi−θ)ˆ²)² (I. de Fisher observada).

Para ilustrar o algoritmo Newton-Raphson, geramos uma amostra aleat´oria de 100 observa¸c˜oes Cauchy comθ= 10 (no programa R).

k θˆ^(k) lnL(ˆθ^(k)) 0 10.04490 -239.6569 1 10.06934 -239.6433 2 10.06947 -239.6433 3 10.06947 -239.6433

Itera¸c˜oes do algoritmo Newton-Raphson para os dados Cauchy simulados.

Exemplo 1: Densidade Cauchy

Usando a media amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k))

onde

H(ˆθ) = 2

n

X

i=1

1−(xi−θ)ˆ² (1 + (xi−θ)ˆ²)² (I. de Fisher observada).

Para ilustrar o algoritmo Newton-Raphson, geramos uma amostra aleat´oria de 100 observa¸c˜oes Cauchy comθ= 10 (no programa R).

k θˆ^(k) lnL(ˆθ^(k)) 0 10.04490 -239.6569 1 10.06934 -239.6433 2 10.06947 -239.6433 3 10.06947 -239.6433

Itera¸c˜oes do algoritmo Newton-Raphson para os dados Cauchy simulados.

Exemplo 1: Densidade Cauchy

Usando a media amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) = 2

n

X

i=1

1−(xi−θ)ˆ² (1 + (xi−θ)ˆ²)² (I. de Fisher observada).

Para ilustrar o algoritmo Newton-Raphson, geramos uma amostra aleat´oria de 100 observa¸c˜oes Cauchy comθ= 10 (no programa R).

k θˆ^(k) lnL(ˆθ^(k)) 0 10.04490 -239.6569 1 10.06934 -239.6433 2 10.06947 -239.6433 3 10.06947 -239.6433

Itera¸c˜oes do algoritmo Newton-Raphson para os dados Cauchy simulados.

Exemplo 1: Densidade Cauchy

Usando a media amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) = 2

n

X

i=1

1−(xi−θ)ˆ² (1 + (xi−θ)ˆ²)² (I. de Fisher observada).

Para ilustrar o algoritmo Newton-Raphson, geramos uma amostra aleat´oria de 100 observa¸c˜oes Cauchy comθ= 10 (no programa R).

k θˆ^(k) lnL(ˆθ^(k)) 0 10.04490 -239.6569 1 10.06934 -239.6433 2 10.06947 -239.6433 3 10.06947 -239.6433

Itera¸c˜oes do algoritmo Newton-Raphson para os dados Cauchy simulados.

Exemplo 1: Densidade Cauchy

Usando a media amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) = 2

n

X

i=1

1−(xi−θ)ˆ² (1 + (xi−θ)ˆ²)² (I. de Fisher observada).

Para ilustrar o algoritmo Newton-Raphson, geramos uma amostra aleat´oria de 100 observa¸c˜oes Cauchy comθ= 10 (no programa R).

k θˆ^(k) lnL(ˆθ^(k)) 0 10.04490 -239.6569 1 10.06934 -239.6433 2 10.06947 -239.6433 3 10.06947 -239.6433

Itera¸c˜oes do algoritmo Newton-Raphson para os dados Cauchy simulados.

Exemplo 1: Densidade Cauchy

Usando a media amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) = 2

n

X

i=1

1−(xi−θ)ˆ² (1 + (xi−θ)ˆ²)² (I. de Fisher observada).

Para ilustrar o algoritmo Newton-Raphson, geramos uma amostra aleat´oria de 100 observa¸c˜oes Cauchy comθ= 10 (no programa R).

k θˆ^(k) lnL(ˆθ^(k)) 0 10.04490 -239.6569 1 10.06934 -239.6433 2 10.06947 -239.6433 3 10.06947 -239.6433

Itera¸c˜oes do algoritmo Newton-Raphson para os dados Cauchy simulados.

Exemplo 1: Densidade Cauchy

Usando a media amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) = 2

n

X

i=1

1−(xi−θ)ˆ² (1 + (xi−θ)ˆ²)² (I. de Fisher observada).

Para ilustrar o algoritmo Newton-Raphson, geramos uma amostra aleat´oria de 100 observa¸c˜oes Cauchy comθ= 10 (no programa R).

k θˆ^(k) lnL(ˆθ^(k)) 0 10.04490 -239.6569 1 10.06934 -239.6433 2 10.06947 -239.6433 3 10.06947 -239.6433

Exemplo 1: Densidade Cauchy

Figura:Fun¸c˜ao de log-verossimilhan¸ca (log-likelihood) para os dados Cauchy.

Exemplo 1: Densidade Cauchy

Figura:Fun¸c˜ao de log-verossimilhan¸ca (log-likelihood) para os dados Cauchy.

Exemplo 1: Densidade Cauchy

Figura:Fun¸c˜ao escore (score) para os dados Cauchy.

Exemplo 1: Densidade Cauchy

Figura:Fun¸c˜ao escore (score) para os dados Cauchy.

Exemplo 2: Bolfarine e Sandoval, 2010

Seja X uma v.a. com fun¸c˜ao de densidade de probabilidade:

f(x;θ) =1

2(1 +θx), −1≤x≤1 −1≤θ≤1

Dada uma amostra aleat´oriaX=x1, ..., xn de X, a fun¸c˜ao de log-verossimilhan¸ca ´e: lnL(θ|X) =nln(1/2) +

n

X

i=1

ln[1 + (θxi)] θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

xi

1 + ˆθxi

= 0

Usando a m´edia amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) =

n

X

i=1

x²i

(1 + ˆθxi)²

Exemplo 2: Bolfarine e Sandoval, 2010

Seja X uma v.a. com fun¸c˜ao de densidade de probabilidade:

f(x;θ) =1

2(1 +θx), −1≤x≤1 −1≤θ≤1

Dada uma amostra aleat´oriaX=x1, ..., xn de X, a fun¸c˜ao de log-verossimilhan¸ca ´e: lnL(θ|X) =nln(1/2) +

n

X

i=1

ln[1 + (θxi)] θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

xi

1 + ˆθxi

= 0

Usando a m´edia amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) =

n

X

i=1

x²i

(1 + ˆθxi)²

Exemplo 2: Bolfarine e Sandoval, 2010

Seja X uma v.a. com fun¸c˜ao de densidade de probabilidade:

f(x;θ) =1

2(1 +θx), −1≤x≤1 −1≤θ≤1

Dada uma amostra aleat´oriaX=x1, ..., xn de X, a fun¸c˜ao de log-verossimilhan¸ca ´e:

lnL(θ|X) =nln(1/2) +

n

X

i=1

ln[1 + (θxi)] θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

xi

1 + ˆθxi

= 0

Usando a m´edia amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) =

n

X

i=1

x²i

(1 + ˆθxi)²

Exemplo 2: Bolfarine e Sandoval, 2010

Seja X uma v.a. com fun¸c˜ao de densidade de probabilidade:

f(x;θ) =1

2(1 +θx), −1≤x≤1 −1≤θ≤1

Dada uma amostra aleat´oriaX=x1, ..., xn de X, a fun¸c˜ao de log-verossimilhan¸ca ´e:

lnL(θ|X) =nln(1/2) +

n

X

i=1

ln[1 + (θxi)]

θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

xi

1 + ˆθxi

= 0

Usando a m´edia amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) =

n

X

i=1

x²i

(1 + ˆθxi)²

Exemplo 2: Bolfarine e Sandoval, 2010

Seja X uma v.a. com fun¸c˜ao de densidade de probabilidade:

f(x;θ) =1

2(1 +θx), −1≤x≤1 −1≤θ≤1

Dada uma amostra aleat´oriaX=x1, ..., xn de X, a fun¸c˜ao de log-verossimilhan¸ca ´e:

lnL(θ|X) =nln(1/2) +

n

X

i=1

ln[1 + (θxi)]

θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

xi

1 + ˆθxi

= 0

Usando a m´edia amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) =

n

X

i=1

x²i

(1 + ˆθxi)²

Exemplo 2: Bolfarine e Sandoval, 2010

Seja X uma v.a. com fun¸c˜ao de densidade de probabilidade:

f(x;θ) =1

2(1 +θx), −1≤x≤1 −1≤θ≤1

Dada uma amostra aleat´oriaX=x1, ..., xn de X, a fun¸c˜ao de log-verossimilhan¸ca ´e:

lnL(θ|X) =nln(1/2) +

n

X

i=1

ln[1 + (θxi)]

θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

xi

1 + ˆθxi

= 0

Usando a m´edia amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) =

n

X

i=1

x²i

(1 + ˆθxi)²

Exemplo 2: Bolfarine e Sandoval, 2010

Seja X uma v.a. com fun¸c˜ao de densidade de probabilidade:

f(x;θ) =1

2(1 +θx), −1≤x≤1 −1≤θ≤1

Dada uma amostra aleat´oriaX=x1, ..., xn de X, a fun¸c˜ao de log-verossimilhan¸ca ´e:

lnL(θ|X) =nln(1/2) +

n

X

i=1

ln[1 + (θxi)]

θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

xi

1 + ˆθxi

= 0

Usando a m´edia amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) =

n

X

i=1

x²i

(1 + ˆθxi)²

Exemplo 2: Bolfarine e Sandoval, 2010

Seja X uma v.a. com fun¸c˜ao de densidade de probabilidade:

f(x;θ) =1

2(1 +θx), −1≤x≤1 −1≤θ≤1

Dada uma amostra aleat´oriaX=x1, ..., xn de X, a fun¸c˜ao de log-verossimilhan¸ca ´e:

lnL(θ|X) =nln(1/2) +

n

X

i=1

ln[1 + (θxi)]

θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

xi

1 + ˆθxi

= 0

Usando a m´edia amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k))

onde

H(ˆθ) =

n

X

i=1

x²i

(1 + ˆθxi)²

Exemplo 2: Bolfarine e Sandoval, 2010

Seja X uma v.a. com fun¸c˜ao de densidade de probabilidade:

f(x;θ) =1

2(1 +θx), −1≤x≤1 −1≤θ≤1

Dada uma amostra aleat´oriaX=x1, ..., xn de X, a fun¸c˜ao de log-verossimilhan¸ca ´e:

lnL(θ|X) =nln(1/2) +

n

X

i=1

ln[1 + (θxi)]

θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

xi

1 + ˆθxi

= 0

Usando a m´edia amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

H(ˆθ) =

n

X

i=1

x²i

(1 + ˆθxi)²

Exemplo 2: Bolfarine e Sandoval, 2010

Seja X uma v.a. com fun¸c˜ao de densidade de probabilidade:

f(x;θ) =1

2(1 +θx), −1≤x≤1 −1≤θ≤1

Dada uma amostra aleat´oriaX=x1, ..., xn de X, a fun¸c˜ao de log-verossimilhan¸ca ´e:

lnL(θ|X) =nln(1/2) +

n

X

i=1

ln[1 + (θxi)]

θˆsatisfaz a equa¸c˜ao:

S(ˆθ) =

n

X

i=1

xi

1 + ˆθxi

= 0

Usando a m´edia amostral (ou a mediana) como estimativa inicial, valores sucessivos de ˆθ^(k)s˜ao definidos por:

θˆ^(k+1)= ˆθ^(k)+ S(ˆθ^(k)) H(ˆθ^(k)) onde

n 2