2.2 Statistici de selec¸tie: estimatori pentru caracteristicile teoretice corespunz˘atoare

Elemente de Teoria estima¸tiei

Conf. dr. habil. Eduard Roten¸stein

1 Motiva¸tie

În studiul colectivit˘a¸tilor statistice, în majoritatea cazurilor suntem nevoi¸ti s˘a studiem numai p˘ar¸ti din întreaga colectivitate, pe care o vom nota cu ;elementele ei constituiente fiind numite indivizi, studierea integral˘a a po- pula¸tiei fiind ori imposibil de realizat, ori nerelevant˘a. Ori, în acest caz, se pune în mod natural întrebarea dac˘a concluziile pe care le ob¸tinem concord˘a cu rezultatul ce l-am ob¸tine dac˘a studiem întreaga popula¸tie. Apare ast- fel problema de a studia modul în care valorile tipice (pe baza c˘arora tragem concluzii) ale colectivit˘a¸tii par¸tiale investigate pot furniza informa¸tii asupra valorilor tipice ale întregii colectivit˘a¸ti. În toate aplica¸tiile statisticii matematice, în economie, în tehnic˘a ¸si, în general, în ¸stiin¸tele experimentale este necesar s˘a cunoa¸stem legitatea dup˘a care are loc evolu¸tia fenomenului studiat, adic˘a legea de reparti¸tie a variabilei aleatoare prin intermediul c˘areia este cuantificat˘a caracteristica studiat˘a a fenomenului. Adesea, dar nu întotdeauna, cuno¸stin¸tele teoretice sau experien¸ta practic˘a în domeniul investigat ne dau dreptul s˘a admitem c˘a forma legii de reparti¸tie este cunos- cut˘a. Pentru a utiliza efectiv o astfel de lege de reparti¸tie, va trebui cunoscut˘a care dintre func¸tiile de frecven¸t˘a (în cazul caracteristicilor de tip discret) sau func¸tiile de reparti¸tie (în cazul caracteristicilor de tip absolut continuu) din familia celor de o form˘a dat˘a este cea care trebuie efectiv utilizat˘a. Cu alte cuvinte, trebuie precizat˘a valoarea numeric˘a a parametrului (sau valorile numerice ale parametrilor, în cazul unei legi de reparti¸tie ce depinde de mai mul¸ti parametri).

Presupunem ca efectu˘am o selec¸tie repetat˘a de volumndintr-o popula¸tie statistic˘a ¸si fiex=fx1; x2; : : : ; xng e¸sanationul de valori empirice (statistice) observate relativ la caracteristica X studiat˘a. Legea de distributie (functia de probabilitate sau densitatea de repartitie) a caracteristiciiXpoate fi:

1. Complet specificat˘a:X U(0;1) ;X P(3)pentru sisteme de a¸steptare cu parametru de sosire/servire cunoscut;X B(1;1=2)pentru popula¸tii cu caracteristic˘a binar˘a, cu valori posibile echiprobabile. În acest caz, problema analiz˘arii parametrilor este încheiat˘a, neexistând parametrii de estimat. Singurele chestiuni ce poate fi luat˘a în discu¸tie pot fi preziceri viitoare ale valorilor observate.

2. Specificat˘a, dar cu m˘acar un parametru necunoscut: X P( ), > 0 pentru indivizii unui sistem de a¸steptareM=M=1 cu rata necunoscut˘a, caz în care, dup˘a modelarea sistemului cu ajutorul ecua¸tiilor diferen¸tiale ale ale lui Kolmogorov, se pune problemaestim˘arii punctuale a parametrului, determinarea unor intervale de încrederecare s˘a acopere, pentru un anumit prag de semnifica¸tie parametrul estimat,verificarea ipotezelor statistice referitoare la valoarea medie teoretic˘a a reparti¸tiei, predic¸tie pentru valori viitoare de observa¸tie;X N( ; ²)pentru indivizii unei popula¸tii pentru care media ¸si dispersia sunt parametrizate, caz în care trebuie s˘a estim˘am valorile ambilor parametri sau a unuia dintre ei, dup˘a caz. Aceste situa¸tii sunt, de fapt, cele mai frecvent intâlnite în analizele statistice, estimarea parametrilor fiind apoi urmat˘a de problemele inferen¸tialeprezentate în exemplul precedent.

3. Necunoscut˘a, caz in care nu se poate formula problema estim˘arii directe a parametrului. Trebuie, pentru început, o estimare a legii caractersiticii. Aceasta presupune utilizarea unorteste de concordan¸t˘a(goodness- of-fit tests), care const˘a în realizarea unei coresponden¸te între reparti¸tia empiric˘a a datelor observate ¸si o reparti¸tie teoretic˘a cunoscut˘a, sau care testeaz˘a dac˘a dou˘a seturi de date observate provin dintr-o aceea¸si reparti¸tie. Dou˘a dintre cele mai frecvent utilizate teste de concordan¸t˘a sunt: testul ² de concordan¸t˘a al lui Pearson(pentru a testa concordan¸ta între reparti¸tia datelor obsevate ¸si reparti¸tia normal˘a, Poisson sau Weibull) ¸sitestul Kolmogorov-Smirnov(pentru a testa a testa concordan¸ta între reparti¸tia datelor obsevate

¸si o reparti¸tie teoretic˘a dat˘a (one-sample test), sau pentru a testa dac˘a dou˘a seturi de date observate provin dintr-o aceea¸si reparti¸tie (two-sample test).

Discut˘am în cele ce urmeaz˘a despreproblema estim˘arii punctuale a parametrilor, problem˘a aferent˘a ca- racteristicilor care se încadreaz˘a la punctul2prezentat anterior. Prezent˘am no¸tiunea de estimator pentru para- metru, precum ¸si principalele sale caracteristici asociate. De asemenea, vom descrie cele4metode de estimare punctual˘a a parametrilor:metoda verosimilit˘a¸tii maxime, metoda momentelor, metoda minimului ²¸simetoda celor mai mici p˘atrate. Mai exist˘a o metoda de estimare a parametrilor, dar aceasta nu este pentru estimare punctual˘a ci const˘a în determinarea unor intervale de încrederecare presupune identificarea unui interval cu capete aleatoare care, pentru un anumit nivel de încredere, s˘a acopere parametrul estimat. Metoda este strâns legat˘a de testarea ipotezelor statistice, prin teste parametrice. Pentru situa¸tie caracteristicilor neparametrizate exist˘a clasa testelor neparametrice, care se refer˘a în special la forma reparti¸tiei.

2 Estimatori punctuali

2.1 Considerente generale

Ne propunem s˘a analiz˘am caracteristicaX a unei popula¸tii statistice, caracteristic˘a ce urmeaz˘a reparti¸tia dat˘a de func¸tia de probabilitate (pentru reparti¸tii discrete), sau densitatea de reparti¸tie (pentru reparti¸tii absolut con- tinue),f(x; ), unde 2 R^peste un parametru, de tip vectorial, necunoscut. Obiectivul Teoriei estima¸tiei const˘a în evaluarea acestor parametri, folosind variabilele aleatoare de selec¸tieX₁; X₂; :::; X_n asociate unei se- lec¸tii aleatoare de volumnîn cadrul popula¸tiei statistice. Valorile empirice observate, sau vectorul observa¸tiei, vor fi reprezentate de e¸santionulx=fx₁; x₂; : : : ; x_ng 2Rⁿ:Presupunem c˘aX admite medie ¸si dispersie teore- tice, notate cu =E(X)¸si ²=D²(X):

Se nume¸stefunc¸tie de estima¸tie (punctual˘a) sau estimator al parametrului ;o func¸tie de selec¸tie (statistic˘a) b: (Rⁿ;BRⁿ; n)!(R;BR; );

b=b_n=b(X₁; : : : ; Xn);

cu ajutorul c˘areia dorim s˘a îl aproxim˘am pe :Evaluarea estimatorului în e¸santionul observa¸tiilor,b(x1; : : : ; xn); reprezint˘a estima¸tia parametrului . Men¸tion˘am conven¸tia acceptat˘a ca, prin abuz de notatie, s˘a not˘am atât estimatorul cât si estimatia sa cu acela¸si simbol, b; ¸si vom face diferen¸ta prin precizarea variabilelor de care depind sau din contextul folosirii lor.

Trebuie studiat˘a calitatea acestui estimator. Mai precis, studiem modul în care aproximeaz˘a, în medie, para- metrul estimat, precum ¸si modul în care converge c˘atre acesta. De asemenea, furniz˘am informa¸tiile aduse de estimator, precum ¸si criterii de identificare a estimatorului potrivit scopului urm˘arit.

O statistic˘abeste unestimator nedeplasat(en., unbiased estimator) pentru parametrul dac˘a E(b) = ; pentru orice valoare a lui :

În caz contrar, spunem c˘a beste unestimator deplasat pentru parametrul , iar deplasareasa se define¸ste prin diferen¸ta

b(b; ) =E(b) =E(b ) =E("); unde "="(x) =b(x₁; : : : ; xn)

esteeroarea estimatoruluibde la parametrul , eroare ata¸sat˘a unui e¸santionx:Prin urmare, un estimator nede- plasat bpentru un parametru necunoscut beste o statistica care, în valoare medie, ia valoarea parametrului

.

O alt˘a m˘asur˘a a incertitudinii cu care un estimator aproximeaz˘a parametrul este împr˘a¸stierea valorilor esti- matorului, numit˘aeroarea standard(standard error), ¸si care se define¸ste prin

b= (b) = s

E b E(b) ² : (1)

Eroare medie p˘atratic˘a a unui estimator bpentru parametrul (mean squared error), respectivr˘ad˘acina erorii medii p˘atratice(root mean squared error) sunt cantit˘a¸tile:

M SE(b; ) =E (b )² ; respectiv RM SE(b; ) =

qM SE(b; ) = r

E (b )² : Fie acumb₁¸sib₂doi estimatori pentru :Raportul

M SE(b₁; )=M SE(b₂; )

se nume¸steeficien¸ta relativ˘a (relative efficiency) a estimatoruluib₁;în raport cub₂:Un estimatorb₁este mai eficient decâtb₂dac˘a:

n

:M SE(b₁; )> M SE(b₂; )o

=; ¸si n

:M SE(b₁; )< M SE(b₂; )o

6

=;:

Un estimator nedeplasatbpentru se nume¸steestimator nedeplasat uniform de dispersie minim˘a (uniformly minimum variance unbiased estimator -U M V U E) dac˘a, pentru orice alt estimator nedeplasat pentru ;notat cub;avem

D²(b) D²(b ); 8 2 :

Estimatorulbpentru este unestimator consistentdac˘a b(X₁; : : : ; X_n)probabilitate

! ; pentrun ! 1;

iar estima¸tiab(x1; : : : ; xn)va fi deci oestima¸tie consistent˘a pentru :

Dac˘a un anumit estimator d˘a erori foarte mari, nu implic˘a faptul c˘a estimatorul este deplasat. Pe de alta parte, dac˘a anumite erori pe care le d˘a estimatorul sunt egale cu zero, nu înseamn˘a c˘a estimatorul este neap˘arat nedeplasat. Proprietatea de nedeplasare este o m˘asur˘a a mediei teoretice a valorilor estimatorului. În mod ideal, ar fi de dorit ca estimatorul pentru un anumit parametru s˘a fie nedeplasat ¸si de dispersie minim˘a. Introducem astfel urm˘atoarele dou˘a no¸tiuni.

Defini¸tia 1 (a) Estimatorulbpentru parametrul este un estimator absolut corect dac˘a E(b) = ; 8 2 ¸si lim

n!1D²(b) = 0;

iarb(x₁; : : : ; x_n)va fi estima¸tie absolut corect˘a pentru : (b) Estimatorulbpentru este un estimator corect dac˘a

nlim!1E(b) = ; 8 2 ¸si lim

n!1D²(b) = 0;

iarb(x₁; : : : ; x_n)va fi estima¸tie corect˘a pentru :

Propozi¸tia 2.1 Dac˘a un estimatorbeste absolut corect pentru parametrul , atunci el este consistent.

Demonstra¸tie.Afirma¸tia este o consecin¸t˘a imediat˘a a inegalit˘a¸tii lui Chebyshev ¸si a faptului c˘alim_n!1D²(b) = 0:

P jb j< " 1 D²(b)

"² ; 8" >0fixat =) bprobabilitate

! ; pentrun ! 1:

2.2 Statistici de selec¸tie: estimatori pentru caracteristicile teoretice corespunz˘atoare

1. Media de selec¸tie.Numimmedie de selec¸tie repetat˘a de volumn, statistica X(!⁽ⁿ⁾) = 1

n Xn i=1

Xi(!⁽ⁿ⁾); !⁽ⁿ⁾2 ⁽ⁿ⁾:

Pentru fiecare!⁽ⁿ⁾fixat, evaluarea mediei de selec¸tie este media statistic˘a (empiric˘a)x= (Pn

i=1xi)=n:

Propozi¸tia 2.2 Media de selec¸tie are urm˘atoarele propriet˘a¸ti:

(1) E(X) = ; D²(X) =

2

n; D(X) = pn: (2) X ^a:s:! ; pentrun!+1: Demonstra¸tie. Pentru primul punct avem:

E(X) =E 1 n

Xn i=1

Xi

!

= 1 n

Xn i=1

E(Xi) = ¸si D²(X) =D² 1 n

Xn i=1

Xi

!

= 1 n²

Xn i=1

D²(Xi) =

2

n:

Pentru punctul(2), deoareceE(X) = ; D²(X) = ²;iar variabilele aleatoare de selec¸tie sunt independente în totalitate, atunci conform Legii tari a numerelor mari rezult˘a c˘a

X = 1 n

Xn i=1

X_i ^a:s:!E(X₁) = ; pentrun!+1:

Media de selec¸tie este, prin urmare, un estimator nedeplasat, absolut corect pentru media teoretic˘a a caracte- risticii studiate.

2. Momente ini¸tiale ¸si momente centrate de selec¸tie. Numimmomentul ini¸tial de selec¸tie de ordinr 2 N statistica

Xr(!⁽ⁿ⁾) = 1 n

Xn i=1

X_i^r(!⁽ⁿ⁾); !⁽ⁿ⁾2 ⁽ⁿ⁾:

Desigur, pentru r = 1;reg˘asim media de selec¸tieX:Not˘am acum cu p(X) = E(X^p)momentul teoretic de ordinulpale caracteristiciiX ¸si determin˘am caracteristicile numerice ale acestui moment de selec¸tie de ordinr:

E(Xr) = E 1 n

Xn i=1

X_i^r

!

= 1

nn r(X) = r(X) D²(Xr) = 2(Xr) E(Xr) =E

0

@ 1 n

Xn i=1

X_i^r

!21

A E 1 n

Xn i=1

X_i^r

!!2

= 1

n² Xn i=1

E X_i^2r + 1 n²

X

i<k

E(X_i^r)E(X_k^r) 1 n²

Xn i=1

E²(X_i) 1 n²

X

i<k

E(X_i^r)E(X_k^r)

= 1

n² Xn i=1

2(X_i^r) E²(X_i^r) = 1

n ^2r(X) ²_r(X) : Aplic˘am acum inegalitatea lui Chebyshev ¸si ob¸tinem, pentru orice" >0,

P Xr r(X) < " 1 ^2r(X) ²_r(X) n"² ; de unde deducem c˘a, pentru orice" >0;

n!lim+1P Xr r(X) < " = 1; adic˘a Xr

probabilitate

! ^r(X), pentrun!+1:

Aceasta înseamn˘a c˘a acestemomente ini¸tiale de selec¸tie sunt estimatori consisten¸ti pentru momentele teore- tice de ordin similar. Chiar mai mult, sunt estimatori absolut corec¸ti pentru momentele teoretice corespun- zatoare.

Numimmomentul centrat de selec¸tie de ordinr2N statistica

r(!⁽ⁿ⁾) = 1 n

Xn i=1

X_i(!⁽ⁿ⁾) X(!⁽ⁿ⁾) ^r; !⁽ⁿ⁾2 ⁽ⁿ⁾:

Pentrur= 2avem dispersie de selec¸tieS²;pe care o vom prezenta la subpunctul urm˘ator. La fel ca ¸si în cazul momentelor teoretice, putem exprima momentele centrate de selec¸tie cu ajutorul momentelor ini¸tiale de selec¸tie,

¸si reciproc:

r= 1 n

Xn i=1

Xr j=0

( 1)^jC_r^jX_i^jX^j= Xr j=0

( 1)^jC_r^jX^j 1 n

Xn i=1

X_i^{r j}

! : Prin urmare,

r= Xr j=0

( 1)^jC_r^jX^jX_{r j} ¸si X_r= _r+rX _{r 1}+r(r 1)

2 X _{r 2}+:::; r2N :

Putem determina chiar reparti¸tia asimptotic˘a a estimatorului dat de mediei de selec¸tieX:Aceasta va ar˘ata c˘a pentru volume de selec¸tie suficient de mari, estimatorul va estima media teoretic˘a a unei popula¸tii pentru care caracteristica poate fi considerat˘a ca apar¸tinând unei popula¸tii Gaussiene.

Propozi¸tia 2.3 Dat˘a o selec¸tie de volumn¸si variabilele de selec¸tieX1; X2; :::; Xn ata¸sate caracteristiciiX;pentru care exist˘a ¸si sunt finite =E(X)¸si06= ²=D²(X);atunci

X

=p n

rep:!Y N(0;1); pentrun!+1: Demonstra¸tie. DefinimY_i=X_i=n;pentrui= 1;2; :::; n:Avem:

X = Xn i=1

Yi ¸si i=E(Yi) =E Xi

n =

n; i= 1; :::; n:

Prin urmare, pentrui= 1;2; :::; n;

E (Y_{i i})² = _i²=E X_i n

2!

=

2

n² ¸si E (Y_{i i})³ = ³_i =E jX_i j n³

3!

=

3

n³:

Fiind verificat˘a condi¸tia lui Leapunov:

n!lim+1

Xⁿ

i=1 3i

1=3

Xn i=1

i2

1=2 = lim

n!+1

3=n^{2 1=3}

( ²=n)¹⁼² = lim

n!+1

1 n¹⁼⁶ = 0;

ob¸tinem conform Teoremei limit˘a central˘a,

n!lim+1P X

=p

n x = 1

p2 Z x

1

e ^z2=2dz; pentru oricex2R; rezultatul fiind astfel demonstrat.

Înainte de introducerea urm˘atoarei statistici de selec¸tie, dispersia de selec¸tie, prezent˘am câ¸tiva parametri em- pirici (statistici) ai împr˘a¸stierii valorilor sondajului (R; s²; s;(s )²; s ). Ace¸stia ajut˘a ¸si la evaluarea (aproximant˘a) a mediei ¸si dispersiei pentru momentele de selec¸tie introduse anterior. Pentrux = (x₁; x₂; :::; x_n)o valoare de selec¸tie repetat˘a de volumn;definim:

Momentul centrat empiric de ordinreste

r0 = 1 n

Xk i=1

ni(xi x)^r= Xk i=1

fi(xi x)^r;

undefi=ni=neste frecven¸ta relativ˘a a valoriixi:Dac˘a nu grup˘am elementele în clase, atuncik=n;iar fiecare ni= 1:În particular, pentrur= 2ob¸tinemdispersia(sauvarian¸ta)empiric˘a:

s²= ₂⁰ = 1 n

Xk i=1

ni(xi x)²= Xk i=1

fi(xi x)²:

M˘arimeas=p

s²se nume¸steabaterea medie p˘atratic˘a empiric˘a(saudevia¸tia standard empiric˘a).

Dispersia(sauvarian¸ta)empiric˘a modificat˘aeste num˘arul (s )²= n

n 1s²= Pk

i=1ni(xi x)²

n 1 ;

undeneste volumul selec¸tiei. Avem deci ¸si formula de calcul

(s )²= nx² nx²

n 1 = n

Pk i=1nix²_i

n nx²

n 1 =

Pk

i=1n_ix²_i nx²

n 1 :

Abaterea empiric˘a modificat˘a(saudevia¸tia standard empiric˘a modificat˘a) estes = q

(s )²:

Dispersia empiric˘a modificat˘a aproximeaz˘a mai bine decât dispersia empiric˘as²dispersia teoretic˘a ²a caracteristicii popula¸tiei. Pentru a vedea acest lucru, not˘am cu media întregii popula¸tii (o valoare teoretic˘a care, în general, nu poate fi determinat˘a de fapt) iar ²dispersia întregii popula¸tii de volumN;adic˘a

2= 1 N

XN i=1

(xi )²:

S˘a consider˘am un e¸santion de volumnales aleator din cadrul popula¸tiei. Are loc rela¸tia (xi )²= (xi x)²+ 2 (xi x) (x ) + (x )²; deci

Xn i=1

(x_i )² = Xn i=1

(x_i x)²+ 2 Xn i=1

(x_i x) (x ) + Xn i=1

(x )²

= Xn i=1

(x_i x)²+ 2 (x ) Xn

i=1

(x_i x) +n(x )²= Xn i=1

(x_i x)²+n(x )²:

Ob¸tinem

Xn i=1

(xi x)²= Xn

i=1

(xi )² n(x )²; i= 1; n : Pe de o parte, avem c˘a termenulPn

i=1(xi )²va fi, pentrunfoarte mare (apropiat de valoareaN), aproximat de n ²;adic˘a ² ' Pn

i=1(xi )² =n:Pe de alt˘a parte, (x )² aproximeaz˘a dispersia mediei de selec¸tie X = (Pn

i=1X_i)=n;care esteD² X = ²=n;deci termenuln(x )²va fi, pentrunfoarte mare, aproximat de num˘aruln ²=n= ²:În consecin¸t˘a, pentrunsuficient de mare,

(s )²= Pn

i=1(x_i x)²

n 1 'n ^{2 2}

n 1 = ²; iar utilizarea dispersiei empirice modificate este justificat˘a.

Putem analiza media ¸si dispersia momentelor centrate de selec¸tie de ordinulr 2 N ;care, pentru r = 2 devin caracteristicile numerice ale dispersiei de selec¸tie repetat˘a de volum n:Evaluarea precis˘a pentru media

¸si dispersia momentelor centrate de selec¸tie de ordinulroarecare este dificil˘a ¸si, din acest motiv, se consider˘a aproxim˘ari rezonabile ale acestora (vezi Kendall, [9, Chapter 9, Standard errors]). Deoarece, pentrunsuficient de mare,

D²(X) = ²(X) ²₁(X)

n ' n²⁰ =s²

n; (2)

atunci abaterea medie p˘atratic˘a empiric˘a este de ordinul luin ¹⁼²:În formula (2), de¸si dispersia empiric˘a modi- ficat˘a(s )²este un evaluator mai bun pentru ²;pentru un volum de selec¸tie mare, se poate utiliza ¸si dispersia empiric˘a nemodificat˘a,s²:

3. Dispersia de selec¸tie (sauvarian¸ta selec¸tiei).Numimdispersie de selec¸tie repetat˘a de volumn, statistica V ar(X; !⁽ⁿ⁾) =S²(!⁽ⁿ⁾) = 1

n Xn i=1

X_i(!⁽ⁿ⁾) X(!⁽ⁿ⁾) ²; !⁽ⁿ⁾2 ⁽ⁿ⁾:

Pentru fiecare!⁽ⁿ⁾fixat, evaluarea dispersiei de selec¸tie este dispersia statistic˘a (empiric˘a)s²:Abaterea(saude- via¸tia standard)de selec¸tiese define¸ste ca fiindS =p

S²;iardispersia(sauvarian¸ta)modificat˘a de selec¸tie, respectiv abaterea(devia¸tia standard)modificat˘a de selec¸tiesunt:

(S )²= n

n 1S²= 1

n 1

Xn i=1

Xi X ²; respectiv, S =p (S )²:

Dispersia de selec¸tie modificat˘a este un estimator absolut corect al dispersiei teoretice ²;în timp ce dispersia de selec¸tie nu este un estimator absolut corect al acelea¸si cantit˘a¸ti, fiind un estimator deplasat, dup˘a cum vedem în cele ce urmeaz˘a. Pentru selec¸tii de volum mic, dispersia de selec¸tie modificat˘a este deci un estimator mai bun pentru dispersia teoretic˘a. Acest avantaj dispare îns˘a dac˘a volumul de selec¸tie cre¸ste.

Propozi¸tia 2.4 Dispersia de selec¸tie are urm˘atoarele propriet˘a¸ti:

E(S²) =n 1 n

2; E (S )² = ²; S^{2 a:s:}! ²; (S )^{2 a:s:}! ²; pentrun!+1: În ceea ce prive¸ste dispersia dispersiei de selec¸tie ¸si a dispersiei de selec¸tie modificate avem:

D²(S²) = 2 (n 1) ⁴

n² ¸si D²((S )²) = 2 ⁴ n 1:

Demonstra¸tie. Not˘am =E(X);iar propriet˘a¸tile mediei ¸si ale variabilelor aleatoare de selec¸tie conduc la:

E(S²) = E 1 n

Xn i=1

Xi X ²

!

= 1 nE

Xn i=1

Xi + X ²

!

= 1

nE Xn i=1

(Xi )²+ Xn i=1

X ² 2 X

Xn i=1

(Xi )

!

= 1

n Xn i=1

E (X_i )² 2nE X ² +nE X ²

!

= 1

n nE (X )² nE X ² =D²(X) D² X = ²

2

n = n 1 n

2

Ob¸tinem, de asemenea, c˘a

E (S )² =E n

n 1S² = n

n 1E(S²) = n

n 1

n 1

n

2= ²:

În ceea ce prive¸ste convergen¸tele, proced˘am astfel. Cum variabile de selec¸tie sunt idependente ¸si identic repar- tizate, atunci p˘atratele lor au aceea¸si proprietate, iarE X² = ²+ ²<+1:Deoarece

S²= 1

n 1

0

@ Xn i=1

X_i² 1 n

Xn i=1

Xi

!21 A= n

n 1

0

@1 n

Xn i=1

X_i² 1 n

Xn i=1

Xi

!21 A;

iar Legea tare a numerelor mari permite trecerea la limit˘a X ^a:s:! ; ¸si X^{2 a:s:}! ; pentrun ! +1; atunci concluzia dorit˘a este o simpl˘a consecin¸t˘a.

Privitor la dispersia luiS² ¸si a lui(S )²;invoc˘am, pentru început un rezultat tehnic, ce va fi demonstrat ulterior:

(n 1) (S )^{2 2}(n 1; ) deci (n 1) (S )²

2

2(n 1;1) = ²(n 1): (3) Aceast˘a distribu¸tie implic˘a faptul c˘a

2 (n 1) =D² (n 1) (S )²

2

!

= (n 1)²

4 D² (S )² =) D² (S )² = 2 ⁴ n 1: D² S² =D² n 1

n (S )² = (n 1)² n²

2 ⁴

n 1 = 2 ⁴(n 1) n² ; iar demonstra¸tia este încheiat˘a.

Observa¸tia 2.1 În general, dac˘abeste un estimator pentru parametrul ;iargeste o func¸tie continu˘a, atuncig(b)nu este neap˘arat un estimator pentru parametrulg( ):De exemplu, dac˘a caracteristica studiat˘a esteX N(0;1);atunci un estimator absolut corect pentru Xeste media de selec¸tieX:VariabilaX^{2 2}(1)(vezi Lema2.2), deci X² = 1:Un estimator absolut corect pentru X² esteX²:Pentru un e¸santion de volumnasupra caracteristiciiX;în general nu este implicat˘a rela¸tiax²=x²;deoareces²=x² x²6= 0:Afirma¸tia este adev˘arat˘a îns˘a dac˘a func¸tiageste bijectiv˘a.

R˘amâne de demonstrat afirma¸tia (3). Prezent˘am un set de4Leme care conduc la concluzia dorit˘a.

Lema 2.1 Pentru oricea >0; X ²(n; )dac˘a ¸si numai dac˘aaX ²(n;pa );unden2N ¸si >0:

Demonstra¸tie.Avem, pentru oricex 0,FaX(x) = 0¸si pentru oricex >0; FaX(x) =P(aX x) =P(X x=a) = FX(x=a):Deci

f_aX(x) = (F_aX(x))⁰ = (F_X(x=a))⁰ =f_X x a

1

a = 1

2ⁿ² (p

a )^{n n}₂ x^{n2 1}exp x 2 (pa )²

!

; adic˘aaX ²(n;p

a ).

Lema 2.2 Dac˘aX N 0; ² ;unde >0;atunciX^{2 2}(1; ).

Demonstra¸tie.Avem, pentru oricey 0,FX²(y) = 0¸si pentru oricey >0;

F_X²(y) =P X² y =P( py X py) =F_X(py) F_X( py):

Deci

f_X²(y) = (F_X²(y))⁰= (F_X(py) F_X( py))⁰ =f_X(py) 1

2py +f_X( py) 1 2py

=f_X(py) 1

py = 1 p2 ²exp

py ² 2 ²

! 1

py = 1

p2 y^{12 1}exp y 2 ² ; adic˘aX²corespunde unei variabile aleatoare distribuite ²(1; ).

Lema 2.3 Dac˘aX_i; i= 1; n ;sunt variabile aleatoare de selec¸tie corespunz˘atoare unei selec¸tii de volumnasupra caracte- risticiiX N 0; ² ;unde >0;atunci

Xn i=1

X_i^{2 2}(n; ); deci, echivalent, 1

2

Xn i=1

X_i^{2 2}(n;1) = ²(n): Demonstra¸tie.Conform rezultatelor anterioare,Y_k = ¹2X_k^{2 2}(1);pentru oricek= 1; n;

fYk(x) = 1

p2 xe ^x=21_(0;+1)(x)

¸si atunci func¸tia sa caracteristic˘a este'_Yk:R!C; '_Yk(t) =E(e^itYk) =

Z +1 0

e^itx 1

p2 xe ^x=2dx= (1 2it) ¹⁼²:

Independen¸ta variabilelor aleatoareYk; k= 1; n;conduce la urm˘atoarea func¸tie caracteristic˘a pentruPn k=1Yk: 'Pn

k=1Yk(t) = Yn k=1

(1 2it) ¹⁼²= (1 2it) ⁿ⁼²; t2R; adic˘aPn

k=1Yk 2(n) = ²(n;1):De aici rezult˘a c˘a Xn

k=1

Yk = Xn k=1

1

2X_k²= 1

2

Xn k=1

X_k^{2 2}(n;1); adic˘a Xn k=1

X_k^{2 2}(n; ); demonstra¸tia fiind, astfel, încheiat˘a.

Lema 2.4 Consider˘amX_i; i= 1; n ;variabile aleatoare de selec¸tie corespunz˘atoare unei selec¸tii de volumnasupra carac- teristiciiX N ; ² ;unde >0:

(a) Dac˘a media caracteristicii este cunoscut˘a, atunci:

H²= 1

2

Xn i=1

(Xi )^{2 2}(n;1) = ²(n):

(b) Dac˘a media caracteristicii este necunoscut˘a, consider˘am media de selec¸tieX= (Pn

i=1Xi)=n¸si vom avea:

Xn i=1

Xi X ^{2 2}(n 1; ) sau, echivalent ²= 1

2

Xn i=1

Xi X ^{2 2}(n 1;1) = ²(n 1):

Demonstra¸tie.Avem c˘a sumaPn

i=1Xi N n ; n ² ¸si apoiX N ; ²=n :Prin urmare, deducem c˘a

(Xi ) N 0; ² ¸si X N 0; ²=n :

În consecin¸t˘a,(X_i )^{2 2}(1; )ceea ce conduce la Xn i=1

(X_i )^{2 2}(n; ): Ob¸tinem c˘a

H²= n

2

1 n

Xn i=1

(Xi )²= 1

2

Xn i=1

(Xi )^{2 2}(n;1) = ²(n) De asemenea,

X ^{2 2} 1; =p

n ¸si n X ^{2 2}(1; ): Pe de alt˘a parte, avem c˘a

Xn i=1

Xi X ²= Xn i=1

(Xi ) X ²=

Xn i=1

h

(Xi )² 2 (Xi ) X + X ²i

= Xn i=1

(Xi )² 2 X

Xn i=1

(Xi ) + Xn i=1

X ²=

Xn i=1

(Xi )² 2n X ²+n X ²:

Deci Xn i=1

X_i X ²= Xn i=1

(X_i )² n X ^{2 2}(n; ) ²(1; ) = ²(n 1; ); ceea ce conduce la

2= 1

2

Xn i=1

X_i X ^{2 2}(n 1;1) = ²(n 1): Determin˘am reparti¸tia dispersiei de selec¸tie modificat˘a astfel:

2= n

2

1 n

Xn i=1

Xi X ²= n

2S²= n

2

n 1

n (S )²= n 1

2 (S )²: Rezult˘a c˘a(n 1) (S )^{2 2}(n 1; )¸si, în mod similar,nS^{2 2}(n 1; ):

2.3 Informa¸tia Fisher. Teorema Rao-Cramer

Un estimator bpentru parametrul necunoscut trebuie s˘a aib˘a anumite propriet˘a¸ti pentru a putea fi util în estimarea parametrului dorit. Dintre acestea, o proprietate important˘a este convergen¸ta acestuia, într-un sens convenabil, c˘atre parametrul pe care îl estimeaz˘a. De asemenea, este de dorit ca estimatorul bpentru s˘a fie nedeplasat, adic˘aE(b) = .

Exist˘a situa¸tii când, pentru un anumit parametru pot exista mai multi estimatori absolut corecti. Ei pot fi identifica¸ti prin metode diferite, sau chiar prin aceea¸si metod˘a, pornind de la date ini¸tiale diferite. De exemplu, pentru parametrul din reparti¸tiaP( ); datoreaz˘a faptului c˘a E(X) = D²(X) = ; pornind de la metoda momentelor, vom g˘asi doi estimatori, X ¸siS². Prin urmare, o chestiune la care trebuie g˘asit un r˘aspuns este modul de a alegere al celui mai bun estimator (nedeplasat) pentru parametru. CumE(b) = ;inegalitatea lui Chebyshev

P b E(b) < " 1 D²(b)

"² ; 8" >0

sugereaz˘a c˘a ar fi de preferat ca cel mai bun estimator sa aib˘a dispersia minim˘a. Teorema Rao-Cramér forma- lizeaz˘a în mod riguros aceast˘a observa¸tie, oferind o valoare minimal˘a pentru dispersia unui astfel de estimator nedeplasat.

Defini¸tia 2 Se nume¸ste func¸tie de verosimilitate,statisticaL:Rⁿ R^p !R; L(V; ) =L(X₁; : : : ; X_n; ₁; :::; _p) =

Yn k=1

f(X_k; ₁; :::; _p) = Yn k=1

f(X_k; ):

Am notat cuV = (X₁; : : : ; X_n)vectorul aleator de selec¸tie, iar independen¸ta variabilelor aleatoare de selec¸tie arat˘a de fapt c˘a func¸tiaLeste densitatea de reparti¸tie a acestui vector aleator.

Vom continua studiul pentrup= 1:

Intuitiv, prin maximizarea func¸tiei de verosimilitate, putem ob¸tine valorile parametrului pentru care e¸san- tionul ob¸tinut are probabilitatea cea mai mare de a fi observat. Dac˘a aceast˘a func¸tie de verosimilitate este de clas˘a C¹în raport cu parametrul, atunci identificarea punctelor de maxim presupune determinarea ini¸tial a punctelor critice:

@

@ L(V; ) = 0 sau, echivalent, l(V; ) = @

@ lnL(V; ) = 0;

undel(V; )se nume¸stescorul func¸tiei de verosimilitate. Pentru a determina cât de precis˘a este estimarea valorii reale a parametrului , trebuie s˘a avem informa¸tii legate de curbura func¸tiei de verosimilitate în jurul valorii maxime. O m˘asur˘a probabilistic˘a a acestei curburi este dispersia acestui scor.

Dispersia scorului se nume¸steinforma¸tie Fisher a func¸tiei de verosimilitateL asociat˘a selec¸tiei, ¸si se define¸ste astfel:

I_n( ) =D² @

@ lnL(V; ) ;

Prezent˘am un rezultat referitor la comportamentul informa¸tiei produs˘a de variabilele de selec¸tieX1; :::; Xn: Propozi¸tia 2.5 Au loc urm˘atoarele afirma¸tii:

(a) E @

@ lnL(V; ) = 0, iar informa¸tia Fisher are reprezentareaIn( ) =E @

@ lnL(V; )

2!

; n 1;

(b) In( ) = E @²

@ ²lnL(V; ) ; n 1;

(c) In( ) =nI1( ) = nE @²

@ ²lnf(X; ) ; n 1:

Demonstra¸tie.(a)DeoareceL(x; )este densitatea de reparti¸tie a vectorului aleator de selec¸tie, Z Z

RⁿL(x; )dx₁dx₂: : : dx_n= 1:

Regularitatea luiLpermite s˘a deriv˘am aceast˘a rela¸tie în raport cu parametrul ¸si rezult˘a, notând pentru simpli- tatea prezent˘ariidx=dx₁dx₂: : : dx_n;

@

@

Z Z

RⁿL(x; )dx= Z Z

Rⁿ

@

@ L(x; )dx= Z Z

Rⁿ

@

@ lnL(x; ) L(x; )dx=E(l(X; )) = 0: (4) Deoarece

I_n( ) =D² @

@ lnL(V; ) =E @

@ lnL(V; )

2!

E @

@ lnL(V; )

2

ob¸tinem formula informa¸tiei Fisher prezentat˘a la punctul(a):

(b)Deriv˘am înc˘a o dat˘a formula (4), ce d˘a media scorului func¸tiei de verosimilitate ¸si ob¸tinem, într-o manier˘a similar˘a,

Z Z

Rⁿ

@²

@ ²lnL(x; ) L(x; ) + @

@ lnL(x; )

2

L(x; )

! dx= 0;

de unde, sco¸tând factor comun func¸tia de verosimilitate, Z Z

Rⁿ

@²

@ ²lnL(x; ) + @

@ lnL(x; )

2!

L(x; )dx= 0:

Formula de transport conduce, datorit˘a faptului c˘aL(x; )este densitatea vectorului aleator de selec¸tie, la iden- titatea

E @²

@ ²lnL(V; ) +E @

@ lnL(V; )

2!

= 0; adic˘a E @²

@ ²lnL(V; ) +I_n( ) = 0:

(c)Rela¸tia ob¸tinut˘a la punctul(a)permite s˘a ob¸tinem, folosind formula explicit˘a a func¸tiei de verosimilitate ¸si independen¸ta variabilelor aleatoare de selec¸tie:

I_n( ) =E @

@ lnL(V; )

2!

=E 0

@ Xn k=1

@

@ lnf(X_k; )

!21 A

=E 0

@ Xn k=1

@

@ lnf(X_k; )

2

+ 2 X

1 i<j n

@

@ lnf(X_i; ) @

@ lnf(X_j; ) 1 A

=E Xn k=1

@

@ lnf(Xk; )

2!

+ 2 X

1 i<j n

E @

@ lnf(Xi; ) E @

@ lnf(Xj; )

= Xn k=1

E @

@ lnf(Xk; )

2!

=nI1( ): Demonstra¸tie este încheiat˘a.

Prezent˘am acum un rezultat important, care ofer˘a o margine inferioar˘a care permite alegerea unui estimator nedeplasat "bun".

Teorema 1 (Rao-Cramer) (a)Consider˘am c˘a avem de studiat caracteristicaX;a c˘arei func¸tie de probabilitate sau densi- tate de reparti¸tief(x; ), are suportulsuppf =fx; f(x; )>0gindependent de , iar ^@f(x;_@ ⁾exist˘a ¸si este finit˘a. Dac˘a am determinatb=b(X₁; : : : ; Xn);un estimator nedeplasat pentru ;atunci are loc urm˘atoarea estimare:

D²(b) 1

I_n( ): (5)

(b)Daca estimatorul beste un estimator deplasat pentru parametrul 2 R, cuE(b) = s( ); undes : R!Reste o functie derivabila, atunci inegalitatea Rao-Cramer devine:

D²(b) (s⁰( ))² I_n( ) :

Demonstra¸tie.(a)Covarian¸ta dintre estimatorul nedeplasat ¸si scorul func¸tiei de verosimilitatel(V; )este, deoarece E(l(V; )) = 0conform Propozi¸tiei2.5,

cov(b; l(V; )) =E(bl(V; )) E(b)E(l(V; )) =E(bl(V; ));

ceea ce conduce, conform formulei de transport, la cov(b; l(V; )) =

Z Z

Rⁿ

b(x) @

@ lnL(x; ) L(x; )dx= Z Z

Rⁿ

b(x) 1 L(x; )

@

@ L(x; ) L(x; )dx

= @

@

Z Z

Rⁿ

b(x)L(x; )dx = @

@ E(b) = 1:

Egalitatea de pe rândul al doilea (comutarea integralei ¸si a derivatei) are loc datorit˘a condi¸tiei de suport m˘arginit

¸si independent de parametru. Ridic˘am la p˘atrat egalitatea ob¸tinut˘a ¸si deducem 1 = cov(b; l(V; ))

2

= cov(b ; l(V; ))

2

= E (b E(b))l(V; )

2

Cauchy SchwartzE (b E(b))² 0

@E l(V; )² (E(l(V; )))²

| {z }

=0

1 A

=D²(b)D²(l(V; )) =D²(b)In( ); demonstra¸tia punctului(a)fiind încheiat˘a.

(b)Demonstra¸tia urmeaz˘a exact aceea¸si pa¸si folosi¸ti la punctul(a):Avem, de asemenea, valoarea medie a scoru- lui,l(X; );egal˘a cu0¸si estim˘am covarian¸ta dintreb¸sil(X; ) :

cov(b; l(V; )) =E(bl(V; )) = @

@

Z Z

Rⁿ

b(x)L(x; )dx = @

@ E(b) =s⁰( ): Inegalitatea Cauchy-Schwartz conduce imediat la

q

D²(b)D²(l(V; )) cov(b; l(V; )) =js⁰( )j () D²(b) js⁰( )j²

D²(l(V; ))= (s⁰( ))² I_n( ) ; iar demonstra¸tia teoremei este încheiat˘a.

Teorema poate fi folosit˘a ¸si pentru furnizarea unei margini inferioare pentru dispersia unui estimator de- plasat, cu deplasarea dat˘a. În acest caz, dac˘a deplasarea esteb(b; ) =b( ) = E(b) ;atunci definim func¸tias din Teorema1ca fiinds( ) =b( ) + ;iar marginea inferioar˘a este dat˘a de inegalitatea

D²(b) (1 +b⁰( ))²

In( ) ; de unde rezult˘a c˘a M SE(b; ) =E((b )²) (1 +b⁰( ))²

In( ) +b²( );

unde, reamintim c˘aM SE(b; )reprezint˘a eroarea medie p˘atratic˘a a estimatoruluibpentru parametrul : Defini¸tia 3 Folosind conceptele introduse anterior, numim eficienta unui estimator absolut corect bpentru parametrul 1 dimensional , raportul numeric

e(b) =I_n¹( ) D²(b):

Teorema Rao-Cramer afirm˘a deci faptul c˘ae(b) 1:Estimatorul nedeplasatbeste estimator eficient pentru parametrul 1 dimensional dac˘ae(b) = 1.

Exemplul 2.1 Consider˘am caracteristicaX N ; ² ; cu media cunoscut˘a ¸si dispersia teoretic˘a ² parametru.

Consider˘am statistica b= 1

n Xn i=1

(X_i )²; a c˘arei dispersie este

D²(b) =D²

2

n 1

2

Xn i=1

(X_i )²

!

=

2 2

n² D² 1

2

Xn i=1

(X_i )²

!

=

2 2

n² 2n= 2 ^{2 2}

n ;

deoarece, conform Lemei 2.4,H² = ²Pn

i=1(X_i )^{2 2}(n);deciE(H²) = n¸siD²(H²) = 2n: Determin˘am informa¸tia Fisher a func¸tiei de verosimilitateLasociat˘a selec¸tiei, calculândIn( ) =nI1( ):Avem astfel

In( ) =nI1( ) = nE @²

@ ²lnf(X; ) = nE (X )² ( ²)³ + 1

2( ²)²

!

= n

( ²)³E (X )² n 2( ²)²

= n

( ²)³

2 n

2( ²)² = n 2( ²)²:

Prima egalitate de pe ultimul rând are loc deoarece X N ; ² ; deciX N 0; ² ; ceea ce conduce la (X )^{2 2}(1; ):Prin urmare,

1

2(X )^{2 2} 1;1

= ²(1;1) = ²(1): Aceasta implic˘a

E 1

2(X )² = 1; ceea ce implic˘a E (X )² = ²: Teorema1afirm˘a c˘a

2 ^{2 2}

n =D²(b) 1

In( ) = 2 ^{2 2} n ; având loc egalitatea,estimatorulbfiind deci eficient.

Cu toate acestea, putem ob¸tine chiar o valoare mai mic˘a pentru eroarea medie p˘atratic˘a,M SE(b; );prin utilizarea unui estimator deplasat. Consider˘am, în acest sens, statistica estimator

b₀= 1 n+ 2

Xn i=1

(X_i )²; pentru care D²(b₀) =2n ^{2 2}

(n+ 2)² < 2 ^{2 2}

n =D²(b):

Deplasarea luib₀este, deoarece 1= ² Pn

i=1(Xi )^{2 2}(n);

2 E(b₀) = ² E 1 n+ 2

Xn i=1

(X_i )²

!

= ²

2

n+ 2E 1

2

Xn i=1

(X_i )²

!

= 1 n

n+ 2

2= 2 ² n+ 2: Eroarea medie p˘atratic˘a devine:

M SE(b₀; ) = 2n

(n+ 2)² + 4 (n+ 2)²

!

( ²)²=2( ²)²

n+ 2 <2( ²)²

n = 1

In( ); cu informa¸tia FisherIn( )determinat˘a anterior.

3 Metode de estimare punctual˘a a parametrilor

Prezent˘am în cele ce urmeaz˘a cele patru metode utilizate pentru determinarea statisticilor ce realizeaz˘a estima¸tii punctuale ale parametrilor reparti¸tiei caracteristiciiXstudiate. Presupunem pentru aceasta c˘a legea de reparti¸tie estef(x; ); = ( ₁; : : : ; _p)2R^p; p2Nsunt parametri necunoscu¸ti. E¸santionul observat la o selec¸tie de volum nestex=fx₁; :::; x_ng¸sifX₁; : : : ; X_ngsunt variabilele aleatoare de selec¸tie.

3.1 Metoda verosimilit˘a¸tii maxime

Defini¸tia 4 (a)Numim estimator de verosimilitate maxim˘a (maximum likelihood estimator, MLE) pentru o statistic˘a b=b(X₁; : : : ; X_n)pentru care se ob¸tine valoarea maxim˘a a func¸tiei de verosimilitate,

L(V; ) = Yn i=1

f(X_i; ):

(b)Valoarea acestei statistici pentru o observa¸tie dat˘a se nume¸ste estima¸tie de verosimilitate maxim˘a pentrub.

Dac˘a exist˘a derivatele par¸tiale@L=@ , atunci, pentru determinarea estima¸tiei determin˘am punctele critice, ¸si apoi cele de maxim, ale luiL:

@L(V; )

@ _k = 0 () @lnL(V; )

@ _k =

Xn i=1

@lnf(Xi; )

@ _k = 0; k= 1;2; : : : ; p:

Odat˘a identificate punctele critice^, se stabile¸ste în mod clasic (cu derivata secund˘a dac˘ap= 1;sau se solicit˘a ca matricea Hessian˘a s˘a fie negativ definit˘a, dac˘ap >1), dac˘a acestea sunt de maxim. Dac˘a este verificat˘a condi¸tia, trecem de la estima¸tie la estimator, prin înlocuirea valorilor empirice cu variabilele de selec¸tie corespunz˘atoare.

Pentru mai multe informa¸tii, exemple ¸si analize suplimentare, privitoare la urm˘atoarele trei rezultate, citi- torul interesat este invitat s˘a consulte Kendall, Stuart [8, Chapter 18,Estimation, Maximum Likelihood].

Propozi¸tia 3.1 (consisten¸ta) Dac˘a beste un M LE pentru valoarea real˘a a parametrului 0 al densit˘a¸tii de reparti¸tie f(x; ₀);atunci el converge în probabilitate la parametrul pe care îl estimeaza, b ! 0, pentrun ! 1:Altfel spus, estimatorulbeste consistent.

Demonstra¸tie. EstimatorulM LE beste punctul de maxim al func¸tiei de verosimilitateL;deciL⁰n(b) = 0;unde Lⁿ( )^def= 1

nlnL(V; ) = 1 n

Xn i=1

lnf(Xi; ); 8 2 :

Este clar c˘a factorizarea cuna func¸tiei de verosimilitate nu afecteaz˘a valoarea punctului de maxim. Legea slab˘a a numerelor mari arat˘a c˘a are loc convergen¸ta:

1 n

Xn i=1

lnf(Xi; )probabilitate

! E( lnf(X1; )) =E( lnf(X; )); 8 2 :

Dac˘a beste punctul care maximizeaz˘a membrul stâng din rela¸tia de convergen¸t˘a, iar 0 este valoarea "real˘a" a parametrului densit˘a¸tii de reparti¸tie, punct care maximizeaz˘a membrul drept al acelea¸si rela¸tii de convergen¸t˘a, atunci, în anumite condi¸tii de regularitate, avem c˘a

bprobabilitate

! 0; pentrun!+1;

adic˘a estimatorul este consistent. Mai r˘amâne de demonstrat doar c˘a 0este punct maximizant pentruElnf(X; );

2 :Într-adev˘ar, pentru orice 2 ;folosim faptul c˘a func¸tiax7!lnxeste concav˘a ¸si ob¸tinem:

E( lnf(X; )) E( lnf(X; 0)) = E ln f(X; )

f(X; 0) ineg: J ensenlnE f(X; ) f(X; 0)

= ln Z

R

f(x; )

f(x; ₀)f(x; 0)dx= ln Z

R

f(x; )dx= ln 1 = 0;

adic˘a 0este punct de maxim pentru func¸tiaElnf(X; );iar demonstra¸tia este încheiat˘a.

Observa¸tia 3.1 În ceea ce prive¸ste condi¸tiile tehnice de regularitate solicitate la trecerea la limit˘a în rezultatul anterior, acestea se refer˘a la: toate densit˘a¸tile de reparti¸tie f(x; ); 2 au acela¸si suport; punctul maximizant 0 2 int( ) ; func¸tialnf(x; )este diferen¸tiabil˘a în parametru;beste unicul punct critic al func¸tiei de verosimilitate.

Propozi¸tia 3.2 (principiul invarian¸tei) Fie b = fb₁; :::;b_pg un estimatorM LE pentru = f 1; :::; _pg. Atunci, estimatorul de verosimilitate maxim˘a (M LE) pentru func¸tiah( )esteh(b):Compunerea anterioar˘anu conserv ˘a îns ˘a proprietatea de nedeplasare a estimatorului. Cu alte cuvinte, dac˘a estimatorulM LE bpentru este ¸si nedeplasat, atunci estimatorulM LEpentruh( )nu mai verific˘a neap˘arat condi¸tiaE(h(b)) =h( ):

Demonstra¸tie. De¸si proprietatea are loc pentru o func¸tiehoarecare, presupunem, pentru început, c˘a func¸tiaheste bijectiv˘a ¸si not˘am =h( ):Prin urmare,

f(x; ) =f(x; h ¹( ));

iar func¸tia de verosimilitate asociat˘a parametruluih( ) = este L (x; ) =L(x; ( )) =L(x; h ¹( )) =

Yn i=1

f(x_i; h ¹( )):

De asemenea,

supL (x; ) = supL(x; h ¹( )) =L(x;b);

adic˘a^ =h(b)esteM LEpentru pentru parametrulh( ):

Dac˘a func¸tiahnu este bijectiv˘a, lucrurile sunt mai sensibile, noul parametru =h( )nefurnizând suficient˘a informa¸tie pentru definirea densit˘a¸tii de reparti¸tie f(x; ); deci nu putem defini func¸tia de verosimilitate. În conformitate cu Berk [3], alegem o func¸tie auxiliar˘au¸si definim

w( ) = (h( ); u( )) = ( ; ) = ;

astfel încât ws˘a fie bijectiv˘a. De exemplu, alegereaw( ) = (h( ); )verific˘a condi¸tia anterioar˘a, deci, cu alte cuvinte, putem considera întotdeauna pe uca fiind func¸tia identitate. Alegerea func¸tieiwnu este unic˘a, dar inversa sa, =w ¹( )este unic˘a. În consecin¸t˘a, func¸tia de verosimilitate este bine definit˘a, iar

w(^) esteM LEpentru parametrul ; iar demonstra¸tia este încheiat˘a.

Pentru ultima afirma¸tie, remarc˘am c˘aX este un estimator nedeplasat de verosimilitate maxim˘a pentru X, dar X ²este un estimator de verosimilitate maxim˘a, deplasat pentru media luiX², X²:

Exemplul 3.1 (a)Consider˘am caracteristicaX N 0; ² ;adic˘a densitatea de reparti¸tie este f(x; ) = 1

p2 exp x²

2 ² ; x2R; >0:

EstimatoriiM LE pentru parametrii ¸si ²sunt^ =X;respectiv^²=S²:De exemplu, pentru a ob¸tineM LEpentru parametrulh( ; ²) =p ₂

= înlocuim estimatorii ^¸si^²în func¸tiah¸si ob¸tinem estimatorulM LE pentru devia¸tia standard:

^ =p

^²=p S²=

vu ut1

n Xn i=1

X_i X ²:

Fie acum = ^k;deci = ^1=k =h ¹( ):Atuncih(^)esteM LEpentruh( )¸si se ob¸tine similar cazului precedent.

(b)Pentru reparti¸tiaN ; ² ;cu

h( ; ²) =h( ) = ; putem considerau( ) = sauu( ) = ²:

(c)Pentru reparti¸tiaB(p)putem alegew(p) = (p(1 p); p):

Propozi¸tia 3.3 (distribu¸tia asimptotic˘a a unui estimatorM LE) Daca beste un estimator de verosimilitate maxim˘a pentru valoarea real˘a a parametrului , ¸si anume 0;atunci, pentrunsuficient de mare, avem c˘a

b N 0; 1

In( 0) () pn(b ₀) N 0; 1 I1( 0) :

Demonstra¸tie. Pentru simplitatea prezent˘arii, presupunemp= 1:Similar Propozi¸tiei3.1,L⁰n(b) = 0;unde Ln( ) = 1

nlnL(V; ) = 1 n

Xn i=1

lnf(X_i; ): (6)

Teorema de medie conduce, pentru un^₁2[b; ₀];la

0 =L⁰n(b) =L⁰n( ₀) +L⁰⁰n(^₁)(b ₀); deci b ₀= L⁰n( ₀)

L⁰⁰n(^1) ¸si pn(b ₀) =

pnL⁰n( ₀) L⁰⁰n(^1) : (7) Dar 0este punct de maxim pentruElnf(X; );deciEln⁰f(X; ₀) = 0;unde prin simbolul de derivare am în¸teles derivarea în raport cu parametrul func¸tiei de reparti¸tie. Prin urmare, din (7) ob¸tinem

pnL⁰n( ₀) ⁽⁶⁾= pn 1 n

Xn i=1

ln⁰f(X_i; ₀) 0

!

= p

n 1 n

Xn i=1

ln⁰f(X_i; ₀) E ln⁰f(X₁; ₀)

!

rep:!

T :L:C:N 0; D²(ln⁰f(X₁; ₀)) ; L⁰⁰n( ) = 1

n Xn i=1

ln⁰⁰f(Xi; )_{L:T :N:M:}! E ln⁰⁰f(X1; ) ; 8 2 :

(8)

Rezultatul de consisten¸t˘a conduce lab^prob:! ⁰¸si decib₁^prob:! ⁰:Deducem, împreun˘a cu (8), a doua convergen¸t˘a, L⁰⁰n(^1)!E ln⁰⁰f(X1; 0) = I1( 0): (9) De asemenea, din (8), prima convergen¸t˘a, avem c˘a:

pnL⁰n( 0) ^rep:!

T :L:C:N 0; D²(ln⁰f(X1; 0)) :

Introducem, în aceast˘a convergen¸t˘a de func¸tii ¸sirul (în membrul drept), respectiv limita sa (în membrul stâng) din convergen¸ta de ¸siruri numerice ob¸tinut˘a în (9) ¸si g˘asim:

pnL⁰n( ₀) L⁰⁰n(^₁)

rep:! 1

I1( 0)N 0; D²(ln⁰f(X1; 0)) =N 0;D²(ln⁰f(X₁; ₀))

(I1( 0))² (10)

În final,

D²(ln⁰f(X₁; ₀)) =E (ln⁰f(X₁; ₀))² E ln⁰f(X₁; ₀) ²=I₁( ₀) 0 =I₁( ₀);

iar convergen¸ta (10) devine, datorit˘a formulei (7), pn(b ₀) =

pnL⁰n( ₀)

L⁰⁰n(^1) N 0; 1

I1( 0) ; adic˘a b ₀ N 0; 1

nI1( 0) =N 0; 1 In( 0) ; iar demonstra¸tia este, astfel, încheiat˘a.

3.2 Metoda momentelor a lui Pearson

În anumite cazuri, valorile critice pentru func¸tia de verosimilitate sunt dificil de calculat, mai ales c˘a nu întot- deauna este asigurat˘a derivabilitatea func¸tiei de verosimilitateL, sau sistemul care ofer˘a punctele critice este greu de rezolvat.

O metod˘a alternativ˘a pentru determinarea estimatorilor punctuali necesit˘a existen¸ta momentelor teoretice de anumite ordine k(X) =E(X^k); k 2 N;pentru caracteristica studiat˘aX (o astfel de abordare nu func¸tioneaz˘a pentru caracteristici repartizate Cauchy). Pentru determinarea estima¸tiilor estimatorilor, metoda const˘a în egalarea momentelor teoretice cu momentele empirice de acela¸si ordin. Aceasta se reduce la rezolvarea unui sistem de ecua¸tii în care necunoscutele sunt parametrii ce urmeaz˘a a fi estima¸ti.

Defini¸tia 5 Numim estima¸tie punctual˘a pentru parametrul ;ob¸tinut˘a prin metoda momentelor, solu¸tia b_est= (b₁; : : : ;b_p) = (b₁(x₁; :::; x_n); :::;b_p(x₁; :::; x_n))