Détermination d`une statistique exhaustive

Université de Toulon Master 1 Informatique

Éléments de statistique inférentielle TD2 : Durée 1h30, 2014/2015

Solution

Détermination d’une statistique exhaustive Loi de Poisson La loi de Poisson est une loi de probabilité discrète qui décrit le comportement du nombre d’évènements se produisant dans un laps de temps fixé, si ces évènements se produisent avec une fréquence moyenne connue et indépendamment du temps écoulé depuis l’évènement précédent. Si le nombre moyen d’occurrences dans cet intervalle est λ (le paramètre de la loi), alors la probabilité qu’il existe exactement x occurrences (x ∈ N) est pX (x; λ) = P (X = x) = e−λ

λx x!

(1)

Étant donné un échantillon i.i.d. (X1 , . . . , Xn ) généré suivant une loi de Poisson de paramètre inconnu λ, pX (x; λ), donnez une statistique exhaustive pour λ. Solution La loi jointe pour l’échantillon i.i.d. (x1 , . . . , xn ) est donnée par : p(x1 , . . . , xn ; λ)

= =

n Y

p(xi ; λ)

i=1 n Y

[e−λ

i=1 Pn

= λ

i=1

(2)

λxi ] xi !

xi −nλ

e

(3) 1 Qn

i=1

=

xi !

1 } Qn xi ! i=1 u(T (x1 ,...,xn );θ) | {z } Pn

|λ

xi −nλ

{z e

i=1

(4) (5)

v(x1 ,...,xn )

A Pnpartir de ce résultat, et d’après le théorème de factorisation (critère de Fisher-Neyman), on a : i=1 Xi est une statistique exhaustive pour λ. Famille exponentielle Une densité de probabilité (ou loi de probabilité dans le cas de v.a. discrètes) f (x; θ) appartient à la famille exponentielle si f (x; θ) peut s’écrire sous la forme f (x; θ) = exp[η(θ)T (x) + a(θ) + b(x)]

(6)

Soit X une variable aléatoire de densité f (x; θ) appartenant à la famille exponentielle. En déduire une statistique exhaustive pour le paramètre θ pour un échantillon i.i.d. (X1 , . . . , Xn ) Solution

1

La densité jointe pour les observations i.i.d. x = (x1 , . . . , xn ) est donnée par : f (x; θ)

= =

n Y i=1 n Y

f (xi ; θ)

(7)

exp[η(θ)T (x) + a(θ) + b(x)]

(8)

i=1

=

=

exp

exp

" n X i=1 " n X

# (η(θ)T (xi ) + a(θ) + b(xi )) "

# η(θ)T (xi ) + n a(θ) exp

n X

# b(xi )

(10)

i=1

i=1

{z

|

(9)

}|

u(T (x1 ,...,xn );θ)

{z

v(x1 ,...,xn )

}

A Pnpartir de ce résultat, et d’après le théorème de factorisation (critère de Fisher-Neyman), on a : i=1 T (xi ) est une statistique exhaustive pour θ.

Estimateurs et détermination de la Borne Inférieure de CramérRao (CRLB) Soit X une v.a. uni-variée à densité normale : f (X; µ, σ 2 ) =

1 X−µ 2 1 √ e− 2 ( σ ) . σ 2π

1. Calculer la CRLB pour un estimateur sans biais de l’espérance µ (variance σ 2 connue) ¯ est un estimateur de l’espérance µ (démo en prochain TD), La moyenne empirique X 2. Montrer qu’il est sans biais 3. En déduire qu’il est efficace 4. Calculer la CRLB pour un estimateur sans biais de la variance σ 2 (espérance µ connu) 5. La variance empirique S 2 est un estimateur biaisé de la variance σ 2 (démo en prochain TD), 2σ 4 de variance n−1 , en déduire son efficacité. Solution 1. On a ln f (X; µ)

= =

1 X−µ 2 1 ln √ e− 2 ( σ ) σ 2π    2 1 1 X −µ ln √ − . 2 σ σ 2π

(11) (12)

et ∂ ln f (X; µ) ∂µ  2 ∂ ln f (X; µ) ∂µ



=

1 σ2 1 σ4



=

X −µ σ



X −µ σ

2

(13) (14)

Ainsi " E

∂ ln f (X; µ) ∂µ

2 #

i 1 h 1 1 2 = 4 σ2 = 2 E (X − µ) σ4 σ σ

=

(15)

La CRLB pour l’estimateur de µ est donc σ2 2  = n ∂ ln f (X;µ) 1

CRLB = nE



∂µ

2

(16)

¯ = E[ 1 2. on a E[X] n

Pn

i=1

Xi ] =

1 n

Pn

¯ est donc sans biais. E[Xi ] = µ. L’estimateur X P n 1 1 σ2 2 i=1 Xi ) = n2 i=1 Var(Xi ) = n2 nσ = n i=1

Pn

¯ = Var( 1 3. Ensuite, on a Var(X) n ¯ est σ2 , il est donc à variance minimale pour µ quand la v.a. X est Puisque la variance de X n a densité normale N (µ, σ 2 ) 4. Soit θ = σ 2 , on a ln f (X; θ)

2 1 (X−µ) 1 e− 2 θ θ2 π 2 1 1 (X − µ) = − ln 2πθ − . 2 2 θ

ln √

=

(17) (18)

et 2

∂ ln f (X; θ) ∂θ 2 ∂ ln f (X; θ) ∂2θ

1 (X − µ) + 2θ 2θ2 2 (X − µ) 1 − 2θ2 θ3

= −

(19)

=

(20) (21)

Ainsi  E

2

∂ ln f (X; θ) ∂2θ

 =

1 − 2θ2

h i 2 E (X − µ) θ3

=

1 θ 1 1 − 3 =− 2 =− 4 2 2θ θ 2θ 2σ

(22)

La CRLB pour l’estimateur de σ 2 est donc donnée par 1 1

CRLB = − nE 5. On a Var(S 2 ) =

2σ 4 n

h

∂ 2 ln f (X;µ) ∂2θ

i=

2σ 4 n

(23)

donc l’efficacité de S 2 est donnée par : e(S 2 ) =

CRLB 2σ 4 /n n−1 = = 2 4 Var(S ) 2σ /(n − 1) n

S 2 n’est donc pas un estimateur efficace pour σ 2 (car e(S 2 ) < 1). Cependant, S 2 est asymptotiquement efficace car lim e(S 2 ) = 1 n→+∞

1. B Remarque : ici on a utilisé la deuxième forme de la CRLB

3