Cours estimation ponctuelle Fichier

UEVE

Estimation ponctuelle Résumé : Estimateurs - Propriétés et comparaison d’estimateurs

Le problème statistique On s’intéresse à la distribution d’un caractère X dans une population P. On suppose que la loi de X dans P (généralement de forme connue) dépend d’un paramètre θ inconnu (espérance, variance,...), éventuellement multi-dimensionnel. Par exemple, si θ est l’espérance de la loi de X, θ peut représenter la moyenne (µ) ou la proportion (p) du caractère (si X est qualitatif), qui est inconnue dans la population, et que l’on cherche à estimer. Le paramètre θ peut ^ etre la variance (σ 2 ) de la loi de X, et correspond à alors la dispersion du caractère X,· · · ). On suppose que l’on dispose de n observations x1 , x2 , · · · , xn , mesures du caractère faites sur un échantillon de taille n : on considère que x1 , x2 , · · · , xn est la réalisation d’un n-uplet de variables aléatoires X1 , X2 , · · · , Xn indépendantes et identiquement distribuées, de m^ eme loi que X (i.i.d.). On dit que (X1 , X2 , · · · , Xn ) est un échantillon aléatoire simple, ou encore que (X1 , X2 , · · · , Xn ) est un n-échantillon de la loi de X. Le problème que l’on se pose est de savoir comment estimer θ à partir des n-observations (x1 , x2 , · · · , xn ).

Estimateur - Estimation Définition 1 Soit (X1 , X2 , · · · , Xn ) un n-échantillon d’une loi Pθ dépendant d’un paramètre réel inconnu θ. On appelle estimateur de θ une variable aléatoire Tn obtenue comme fonction du n-échantillon aléatoire (X1 , X2 , · · · , Xn ) ; autrement dit Tn = f (X1 , X2 , · · · , Xn ). Remarque : Un estimateur est en fait une suite de v.a. (Tn )n , n ≥ 1 ; on assimile souvent l’estimateur avec le terme général de la suite Tn . Définition 2 Soit Tn un estimateur de θ. On appelle estimation de θ, la réalisation tn de la v.a. Tn , obtenue à partir de la réalisation (x1 , x2 , · · · , xn ) du n-échantillon (X1 , X2 , · · · , Xn ) ; tn = f (x1 , x2 , · · · , xn ).

Propriétés recherchées pour un estimateur La qualité d’un estimation tn (fonction des observations x1 , · · · , xn ) est établie à partir des propriétés (probabilistes) de la variable aléatoire associée qu’est l’estimateur Tn . Les propriétés recherchées pour un estimateur sont de deux types. Nous allons d’une part nous intéresser aux propriétés dites "asymptotiques", autrement dit quand la taille n de l’échantillon tend vers l’infini, et d’autre part aux propriétés non asymptotiques.

Propriétés asymptotiques La propriété principale requise sera la convergence de l’estimateur vers la valeur du paramètre θ à estimer, quand la taille n de l’échantillon tend vers l’infini. Cette propriété s’appelle la consistance de l’estimateur. L’estimateur Tn étant une variable aléatoire, il existe plusieurs notions de convergence, ou de consistance d’un estimateur. Définition 3 L’estimateur Tn de θ sera consistant si il converge en probabilité vers θ quand n tend vers l’infini ou si il converge en moyenne quadratique vers θ, quand n tend vers l’infini. Autrement dit Tn est un estimateur   consistant de θ si pour tout ε > 0 on a IP(|Tn − θ| ≥ ε) −→ 0, ou si IE (Tn − θ)2 −→ 0, avec EQM (Tn ) = n→∞ n→∞   IE (Tn − θ)2 désignant l’erreur quadratique moyenne. Dans le premier cas, on note P

Tn −→ θ. n→∞

Dans le deuxième cas on note L

2 Tn −→ θ.

Convergence en moyenne quadratique La convergence en moyenne quadratique, plus facile en général à établir que la convergence en probabilité, se montre en utilisant la décomposition biais-variance. Théorème 1 Soit Tn une variable aléatoire. Alors on a l’égalité   IE (Tn − θ)2 = Var(Tn ) + [IE(Tn ) − θ]2 . Définition 4 On appelle biais de l’estimateur Tn , la quantité Bn (θ) = IE(Tn ) − θ. D’après la décomposition biais-variance, une condition nécessaire et suffisante pour que l’erreur quadratique moyenne converge vers 0 est que - Var(Tn ) tend vers 0 quand n tend vers l’infini, - et [IE(Tn )−θ]2 tend vers 0 quand n tend vers l’infini. On dit alors que l’estimateur est asymptotiquement sans biais. Autrement dit pour qu’un estimateur converge en moyenne quadratique, il faut et il suffit que sa variance tende vers 0 quand n tend vers l’infini, et qu’il soit asymptotiquement sans biais. Convergence en probabilité Bien souvent , la convergence en probabilité se montre à l’aide de l’inégalité de Markov et se déduit de la convergence en moyenne quadratique. En effet, l’inégalité de Markov implique que IP(|Tn − θ| ≥ ε)

=

IP(|Tn − θ|2 ≥ ε2 ) ≤

IE[(Tn − θ)2 ] . ε2

Si IE[(Tn − θ)2 ] converge vers 0 quand n tend vers l’infini, alors pour tout ε > 0, IP(|Tn − θ| ≥ ε) tend également vers 0 quand n tend vers l’infini. Par conséquent, la convergence en moyenne quadratique implique la convergence en probabilité.

Propriétés non asymptotiques Si Tn est un estimateur de θ. Une propriété non asymptotique d’un estimateur est l’absence ou non de biais. Autrement dit Tn est-il un estimateur sans biais ? On calcule E(Tn ). On dit que Tn est un estimateur sans biais si IE(Tn ) = θ. Sinon Tn est dit biaisé et le biais de Tn est donné par Bn (θ) = E(Tn ) − θ. Si Bn (θ) tend vers 0 quand n tend vers l’infini, alors Tn est dit asymptotiquement sans biais.

Comparaison d’estimateurs Si Tn1 et Tn2 sont deux estimateurs de θ (avec ou sans biais), on choisira celui d’erreur quadratique minimale. Si EQM (Tn1 ) ≤ EQM (Tn2 ), on dit que Tn1 est plus efficace que Tn2 . Si Tn1 et Tn2 sont sans biais, choisir l’estimateur d’erreur quadratique minimale, revient bien s^ ur à choisir celui de variance minimale.

Présentation de la notion de vitesse de convergence sur des exemples Estimation d’une proportion Pour estimer une proportion p (à partir d’un n-échantillon (X1 , · · · , Xn ) de la loi B(p)), l’estimateur inPn tuitif, Tn = n−1 i=1 Xi , qui représente la proportion aléatoire de l’échantillon, est un estimateur sans biais de p(1 − p) p car E(Tn ) = p, et de variance Var(Tn ) = −→ 0. Par conséquent il converge en moyenne quadratique n→∞ n L2 vers p, et est donc un estimateur consistant de p, Tn −→ p. D’après le théorème central limite, n→∞

√ n(T − p) L p n −→ N (0, 1) . p(1 − p) n→∞ √ Nous dirons que Tn converge vers p à la vitesse n.

Estimation du paramètre d’une loi uniforme

(1)

Le premier estimateur Tn est un estimateur biaisé, car IE(Tn ) = (n/(n + 1))θ, asymptotiquement sans biais (1)

puisque IE(Tn ) − θ tend vers 0 quand n tend vers l’infini. De plus IE[(Tn − θ)2 ] = θ2 n/[(n + 1)2 (n + 2)] tend (1)

vers 0. L’estimateur Tn

(1)

est donc un estimateur consistant de θ, c’est-à-dire Tn

L

(1)

2 −→ θ et Tn

n→∞

P

−→ θ. Nous

n→∞

L

(1)

avons de plus que n[θ − Tn ]/θ −→ E(1) où E(1) est une variable aléatoire de loi exponentielle de paramètre n→∞

(1)

(1). Nous dirons que Tn converge vers θ à la vitesse n. (2) (2) Le deuxième estimateur Tn est un estimateur sans biais de θ, E(Tn ) = θ, dont la variance est donnée (2) (2) par Var(Tn ) = θ2 /(3n), qui tend vers 0 quand n tend vers l’infini. L’estimateur Tn est donc un estimateur (2)

consistant de θ, Tn

L

(2)

2 −→ θ et Tn

n→∞

P

−→ θ. D’après le théorème central limite,

n→∞

√

n(Tn − θ) L p −→ N (0, 1) . n→∞ θ2 /3 √ (2) Nous dirons que Tn converge vers θ à la vitesse n. Nous constatons sur cet exemple que la vitesse de convergence d’un estimateur est une mesure de la qualité (1) d’approximation de cet estimateur. L’estimateur Tn , bien que biaisé, converge plus rapidement vers θ que (2) l’estimateur Tn , qui lui est sans biais.