Estimation cor

ESTIMATION Les définitions et propriétés générales sur l’estimation ponctuelle Définition : « iid » signifie « indépendant et identiquement distribué » n-échantillon i.i.d

Estimateur Estimation

Un n-échantillon iid est une liste de n variables aléatoires réelles (X1 , ... , Xn) indépendantes et de même loi. Estimateur : On appelle estimateur d’un paramètre d’une loi  construit à partir d’un n-échantillon n (X1,...,Xn) iid de loi  , toute variable aléatoire Tn = (X1 , ... ,Xn) où  est une fonction de ℝ dans ℝ. Estimation : l’estimation est la valeur de l’estimateur obtenue à partir de la réalisation de l’échantillon. Il s’agit donc d’un réel (x1,...,xn) où xi est le résultat observé de Xi.

Loi parente

Loi commune suivie par les variables d’un échantillon

Biais d’un estimateur

Le biais d’un estimateur Tn de  est b(Tn) = E(Tn) –  Définition : le risque quadratique d’un estimateur Tn de  est ( s’il existe ) r(Tn) = E ( (Tn –  )² )

Risque quadratique d’un estimateur Tn de g()

Autre expression : r(Tn) = V(Tn) + b(Tn)² Cas des estimateurs sans biais si b(Tn) = 0 alors r(Tn) = V(Tn)

Suite d’estimateurs asymptotiquement sans biais Suite convergente d’estimateurs

Définition : on dit qu’une suite (Tn) d’estimateurs de  est asymptotiquement sans biais si et seulement si =0  Définition : on dit que la suite ( Tn)n d’estimateurs de  est convergente si et seulement si (Tn) converge en probabilité vers . Condition suffisante : Soit (Tn ) une suite d’estimateurs de  si



= 0 alors Tn est un estimateur convergent de 

Les résultats à connaître sur l’estimation ponctuelle La moyenne empirique en tant qu’estimateur d’une espérance

La variance empirique Sn² en tant qu’estimateur d’une variance.

-

Soit (X1,...,Xn) un n-échantillon iid , la moyenne empirique est

-

Si les ( Xi)i admettent une espérance m alors

-

Si les ( Xi)i admettent une espérance m et une variance ² alors rm (

est un estimateur sans biais de m

Si les ( Xi)i admettent une espérance m et une variance ² alors de m .

)=



est un estimateur convergent

- Soit (X1,...,Xn) un n-échantillon iid , la variance empirique est Sn² - Si les ( Xi)i admettent une espérance m et une variance ² alors E ( Sn²) =

 et b²( Sn²) = -



Sn² est un estimateur asymptotiquement sans biais de ². - Si les (Xi) admettent un moment d’ordre 4 et en notant ² leur variance, (Sn²) est un estimateur convergent de ². - Si les ( Xi)i admettent une espérance m et une variance ² alors ²= Sn² est un estimateur sans biais de ² - Inégalité de Markov : Si X est une variable aléatoire positive admettant une espérance alors

Outils utiles pour la convergence d’estimateurs

 a > 0 , P[ X  a ] ≤ En particulier si X admet une variance : P[ | X -  |  a ] ≤



- Composition par une fonction continue : Si Tn est un estimateur convergent de  et si f est une fonction continue de ℝ dans ℝ alors f(Tn) est un estimateur convergent de f() Comparaison des estimateurs, lequel choisir ?

Un estimateur T de  admettant un moment d’ordre 2 est plus efficace qu’un estimateur T’ de  admettant un moment d’ordre 2 si r(T) ≤ r(T’)

Estimation par intervalle de confiance Intervalle de confiance Les points forts pour trouver un intervalle de confiance

-

Un intervalle de confiance de  au niveau (1-) ou au risque  est un intervalle [ Tn , Un ] où Tn, Un sont des estimateurs de  tels que P[ Tn ≤  ≤ Un ]  1- Une estimation de  par intervalle de confiance au niveau (1-) est un intervalle [ tn , un ] où tn et un sont les valeurs réelles observées de Tn, Un lorsque [Tn,Un] est un intervalle de confiance de  au niveau (1-) Le niveau de confiance est le réel (1-) tel que P[ Tn ≤  ≤ Un ]  1- Le risque est  | a – b |    b-  a  b +   a-  b  a+ Inégalités de Markov : Si X est une variable aléatoire positive admettant une espérance alors  a > 0 , P[ X  a ] ≤ Inégalité de Bienaymé-Tchebychev : Si X est une variable aléatoire admettant un moment d’ordre 2 alors   > 0 , P[ | X – E(X) |   ] ≤



- Théorème central limite : Si (Xk)k 1 est une suite de variables aléatoires indépendantes et de même loi admettant une espérance m et une variance ² alors ( Intervalle de confiance asymptotique au niveau 1-



) converge en loi vers X* où

X* ↪ N(0,1) [ Tn , Un ] est un intervalle de confiance asymptotique de  si et seulement si Tn et Un sont des estimateurs de  tels que :  1-

Intervalle de confiance par l’inégalité de Markov Hypothèses

Soit ( X1 , ... , Xn) un n-échantillon iid d’une loi  , admettant un moment d’ordre 2 . Soit Tn un estimateur de 

Première approche d’un intervalle de confiance de  au niveau (1-)

P[ Tn -





≤  ≤ Tn +





] )  1-

Que représente  ?  représente le risque Quelle est la problématique ? Les bornes Tn -





et Tn +



dépendent en général de 



donc cet encadrement ne définit pas un intervalle de confiance.

Intervalle de confiance par le théorème central limite

Les notations usuelles

-  représente la fonction de répartition de la loi normale centrée réduite - X* représente une variable aléatoire de loi normale centrée réduite  - P[ | X*|  t ] = 1 -1



- Quel est le lien entre le risque  et t ? t =  ( 1 - ) - Connaissant , comment trouver t ? à l’aide de la table donnant des valeurs de  Avec Scilab : talpha = cdfnor(‘X’,0,1, 1 – alpha/2 , alpha/2 )

ère

1 approche d’intervalle de confiance au niveau (1-) d’une espérance m.

Si (X1,...,Xn) est un n-échantillon iid d’une loi d’espérance m et de variance ²     alors  1- Problématique :  peut dépendre de m ou être inconnu.

Estimation du paramètre p d’une loi de Bernoulli par Bienaymé-Tchebychev Une majoration incontournable Par BienayméTchebychev

Par le théorème central limite.

Pour p  [ 0 , 1 ] , p (1-p)  - Hypothèses : soit (X1 , ... , Xn) un n-«échantillon iid d’une loi de Bernoulli de paramètre p inconnu - Intervalle de confiance au niveau 1 -  : P[ Tn -



≤ m ≤ Tn +



]  1-

- Hypothèses : soit (X1 , ... , Xn) un n-«échantillon iid d’une loi de Bernoulli de paramètre p inconnu - Intervalle de confiance au niveau (1-) : P[ -  ≤ m ≤ +  ]  1- sous réserve que n soit assez grand ( n  30 , np  5 , n(1-p)  5 ). On applique le théorème central limite à un échantillon iid d’une loi de Bernoulli de paramètre p.

Marche à suivre pour obtenir un intervalle de confiance asymptotique de p

1) 2) 3)

converge en loi vers X* d’après le théorème central limite converge en probabilités vers p d’après la loi faible des grands nombres En composant par x 

4) D’après le théorème de Slutsky,

continue sur ] 0 , 1 [ ,

converge en probabilité vers 1

converge en loi vers X*

5) Un intervalle de confiance asymptotique de p au risque  : [



,



Compléments à savoir retrouver Estimation du paramètre m d’une loi normale N(m,²) où  est connu - Soit ( X1 , ... , Xn) un n-échantillon iid de loi N(m,²) est un estimateur sans biais et convergent de m - Pourquoi est-il inutile ici d’utiliser le théorème central limite ? Intervalle de confiance de m au niveau (1-)

En raison de la stabilité de la loi normale par combinaison linéaire de variables indépendantes suivant des lois normales : ↪ N(0,1)  La convergence en loi est inutile, on a beaucoup plus précis ici. - Intervalle de confiance de m au niveau (1-) : [







,



]

Intervalle de confiance asymptotique d’une espérance ( cf exercice II 5) Soit ( X1 , ... , Xn) un n-échantillon iid d’une loi d’espérance m et de variance ² admettant un moment d’ordre 4. est la moyenne empirique

Hypothèses

Sn²

est la variance empirique

Sn =



Intervalle de confiance asymptotique d’une espérance

converge en loi vers X* où X* ↪ N(0,1) ’après le théorème central limite

Sn² est un estimateur asymptotiquement sans biais et convergent de ² car la loi a un moment d’ordre 4 ( cf exercice II5) 

converge en probabilité vers 1 en composant par x 



continue sur ℝ+*

converge en loi vers X* d’après le théorème de Slutsky Un intervalle de confiance asymptotique de m au niveau  est [

-



,

+



]