L`estimation ponctuelle Références : Lecoutre, chap. VII, §1, 2, 3

Chapitre IV : L’estimation ponctuelle Références : Lecoutre, chap. VII, §1, 2, 3 (p. 193-206) ; Tassi, Chap. 5, 6, 8 ; cours de Pradel (sur le site de Gwenn Parent) 1. Définition d’un estimateur Observations (x1,…, xn) →loi de probabilité P : Discrète : P(x1,…, xn ; θ)=Pθ(X1=x1) Pθ(X2=x2) … Pθ(Xn=xn) Continue : f(x1,…, xn ; θ)=f(x1; θ) f(x2; θ) … f(xn; θ) Non-paramétrique : toutes lois possibles Paramétrique : (Pθ, θ Θ), généralement Θ dans R Donc fonction Tn : (x1,…, xn) → θ Estimation ponctuelle : une valeur de θ. Estimation par intervalle : plusieurs valeurs dans un intervalle (fourchette pour le paramètre). Exemples : * fréquence empirique d’anticipation d’une inflation plus élevée ; de popularité d’un président ; • Nombre moyen de ménages endetté ; nombre moyen de pannes.

Remarque : * Estimateur est une v.a. Estimation est un nombre certain *L’estimateur peut être de dimension k>1 : θ=(m, σ) pour une loi normale.

2. Qu’est-ce qu’un bon estimateur ? a) Estimateur sans biais : Eθ(Tn) = θ qui est la « valeur vraie » du paramètre. Estimateur asymptotiquement sans biais : pour tout θ de Θ, Eθ(Tn) → θ quand n →∞ Exemples : * Soit à estimer θ = E(X). La moyenne empirique n est un estimateur sans biais de la moyenne théorique : Eθ( n)=E(X)= θ, quelle que soit la loi de probabilité de la v.a.X. *Estimons la variance de X : θ=V(X). L’estimateur « naturel » est la variance empirique Sn2 = 1/N∑(Xi2 n) mais on sait qu’elle est biaisée : Eθ(Sn)=[(n-1)/n] θ. Par contre, cette formule montre qu’elle est asymptotiquement non biaisée puisque (n-1)/n →1 quand n tend vers l’infini. b) Estimateur convergent : L’estimateur Tn est convergent s’il converge en probabilité vers la valeur vraie du paramètre θ : Pour tout ε >0, Probθ{| Tn - θ | Tn→ θ en probabilité quand n→∞. (ii) idem pour un estimateur asymptotiquement sans biais : Eθ(Tn) → θ et Vθ(Tn) = 0 => Tn→ θ en probabilité quand n→∞. Exemple : θ = E(X) est estimé sans biais par la moyenne empirique n. Par ailleurs, Vθ(Tn) = V(X)/n → 0 quand n→∞. Donc l’estimateur Tn= n est convergent quelle que soit la loi de X. c) Variance d’un estimateur : θ dépend de l’échantillonnage des observations, donc est une v.a. dont la dispersion est mesurée par sa variance. L’estimateur est d’autant plus précis qu’elle est faible.

3. Estimateur optimal : Erreur quadratique moyenne : Eθ(Tn – θ)2= Eθ{(Tn – Eθ(Tn))+(Eθ(Tn) - θ)}2 = V θ(Tn)+[ Eθ(Tn) – θ]2 car le terme croisé = 2 Eθ{(Tn – Eθ(Tn))+(Eθ(Tn) - θ)} = 2 {( Eθ(Tn) - Eθ(Tn))+(Eθ(Tn) - θ)} = 0 [(Eθ(Tn) - θ)]2=erreur structurelle mesurant le biais de l’estimateur Définition : L’estimateur T’n est plus efficace que Tn s’il a une variance plus faible. Question : Y a-t-il une borne inférieure à ces variances ? Dans ce cas, on pourrait mesurer le degré d’efficacité des estimateurs et savoir si un estimateur est optimal (dans le cas où sa variance est égale à la variance minimale).

Quantité d’information (de Fisher) contenue dans l’échantillon : In(θ) = Eθ{

} = Eθ{(

= V{

) 2}

}

Inégalité de Frechet-Cramer-Rao : Sous réserve de certaines conditions mathématiques (régularité de la fonction de vraisemblance ; en particulier pas de loi uniforme), Il existe une borne inférieure pour l’ensemble des variances des estimateurs sans biais : Vθ(Tn) ≥ avec In(θ) la quantité d’information de Fisher. Définition : Un estimateur est efficace si sa variance est égale à

.

Exemple de calcul de la quantité d’information : Loi exponentielle (Lacoutre p. 201-202) f(x, θ)= e-x/θ (i) Vraisemblance : L(x1,…, xn;θ) = ∏i f(xi; θ)

= ( )n exp(-

i)

(ii)Log-Vraisemblance : lnL(x1,…, xn;θ) = -n lnθ + i

(iii)Dérivation par rapport au paramètre θ : =-

(

) 2=

(iv) Eθ( avec Sn=

i

{n2-2 )2 =

2 i) }

I+

{n2-2

n)

+

n)

i

(v) Eθ(Sn) = n Eθ(X) = nθ Eθ(Sn2) = Vθ(Sn) + Eθ2(Sn) = n Vθ(X) + n2θ2 = n(n+1) θ2 (vi) soit In(θ) = n/θ2

(vi) Autre calcul par

= n/θ2 - 2/θ3

n

2

}

soit In(θ) = Eθ(-

) = - n/θ2 + 2n θ/θ3 = n/θ2

Exemple d’estimateur efficace : (i) Loi exponentielle de paramètre 1/θ: Eθ(X) = θ. (ii)Tn = moyenne empirique des X = i est un estimateur sans biais et convergent de Eθ(X). (iii) Vθ(Tn) = Vθ(X)/n = θ2/n = 1/In(θ) donc Tn est un estimateur efficace.

4. Méthode du Maximum de vraisemblance Vraisemblance : L(x1,…, xn ; θ) = proba d’observer (x1,…, xn) pour une valeur fixée de θ. Dans le cas d’échantillons iid : L(x1,…, xn;θ) = ∏i P(X i=x i|θ) = ∏i f(xi; θ) pour une v.a. X continue de densité f(xi; θ). On cherche le n qui maximise la vraisemblance pour les observations (x1,…, xn) : L(x1,…, xn ; n)=Maxθ L(x1,…, xn ; θ) Cas usuel : L dérivable au second ordre : l’optimum est défini par ∂L/∂θ = 0 et ∂2L/∂θ2 < 0 ou les mêmes conditions pour le log de la vraisemblance. Justification du log : la vraisemblance est un produit de probabilités (cas d’un échantillon iid) donc son log une somme plus facile à dériver. Remarque : Même signe des dérivées première et seconde de L et de lnL. =

=0

=0

= =

I

: f(x,m) =

exp{-(x-m)2/2σ2}

L(x1,…, xn; m, σ) = (

)nexp{-∑(xi-m)2/2σ2}

Ln L = -nlnσ -

- lnπ

= =- +

= 0 => n =0

= ∑xi =>

=

=

Les estimateurs du MV de l’espérance et de la variance sont donc la moyenne empirique et la variance empirique non corrigée Sn.

Estimateur à k dimensions : Conditions nécessaires :

=0 =0

…

=0

Conditions suffisantes :

La matrice [

] est définie négative

Théorème : a) Dans les conditions (mathématiques) d’application de l’inégalité de Fréchet-Cramer-Rao, l’estimateur du maximum de vraisemblance (i) Tend en probabilité vers la valeur vraie du paramètre (est asymptotiquement sans biais) ; (ii) Est asymptotiquement normal et efficace. b) S’il existe un estimateur efficace, il est solution de l’équation du maximum de vraisemblance. Ceci justifie l’emploi de cette méthode. Néanmoins, les équations de vraisemblance (CN et CS) peuvent être non calculable → utilisation d’une autre méthode (par exemple celle des moments).

5. Méthode des moments Equations des moments : E(Y) = m1 = f1(θ1, θ2, … θp) E(Y2) = m2 = f2(θ1, θ2, … θp) ……….. E(Yp) = mp = fp(θ1, θ2, … θp)

θ1= g1(m1, m2,..., mp) θ2= g2(m1, m2,..., mp) θp= gp(m1, m2,..., mp)

*Convergence des moments empiriques vers les moments théoriques. On égalise donc moment théorique (dépendant des paramètres à estimer) aux moments k i

empiriques :

=

*p estimateurs

p équations de moments

*un estimateur → équation du moment d’ordre 1 (moyenne) ou deux (variance)… : f1(θ)=Eθ ou f2(θ)=Vθ *par exemple : θ=Eθ → θ=moyenne empirique des x ; θ=Vθ → θ=estimateur sans biais de la variance empirique des x = s’n. exemple : X suit une loi exponentielle de paramètre θ. *Eθ(X) = 1/θ. L’équation à résoudre s’écrit :

1/θ=

i

et sa solution est :

n=

1/

i

*Si on utilisait le moment du deuxième ordre, on obtiendrait : Vθ(X) = 1/θ2 et donc : n= 1/ s’n. Autre exemple : Un assureur considère, d’après nses études empiriques, que la densité du coût y d’un sinistre dépend de deux paramètres a et r : F(y;a,r) = dont les espérance et variance sont : E(y) = ra et V(y) = ra2 On a donc les équations des deux premiers moments :

a=

et r =

dont les estimateurs sont en fonction des moments empiriques : a= r=

avec

l’estimateur sans biais de la variance.

6. Méthode de la minimisation de l’erreur quadratique

Exemple : Ajustement d’une droite : θ = (m, σ) Etudié au Chapitre VII Autre exemple : estimateur de l’espérance d’un v.a. Observations : (x1,…, xn) = Fonction constante :

Q=

=2 Soit

=0

=