CHAPITRE 5 : Loi faible des grands nombres

CHAPITRE 5 : Loi faible des grands nombres

Dans cette section, on va montrer plusieurs "lois faibles des grands nombres". On dénit d'abord le mode de convergence qui apparaitra en conclusion des théorèmes. On dira que Yn converge vers Y en probabilité si pour tout  > 0, P (|Yn − Y | > ) → 0 quand n → ∞.

Lois faibles L2

La première version de loi faible va découler du calcul des variances et de l'utilisation des inégalités de Chebyshev. On étend la dénition donnée dans l'exemple (4.2) pour deux variables aléatoires en disant qu'une famille de variables aléatoires Xi , i ∈ I avec EXi2 < ∞ est dite non corrélées si on a E(Xi Xj ) = EXi EXj

à chaque fois que

i

6= j

La clé pour la loi faible pour des variables aléatoires non corrélées est : Lemme 5.1

Soient X1 , ..., Xn avec EXi2 < ∞ et non corrélées. Alors

var (X1 + ... + Xn ) = var (X1 ) + ... + var (Xn ) où var (Y )= la variance de Y .

Preuve

Posons µi = EXi et Sn = ni=1 Xi . Puisque ESn = ni=1 µi , en utilisant la dénition de la variance, en écrivant le carré de la somme comme le produit de deux copies de la somme, et en développant, on obtient P

P

!2 n X var (Sn ) = E(Sn − ESn ) = E (Xi − µi ) i =1 ! n X n X = E (Xi − µi )(Xj − µj ) i =1 j =1 n n X i −1 X X = E(Xi − µi )2 + 2 E(Xi − µi )(Xj − µj ) i =1 i =1 j =1 2

où dans la dernière égalité, on a séparé les termes se trouvant sur la diagonale (i = j ) et utilisé le fait que la somme sur 1 ≤ i < j ≤ n est la même que sur 1 ≤ j < i ≤ n.

La première somme vaut var (X1 ) + ... + var (Xn ) ainsi il reste à montrer que la deuxième vaut 0. Pour cela, on observe que E(Xi − µi )(Xj − µj ) = EXi Xj − µi EXj − µj EXi + µi µj = EXi Xj − µi µj

car Xi et Xj sont non corrélées. En d'autres termes, (5.1) dit que pour des variables aléatoires non corrélées, la variance de la somme est égale à la somme des variances. Le second ingrédient dans la preuve de (5.2) est une conséquence de (3.10c)

var (cY ) = c 2 var (Y )

Ce résultat et (5.1) donne facilement : Théorème 5.2 (Loi faible

L2 )

Soient X1 , X2 , ... une suite de variables aléatoires non corrélées avec EXi = µ et var (Xi ) ≤ C < ∞ pour tout i ≥ 1. Si Sn = X1 + .. + Xn alors quand n → ∞, Sn /n → µ dans L2 et en probabilité. Preuve

Pour montrer la convergence dans L2 , on observe que E(Sn /n) = µ, ainsi E(Sn /n−µ)2 = var (Sn /n) =

1

n

2

(var (X1 )+...+var (Xn )) ≤

Cn n2

Pour conclure que la convergence a lieu aussi en probabilité, on applique le résultat suivant à Zn = Sn /n − µ.

→0

Lemme 5.3

Si p > 0 et E |Zn |p → 0 alors Zn → 0 en probabilité. Preuve

L'inégalité de Chebyshev, (3.4), avec φ(x ) = x p et X = |Zn | implique que si  > 0 alors P (|Zn | ≥ ) ≤ −p E |Zn |p → 0.

La principale application de (5.2) se produit quand X1 , X2 , ... sont des variables aléatoires indépendantes ayant la même loi. Dans le vocabulaire probabiliste, on applique ce type de variables indépendantes identiquement distribuées et on les note i.i.d.. Dans (5.2), la convergence L2 exige que si EXi2 < ∞ alors Sn /n converge vers µ = EXi en probabilité quand n → 0. On verra dans la suite que la condition E |Xi | < ∞ est susante pour avoir la dernière conclusion.

L'application suivante concerne une situation où rien n'indique qu'il faut utiliser de l'aléatoire. Mais pourtant ! Exemple 5.1 : Approximation polynomiale

Soit f une fonction continue sur [0, 1], et soit

fn (x ) =

n X m=0

Cnm x m (1 − x )n−m f (m/n) où Cnm =

le polynôme de quand n → ∞

Bernstein de dégré n

associé à f . Alors

sup |fn (x ) − f (x )| → 0

x ∈[0,1]

n! m!(n − m)!

Preuve

On observe d'abord que si Sn est la somme de n variables aléatoires indépendantes avec P (Xi = 1) = p et P (Xi = 0) = 1 − p alors EXi = p , var (Xi ) = p (1 − p ) et

P (Sn = m) = Cnm pm (1 − p)n−m ainsi Ef (Sn /n) = fn (p ). (5.2) dit que quand n → ∞, Sn /n → p en probabilité. Les deux derniers résultats motivent la dénition de fn (p ) mais pour montrer la conclusion

désirée, on va utiliser la preuve de (5.2) plus que le résultat lui-même. Combinant la preuve de (5.2) avec notre nouvelle formule pour la variance de Xi et le fait que p (1 − p ) ≤ 1/4 quand p ∈ [0, 1] on a

P (|Sn /n − p| > δ) ≤ var (Sn /n)/δ2 = p(1 − p)/nδ2 ≤ 1/4nδ2

Pour conclure maintenant que Ef (Sn /n) → f (p ), posons M = supx ∈[0,1] |f (x )|, soit  > 0, et on choisit δ > 0 tel que si |x − y | < δ alors |f (x ) − f (y ) < |.(Ceci est possible car toute fonction continue sur un intervalle borné y est uniformément continue). Maintenant l'utilisation de l'inégalité de Jensen donne |Ef (Sn /n) − f (p )| ≤ E |f (Sn /n) − f (p )| ≤  + 2MP (|Sn /n − f (p )| > δ)

en faisant tendre n → ∞ on obtient que lim supn→∞ |Ef (Sn /n) − f (p )| ≤ , mais  étant arbitraire, on obtient le résultat.

Tableaux triangulaires Plusieurs théorèmes limites classiques en probabilité concernent les tableaux Xn,k , 1 ≤ k ≤ n de variables aléatoires et on étudie le comportement limite des sommes des lignes Sn = Xn,1 + .... + Xn,n . Dans plusieurs cas, on suppose que chaque ligne est indépendante mais pour le résultat trivial suivant (mais utile), on n'a pas besoin de cette hypothèse. En eet, ici Sn peut être n'importe quelle suite de variables aléatoires. Théorème 5.4

Posons µn = ESn , σn2 = var (Sn ). S'il existe une suite bn > 0 vériant bn → ∞ et σn2 /bn2 → 0 alors

Sn − µn bn

→0

en probabilité

Preuve

Notre hypothèse implique

E((Sn − µn )/bn )2 = bn−2 var (Sn ) → 0, le résultat voulu s'en

suit à partir (5.3). Nous allons donner deux applications de (5.4). Pour ces exemples le calcul suivant est utile n X 1

Z n

m=1 m

(∗)

≥ 1

ln n ≤

dx x

≥

n X 1

m=1 m

n X 1

m =2 m

≤ 1 + ln n

Exemple 5.2 : Problème du collectionneur de coupons

Soient X1 , X2 , .... des variables aléatoires i.i.d. suivant la loi uniforme sur {1, 2, ..., n}. Pour motiver le nom, il faut penser à un collectionneur de coupons représentant les photos de footballeurs. Supposons que le i -ème coupon à collectionner est choisi au hasard dans un ensemble de possibilités et est indépendant des choix précédents. Soit τkn = inf {m : |{X1 , ..., Xm }| = k } le premier temps où on a k coupons. Dans ce problème, on s'intéresse au comportement asymptotique de Tn = τnn , le temps où on a complété la collection. Il est facile de voir que τ1n = 1. Pour établir les formules suivantes, il est pratique de poser τ0n = 0. Pour 1 ≤ k ≤ n, Xn,k ≡ τkn − τkn−1 représente le temps nécessaire pour faire un choix diérent des (k − 1) premiers choix, ainsi Xn,k suit une loi géométrique de paramètre 1 − (k − 1)/n, et est indépendante des temps d'attente Xn,j , 1 ≤ j < k .

L'exemple 3.5 arme que si X suit une loi géométrique de paramètre p alors EX = 1/p et var (X ) ≤ 1/p 2 . Utilisant la linéarité de l'espérance,(*) et (5.1) on voit que ETn =

var (Tn )

=

n  X

k −1 1− n

−1

k −1 1− n

−2

k =1 n  X k =1

=n =n

n X

m−1 ≈ n ln n

m=1 n X

2

m=1

m

−2

≤n

2

∞ X

m=1

m −2

Prenons bn = n ln n et l'utilisation de (5.4) il s'en suit que

Tn − n nm=1 m−1 → 0 en probabilité n ln n et ainsi Tn /(n ln n) → 1 en probabilité. Pour un exemple concret, si on prend n = 500, le théorème P

limite dit que l'on doit eectuer 500 ln 500 = 3107 essais pour avoir toute la collection.

Troncature Tronquer une variable aléatoire au niveau M signie considérer

X

= X 1|X |≤M =



X

0

si |X | ≤ M si |X | > M

Pour étendre la loi faible à des variables aléatoires sans que le moment d'ordre second soit ni, nous allons tronquer et puis utiliser l'inégalité de Chebyshev. On commence avec un cas général mais aussi très utile. Sa preuve est facile car on a supposé ce dont on a besoin. Plus tard, on travaillera un peu plus pour vérier les hypothèses dans des cas spéciaux mais le résultat général sert à identier les ingrédients essentiels dans la preuve.

Théorème 5.5 (Loi faible pour tableaux triangulaires)

Pour tout n soit Xn,k , 1 ≤ k ≤ n indépendantes. Soit bn > 0 avec bn → ∞, et soit X n,k = Xn,k 1(|Xn,k |≤bn ) . On suppose que (i) nk =1 P (|Xn,k | > bn ) → 0, et P 2 (ii) bn−2 nk =1 EX n,k → 0 quand n → ∞. Si on pose Sn = Xn,1 + ... + Xn,n et posons an = EX n,k alors P

(Sn − an )

bn

→0

en probabilité

Preuve

Soit S n = X n,1 + ... + X n,n . Il est clair que, Sn − an S n − an > ) P ( >  ) ≤ P (Sn 6= S n ) + P ( bn bn

Pour estimer le premier terme, on note que

P (Sn 6= S n ) ≤ P (

n  [

k =1

X n,k 6= Xn,k



)≤

n X k =1

P ( X n,k > bn ) → 0



par (i). Pour le second terme, on note que l'inégalité de Chebyshev, an = ES n ,(5.1), et var (X ) ≤ EX 2 implique

2 S n − an −2 S n − an −2 −2 P ( > ) ≤  E bn =  bn var (S n ) bn n n X X −2 −2 = (bn ) var (X n,k ) ≤ (bn ) E(X n,k )2 k =1 k =1

par (ii) et la preuve est complète.

A partir de (5.5) on donne le résultat suivant pour une suite simple. Théorème 5.6 (Loi faible des grands nombres)

Soient X1 , X2 , ..., une suite i.i.d. avec

xP (|Xi | > x ) → 0 quand x → ∞ Soit Sn = X1 + ... + Xn et soit µn = E(X1 1|X1 |≤n ). Alors Sn /n − µn → 0 en probabilité. Preuve

Nous allons appliquer (5.5) avec Xn,k = Xk et bn = n. Pour 2 vérier (ii), on a besoin de montrer que n−2 nEX n,1 → 0. Pour cela, on a besoin du résultat suivant qui nous sera très utile dans la suite.

Lemme 5.7

Si Y ≥ 0 et p > 0 alors E(Y p ) =

R∞ 0

py p−1 P (Y

> y )dy .

Preuve

Utilisant la dénition de l'espérance, le théorème de Fubini (pour des variables aléatoires positives), et le calcul de ces intégrales donne Z 0

∞

py p−1 P (Y > y )dy =

Z

∞

Z

Z0 Z

Ω ∞

= Ω

0

Z Z Y = ZΩ = Ω

0

py p−1 1(Y >y ) dPdy py p−1 1(Y >y ) dydP py p−1 dydP

Y p dP = E(Y p )

Revenons à la preuve de (5.6), on observe que (5.7) et le fait que X n,1 = X1 1(|X1 |≤n) implique Z n 2yP ( X n,1 > y )dy ≤ EX n,1 = 2yP (|X1 | > y )dy 0 0 puisque P ( X n,1 > y ) = 0 pour y ≥ n et = P (|X1 | > y ) − P (|X1 | > n) pour y ≤ n. On peut voir que yP (|X1 | > y ) → 0 implique que Z 1 n 2 E(Xn,1 )/n ≤ 2yP (|X1 | > y )dy → 0 n 2

Z

∞

0

quand n → ∞. Intuitivement ceci est vrai puisque l'expression à droite est la moyenne de 2yP (|X1 | > y ) sur [0, n]. Pour montrer cela, soit g (y ) = 2yP (|X1 | > y ). Puisque 0 ≤ g (y ) ≤ 2y et g (y ) → 0 quand y → ∞ on doit avoir M = sup g (y ) < ∞. Si on pose K = sup {g (y ) : y > K } alors en considérant les intégrales sur [0, K ] et [K , n] séparément Z n 0

2yP (|X1 | > y )dy ≤ KM + (n − K )K

Divisons par n et faisant tendre n → ∞ on obtient lim sup n→∞

1

n

Z n 0

2yP (|X1 | > y )dy ≤ K

Puisque K est arbitraire et K → 0 quand n → ∞, le résultat s'en suit.

Finalement nous avons la loi faible en ses termes familiers. Corollaire 5.8

Soit X1 , X2 , ... une suite i.i.d. de variables aléatoires avec E |Xi | < ∞. Soit Sn = X1 + ... + Xn et on pose µ = EX1 . Alors Sn /n → µ en probabilité. Preuve

Deux applications du théorème du convergence dominée impliquent

xP (|X1 | > x ) ≤ E(|X1 | 1|X1 |>x ) → O quand x → ∞ µn = E(X1 1(|X1 |≤n) ) → EX1 = µ quand

En utilisant (5.6),on voit que si  > 0 alors

n→∞

P (|Sn /n − µn | > /2) → 0. Puisque µn → µ, il s'en suit que P (|Sn /n − µ| > ) → 0.

Exemple 5.4

Pour un exemple où la loi faible n'est pas vraie, supposons X1 , X2 , ..... sont indépendantes et ont pour loi de Cauchy :

P (Xi

≤ x) =

Z x −∞

dt

π(1 + t 2 )

Quand x → ∞

P (|X1 | > x ) = 2

Z x

∞

dt

π(1 + t

2)

∼

2

Z

π x

∞

2

t −2 dt = x −1 π

A partir de la condition nécessaire avant on peut conclure qu'il n'existe pas de suite µn tel que Sn /n − µn → 0. On verra plus loin que Sn /n a toujours la même loi que X1 . L'exemple suivant montre qu'on ne peut avoir une loi faible dans plusieurs situations pour lesquels E |X | = ∞.