Probabilités avancées 1

January 14, 2018 | Author: Anonymous | Category: Mathématiques, Statistiques et probabilités
Share Embed Donate


Short Description

Download Probabilités avancées 1...

Description

Probabilités avancées 1 Mohamed BOUTAHAR

1

4 octobre 2005

1 Département

de mathématiques case 901, Faculté des Sciences de Luminy. 163 Av. de Luminy 13288 MARSEILLE Cedex 9, et GREQAM, 2 rue de la vieille charité 13002. e-mail : [email protected]

Table des matières 1 Variables aléatoires 1 Définitions . . . . . . . . . . . . . 1.1 Espace de probabilité . . . 1.2 Variable aléatoire . . . . . 2 Indépendance . . . . . . . . . . . 2.1 probabilité conditionnelle . 2.2 Indépendance . . . . . . .

. . . . . .

. . . . . .

. . . . . .

4 4 4 5 5 5 5

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

2 Distributions de probabilité discrètes 1 Distributions usuelles . . . . . . . . . . . . 1.1 Loi de Bernoulli . . . . . . . . . . . 1.2 Loi Binomiale . . . . . . . . . . . . 1.3 Loi de Poisson . . . . . . . . . . . . 2 Espérance mathématique . . . . . . . . . . 3 Moments . . . . . . . . . . . . . . . . . . . 4 Inégalités classiques . . . . . . . . . . . . . 4.1 Inégalité de Markov . . . . . . . . . 4.2 Inégalité de Bienaymé-Tchebychev 4.3 Inégalité de Jensen . . . . . . . . . 5 Indépendance . . . . . . . . . . . . . . . . 5.1 Distributions marginales . . . . . . 6 Fonction génératrice . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

6 . 6 . 6 . 6 . 6 . 7 . 8 . 8 . 8 . 8 . 9 . 9 . 9 . 10

. . . . . . . .

12 12 13 14 14 14 15 15 15

3 Distributions de probabilité continues 1 Densité de probabilité, moments . . . . 2 Fonction caractéristique . . . . . . . . 3 Indépendance . . . . . . . . . . . . . . 3.1 Distributions marginales . . . . 3.2 Vecteurs indépendants . . . . . 4 Fonction de répartition . . . . . . . . . 4.1 Cas scalaire . . . . . . . . . . . 4.2 Cas vectoriel . . . . . . . . . .

1

. . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

TABLE DES MATIÈRES

5

6

2

Distributions usuelles . . . . . . . . . . 5.1 Loi uniforme . . . . . . . . . . . 5.2 Loi de Gauss . . . . . . . . . . 5.3 Loi exponentielle . . . . . . . . 5.4 Loi gamma . . . . . . . . . . . 5.5 Loi de Cauchy . . . . . . . . . . 5.6 Loi de Khi-deux . . . . . . . . . Transformation des vecteurs aléatoires 6.1 Cas discret . . . . . . . . . . . 6.2 Cas continu . . . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

4 Espérance conditionnelle 1 Densité de probabilité conditionnelle . . . . . . . . . 2 Espérance conditionnelle . . . . . . . . . . . . . . . . 3 Propriétés élémentaires de l’espérance conditionnelle . 3.1 Conditionnement des vecteurs gaussiens . . . 5 Convergences stochastiques 1 Convergence en loi . . . . . . . . . . . . . . 1.1 Critère de convergence en loi . . . . . 2 Convergence en probabilité . . . . . . . . . . 2.1 Critère de convergence en probabilité 3 Convergence en moyenne d’ordre r . . . . . 4 Convergence presque sûre . . . . . . . . . . 4.1 Critère de convergence presque sûre . 5 Liens entres les quatre convergences . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . .

15 15 16 16 16 16 17 17 17 17

. . . .

19 19 19 19 21

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

23 23 23 25 25 26 26 26 28

6 Processus de Poisson 1 Processus de Poisson homogène . . . . . . . . . . . . . . . . 2 Le système infinitésimal d’un processus de Poisson homogène 3 Les équations de Kolmogorov du processus de Poisson. . . . 4 Loi des intervalles entre les clients . . . . . . . . . . . . . . . 5 Répartition des points d’un processus de Poisson . . . . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

30 30 31 33 33 34

. . . . .

36 37 39 39 40 42

7 Introduction aux chaînes de 1 Distribution transiente . . 2 Temps d’occupation . . . . 3 Distribution limite . . . . 4 Distribution stationnaire . 5 Temps du premier passage

Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . . . . .

. . . . .

. . . . . . . .

. . . . .

. . . . . . . .

. . . . .

. . . . . . . .

. . . . .

. . . . . . . .

. . . . .

. . . . . . . .

. . . . .

. . . . . . . .

. . . . .

. . . . . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

3

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

8 Exercices 1 Chapitre 2 Chapitre 3 Chapitre 4 Chapitre 5 6

1 2 4 5

: : : :

Variables aléatoires . . . . . . . . . . Distributions de Probabilité Discrètes Espérance conditionnelle . . . . . . . Convergences stochastiques . . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

43 43 44 47 47

Chapitre 7 : Introduction aux chaînes de Markov . . . . . . . . . . . 50 Annales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 6.1 6.2 6.3 6.4 6.5

Examen Probabilités / Juin 2001. 52 Examen Probabilités / Septembre 2001. 53 Examen de Probabilités , Licence , Juin 2003 . . . . . . . . . 53 Licence MATHS-Probabilités-Juin 2004 . . . . . . . . . . . . . 54 Licence L3, Probabilités /Mai 2005 . . . . . . . . . . . . . . . 55

Chapitre 1 Variables aléatoires 1

Définitions Soit Ω un espace (ou ensemble) ; soit A une famille de sous-ensembles de Ω.

Definition 1 On dit que A est une algèbre sur Ω si les conditions suivantes sont satisfaites : i)∅ et Ω sont dans A, ii) si A est dans A, alors A est dansSA, iii) si A et B sont dans A, alors A B est dans A.

Definition 2 On dit que A est une tribu (ou σ-algèbre) sur Ω si les conditions de la définition précédente sont satisfaites S avec iii) remplacée par : iii’) si (An , n ≥ 1) est dans A, alors ∞ n=1 An est dans A.

1.1

Espace de probabilité

Un espace mesuré est un triplet (Ω, F, µ), où - Ω est un espace, - F est une tribu, - µ est une mesure sur l’espace mesurable (Ω, F). Definition 3 On appelle mesure de probabilité sur (Ω, F), toute application P : Ω → [0, 1], qui vérifie : i) P (Ω) S P∞ T= 1, ii) ∀(An , n ≥ 1) ⊂ F telle que Ak Al si k 6= l, P ( ∞ n=1 An ) = n=1 P (An ). (Ω, F, P ) est appelée espace de probabilité.

4

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

1.2

5

Variable aléatoire

Definition 4 Une variable aléatoire réelle X est une application de (Ω, F) → (R, B) mesurable : ∀C ∈ B, on a X −1 (C) = {ω, X(ω) ∈ C} ∈ F, B est la tribu borélienne (la plus petite tribu des ouverts dans R).

2 2.1

Indépendance probabilité conditionnelle

Definition 5 Soit A et B deux événements de F, avec P (B) 6= 0. La probabilité conditionnelle de A sachant B est définie par T P (A B) P (A | B) = . P (B) Theorem 1 Soit P une probabilité sur (Ω, F), et B un événement de F, avec P (B) 6= 0. L’application PB : (Ω, F) → [0, 1] définie par : PB (A) = P (A | B)

(1.1)

est une probabilité sur (Ω, F). Theorem 2 (Règle des causes totales) Soit P une probabilité surS(Ω, F), et soient (Bn , n ≥ 1) des événements disjoints tels que, P (Bn ) 6= 0, ∀n et ∞ n=1 Bn = Ω (les Bn forment une partition de Ω). Alors pour tout événement A : P (A) =

∞ X n=1

2.2

P (A | Bn )P (Bn ).

(1.2)

Indépendance

T On dit que les deux événements A et B sont indépendants si P (A B) = P (A)P (B) ou encore P (A | B) = P (A). Soit (Ai , i ∈ I) une famille quelconque d’événements de F, On dit que les Ai sont indépendants si et seulement si pour toute sous-famille finie (Ai1 , ..., Ain ) de (Ai , i ∈ I), n n \ Y P ( Aik ) = P (Aik ). k=1

k=1

Soit (Xn , n ≥ 1) une suite de variables aléatoires à valeurs dans R définies sur (Ω, F); on dit que les Xn , n ≥ 1, sont indépendantes si pour toute suite (In , n ≥ 1) d’intervalles de type quelconque de R, les événements ({Xn ∈ In }) sont indépendants.

Chapitre 2 Distributions de probabilité discrètes Soit E un ensemble dénombrable et X une application mesurable de Ω dans E. n Si E est un sous-ensemble de R (resp. R ) on dit que X est une variable (resp. vecteur) aléatoire discrète.

1 1.1

Distributions usuelles Loi de Bernoulli

On dit que X suit une loi de Bernoulli de paramètre p, noté X Ã B(p), si E = {x0 , x1 } avec P (X(ω) = x1 ) = p, et P (X(ω) = x0 ) = 1 − p. Exemple : On lance une pièce de monnaie, X est le résultat obtenu, P (X = pile) = P (X = face) = 1/2.

1.2

Loi Binomiale

Soit Yi , 1 ≤ i ≤ n, une suite de variables aléatoires de BernoulliP indépendantes à valeurs dans {0, 1} avec P (Yk (ω) = 1) = p, alors la variable X = nk=1 Yk suit une loi Binomiale, noté X Ã B(n, p), dans ce cas E = {0, 1, ..., n} et P (X(ω) = k) = Cnk pk (1 − p)n−k , 0 ≤ k ≤ n.

1.3

Loi de Poisson

On dit que X suit une loi de Poisson de paramètre λ, noté X Ã P(λ), si E = N k et P (X(ω) = k) = e−λ λk! , λ est un réel positif. Exemple : N(t) représente le nombre de clients qui arrivent dans une agence (ou le nombre de voitures qui arrivent sur un péage d’autoroute) pendant la période

6

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

7

d’observation [0, t], alors on montre que P (N(t) = k) = e−λt

(λt)k , k!

avec λ l’intensité d’arrivage.

2

Espérance mathématique

Soit X une variable aléatoire à valeurs dans espace dénombrable E avec E ⊂ R, et P (X(ω) = xk ) = pk . Soit une application f : E → R. Pour définir l’espérance mathématique de f (X), il existe plusieurs cas : i) f (x) ≥ 0, ∀x, (f peut prendre +∞) : dans ce cas l’espérance mathématique de f (X) existe et donnée par X X E(f (X)) = f (xk )P (X(ω) = xk ) = f (xk )pk . (2.1) xk ∈E

xk ∈E

ii) L’application f est quelconque, on décompose alors f = f + − f − , avec f + (x) = max(f (x), 0), f − (x) = max(−f (x), 0). On a |f | = f + + f − , f + ≤ |f | , f − ≤ |f | . On distingue alors 3 sous-cas : ii.a)E(|f (X)|) < ∞, on dit alors que f (X) est intégrable, et puisque E(f + (X)) ≤ E(|f (X)|), E(f − (X)) ≤ E(|f (X)|) on peut donc définir E(f (X)) par E(f (X)) = E(f + (X)) − E(f − (X)).

(2.2)

ii.b) E(|f (X)|) = +∞, et seulement une des deux quantités E(f + (X)) et E(f − (X)) est infinie, on peut toujours définir E(f (X)) en utilisant (2.2), on dit alors que f (X) est sommable, mais non intégrable. ii.c) E(f + (X)) = +∞ et E(f − (X)) = +∞, l’espérance mathématique de f (X) n’existe pas. Propriétés de l’espérance : i) Linéarité : ∀f, ∀g, ∀a, b ∈ R, si f (X) et g(X) sont intégrables, alors af (X)+bg(X) est intégrable et E(af (X) + bg(X)) = aE(f (X)) + bE(g(X))

(2.3)

f ≤ g presque partout =⇒ E(f (X)) ≤ E(g(X)).

(2.4)

ii) Monotonie :

Remarque : on dit que f ≤ g presque partout, noté f ≤ g p.p. s’il existe un ensemble de mesure nulle N tel que ∀x 6∈ N, f (x) ≤ g(x).

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

3

8

Moments

Si dans (2.1) on prend f (x) = xr alors la quantité E(X r ) est appelé moment d’ordre r. Si le moment d’ordre 2 est fini, on définit la variance de X par σ2X = V (X) = E((X − EX)2 ) = E(X 2 ) − E(X)2 p et l’ écart-type par : σ X = V (X).

4

Inégalités classiques

4.1

Inégalité de Markov

Theorem 3 Soit X une variable aléatoire à valeurs dans un espace dénombrable E avec E ⊂ R, alors pour tout a > 0, P (|f (X)| ≥ a) ≤

E(|f (X)|) . a

(2.5)

Preuve : On a E(|f (X)|) =

X

xk ∈E

=

X

xk ∈A

|f (xk )| pk |f (xk )| pk +

X

xk ∈A

|f (xk )| pk ,

où A = {xk ∈ E, |f (xk )| ≥ a} , et A est le complémentaire de A dans E. Donc X E(|f (X)|) ≥ |f (xk )| pk xk ∈A

≥ de plus

4.2

P

xk ∈A

X

apk ,

xk ∈A

pk = P (X ∈ A) = P (|f (X)| ≥ a).¤

Inégalité de Bienaymé-Tchebychev

Theorem 4 Soit X une variable aléatoire à valeurs dans E, alors pour tout ε > 0 P (|X − EX| ≥ ε) ≤

σ 2X . ε2

(2.6)

Preuve : On applique l’inégalité de Markov (2.5) avec f (t) = |t − EX|2 , a = ε2 .¤

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

4.3

9

Inégalité de Jensen

Theorem 5 Soit X une variable aléatoire à valeurs dans E, et φ une fonction convexe alors si X et φ(X) sont intégrables on a, φ(EX) ≤ E(φ(X)).

(2.7)

Preuve : (par récurrence), supposons que X est une variable de Bernoulli, c’est à dire que E = {x1 , x2 } ou encore n = card(E) = 2, dans ce cas l’inégalité de Jensen n’est autre que la définition de la convexité : φ(p1 x1 + p2 x2 ) ≤ p1 φ(x1 ) + p2 φ(x2 ).

(2.8)

Supposons alors que l’inégalité est vraie pour n, et montrons qu’elle est vraie pour n + 1. On a n+1 n+1 X X φ( pi xi ) = φ(p1 x1 + pi xi ) i=1

= φ(p1 x1 +

i=2 n+1 X

pi x) où x =

i=2 n+1 X

≤ p1 φ(x1 ) +

5 5.1

P n+1 pi xi Pi=2 n+1 i=2 pi

pi φ(x), d’après (2.8) ¤.

i=2

Indépendance Distributions marginales

Q Soit E = di=1 Ei et le vecteur aléatoire X = (X1 , ...Xd )0 , où chaque Xi est à valeurs dans Ei . La distribution marginale de la variable Xi est définie par Pi (A) = P (Xi ∈ A), ∀A ∈ F. Theorem 6 Soit X et Y deux variables aléatoires discrètes à valeurs dans E1 et E2 ,et indépendantes, soit f : E1 → R, et g : E2 → R, telles que f (X) et g(Y ) sont intégrables alors f (X)g(Y ) est intégrable et E(f (X)g(Y )) = E(f (X))E(g(Y ))

(2.9)

Preuve : Posons Z = (X, Y ) et h(Z) = f (X)g(Y ), alors Z est à valeurs dans E = E1 × E2 , de plus d’après l’hypothèse d’indépendance P ((X, Y ) = (x, y)) =

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

10

P (X = x)P (Y = y). Donc E(|h(Z)|) =

X

zk ∈E

=

X

xk ,yl

=

X xk

|h(zk )| P (Z = zk ) |f (xk )| |g(yl )| P (X = xk )P (Y = yl )

|f (xk )| P (X = xk )

X yl

|g(yl )| P (Y = yl )

car f (X) et g(Y ) sont intégrables, donc E(|h(Z)|) < ∞, par conséquent h(Z) est intégrable. Par un raisonnement analogue à ci-dessus, mais sans la valeur absolue on obtient l’égalité (2.9). ¤ Theorem 7 (Variance d’une somme de variables aléatoires indépendantes). Soit X1 , ..., Xn n variables aléatoires indépendantes, alors n n X X V( Xi ) = V (Xi ). i=1

(2.10)

i=1

Preuve : Il suffit de prouver le théorème pour n = 2 En effet V (X1 + X2 ) = V (X1 ) + V (X2 ) + 2 cov(X1 , X2 ), où cov(X1 , X2 ) = E((X1 − EX1 )(X2 − EX2 )) est la covariance de X1 et X2 , mais d’après (2.9) on a cov(X1 , X2 ) = E((X1 − EX1 )(X2 − EX2 )) = E((X1 − EX1 ))E((X2 − EX2 )) = 0.¤ Remarque : Si deux variables aléatoires X et Y sont indépendantes alors elles sont non covariées (cov(X, Y ) = 0).

6

Fonction génératrice Soit X une variable discrète à valeurs dans N.

Definition 6 On appelle fonction génératrice de X, l’application gX : {s ∈ C, |s| ≤ 1} → C définie par : X

gX (s) = E(s ) =

∞ X

sk P (X = k).

k=0

La connaissance de la fonction génératrice gX permet le calcul des moments de X, en effet on a 0 00 0 EX = gX (1) et E(X 2 ) = gX (1) + gX (1), (2.11) 0 00 et gX sont les dérivées première et seconde de la fonction gX . où gX

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

11

Theorem 8 Soit X et Y deux variables aléatoires indépendantes à valeurs dans N, alors gX+Y (s) = gX (s)gY (s) (2.12) Preuve : gX+Y (s) = E(sX+Y ) = E(sX sY ) = E(sX )E(sY ), d’après (2.9). ¤.

Chapitre 3 Distributions de probabilité continues Soit X une variable aléatoire à valeurs dans E ⊂ R ou Rd , si E est non dénombrable, alors on dit que X est une variable continue.

1

Densité de probabilité, moments

Soit X = (X1 , ..., Xd ) un vecteur aléatoire à valeurs dans Rd , et soit fX une fonction de Rd dans R+ intégrable et telle que Z fX (x)dx = 1. (3.1) Rd

On dit que X admet la densité de probabilité fX si pour tout A ⊂ Rd Z P (X ∈ A) = fX (x)dx. A

Soit g : Rd → R, telle que mathématique de g(X) par

R

Rd

|g(x)| fX (x)dx < ∞, alors on définit l’espérance

E(g(X)) =

Z

g(x)fX (x)dx,

(3.2)

Rd

en particulier i) si E(g(X)) existe avec g(x1 , ..., xd ) = gi (x) = xi , 1 ≤ i ≤ d, alors on définit l’espérance mathématique du vecteur X par    R  E(X1 ) g (x)f (x)dx 1 X d R     .. .. = E(X) =    . . . R g (x)fX (x)dx E(Xd ) Rd d 12

13

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

ii) si E(g(X)) existe avec g(x1 , ..., xd ) = gi gj (x) = xi xj , 1 ≤ i ≤ d, 1 ≤ j ≤ d, alors on définit la matrice de covariance du vecteur X par   V (X1 ) cov(X1 , X2 ) ... cov(X1 , Xd )  cov(X2 , X1 ) V (X2 ) ... cov(X2 , Xd )      .. .. .. ... V (X) =  , . . .     cov(Xd , X1 ) ... cov(Xd , Xd−1 ) V (Xd ) où

cov(Xi , Xj ) = E(Xi Xj ) − E(Xi )E(Xj ) Z Z = gi (x)gj (x)fX (x)dx − Rd

2

gi (x)fX (x)dx

Rd

Z

gj (x)fX (x)dx.

Rd

Fonction caractéristique Soit X un vecteur aléatoire à valeurs dans Rd .

Definition 7 On appelle fonction caractéristique de X, l’application φX : Rd → C définie par : φX (u) = φX (u1 , ..., ud ) = E(ei

Pd

k=1

uk Xk

0

) = E(eiu X ).

La connaissance de la fonction caractéristique φX permet le calcul des moments de X, en effet si X est une variable aléatoire (d = 1) on a Theorem 9 Si on suppose de plus que E(X k ) < ∞ et que la fonction φ est de classe C ∞ , alors E(X k ) =

φ(k) (0) ik

(3.3)

où φ(k) est la dérivée d’ordre k de la fonction φ. Preuve : D’après la formule de Taylor φ(t) = P∞ (itX)k P (it)k k E( k=0 k! ) = ∞ k=0 k! E(X ).¤.

P∞

k=0

φ(k) (0)tk k!

= E(eitX ) =

Theorem 10 Si deux vecteurs aléatoires à valeurs dans Rd ont la même fonction caractéristique, alors ils ont la même loi, c’est à dire la même densité. Preuve : On se limite au cas où φX = φY = φ est intégrable, dans ce cas le théorème résulte de l’application du théorème d’inversion de Fourier Z 1 0 fX (x) = fY (x) = e−iu x φ(u)du.¤ d (2π) Rd

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

3 3.1

14

Indépendance Distributions marginales

Soit X et Y deux vecteurs aléatoires à valeurs dans Rl et Rm respectivement, et tels que (X, Y )0 admette la densité fX,Y (x, y). Alors on définit les densités marginales de X et de Y par Z Z fX (x) = fX,Y (x, y)dy et fY (y) = fX,Y (x, y)dx Rm

3.2

Rl

Vecteurs indépendants

Soit X et Y deux vecteurs aléatoires à valeurs dans Rl et Rm respectivement, on dit que X et Y sont indépendants si P (X ∈ A, Y ∈ B) = P (X ∈ A)P (Y ∈ B).

(3.4)

En utilisant le théorème de Fubini, et les mêmes arguments que le théorème 6 on obtient le théorème Theorem 11 Soit X et Y deux vecteurs aléatoires à valeurs dans Rd et Rp , et indépendants, soit f : Rd → R, et g : Rp → R, telles que f (X) et g(Y ) sont intégrables alors f (X)g(Y ) est intégrable et E(f (X)g(Y )) = E(f (X))E(g(Y ))

(3.5)

Theorem 12 (admi) Soit X = (X1 , ..., Xd )0 de densité fX (x), et tel que les Xi , 1 ≤ i ≤ d, soient des variables aléatoires indépendantes. On a alors fX (x1 , ..., xd ) =

d Y

fXi (xi ),

(3.6)

i=1

où fXi est la densité marginale de la variable Xi . Réciproquement si fX a la forme (3.6) où les fXi , 1 ≤ i ≤ d sont des densités de probabilité, alors les Xi , 1 ≤ i ≤ d, sont indépendantes et les fXi sont les densités des Xi . Theorem 13 Soit X = (X1 , ..., Xd )0 de densité fX (x) et de fonction caractéristique φX (u). Pour que les variables aléatoires Xi , 1 ≤ i ≤ d, soient indépendantes, il faut et il suffit que d Y φX (u1 , ..., ud ) = φXi (ui ), (3.7) i=1

où φXi est la fonction caractéristique de la variable Xi .

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

15

Q Preuve : Supposons que les Xk sont indépendantes, alors fX (x1 , ..., xd ) = dk=1 fXk (xk ), R R Q 0 donc φX (u) = Rd eiu x fX (x)dx = Rd dk=1 eiuk xk fXk (xk )dx1 ...dxd , donc d’après FuQ R Q bini φX (u) = dk=1 R eiuk xk fXk (xk )dxk = dk=1 φXk (uk ). ˜ j , 1 ≤ j ≤ d, une suite de Inversement, supposons que (3.7) est satisfaite, Soit X ˜ j ait la même loi que Xj , et X ˜ = variables indépendantes telles que chaque X 0 ˜ 1 , ..., X ˜ d ) . D’après la partie directe du théorème : (X φX˜ (u1 , ..., ud ) =

d Y

φX˜i (ui ),

i=1

et comme φX˜i (ui ) = φXi (ui ), on a φX˜ (u) = φX (u), donc, par le théorème 10 X ˜ ont la même loi ; d’après le théorème 12 fX (x1 , ..., xd ) = f ˜ (x1 , ..., xd ) = et X X Qd f (x ).¤ X k k k=1

4 4.1

Fonction de répartition Cas scalaire

Soit X une variable aléatoire de densité f (x), la fonction de répartition de X Rt est définie par : F : R → [0, 1] et F (t) = P (X ≤ t) = −∞ f (x)dx. Remarque : F est une fonction non décroissante telle que F (−∞) = 0, F (+∞) = 1, et F 0 (t) = f (t).

4.2

Cas vectoriel

Soit X = (X1 , ..., Xd ) un vecteur aléatoire de densité f (x), la fonction de répartition de X est définie par : F : Rd → [0, 1] et si t = (t1 , ..., td ) alors Z t1 Z td ... f (x1 , ...xd )dx1 ...dxd . F (t) = P (X ≤ t) = P (X1 ≤ t1 , ..., Xd ≤ td ) = −∞

On a aussi f (t1 , ..., td ) =

5 5.1

−∞

∂ d F (t1 , ..., td ) . ∂t1 ...∂td

Distributions usuelles Loi uniforme

On dit que X suit une loi uniforme sur [a, b], noté X Ã U[a, b], si elle admet la densité ½ 1 1 si x ∈ [a, b] b−a fX (x) = 1[a,b] (x) = (3.8) 0 sinon. b−a

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

On montre que E(X) = (a + b)/2, V (X) = (b − a)2 /12, φX (u) =

5.2

16

eiub −eiua . iu(b−a)

Loi de Gauss

On dit que X suit une loi de Gauss de moyenne m et de variance σ 2 , noté X Ã N(m, σ 2 ), si elle admet la densité (x−m)2 1 fX (x) = √ e− 2σ2 , ∀x ∈ R. σ 2π

On montre que E(X) = m, V (X) = σ 2 , φX (u) = eium−

5.3

σ 2 u2 2

(3.9) .

Loi exponentielle

On dit que X suit une loi exponentielle de paramètre λ > 0, noté X Ã E(λ), si elle admet la densité ½ −λx λe si x ≥ 0 fX (x) = (3.10) 0 sinon. On montre que E(X) = λ1 , V (X) =

5.4

1 , φX (u) λ2

=

λ . λ−iu

Loi gamma

On dit que X suit une loi gamma de paramètres α > 0 et β > 0, noté X Ã Γ(α, β), si elle admet la densité ½ β α α−1 −βx x e si x ≥ 0 Γ(α) fX (x) = (3.11) 0 sinon, R∞ où Γ(α) = 0 tα−1 e−t dt. ´−α ³ α α iu On montre que E(X) = β , V (X) = β 2 , φX (u) = 1 − β .

5.5

Loi de Cauchy

On dit que X suit une loi Cauchy , noté X Ã C, si elle admet la densité fX (x) =

1 , ∀x ∈ R. π(1 + x2 )

Une variable de Cauchy n’admet pas d’espérance mathématique car Z ∞ Z ∞ Z ∞ x + − dx = +∞. x fX (x)dx x fX (x)dx = π(1 + x2 ) −∞ −∞ 0

(3.12)

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

5.6

17

Loi de Khi-deux

On dit que X suit une loi Khi-deux à n degrés de liberté , noté X Ã X 2 (n), si X Ã Γ( n2 , 12 ). P Remarque : on montre que si X = nk=1 Zk2 où (Zk , 1 ≤ k ≤ n) est une suite de variables aléatoires indépendantes et identiquement distribuées (i.i.d.) suivant une loi gaussienne N(0, 1), alors X Ã X 2 (n).

6 6.1

Transformation des vecteurs aléatoires Cas discret

Exemple : Soit X la variable aléatoire définie par xi 0 1 -1 2 P (X(ω) = xi 0.25 0.2 0.25 0.3 On définit la variable aléatoire Y = X(X + 1) alors Y prends ses valeurs dans y 0 2 6 {0, 2, 6} avec la loi de probabilité suivante : i P (Y (ω) = yi ) 0.5 0.2 0.3 Theorem 14 Si X est une variable aléatoire discrète à valeurs dans E, et g une application injective, alors Y = g(X) est une variable aléatoire discrète à valeurs dans g(E), ayant la même loi de probabilité que X : P (Y (ω) = yi ) = P (X(ω) = xi ), yi = g(xi ).

6.2

Cas continu

Soit Y = X 2 , où X Ã N(0, 1) donc Y est à valeurs dans R+ donc fY (y) = 0 ∀y ≤ R √y x2 √ √ 0. Si y ≥ 0, on a FY (y) = P (Y ≤ y) = P (− y ≤ X ≤ y) = √12π −√y e− 2 = 2 R √y − x2 1 − y2 √2 2 donc f (y) = F 0 (y) = √ e e , c’est à dire que Y Ã X 2 (1). Si la Y Y 2π 0 2πy transformation g n’est pas bijective, on utilise souvent la fonction de répartition pour calculer la loi de Y = g(X). Cependant si g est bijective on a le théorème Theorem 15 Soit X = (X1 , ..., Xd )0 un vecteur aléatoire de densité fX , et soit g une application de Rd dans Rd . On définit la transformée de X par g : Y = g(X). On suppose que g vérifie les condition suivantes : i) g est définie sur un ouvert U ⊂ Rd tel que Z P (X ∈ U) = fX (x)dx = 1, U

et g est bijective d’inverse g−1 . ii) les dérivées partielles de g (resp. de g −1 ) existent et sont continues sur U (resp.

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

sur V = g(U ) ). iii) Le déterminant jacobien de g, défini par  ∂g1 (x) ... ∂x  .. 1  . ...  .. ... J(g(x)) = det   .  ∂gd (x)  ... ∂x1

∂g1 (x) ∂xd

.. . .. .

∂gd (x) ∂xd

Alors Y admet une densité fY donnée par ½ fX (g −1 (y)) |J(g−1 (y)| fY (y) = 0 sinon, où



    −1 J(g (y)) = det    

∂g1−1 (y) ∂y1



    6= 0, ∀x ∈ U.   

si y ∈ V = g(U)

...

18

∂g1−1 (y) ∂yd

.. . .. .

... ...

.. . .. .

∂gd−1 (y) ∂y1

...

∂gd−1 (y) ∂yd

(3.13)



    .   

Exemple Soit (X1 , X2 ) un vecteur aléatoire suivant une loi uniforme sur [0, 1]2 et le vecteur aléatoire Y = g(X) avec g(x1 , x2 ) = ( xx12 , x1 + x2 ), g est une application y2 2 bijective d’inverse g−1 (y1 , y2 ) = ( yy11+1 , y1y+1 ), les autres hypothèses du théorème cidessus sont satisfaites, de plus  y2 y1  (y1 +1)2 y1 +1 y2 1 2 = J(g−1 (y)) = det  (y−y . 2 y1 +1 1 +1) (y1 + 1)2 Par conséquent

fY (y) =

½

y2 (y1 +1)2

0

si y ∈ V = g(U) sinon.

Chapitre 4 Espérance conditionnelle 1

Densité de probabilité conditionnelle

Soit X et Y deux vecteurs aléatoires à valeurs dans Rp et Rq tels que Z = (X, Y ) admette la densité fX,Y (x, y). La densité conditionnelle de X sachant Y = y est définie par ( fX,Y (x,y) si fY (y) > 0 fY (y) , (4.1) fX|Y (x | y) = 0 si fY (y) = 0. R où fY (y) = Rp fX,Y (x, y)dx est la densité marginale de Y .

2

Espérance conditionnelle

Soit Z = (X, Y ) un vecteur aléatoire à valeursR dans Rp+q et soit g : Rp+q → R une application telle que g(Z) soit intégrable (i.e. Rp+q |g(x, y)| fX,Y (x, y)dxdy < ∞). Posons Z h(y) = g(x, y)fX|Y (x | y)dx, (4.2) Rp

où fX|Y (x | y) est la densité conditionnelle de X sachant Y = y. Alors la variable aléatoire h(Y ), notée E(g(X, Y ) | Y ) est appelée espérance conditionnelle de g(X, Y ) sachant Y .

3

Propriétés élémentaires de l’espérance conditionnelle

Theorem 16 Si g(X, Y ) est intégrable, alors E(g(X, Y ) | Y ) est intégrable et on a E (E(g(X, Y ) | Y )) = E (g(X, Y ))

19

(4.3)

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

20

Preuve : ¯Z ¯ ¯ ¯ ¯ ¯ fY (y)dy |h(y)| fY (y)dy = g(x, y)f (x | y)dx X|Y ¯ p ¯ Rq Rq R Z Z |g(x, y)| fX|Y (x | y)dxfY (y)dy ≤ q p ZR ZR = |g(x, y)| fX|Y (x | y)fY (y)dxdy d’après le théorème Fubini Z

Z

Rp

Rq

= E (|g(X, Y )|) ,

et donc E(g(X, Y ) | Y ) est intégrable. L’égalité (4.3) s’obtient avec le même raisonnement que ci-dessus mais sans la valeur absolue. ¤. Theorem 17 Si X et Y sont deux vecteurs aléatoires indépendants, alors pour tout g : Rp → R E(g(X) | Y ) = E(g(X)) (4.4) R Preuve : On a f (x | y) = f (x), donc h(y) = g(x)fX|Y (x | y)dx = X X|Y Rp R g(x)fX (x)dx = E(g(X)).¤ Rp Theorem 18 Soit Y un vecteur aléatoire et g : Rq → R, telle que g(Y ) soit intégrable, alors E(g(Y ) | Y ) = g(Y ) (4.5) R R Preuve : h(y) = Rp g(y)fX|Y (x | y)dx = g(y) Rp fX|Y (x | y)dx = g(y).¤

Theorem 19 Soit X et Y deux vecteurs aléatoires à valeurs dans Rp et Rq tels que Z = (X, Y ) admette la densité fX,Y (x, y). On suppose l’existence de deux fonctions a : Rq → R+ , et b : Rp+q → R+ , telles que fX,Y (x, y) = a(y)b(x, y)

et pour tout y ∈ Rq ,

Z

b(x, y)dx = 1,

(4.6)

(4.7)

Rp

alors fY (y) = a(y) et fX|Y (x | y) = b(x, y). R R R Preuve : fY (y) = Rp fX,Y (x, y)dx = Rp a(y)b(x, y)dx = a(y) Rp b(x, y)dx = a(y).¤

21

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

3.1

Conditionnement des vecteurs gaussiens

X est un vecteur gaussien de moyenne m et de covariance Γ, noté X Ã N(m, Γ), si sa densité est donnée par (x−m)0 Γ−1 (x−m) 1 2 fX (x) = √ , e− 2π detΓ

(4.8)

Theorem 20 Soit X et Y deux vecteurs, X Ã N(mX , ΓX ), Y Ã N(mY , ΓY ). L’espérance conditionnelle de X sachant Y est donnée par E(X | Y ) = mX + ΓX,Y Γ−1 Y (Y − mY )

(4.9)

où ΓX,Y = cov(X, Y ) = E((X − mX )(Y − mY )0 ) est la covariance de X et Y , de ˜ = X − E(X | Y ) est donnée par plus la covariance de X ΓX˜ = ΓX − ΓX,Y Γ−1 Y ΓY,X

(4.10)

Preuve : Posons U = X − mX − ΓX,Y Γ−1 Y (Y − mY ), on a E(U ) = 0, de plus ΓU = E(UU 0 ) = − + =

E((X − mX )(X − mX )0 ) − E((X − mX )(Y − mY )0 )Γ−1 Y ΓY,X −1 0 ΓX,Y ΓY E((Y − mY )(X − mX ) ) −1 0 ΓX,Y Γ−1 Y E((Y − mY )(X − mX ) ))ΓY ΓY,X ΓX − ΓX,Y Γ−1 Y ΓY,X .

D’autre part 0 ΓU = E(U (Y − mY )0 ) = E((X − mX )(Y − mY )0 ) − ΓX,Y Γ−1 Y E((Y − mY )(Y − mY ) −1 = ΓX,Y − ΓX,Y Γ−1 Y ΓY = 0;

donc U et Y sont non covariés donc indépendants car ils sont gaussiens ; en appliquant le théorème 17 on obtient E(U | Y ) = E(U) = 0, comme E(U | Y ) = E(X | Y ) − mX − ΓX,Y Γ−1 Y (Y − mY ), on déduit (4.9), l’égalité (4.10) est déjà prouvée car ˜ = U.¤ X Theorem 21 Soit X Ã N(mX , ΓX ), U Ã N(mU , ΓU ) et V Ã N(mV , ΓV ), avec U et V sont indépendants. L’espérance conditionnelle de X sachant (U, V ) est donnée par E(X | (U, V )) = E(X | U) + E(X | V ) − mX . (4.11) Preuve : On applique le théorème 20 avec Y = (U, V ). Remarquons que   ΓU O ΓY =  O ΓV  ,

22

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

et ΓX,Y = (ΓX,U , ΓX,V ) donc E(X | (U, V )) = mX + (ΓX,U , ΓX,V )

µ

Γ−1 O U O Γ−1 V

¶µ

U − mU V − mV

−1 = mX + ΓX,U Γ−1 U (U − mU ) + ΓX,V ΓV (V − mV ) = E(X | U ) + E(X | V ) − mX .¤



Chapitre 5 Convergences stochastiques On considère une suite (Xn ), n ≥ 1, de variables aléatoires définies sur un espace de probabilité (Ω, F, P ), X est une variable aléatoire, on note par Fn (x) (resp. F (x) ) la fonction de répartition de Xn (resp. X).

1

Convergence en loi L

Definition 8 On dit que (Xn ), n ≥ 1, converge en loi vers X, noté Xn −→ X, si en tout point de continuité x de F (qu’on note habituellement x ∈ C(F )), on a Fn (x) −→ F (x), lorsque n tend vers l’infini.

1.1

(5.1)

Critère de convergence en loi L

Theorem 22 (Paul-Lévy)(admi) i) Soit (Xn ), n ≥ 1, telle que Xn −→ X, alors la suite de fonctions caractéristiques φn de Xn converge vers la fonction caractéristique φ de X, et ceci uniformément dans tout intervalle fini. ii) Soient (Xn ), n ≥ 1, et φn la fonction caractéristique de Xn . Si φn converge simplement vers une fonction φ, dont la partie réelle 0, on a P (ω, |Xn (ω) − X(ω)| > ε) −→ 0, lorsque n tend vers l’infini.

(5.2)

Theorem 25 Soit (Xn , Yn ), n ≥ 1, une suite de vecteurs aléatoires à valeurs dans P R2 telle que (Xn , Yn ) −→ (X, Y ), i.e. P (||(Xn , Yn ) − (X, Y )|| > ε) −→ 0, si n −→ ∞, avec ||.|| une norme sur R2 , par exemple la norme euclidienne. Soit h : R2 −→ R P une fonction continue, alors h(Xn , Yn ) −→ h(X, Y ). Preuve : Posons Zn = h(Xn , Yn ) − h(X, Y ). Soit (Zan ) une sous-suite extraite P de (Zn ) :Zan = h(Xan , Yan ) − h(X, Y ), on a (Xan , Yan ) −→ (X, Y ), donc Dan = P (Xan , Yan ) − (X, Y ) −→ 0. On applique alors le théorème 32 à la suite (Dan ), soit (Dbk ) une sous-suite extraite de (Dan ) , il existe alors une sous-suite (Dcl ) extraite de p.s (Dbk ) qui converge presque sûrement vers 0, donc (Xcl , Ycl ) −→ (X, Y ), donc par la p.s p.s continuité de h, h(Xcl , Ycl ) −→ h(X, Y ), donc Zcl = h(Xcl , Ycl ) − h(X, Y ) −→ 0, par conséquent il existe une sous-suite extraite de (Zan ) qui converge presque sûrement P vers 0, on applique à nouveau le théorème 32 pour déduire que Zn −→ 0.¤ P

Theorem 26 Soit (Xn ), n ≥ 1, telle que Xn , −→ X, et on suppose de plus que P P (ω, X(ω) = 0) = 0, alors 1/Xn −→ 1/X.

2.1

Critère de convergence en probabilité

Theorem 27 Soit (Xn ), n ≥ 1, une suite de variables aléatoires, s’il existe r > 0 P tel que la suite de terme général E(|Xn |r ) tende vers 0, alors Xn −→ 0. Preuve : d’après le théorème de Markov (inégalité (2.5)) on a P (|Xn | > ε) ≤

E(|Xn |r ) −→ 0.¤ εr

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

26

Convergence en moyenne d’ordre r

3

Definition 10 On dit que (Xn ), n ≥ 1, converge en moyenne d’ordre r, (ou Lr dans Lr (Ω) ) vers X, noté Xn −→ X, si E(|Xn − X|r ) −→ 0, lorsque n → ∞. L2

Remarque Si r = 2, c’est à dire que Xn −→ X, alors on dit que Xn converge m.q. en moyenne quadratique vers X qu’on note Xn −→ X.

4

Convergence presque sûre

Definition 11 On dit que (Xn ), n ≥ 1, converge presque sûrement vers X, p.s. noté Xn −→ X, s’il existe un ensemble N négligeable (i.e.P (N) = 0) tel que pour tout ω ∈ A, on a Xn (ω) −→ X(ω), lorsque n → ∞. Remarque Afin de fournir des critères de convergence nous allons donner une autre définition de la convergence presque sûre, pour ε > 0, on définit En (ε) = {|Xn − X| > ε} , et \[ E(ε) = lim sup En (ε) = Ek (ε). (5.3) n→∞

n≥1 k≥n

Definition 12 On dit que (Xn ), n ≥ 1, converge presque sûrement vers X, si pour tout ε > 0, P (E(ε)) = 0.

4.1

Critère de convergence presque sûre

Theorem 28 Soit (Xn ), n ≥ 1, une suite de variables aléatoires, les deux propriétés sont équivalentes : p.s. i) Xn −→ X, P ii) Yn −→ 0, où Yn = supk≥n |Xk − X| . Preuve : On a ½ ¾ [ [ Ek (ε) = {|Xk − X| > ε} = sup |Xk − X| > ε . k≥n

k≥n

k≥n

Cette suite d’ensemble est décroissante, donc pour tout ε > 0, on a ½ ¾ µ½ ¾¶ sup |Xk − X| > ε .¤ E(ε) = lim sup |Xk − X| > ε et P (E(ε)) = lim P n→∞

k≥n

n→∞

k≥n

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

27

Theorem 29 Soit (Xn ), n ≥ 1, une suite de variables aléatoires, si pour tout ε > 0, p.s. la série de terme général P (|Xn − X| > ε) est convergente alors Xn −→ X. Preuve : On a P (E(ε)) ≤

X

P (Ek (ε)) =

k≥n

X k≥n

P ({|Xk − X| > ε}).

Le dernier terme est le reste d’une série convergente donc il converge vers 0 lorsque n tend vers l’infini, ce qui implique que P (E(ε)) = 0.¤ Theorem 30 Soit (Xn ), n ≥ 1, une suite de variables aléatoires, s’il existe r > 0, p.s. tel que la série de terme général E(|Xn − X|r ) soit convergente alors Xn −→ X. Preuve : D’après l’inégalité de Markov, E |Xk − X|r . P (|Xk − X| > ε) ≤ εr d’où le résultat d’après le théorème 29. ¤ P

Theorem 31 Soit (Xn ), n ≥ 1, telle que Xn −→ 0, alors il existe une sous suite p.s. (Xnk ) extraite de (Xn ) tel que Xnk −→ 0. P Preuve : Soient ε > 0 et (ik ) une suite de nombres strictement positifs tels que k ik < ∞. Par hypothèse, pour k ≥ 1 il existe nk ≥ 1 tel que P (|Xnk | > ε) < ik . On peut toujours supposer que nk < nk+1 pour tout k ≥ 1. On a alors pour tout ε > 0, ( ) ½ ¾ [ X n→∞ P sup |Xnk | > ε = P {|Xnk | > ε} ≤ ik −→ 0, k≥n

k≥n

k≥n

D’où le résultat d’après le théorème 28. ¤

Theorem 32 Soit (Xn ), n ≥ 1, une suite de v.a., les deux propriétés suivantes sont équivalentes : P i) Xn −→ 0, ii) De toute sous-suite extraite de (Xn ) on peut extraire une sous-suite qui converge presque sûrement vers 0. Preuve : (i) =⇒ ii). Soit (Xna ) une suite extraite de (Xn ), il est clair que P Xan −→ 0, on applique le théorème 31 à la suite (Xan ), il existe alors une suite extraite de (Xna ) qui converge presque sûrement vers 0.

28

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

ii) =⇒ i). Supposons que i) ne soit pas satisfaite, c’est à dire qu’il existe ε, η > 0 tels que, quel que soit N > 0, il existe n ≥ N pour lequel P (|Xn | > ε) > η. On en déduit qu’il existe une sous-suite (Xan ) extraite de (Xn ) telle que, pour tout n ≥ 1, on ait P (|Xan | > ε) > η. Pour tout sous-suite (Xbk ) extraite de (Xan ) on alors pour tout k ≥ 1, l’inégalité P (|Xbk | > ε) > η. Il en résulte que la sous-suite (Xbk ) ne converge pas vers 0 en probabilité donc non plus presque sûrement ce qui contredit ii). ¤.

5

Liens entres les quatre convergences Nous allons établir le diagramme suivant : Presque sûre ⇓ Moyenne d’ordre r =⇒ Probabilité

=⇒ Loi

.

Theorem 33 Soit r > 0, la convergence en moyenne d’ordre r entraîne la convergence en probabilité. Preuve : D’après l’inégalité de Markov, E |Xn − X|r −→ 0.¤ P (|Xn − X| > ε) ≤ εr Theorem 34 La convergence en probabilité entraîne la convergence en loi. Nous allons utiliser le lemme suivant Soit X et Y deux variables aléatoires, alors pour η > 0, |FX (t) − FY (t)| ≤ FX (t + η) − FX (t − η) + P (|X − Y | > η)

(5.4)

Preuve : On a

d’où

[ {Y ≤ t} = {Y ≤ t, X ≤ t + η} {Y ≤ t, X > t + η} [ ⊂ {X ≤ t + η} {|X − Y | > η} , FY (t) ≤ FX (t + η) + P (|X − Y | > η).

(5.5)

En remplaçant dans (5.5) t par t − η et X par Y on obtient FX (t − η) ≤ FY (t) + P (|X − Y | > η).

(5.6)

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

29

Des deux relations (5.5) et (5.6) on a FX (t − η) − P (|X − Y | > η) ≤ FY (t) ≤ FX (t + η) + P (|X − Y | > η).

(5.7)

De plus d’après la définition de la fonction de répartition on a FX (t − η) ≤ FX (t) ≤ FX (t + η).

(5.8)

De (5.7) et (5.8) on déduit (5.4) . ¤ Preuve du théorème 34 : On applique le lemme 5 avec Y = Xn , on a donc pour tout η > 0, |FX (x) − FXn (x)| ≤ FX (x + η) − FX (x − η) + P (|X − Xn | > η). Soit x ∈ C(F ), alors pour tout ε > 0, il existe nε tel que FX (x+η)−FX (x−η) < 2ε. P Supposons que Xn −→ X, alors on peut associer au couple (ε, nε ) un nombre Nε tel que pour tout n ≥ Nε , on ait P (|X − Xn | > η) < ε. Il en résulte que si x est un point de continuité de FX , on a pour tout n ≥ Nε , |FX (x) − FXn (x)| ≤ 3ε.¤ Theorem 35 La convergence presque sûre entraîne la convergence en probabilité. Preuve : C’est une conséquence directe du théorème 28 ¤.

Chapitre 6 Processus de Poisson Des points sont placés au hasard sur la demi-droite [0, +∞[. On obtient un processus ponctuel sur [0, +∞[. Pour chaque expérience ω, on note N(ω, I) le nombre de points tombant dans l’intervalle I. La variable aléatoire N(I) ainsi définie est une variable aléatoire discrète à valeurs dans N. On note N([0, t]) par N(t). Le processus (N(t), t ≥ 0) est appelé processus ponctuel sur [0, +∞[ Les points placés peuvent représenter les dates d’arrivée des clients dans une banque, des voitures sur un péage d’autoroute....

1

Processus de Poisson homogène

Definition 13 Un processus de Poisson homogène est un processus ponctuel sur [0, +∞[ qui vérifie les 3 hypothèses suivantes : H.1. Stationnarité : La distribution statistique des points est invariante par translation dans le temps. ∀n, et pour toute suite d’intervalle (Ij , 1 ≤ j ≤ n), et toute suite d’entiers (kj , 1 ≤ j ≤ n). P (N(Ij ) = kj , 1 ≤ j ≤ n) = P (N(Ij + t) = kj , 1 ≤ j ≤ n) ,

(6.1)

avec Ij + t = [a + t, b + t], si Ij = [a, b]. H.2 Absence de mémoire : Le futur n’est pas influencé par le passé. ∀t, ∀τ , pour tout entier k≥ 0 et pour tout événement At dépendant des points de l’intervalle [0, t], P (N(t + τ ) − N(t) = k | At ) = P (N(t + τ ) − N(t) = k).

(6.2)

P (N(t + ∆t) − N(t) > 1) = o(∆t),

(6.3)

H.3 Espacement. Pour tout t ≥ 0, ∆t > 0, avec lim∆t→0

o(∆t) ∆t

= 0.

30

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

31

Remarques : 1) L’hypothèse d’absence de mémoire entraîne l’indépendance des accroissements : pour tout 0≤ t1 ≤ t2 ≤ ... ≤ tN , et tous entiers k1 , ..., kN P (N(tj+1 ) − N (tj ) = kj , 1 ≤ j ≤ N) =

N Y j=1

P (N(tj+1 ) − N(tj ) = kj ) .

2) L’hypothèse d’espacement entraîne que les clients ne peuvent pas arriver simultanément.

2

Le système infinitésimal d’un processus de Poisson homogène Le but est de calculer pn (t) = P (N(t) = n).

Calcul de p0 (t) On note par p la probabilité pour qu’il n’y ait aucun client qui arrive dans l’intervalle ]τ , τ + 1], p = P (N(τ + 1) − N(τ ) = 0) , Notons que p est indépendante de τ , d’après l’hypothèse de stationnarité. n [ Vu que N(0) = 0 , [0, 1] = [ k−1 , nk ], et d’après l’hypothèse d’absence de n

mémoire

k=1

p = P (N(1) = 0) ¶ µ k−1 k ) = 0, 1 ≤ k ≤ n = P N( ) − N( n n µ ¶ n Y k k−1 = P N( ) − N( )=0 n n k=1 ¶ µ n Y 1 P N( ) = 0 = n µk=1 ¶n 1 = p0 ( ) n ¡ ¢ ¡ ¢ car P N( nk ) − N( k−1 ) = 0 ne dépend pas de k et égale P N( n1 ) = 0 d’après n la stationnarité. Ou encore d’une manière générale k k p n = p0 ( ), n

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

32

car µ ¶ ¶ µ k Y k j−1 j P N( ) = 0 = )=0 P N( ) − N( n n n j=1 ¶ µ k Y 1 P N( ) = 0 . = n j=1 On passe de l’expression de p0 (t) pour t = nk à t∈ R+ par continuité. En effet ∀t ≥ 0, et pour tout entier strictement positif n, on peut trouver un entier unique tel que k−1 ≤ t ≤ nk , (k = [nt] + 1).La probabilité p0 (t) est une fonction décroissante n de t donc k k−1 p0 ( ) ≤ p0 (t) ≤ p0 ( ), n n ou encore k−1 k p n ≤ p0 (t) ≤ p n , si n tends vers l’infini

k n

et

k−1 n

tendent vers t, et donc p0 (t) = pt .

(6.4)

Si p = 1, alors p0 (t) = 1, et donc il n’y a aucun client qui arrive. Si p = 0, alors p0 (t) = 0, et donc il y’a une infinité de clients sur tout intervalle fini, ces deux cas extrêmes ne sont pas utiles dans la pratique. On suppose que 0 < p < 1, et posons λ = − ln p, qu’on appelle par intensité du processus. Ce qui permet de réécrire (6.4) sous la forme p0 (t) = e−λt . (6.5) L’hypothèse d’espacement entraîne p1 (∆t) = λ∆t + o(∆t). En effet, dans l’intervalle [0, ∆t] il y a soit 0, soit un client, d’où p0 (∆t) + p1 (∆t) + P (N( ∆t) > 1) = 1, d’après (6.3) et (6.5), on a P (N( ∆t) > 1) = o( ∆t), p0 (∆t) = 1 − λ∆t + o( ∆t), on en déduit (6.6).

(6.6)

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

3

33

Les équations de Kolmogorov du processus de Poisson.

Theorem 36 La probabilité pn (t) vérifie l’équation différentielle dpn (t) = −λpn (t) + pn−1 (t), ∀n ≥ 0. dt

(6.7)

Preuve. Soit t, ∆t ∈ R+ . Nous avons trois manières possibles exclusives d’exprimer l’événement A = {N(t + ∆t) = n} : A1 = {N(t + ∆t) = n, N(t + ∆t) − N(t) = 0} A2 = {N(t + ∆t) = n, N(t + ∆t) − N(t) = 1} A3 = {N(t + ∆t) = n, N(t + ∆t) − N(t) > 1} . que l’on peut réécrire : A1 = {N(t) = n, N(t + ∆t) − N(t) = 0} , A2 = {N(t) = n − 1, N(t + ∆t) − N (t) = 1} . A3 ⊂ {N(t + ∆t) − N(t) > 1} et donc P (A3 ) = o(∆t) d’après l’hypothèse d’espacement. On a donc P (A) = P (A1 ) + P (A2 ) + o(∆t), ou encore en utilisant l’hypothèse d’absence de mémoire pn (t + ∆t) = P (A) = P (N(t) = n)P (N(t + ∆t) − N(t) = 0) + P (N(t) = n − 1)P (N(t + ∆t) − N(t) = 1) + o(∆t).

(6.8) (6.9)

De (6.3),(6.6) et (6.8) on obtient o( ∆t) pn (t + ∆t) − pn (t) = −λpn (t ) + λpn−1 (t) + . ∆t ∆t Par passage à la limite ∆t → 0, on déduit (6.7).

4

Loi des intervalles entre les clients La résolution de (6.7) conduit à pn (t ) = e−λt

(λt)n . n!

(6.10)

Comme le processus est stationnaire, on a plus généralement P (N(t + τ ) − N(t) = n) = e−λτ

(λτ )n n!

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

34

Soit T1 l’instant d’arrivée du premier client, on a {T1 > t} = {N(t) = 0}, donc P (T1 ≤ t) = 1 − P (N(t) = 0) = 1 − e−λt , par conséquent T1 suit une loi exponentielle de paramètre λ. Si Tn l’instant d’arrivée du nième client, on a P (Tn ≤ t) = P (N(t) ≥ n) = 1 − P (N(t) ≤ n − 1), comme {N(t) ≤ n − 1} =

n−1 [ j=0

{N(t) = j}, et d’après (6.10) on a

P (Tn ≤ t) = 1 −

n−1 X

e−λt

j=0

(λt)j , j!

en dérivant on obtient la densité de probabilité de Tn , −λt

fTn (t) = λe

(λt)n−1 . (n − 1)!

Theorem 37 (admis)Pour un processus de Poisson d’intensité λ. la suite (Sn , n ≥ 1), où Sn+1 = Tn+1 −Tn est une suite i.i.d qui suit une loi exponentielle de moyenne 1 . λ

5

Répartition des points d’un processus de Poisson

Theorem 38 Soit (Tn , n ≥ 1), la suite des points d’un processus de Poisson d’intensité λ. Alors pour toute suite 0≤ t1 ≤ t2 ≤ ... ≤ tn ≤ t, n! P (Ti ≤ ti , 1 ≤ i ≤ n |N(t) = n) = n t

Zt1 0

...

tZn−1

Ztn

dx1 ...dxn .

(6.11)

xn−2 xn−1

Cette distribution a l’interprétation suivante. On jette indépendamment l’un de l’autre n points sur [0,t], chacun uniformément sur [0,t], et on note par X1 , ..., Xn les positions de ces points. Le vecteur X=(X1 , ..., Xn )0 admet donc la densité de probabilité fX (x) = t1n 1[0,t]n (x) . Preuve

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

P (Ti ≤ ti , 1 ≤ i ≤ n, N(t) = n) = P (S1 ≤ t1 , S1 + S2 ≤ t2 , ..., S1 + ... + Sn ≤ tn , S1 + ... + Sn+1 > t) Zt1 tZ2 −s1 t3 −(s Z 1 +s2 ) tn −(s1Z+...+sn−1 ) Z∞ = ... 0

0

0

0

tn −(s1 +...+sn )

n+1 −λ(s1 +...+sn+1 )

....λ = λn+1

e

ds1 ...dsn+1 tn −(s1Z +...+sn−1 ) ...

Zt1 tZ2 −s1 t3 −(s Z 1 +s2 ) 0

0

0

0

1 e−λ(s1 +...+sn ) ([− e−λ( sn+1 ) ]∞ tn −(s1 +...+sn ) ds1 ...dsn λ Zt1 tZ2 −s1 t3 −(s Z 1 +s2 ) tn −(s1Z+...+sn−1 ) −λt = λn e ... ds1 ...dsn . 0

0

0

0

Après le changement de variables v1 = s1 , v2 = s1 + s2 , ..., vn = s1 + ... + sn , cette dernière expression devient λn

e−λt

Zt1 Zt2 0 v1

On déduit (6.11) de (6.10).

...

Ztn

vn−1

dv1 ...dvn

35

Chapitre 7 Introduction aux chaînes de Markov Considérons un système observé aux instants, 0,1,2,..... Soit Xt ,l’état du système à l’instant t. Supposons qu’on est à l’instant t=10, on a donc observé X0 , ..., X10 . La question est la suivante : Peut-on prévoir l’état du système à l’instant t=11 ?. En général l’état du système dépend d’une manière aléatoire ou non de X0 , ..., X10 . Une simplification considérable est obtenue si étant donné l’histoire complète du système X0 , ..., X10 , l’état suivant ne dépend que de X10 .Si le système a cette propriété à tous les instants t (et non seulement à t=10), on dit qu’il possède la propriété de Markov. Definition 14 Une suite {Xn , n ≥ 0} à valeurs dans un espace d’états S est dite une chaîne de Markov discrète (CMD) si ∀i, j ∈ S P (Xn+1 = j |Xn = i, Xn−1 , ..., X0 ) = P (Xn+1 = j | Xn = i). Definition 15 Une CMD est stationnaire (ou homogène dans le temps) si ∀i, j ∈ S, ∀n P (Xn+1 = j |Xn = i) = P (X1 = j | X0 = i). Dans ce cours on considère les chaînes de Markov à espace d’états fini S = {1, 2, ..., N }. Pour une CMD on associe la matrice des probabilités de transition P = (pi,j )1≤i,j≤N , où pi,j = P (Xn+1 = j |Xn = i) Theorem 39 Si {Xn , n ≥ 0} est une CMD, alors N X pi,j = 1, 1 ≤ i ≤ N. i) pi,j ≥ 0,ii) j=1

36

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

37

Preuve. N X

pi,j =

j=1

1

N X j=1

P (Xn+1 = j |Xn = i) = P (Xn+1 ∈ S |Xn = i) = P (Xn+1 ∈ S) = 1.

Distribution transiente

Soit {Xn , n ≥ 0} une CMD, et une distribution initiale a = {a1 , ...aN }, ai = P (X0 = i), 1 ≤ i ≤ N. On s’intéresse à P (Xn = j)∀j ∈ S, pour n fixé. On a P (Xn = j) =

N X i=1

=

N X i=1

P (Xn = j |X0 = i)P (X0 = i)

(7.1)

ai P (Xn = j |X0 = i).

Il suffit donc d’étudier la quantité P (Xn = j |X0 = i) appelée la probabilité de (n) (n) transition d’horizon n de la CMD {Xn , n ≥ 0}. Posons aj = P (Xn = j), pi,j = (n) (n) (n) P (Xn = j |X0 = i), P (n) = (pi,j )1≤i,j≤N , a(n) = (a1 , ..., aN )0 . On a (0) pi,j = P (X0 = j |X0 = i) = δ ji , donc P (0) = I (matrice identité). (1)

donc P (1) = P.

pi,j = P (X1 = j |X0 = i) = pi,j ,

Theorem 40 On a i) P(n) = P n ,ii) a(n) = P n a,iii) P (Xn+m = j |Xn = i, Xn−1 , ..., X0 ) = (m)

P (Xn+m = j |Xn = i ) = pi,j .

Preuve i)Nous allons utiliser l’égalité suivante, valable pour toute partition (Ci )1≤i≤N ,

en effet

P (A | B) =

PN

i=1

P (A | B ∩ Ci )P (Ci ∩ B),

P (A ∩ B ∩ ∪N P (∪N P (A ∩ B) i=1 Ci ) i=1 A ∩ B ∩ Ci ) = = P (A | B) = P (B) P (B) P (B) PN PN P (A ∩ B ∩ Ci ) P (B ∩ Ci ) i=1 P (A ∩ B ∩ Ci ) = i=1 × . = P (B) P (B ∩ Ci ) P (B)

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

(n) pi,j

= P (Xn = j |X0 = i) = = = = =

N X k=1 N X k=1 N X k=1 N X

N X k=1

P (Xn = j |Xn−1 = k, X0 = i)P (Xn−1 = k |X0 = i) (n−1)

P (Xn = j |Xn−1 = k, X0 = i)pi,k (n−1)

P (Xn = j |Xn−1 = k )pi,k

(n−1)

P (X1 = j |X0 = k )pi,k (n−1)

pi,k

, (d’après la propriété de Markov)

(d’après la stationnarité)

pk,j ,

k=1

Ceci implique que P (n) = P (n−1) P,donc P (n) = P (1) P n−2 P = P n . ii) De (7.1) on obtient a(n) = P (n) a. iii) Se déduit facilement par récurrence sur m, ou par la stationnarité.¤ Theorem 41 (Equations de Chapman-Kolmogorov) (n+m)

pi,j

=

N X

(n) (m)

pi,k pk,j .

k=1

Preuve (n+m)

pi,j

= P (Xn+m = j |X0 = i) =

N X k=1

= =

N X k=1 N X k=1

=

N X k=1

P (Xn+m = j |Xn = k, X0 = i)P (Xn = k |X0 = i) (n)

P (Xn+m = j |Xn = k )pi,k , (d’après la propriété de Markov) (n−1)

P (Xm = j |X0 = k )pi,k (n) (m)

pi,k pk,j .¤

38

(d’après la stationnarité)

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

2

39

Temps d’occupation

Soit {Xn , n ≥ 0} une CMD stationnaire. Soit Nj (n) le nombre de fois où la CMD visite l’état j durant la période {0, 1, ..., n}.La quantité mi,j (n) = E(Nj (n) | X0 = i) est appelée le temps d’occupation durant la période {0, 1, ..., n} de l’état j partant de l’état initial i. M(n) = (mi,j (n))1≤i,j≤N est la matrice du temps d’occupation. Theorem 42 Soit {Xn , n ≥ 0} une CMD à valeurs dans S = {1, 2, ..., N },avec la matrice des probabilités de transition d’horizon 1 P. Alors la matrice du temps d’occupation est donnée par n X M(n) = P r. r=0

Preuve. Fixons i et j. supposons que Zn = 1 si Xn = j et Zn = 0 si Xn 6= j . Alors Nj (n) = Z0 + ... + Zn , donc mi,j (n) = E(Nj (n) | X0 = i) = E(Z0 + ... + Zn | X0 = i) n X = E(Zr | X0 = i)

(7.2)

r=0

=

n X r=0

= =

n X r=0 n X

P (Zr = 1 | X0 = i) P (Xr = 1 | X0 = i) (r)

pi,j .¤

r=0

3

Distribution limite

Soit {Xn , n ≥ 0} une CMD . Soit πj = limn→∞ P (Xn = j), j ∈ S la distribution limite de la CMD. Theorem 43 Si π j existe, alors elle est appelée la distribution invariante et elle vérifie : N N X X i) π j = π i pi,j , ii) π j = 1. i=1

j=1

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

40

Preuve. Pn En conditionnant par Xn et, en utilisant la règle des probabilités totale P (B) = i=1 P (B | Ai )P (Ai ),on a P (Xn+1 = j) =

N X

(7.3)

P (Xn = i)pi,j ,

i=1

donc si π j existe, elle vérifie π j = limn→∞ P (Xn = j) = limn→∞ P (Xn+1 = j), j ∈ S,en remplaçant πj par sa valeur dans( 7.3) on obtient i). ii) πj est une distribution de probabilité.

4

Distribution stationnaire Une distribution π ∗ = (π ∗1 , ..., π ∗N ) est dite stationnaire si P (X0 = j) = π ∗j , 1 ≤ j ≤ N =⇒ P (Xn = j) = π ∗j , 1 ≤ j ≤ N.

Theorem 44 π ∗ = (π ∗1 , ..., π ∗N ) est une distribution stationnaire ssi N N X X ∗ ∗ π i pi,j , 1 ≤ j ≤ N et ii) π ∗j = 1. i)π j = i=1

j=1

Preuve. Supposons que π ∗ est stationnaire. Ceci implique que si P (X0 = j) = π ∗j alors P (X1 = j) = π ∗j . N X P (X0 = i)pi,j , on En prenant n = 0 dans ( 7.3) on obtient P (X1 = j) = i=1

obtient donc i). l’égalité ii) est vérifiée car π ∗j une distribution de probabilité. Inversement supposons que i) et ii) sont satisfaites, et supposons que P (X0 = N N X X ∗ j) = π j ,alors P (X1 = j) = P (X0 = i)pi,j = π ∗i pi,j = π ∗j , donc la distribution i=1

i=1

de X1 est π ∗ . En itérant le même raisonnement sur n on déduit que pour tout n ≥ 0, la distribution de Xn est π ∗ , et donc π ∗ est stationnaire.

Theorem 45 La distribution invariante d’une CMD est stationnaire. Pour une CMD l’occupation de l’état j est définie par π bj = lim

n→∞

E(Nj (n) | X0 = i) . n+1

Theorem 46 (Distribution d’occupation) Si la distribution π b existe alors i)b πj = N N X X π bi pi,j , 1 ≤ j ≤ N et ii) π bj = 1. i=1

j=1

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

41

Preuve. D’après (7.2) mi,j (n) = E(Nj (n) | X0 = i) =

n X

(r)

pi,j ,

r=0

donc n X

(r)

! Ã n X 1 (0) (r) r=0 = pi,j + pi,j n+1 n+1 r=1 ! Ã N n X X 1 (0) (r−1) = pi,j + pi,k pk,j , n+1 r=1 k=1

E(Nj (n) | X0 = i) = n+1

pi,j

d’après les équations de Kolmogorov. ! Ã n−1 N 1 (0) n X 1 X (r) = , + p p p n + 1 i,j n + 1 k=1 n r=0 i,k k,j Si n tends vers l’infini N X

E(Nj (n) | X0 = i) = lim n→∞ n+1 =

1 lim n→∞ n k=1

N X k=1

lim

n→∞

donc

ii) se déduit du fait que

N X

π bj =

à n−1 X

(r)

pi,k

r=0

!

pk,j

E(Nk (n − 1) | X0 = i) pk,j , d’après (7.2), n

N X k=1

π bk pk,j ,

Nj (n) = n + 1.¤

j=1

Definition 16 Une CMD est irréductible si ∀i, j ∈ S, ∃k ∈ N∗ tel que P (Xk = j |X0 = i ) > 0. Theorem 47 Une CMD irréductible a une unique distribution stationnaire.. Theorem 48 Une CMD irréductible a une unique distribution d’occupation stationnaire.

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

42

Definition 17 Soit {Xn , n ≥ 0} une CMD . Soit d le plus grand entier tel que P (Xk = j |X0 = i ) > 0 =⇒ k est multiple de d. La CMD est dite périodique de période d si d > 1 et apériodique si d = 1. Theorem 49 Une CMD irréductible et apériodique a une unique distribution limite invariante.

5

Temps du premier passage

Soit {Xn , n ≥ 0} une CMD sur S = {1, 2, ..., N }, de matrice des probabilités de transition P . On va étudier l’instant du premier passage par l’état N : T = min(n ≥ 0, Xn = N ).Posons mi = E(T | X0 = i), clairement mN = 0. Theorem 50 (Espérance du premier passage)On a mi = 1 +

N −1 X j=1

pi,j mj , 1 ≤ i ≤ N − 1.

Preuve. On va conditionner par X1 . Supposons que X0 = i et X1 = j.Si j = N alors T = 1, et si j 6= N, alors la CMD a passé déjà une unité de temps pour passer à l’état j, et l’espérance d’atteindre l’état N est maintenant donné par mj. On déduit alors ½ 1 si j = N , E(T | X0 = i) = 1 + mj si j 6= N donc

mi = E(T | X0 = i) = =

N−1 X

N X j=1

E(T | X0 = i, X1 = j)P (X1 = j | X0 = i)

(1 + mj )pi,j + (1)pi,N

j=1

=

N X

pi,j +

j=1

= 1+

N−1 X

mj pi,j

j=1

N−1 X j=1

mj pi,j .¤

Chapitre 8 Exercices 1

Chapitre 1 : Variables aléatoires

Exercice 1. SiTA est une algèbre T∞ (resp. tribu) sur Ω et si Ai ∈ A(1 ≤ i ≤ n) n (resp i ≥ 1)) alors i=1 Ai (resp. i=1 Ai ) est dans A. Exercice 2. Soit (An , n ≥S1) une suite non décroissante d’algèbres sur Ω (An ⊂ An+1 , n ≥ 1). Montrer que ∞ n=1 An est une algèbre sur Ω. Exercice 3. Deux événements A et B de probabilités non nulles sont disjoints. Peuvent-ils être indépendants ? Exercice 4. Soient A, B, C trois événements. Prouver que T T P (A | B C)P (B | C) = P (A B | C). (8.1)

Exercice 5. Si A1 , A2 , ..., An sont mutuellement indépendants alors A˜1 , A˜2 , ..., A˜n sont mutuellement indépendants où A˜i = Ai ou Ai . Exercice 6. Démontrer la formule de Poincaré : P(

n [

i=1

Ai ) =

n X i=1

P (Ai ) −

n X

P (Ai

i,j=1,i 0, x2 > 0, x1 + x2 < 1} , avec la densité de probabilité f (x1 , x2 ) = K(x1 + x2 ). i)Calculez K. ii) Calculez E(X1 ), E(X2 ), V (X1 ), V (X2 ) et cov(X1 , X2 ) iii) Déterminer les lois marginales de X1 et X2 ,les variables aléatoires X1 et X2 sontelles indépendantes ? Exercice 9. Soient X1 et X2 deux variables aléatoires indépendantes identiquement distribuées selon la loi exponentielle de paramètre λ. Trouvez la distribution du vecteur Y = (Y1 , Y2 ) donné par Y1 =

X1 , Y2 = X12 + X22 . X2

Exercice 10. Soit X une variable aléatoire non-négative et intégrable, de fonction de répartition F (x). La formule suivante Z ∞ (1 − F (x))dx, E(X) = 0

est vraie. Démontrez-la dans le cas où X admet une densité de probabilité.

47

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

3

Chapitre 4 : Espérance conditionnelle

Exercice 1. Soit (X, Y ) un vecteur aléatoire à valeurs dans R2 distribué uniformément dans le disque fermé de rayon 1 : ½ 1 si x2 + y 2 ≤ 1 π fX,Y (x, y) = 0 sinon. i) Calculez la densité conditionnelle de X étant donné Y = y. ii) Calculer E(X 2 + Y 2 | Y ), E(X 2 | Y = y). µ

Exercice 2. Soit le couple gaussien (X1 , X2 ) Ã N(0, Γ), Γ =

1 ρ ρ 1

i) Montrer que E(X2 | X1 = x1 ) = ρx1 . ii) Montrer que X1 et X2 − E(X2 | X1 ) sont indépendantes. iii) Calculer var(X2 − E(X2 | X1 )).



, |ρ| < 1.

Exercice 3. Déterminez la densité conditionnelle de Y étant donné X = x dans le cas où (X, Y ) admet la densité x(y+x) x fX,Y (x, y) = √ e− 2 , x ≥ 0, y ≥ 0. 2π

4

Chapitre 5 : Convergences stochastiques P

Exercice 1. On suppose que (Xn , Yn ) −→ (X, Y ). i) MontrerChapitre 5 : Convergences stochastiques P Exercice 1. On suppose que (Xn , Yn ) −→ (X, Y ). P i) Montrer, en utilisant la définition, que Xn + Yn −→ X + Y. P ii) Montrer, en utilisant la définition, que Xn Yn −→ XY. L

L

Exercice 2. Il n’est pas vrai en général que Xn −→ X et Yn −→ Y impliquent L Xn + Yn −→ X + Y , mais on a le résultat suivant : Soit le couple aléatoire (Xn , Yn ) L P L tel que Xn −→ X et Yn −→ 0; alors i) Xn + Yn −→ X. P ii) Xn Yn −→ 0. Exercice 3. Soit (Xn , n ≥ 1) une suite de variables aléatoires presque sûrement P bornées. Montrer que si Xn −→ X, alors pour tout r > 0 on a E(|Xn − X|r ) −→ 0. Exercice 4. Pour tout entier n ≥ 0 et tout nombre p tel que 0 ≤ p ≤ 1, on pose B(n, p, k) = Cnk pk (1 − p)n−k . Montrer que si n tend vers +∞ et p tend vers 0 de sorte que np = λ, reste constant, alors, pour tout k ≥ 0, on a B(n, p, k) −→ π(k, λ) = e−λ λk /k!. Si donc pour chaque entier n la variable Xn est une variable binomiale de paramètres p = λ/n, alors la

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

48

suite (Xn ) converge en loi vers une variable aléatoire de Poisson de paramètre λ. Exercice 5. Soit X une variable aléatoire centrée et un nombre strictement positif. a) On pose g( ) = E(e X ). Etablir l’inégalité ¶ µ t + log g( ) ≤ e−t pour tout t > 0. P X≥ b) On pose g1 ( ) = E(e− X ). Etablir l’inégalité ¶ µ t + log g1 ( ) ≤ e−t pour tout t > 0. P X ≤− Exercice 6. On considère une suiteP(Xn , n ≥ 1) de variables aléatoires du second ordre (de carré intégrable) vérifiant n≥1 E(Xn2 ) < ∞. Montrer que p.s. m.q. a) Xn −→ X, b) Xn −→ X. Exercice 7. Soit (Xn , n ≥ 1) une suite de variables aléatoires du second ordre. Posons µn = E(Xn ), σ 2n = var(Xn ) et supposons que |µn | −→ +∞ et que m.q. σ 2n / |µn | = O(1) (borné). Montrer qu’alors Xn /µn −→ 1, et donc aussi en probabilité. Exercice 8. Soit (Xn , n ≥ 1) une suite des variables aléatoires décroissante. p.s. P Montrer que si Xn −→ 0, alors Xn −→ 0. Exercice 9. Soit l’espace probabilisé ([0, 1], B 1 , λ), où λ désigne la mesure de Lebesgue sur [0, 1]. On considère la suite (Xn , n ≥ 1) des variables aléatoires définies sur cet espace par ½ √ 1/ ω si 0 < ω < 1/n Xn (ω) = 0 si 1/n ≤ ω ≤ 1 P

Montrer que Xn −→ 0, mais que Xn ne tend pas vers 0 en moyenne quadratique. Exercice 10. Soient U une variable aléatoire uniformément répartie sur [0, 1] et (Un , n ≥ 1) une suite de variables aléatoires indépendantes ayant la même loi que U . soit d’autre part Z une variable aléatoire exponentielle de paramètre 1. Pour tout loi n ≥ 1, on pose Zn = n min(U1 , ..., Un ). Montrer que Zn −→ Z. Exercice 11. Soit X une variable aléatoire exponentielle de paramètre λ > 0. Déterminer la loi de la variable aléatoire e−λX . Exercice 12. On désigne par (Xn , n ≥ 1) une suite de variables aléatoires indépendantes et identiquement distribuées selon la loi exponentielle de paramètre λ > 0. Déterminer les limites en loi des suites de terme général : i) An = n min(e−λX1 , ..., e−λXn ). ii) Bn = n1/λ min(e−X1 , ..., e−Xn ).

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

49

iii) Cn = n−1/λ max(eX1 , ..., eXn ). iv) Dn = max(X1 , ..., Xn ) − log n, lorsque le paramètre λ vaut 1. Exercice 13. On conserve les mêmes hypothèses que dans l’exercice 9. i) Calculer explicitement la fonction de répartition Fn de Xn et en déduire que loi Xn −→ 0. p.s. ii) Montrer que Xn −→ 0. Exercice 14. Soit (Xn , n ≥ 1) une suite de variables aléatoires absolument continues, de support R, la densité de Xn étant donnée par ½ n si x = 0 2π fn (x) = 1−cos(nx) si x 6= 0 nπx2 1) Vérifier que pour R x tout n ≥ 1 la fonction fn est une densité de probabilité. 2) On pose Fn (x) = −∞ fn (t)dt. Montrer que

loi

  0 1/2 lim Fn (x) = n→∞  1

c’est à dire que Xn −→ 0. (On rappelle que

si x < 0 si x = 0 ; si x > 0

R +∞ −∞

sin2 t dt t2

= π).

Chapitre 6 : Processus de Poisson Exercice 1. On suppose que les points d’arrivée sont matérialisés, disons par des billes numérotées 1,2,...n. Ces billes étant placées dans une urne, et on en tire une au hasard. Soit X la position du point correspondant. Montrer que conditionnellement à N(t) = n, X Ã U[0, t] i.e P (a ≤ X ≤ b |N(t) = n) =

b−a . t

Exercice 2. Soit (N(t), t ≥ 0) un processus de Poisson d’intensité λ. Montrer que pour s ≤ t, la loi de N(s) conditionnée par N(t) = n une loi binomiale B(n, st ) Exercice 3. Soit (Sn , n ≥ 1) une suite i.i.d de loi exponentielle de moyenne λ1 .Soit T une variable aléatoire à valeurs dans N∗ suivant une loi géométrique P (T = k) = T X p(1 − p)k−1 , et indépendante de (Sn , n ≥ 1). Montrer que X = Sj à E(pλ). j=1

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

50

Exercice 4. Soit (N(t), t ≥ 0) un processus de Poisson d’intensité λ. Pour chaque t≥ 0, on définit la v.a. X(t) par X(t) = (−1)N(t) X(0), où X(0) est une v.a de Bernoulli B(p) à valeurs dans {−1, 1} et indépendante de (N(t), t ≥ 0) . Le processus (X(t), t ≥ 0) est appelé processus de télégraphe. Calculer π 1 (t) = P (X(t) = 1) et π1 (∞) = limt→∞ π1 (t). Que ce passe-t-il lorsque p = π1 (∞).

5

Chapitre 7 : Introduction aux chaînes de Markov

Exercice 1. Soit {Xn , n ≥ 0} une chaîne de Markov discrète (CMD) stationnaire sur S = {1, ..., N },de matrice des probabilités de transition P . Montrer que pour tous i0 , i1 , ..., ik ∈ S P (X1 = i1 , ..., Xk−1 = ik−1 , Xk = ik | X0 = i0 ) = pi0 ,i1 ...pik−1 ,ik . Exercice 2. Soit {Xn , n ≥ 0} une chaîne de Markov discrète (CMD) sur S = {1, ..., N },de matrice des probabilités de transition P . Posons Yn = X2n , ∀n ≥ 0. Montrer que {Yn , n ≥ 0} est une CMD sur S de matrice des probabilités de transition P 2 . Exercice 3. Soit {Xn , n ≥ 0} une chaîne de Markov discrète (CMD) sur S = {1, ..., N },de matrice des probabilités de transition P . On suppose que X0 = i avec une probabilité 1. Le temps de séjour Ti de la CMD dans l’état i est égal à k si {X0 = X1 = ... = Xk−1 = i, Xk 6= i}. Montrer que Ti suit une loi géométrique G(1 − pi,i ) i.e. P (Ti = k) = pki,i (1 − pi,i ). Exercice 4. Soit {Xn , n ≥ 0} une CMD irréductible sur S = {1, ..., N }.Notons par ui la probabilité que la chaîne visite l’état 1 avant de visiter l’état N partant de l’état i. Montrer que u1 = 1, ui =

N X j=1

pi,j uj si 2 ≤ i ≤ N − 1, uN = 0.

Exercice 5. (Fiabilité des machines) Dans une usine, on suppose que si une machine marche bien aujourd’hui la probabilité pour qu’elle continue à fonctionner le lendemain est de 0.98 et donc qu’elle tombe en panne est de 0.02. Une fois la machine tombe en panne, on appelle un technicien pour la réparer. Si une machine ne fonctionne pas aujourd’hui, la probabilité pour qu’elle ne fonctionne pas le lendemain est de 0.03 ou que la probabilité que la machine soit réparée et fonctionne le lendemain est de 0.97. Soit Xn l’état de le machine. On suppose que

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

Xn =

½

51

0 si la machine tombe en panne au début du jours n . 1 si la machine fonctionne début du jours n

i. Montrer que {Xn , n ≥ 0} est une CMD, et calculer la matrice des probabilités de transition P . ii. Calculer la distribution limite invariante. L’usine possède 2 machines, on suppose que chaque machine a son propre réparateur. Soit Yn le nombre de machines qui fonctionnent au début du jours n. iii) Montrer que {Yn , n ≥ 0} est une CMD, et calculer la matrice des probabilités de transition PY . iv) On suppose que les deux machines fonctionnent au temps 0. Calculer l’espérance du temps pour lequel les 2 machines tombent en panne pour la première fois. Exercice 6. (Météo). Le temps à Marseille est classé en 3 catégories : ensoleillé, froid, pluvieux. On suppose que le temps de demain dépend de celui d’aujourd’hui de la manière suivante : Si aujourd’hui est ensoleillé, il fera froid avec une probabilité 0.3 et il sera pluvieux avec une probabilité 0.2. Si aujourd’hui est froid, il sera ensoleillé, avec une probabilité 0.5 et pluvieux avec une probabilité 0.3. Si aujourd’hui est pluvieux, il sera ensoleillé avec une probabilité 0.4 et froid avec une probabilité 0.5. i) Proposer un modèle de chaînes de Markov avec S = {1, 2, 3} ii) Calculer P (Xn = i), i = 1, 2, 3. iii) Calculer la distribution limite π i , i = 1, 2, 3. iv) Supposons qu’aujourd’hui est ensoleillé, calculer le nombre de jours où il va pleuvoir pendant les six jours à venir. Exercice 7. (Bourse) Le financier principal du groupe Accord achète et vend son propre actif financier (l’action Accord) de tel sorte que le prix de l’action Accord soit toujours dans l’intervalle des prix {2C =,3C =,...,10C =}. Soit Xn le prix de l’action à la fin du jour n ,c’est à dire que l’espace d’état de Xn est {2, 3, ..., 10}.Soit In+1 le mouvement potentiel de l’actif au jours (n + 1) sans l’intervention du financier principal. On a alors  2 si Xn + In+1 ≤ 2  Xn + In+1 si 2 < Xn + In+1 < 10 Xn+1 =  10 si Xn + In+1 > 10. On admet que {In , n ≥ 0} est une suite i.i.d avec P (In = k) = 0.2, k = −2, −1, 0, 1, 2. i) Calculer la matrice des probabilités de transition P de la CMD {Xn , n ≥ 0} . ii) J’ai acheté un nombre d’actions Accord aux prix de 5 euros chacune, et je vais les vendre une fois que le prix de l’action dépasse 7 euros. Combien de jours dois je attendre pour vendre mes actions ?

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

52

Exercice 8. (Manufacture) Une usine possède deux machines, chacune produit un composant électronique par heure. Chaque composant est testé pour identifier s’il est défectueux ou non. Soit ai la probabilité pour que le composant produit par la machine i est non défectueux. Les composants défectueux sont écartés, et ceux non défectueux sont stockés dans deux compartiments séparés. Quand un composant est présent dans chaque compartiment, les deux composants sont assemblés et expédiés. Chaque composant peut contenir au plus 2 composants. Quand le compartiment est plein la machine correspondante est arrêtée. Elle est mise en marche une fois l’espace est disponible pour au moins 1 composant. i) Modéliser le système par une CMD. Soit Xn = An − Bn , où An (resp. Bn ) est le nombre de composants dans le compartiment 1 (resp. compartiment 2). ii) Calculer la matrice des probabilités de transition P de la CMD {Xn , n ≥ 0}. iii) On suppose que les deux compartiments sont vides à l’instant 0. Quelle est la probabilité pour que les deux composants soient vides 8 heures plus tard ? (on suppose que a1 = 0.99, a2 = 0.995.

6 6.1

Annales Examen Probabilités / Juin 2001.

Exercice 1. Soient X1 Ã U[1, 6], X2 Ã U [0, 1], X1 est indépendante de X2 . i) Calculer E(X2 |X1 ), E(X1 + X2 |X1 ). ii) Déterminer la loi de Y = (Y1 , Y2 ), où Y1 = X1 X2 et Y2 = X2 , en déduire la loi de X1 X2 . Exercice 2. Soit (Xi )1≤i≤n une suite de variables aléatoires i.i.d. suivant une loi uniforme sur [0, θ], avec θ > 0. i) Calculer E(X1 ) et var(X1 ). P P ii) Posons X n = n1 ni=1 Xi , calculer E(X n ) et var(X n ), en déduire que X n −→ 2θ . Exercice 3. Soit (Xn ), (n ≥ 1) une suite de variables aléatoires ayant la densité ½ 1 (2 + n1 )e−(2+ n )x si x ≥ 0 fn (x) = 0 sinon L

i) Montrer que Xn −→ Y, où Y suit une loi exponentielle de paramètre 2. ii) Soit Y1 , ..., Yn une suite de variables aléatoires i.i.d. ayant la même loi que Y et posons Zn = n−1/2 max(eY1 , ..., eYn ), déterminer la limite en loi de Zn .

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

6.2

53

Examen Probabilités / Septembre 2001.

Exercice 1. Soit X une variable aléatoire de densité ½ −bx ae si x ≥ 0 fX (x) = , a > 0, b > 0. 0 sinon et telle que E(X) = 3. Calculer a et b. Exercice 2. Soit (Xi )1≤i≤n une suite Pn de variables aléatoires i.i.d. suivant une loi de 1 2 Gauss N(m, σ ). Posons X n = n i=1 Xi , calculer E(X n ) et var(X n ), en déduire P

que X n −→ 2θ . Exercice 3. Soient (Xn ), (n ≥ 1) et (Yn ), (n ≥ 1) deux suites de variables aléatoires telles que : L i) Xn −→ X, L ii)Yn −→ Y, iii) X et Y sont indépendantes ; ∀n, Xn et Yn sont indépendantes. L Montrer que Xn + Yn −→ X + Y, en utilisant la définition : L

Xn −→ X, ⇐⇒ φXn (u)−→φX (u), φX (u) est la fonction caractéristique de X.

6.3

Examen de Probabilités , Licence , Juin 2003 Exercice 1. X est une variable aléatoire de fonction caractéristique φ(u) = eiau−

bu2 . 2

Calculer E(X) et V(X). Exercice 2. (X1, X2 ) est un couple aléatoire à valeurs dans D = {x1 < 0, x2 < 0, x1 + x2 + 1 > 0} et ayant la densité f (x1 , x2 ) = Kx1 x2 .

σ2 .

i) Calculer K ii) Calculer les densités marginales de X1 et X2 . iii) Posons Y1 = X1 + X2 , Y2 = X1 - X2 , calculer la loi de (Y1, Y2 ). Exercice 3 (Xi ), 1 ≤ i ≤ n est une suite i.i.d. de moyenne m et de variance

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

54

P i) Montrer que X n = n1 ni=1 XP converge en probabilité vers m. i n 1 √ ii)Calculer la loi limite de i=1 Xi n

6.4

Licence MATHS-Probabilités-Juin 2004 EXERCICE 1

On suppose que le couple aléatoire (X1 , X2 ) est à valeurs dans [0, 1]2 et ayant la densité de probabilité f (x1, x2 ) = K(x1 + 1)(x2 + 1). Question 1 Calculer K. Question 2 Calculer la fonction caractéristique de X1 . Question 3 On effectue le changement de variables Y = (Y1 , Y2 ) avec Y1 = 1 = X1 + X . X2 Déterminer la loi de probabilité de Y . Question 4 Calculer E( Y1 | X2 ).

X12 , Y2

EXERCICE 2 Question 1 Soit X une variable aléatoire. On définit la suite de variables aléatoires (Xn ) par Xn = an X + bn , (an ) et (bn ) sont deux suites réelles. Montrer que si an → 1, bn → 0, alors Xn

p.s. X. −→ Question 2 On suppose que (Xn ) est une suite i.i.d suivant une loi uniforme sur [0, θ], où θ > 0. n X 1 Montrer que 2X n m.q. θ, où X n = n Xk . −−→ k=1 Question 3 On suppose que (Un ) est une suite i.i.d suivant une loi uniforme sur [0, θ], où θ > 0. Etudier la convergence en loi des deux suites Zn = n min(U1 , ..., Un ), Wn = log n+ log(min(U1 , ..., Un ))

Licence L3-MAT44 : Probabilités avancées 1—M.Boutahar

6.5

55

Licence L3, Probabilités /Mai 2005

EXERCICE 1. Soient X et Y deux variables aléatoires indépendantes définies √ √ t2 sur ]0, +∞[ et ayant chacune la densité f (t) = ( 2/ π)e− 2 . Soit le couple (U, V ) définit par U=

√ X 2 + Y 2 , V = X/Y.

Calculer la loi de probabilité de (U, V ). EXERCICE 2. Soit (Xi ), 1 ≤ i ≤ n, une suite variables aléatoires indépendantes i.i.d selon une loi de Bernoulli à valeurs dans {0, 1} de paramètre p. Soit Yn = Xn Xn+1, pour tout n ∈ N∗ . a) Déterminer la de Yn . Ploi n 1 b) Soit Sn = n k=1 Yk , calculer E(Sn ) et var(Sn ). c) Montrer que Sn converge en probabilité vers p2 . EXERCICE 3. Soit (N(t), t ≥ 0) un processus de Poisson homogène d’intensité λ. On désigne par Tn l’instant d’arrivé du nieme client. a) Calculer la fonction génératrice gN(t) (s) de N(t), en déduire E(N(t)) et var(N(t)). b) Montrer que T1 suit une loi exponentielle de paramètre λ, calculer E(T1 ) et var (T1 ). c) Calculer P(T1 ∈ [a, b]), a et b sont des constantes positives. d) Calculer la loi de Tn ainsi que sa fonction caractéristique. EXERCICE 4. On suppose que le prix de l’action ELF soit toujours dans {12C =,13C =,14C =}. Si aujourd’hui l’action coûte 12C =, le lendemain elle restera à 12C = avec une probabilité 1/2 et passera à 13C = avec une probabilité 1/2. Si aujourd’hui elle coûte 13C =, le lendemain elle descendra à 12C = avec une probabilité 1/4 et montera à 14C = avec une probabilité 1/4. Si aujourd’hui elle coûte 14C =, le lendemain elle restera à 14C = avec une probabilité 1/2 et elle sera dévaluée à 13C = avec une probabilité 1/2. On adopte le codage suivant : Xn = 1 ⇐⇒ l’action vaut 12C = , Xn = 2 ⇐⇒ l’action vaut 13C = et Xn = 3 ⇐⇒ l’action vaut 14C =. i) Calculer P (X3 = i), i = 1, 2, 3, sachant que P(X0 = i) = 1/3, 1 ≤ i ≤ 3. ii) Calculer la distribution limite π i , i = 1, 2, 3. iii) Supposons qu’aujourd’hui l’action vaut 12C =, a)calculer l’espérance du temps pour lequel l’action atteint pour la première fois sa valeur maximale de 14C =, b)calculer le nombre de jours où il va coûter 13C = pendant les trois jours à venir.

View more...

Comments

Copyright � 2017 NANOPDF Inc.
SUPPORT NANOPDF