Probabilités Jean-Yves Tourneret(1) (1) Université de Toulouse, ENSEEIHT-IRIT-TéSA Thème 1 : Analyse et Synthèse de l’Information
[email protected]
Cours Probabilité, 1TR, 2015-2016 – p. 1/68
Plan du cours Chapitre 1 : Eléments de base du calcul des probabilités Triplet de Probabilité (Ω, C, P ) Équiprobabilité - Dénombrement Probabilités conditionnelles Indépendance Chapitre 2 : Variables aléatoires réelles Chapitre 3 : Couples de variables aléatoires réelles Chapitre 4 : Vecteurs Gaussiens Chapitre 5 : Convergence et théorèmes limites Cours Probabilité, 1TR, 2015-2016 – p. 2/68
Bibliographie B. Lacaze, M. Maubourguet, C. Mailhes et J.-Y. Tourneret, Probabilités et Statistique appliquées, Cépadues, 1997. Athanasios Papoulis and S. Unnikrishna Pillai, Probability, Random Variable and Stochastic Processes, McGraw Hill Higher Education, 4th edition, 2002.
Cours Probabilité, 1TR, 2015-2016 – p. 3/68
Triplet de Probabilité (Ω, C, P ) Ω : Ensemble des résultats d’expérience C : Ensemble des événements C ⊂ P(Ω) Ω ∈ C (événement certain)
si A ∈ C alors A ∈ C (événement contraire) si Ai ∈ C, i ∈ I (I fini ou infini dénombrable), alors ∪Ai ∈ C
P : application probabilité de C dans [0, 1] P (Ω) = 1 P A = 1 − P (A) P P (∪Ai ) = i∈I P (Ai ) si les événements Ai sont disjoints.
Cours Probabilité, 1TR, 2015-2016 – p. 4/68
Propriétés Événements ∅∈C si Ai ∈ C, i ∈ I (I fini ou infini dénombrable), alors ∩Ai ∈ C Probabilité P (∅) = 0 si A ⊂ B , alors, P (A) ≤ P (B) P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
Cours Probabilité, 1TR, 2015-2016 – p. 5/68
Vocabulaire si a ∈ Ω alors {a} est un événement élémentaire
si Ω = ∪i∈I Ai avec Ai ∩ Aj = ∅, on dit que {Ai }i∈I est un système complet d’événements (Ω, C) espace probabilisable (Ω, C, P ) espace probabilisé C tribu ou σ -algèbre
Cours Probabilité, 1TR, 2015-2016 – p. 6/68
Équiprobabilité - Dénombrement Définition P (A) =
card(A) card(Ω)
=
Nombre de cas favorables Nombre de cas possibles
Exemples Jet d’un dé Tirages avec remise dans une urne à 2 catégories P (k succès sur n expériences) = Cnk Psk (1 − Ps )n−k n! où k = 0, ..., n, Cnk = k!(n−k)! , Ps est la probabilité du succès sur une expérience et n est le nombre d’expériences identiques et indépendantes.
Cours Probabilité, 1TR, 2015-2016 – p. 7/68
Probabilités conditionnelles Définition P (A ∩ B) P (A|B) = ou P (A ∩ B) = P (A|B)P (B) P (B)
Théorème des probabilités totales X P (B) = P (B|Ai )P (Ai ) i∈I
pour tout système complet d’événements {Ai }.
Formule de Bayes
P (B|A)P (A) P (A|B) = P (B) Cours Probabilité, 1TR, 2015-2016 – p. 8/68
Indépendance Deux événements Deux événements A et B sont indépendants si et ssi P (A ∩ B) = P (A)P (B) ou P (A|B) = P (A)
Généralisation On dit que {Ai }i∈I est famille d’événements mutuellement indépendants si et ssi Y P (∩i∈J Ai ) = P (Ai ), ∀J ⊂ I i∈J
☞ Exercice d’application
Cours Probabilité, 1TR, 2015-2016 – p. 9/68
Que faut-il savoir ? Probabilité d’une réunion d’événements : P (A ∪ B) =? Probabilité de l’évènement contraire : P A =? Equiprobabilité : P (A) =?
Loi Binomiale : P (k succès sur n expériences) =? Probabilité conditionnelle : P (A|B) =? Indépendance : P (A ∩ B) =?
Formule de Bayes : P (A|B) =?
Cours Probabilité, 1TR, 2015-2016 – p. 10/68
Plan du cours Chapitre 1 : Eléments de base du calcul des probabilités Chapitre 2 : Variables aléatoires réelles Définition Loi d’une variable aléatoire Fonction de répartition Exemples fondamentaux Espérance mathématique Changements de variables Chapitre 3 : Couples de variables aléatoires réelles ... Cours Probabilité, 1TR, 2015-2016 – p. 11/68
Variable aléatoire réelle Définition Soient (Ω, C, P ) un triplet de probabilité qui est associé à l’expérience et (Ω′ , C ′ ), avec Ω′ ⊂ R un espace probabilisable qui résume les quantités qui nous intéressent. Une variable aléatoire réelle X est une application de Ω dans Ω′ qui possède la propriété de mesurabilité : ∀(a, b) ∈ C ′ , {ω|X(ω) ∈ (a, b)} ∈ C.
Exemple : somme des résultats de deux dés Ω −→ Ω′ X: (m, n) 7−→ m + n Cours Probabilité, 1TR, 2015-2016 – p. 12/68
Variable aléatoire discrète Loi d’une variable aléatoire discrète {X(ω), ω ∈ Ω} est fini ou infini dénombrable. La loi de X est définie par l’ensemble des valeurs possibles de X : {xi , i ∈ I} les probabilités associées pi = P [X = xi ] avec X X pi pi = 1 et P [X ∈ ∆] = i∈I
xi ∈∆
Exemples Jet d’un dé Jet d’une pièce ... Cours Probabilité, 1TR, 2015-2016 – p. 13/68
Variables aléatoires continues Loi d’une variable aléatoire continue {X(ω), ω ∈ Ω} est infini non dénombrable avec P [X = xi ] = 0, ∀xi . La loi de X est définie par l’ensemble des valeurs possibles de X qui est en général une réunion d’intervalles R→R telle que une densité de probabilité p : x 7−→ p(x) p(x) ≥ 0, ∀x ∈ R, Z p(u)du = 1, R Z P [X ∈ ∆] = p(u)du. ∆
Cours Probabilité, 1TR, 2015-2016 – p. 14/68
Variables aléatoires continues Remarques On peut avoir p(x) > 1. P [X∈[x,x+dx[] dx dx→0
p(x) = lim
P [X ∈ [x, x + dx[] ≃ p(x)dx pour dx “petit” lien avec l’histogramme
Exemples Loi uniforme sur [a, b] Loi normale
Cours Probabilité, 1TR, 2015-2016 – p. 15/68
Variable aléatoire mixte Loi d’une variable aléatoire mixte {X(ω), ω ∈ Ω)} = E ∪ {xi , ∈ I} est la réunion de deux ensembles, le premier E est infini non dénombrable avec P [X = x] = 0, ∀x ∈ E , le deuxième est fini ou infini dénombrable avec pi = P [X = xi ] > 0 . La loi de X est définie par {xi , ∈ I} avec pi = P [X = xi ] > 0 E et une densité de probabilité p telle que p(x) ≥ 0, ∀x ∈ R P p(u)du + i∈I pi = 1 R R P P [X ∈ ∆] = ∆ p(u)du + xi ∈∆ pi
R
Exemple : Tension aux bornes d’un voltmètre
Cours Probabilité, 1TR, 2015-2016 – p. 16/68
Exemples Fondamentaux de Lois Discrètes Loi de Bernoulli : X ∼ Be(p) P [X = 0] = p et P [X = 1] = q = 1 − p Lancer d’une pièce, “Succès ou Echec”, ... Loi Binomiale : X ∼ B(n, p) P [X = k] = Cnk pk q n−k ,
k = 0, ..., n
Probabilité d’avoir k succès sur n expériences, X = où Xi suit une loi de Bernoulli, ...
Pn
i=1 Xi
Loi de Poisson : X ∼ P(λ)
λk P [X = k] = exp(−λ), k!
k∈N
Loi du nombre d’arrivées pendant un temps donné Cours Probabilité, 1TR, 2015-2016 – p. 17/68
Exemples Fondamentaux de Lois Continues Loi Uniforme : X ∼ U ([a, b]) 1 , p(x) = b−a
x ∈ [a, b]
Loi Normale ou Gaussienne : X ∼ N (m, σ 2 ) 2 (x − m) 1 , x∈R exp − p(x) = √ 2 2 2σ 2πσ Loi Gamma : X ∼ Ga(α, β) β α α−1 x exp(−βx), p(x) = Γ(α)
x>0
Pour α = 1, on a la loi exponentielle Cours Probabilité, 1TR, 2015-2016 – p. 18/68
Fonction de répartition Définition R → [0, 1] F : x 7−→ F (x) = P [X < x]
Propriétés F croissante lim F (x) = 0 et lim F (x) = 1 x→−∞
x→+∞
F caractérise une loi de probabilité Si X est une va discrète, le graphe de F est une fonction en escaliers Si X estR une va continue, F est continue et x F (x) = −∞ p(u)du, i.e., p(x) = F ′ (x) Cours Probabilité, 1TR, 2015-2016 – p. 19/68
Espérance mathématique Définition P α(xi )pi X va discrète : i∈I R E[α(X)] = X va continue : α(u)p(u)du R X va mixte : P α(x )p + R α(u)p(u)du i i i∈I R Propriétés Constante : E(cste) = cste Linéarité : E(aX + b) = aE(X) + b
Exemples Moments non centrés : E(X n ) (n = 1 : moyenne) n Moments centrés : E [X − E(X)] (n = 2 : variance) Fonction caractéristique : φX (t) = E [exp(itX)] Cours Probabilité, 1TR, 2015-2016 – p. 20/68
Exemples simples Variables aléatoires discrètes X 2 X 2 E [X] = xi P [X = xi ], E X = xi P [X = xi ] i∈I
i∈I
E e
jtX
=
X
ejtxi P [X = xi ]
i∈I
Variables aléatoires continues Z Z 2 E [X] = up(u)du, E X = u2 p(u)du R R Z jtX E e = ejtu p(u)du R
Cours Probabilité, 1TR, 2015-2016 – p. 21/68
Propriétés Variance
2
var(X) = E [X − E(X)]
√
Ecart Type : variance var(aX + b) = a2 var(X)
= E(X 2 ) − E(X)2
Fonction caractéristique Caractérise une loi de probabilité Cas continu Z φX (t) = eitu p(u)du R
est la transformée de Fourier de p. Exemples de calculs Cours Probabilité, 1TR, 2015-2016 – p. 22/68
Changements de variables Problème Étant donnée une variable aléatoire réelle X de loi connue, on cherche à déterminer la loi de Y = g(X) où g est une fonction de R dans R. Variables aléatoires discrètes Définition P [Y = yj ] =
X
p[X = xi ]
i|yj =g(xi )
Exemple Y = (X − 2)2 avec X ∼ P(λ) Cours Probabilité, 1TR, 2015-2016 – p. 23/68
Changements de va continues g bijective Théorème : si X est une va continue à valeurs dans un ouvert OX ⊂ R et g : R → R application bijective de OX dans un ouvert OY ⊂ R différentiable ainsi que son inverse g −1 , alors Y = g(X) est une va continue de densité −1 dx pY (y) = pX g (y) . dy
où
dx dy
est le Jacobien de la transformation.
Idée de preuve Exemple : Y = aX + b avec X ∼ N (m, σ 2 ). Cours Probabilité, 1TR, 2015-2016 – p. 24/68
Changements de va continues g bijective par morceaux On suppose que g est différentiable sur chaque morceau ainsi que son inverse. Méthode : On ajoute la contribution de chaque bijection. Exemple : Y = X 2 avec X ∼ N (0, 1).
Cours Probabilité, 1TR, 2015-2016 – p. 25/68
Que faut-il savoir ? Loi d’une variable aléatoire discrète : ? Loi d’une variable aléatoire continue : ? Appartenance à un intervalle : P [X ∈ ∆] =?
Signification d’une densité : P [X ∈ [x, x + dx[] ≃? Fonction de répartition : F (x) =?
Espérance mathématique : E[X] =?, E[X 2 ] =? Variance : Var[X] =?, Ecart-type : ? Relations utiles : E[aX + b] =?, Var[aX + b] =? Fonction caractéristique : φ(t) =? Changement de variables : ? Cours Probabilité, 1TR, 2015-2016 – p. 26/68
Plan du cours Chapitre 1 : Eléments de base du calcul des probabilités Chapitre 2 : Variables aléatoires réelles Chapitre 3 : Couples de variables aléatoires réelles Définition Fonction de répartition Lois marginales, lois conditionnelles, indépendance Espérances mathématiques Changements de variables Chapitre 4 : Vecteurs Gaussiens Chapitre 5 : Convergence et théorèmes limites Cours Probabilité, 1TR, 2015-2016 – p. 27/68
Couple de va réelles Définition Soit (Ω, C, P ) un espace probabilisé et (Ω′ , C ′ ) un espace probabilisable avec Ω′ ⊂ R2 et C ′ construit à partir des réunions et intersections finies ou dénombrables des pavés (a, b) × (c, d) de R2 . Un couple (X, Y ) de variables aléatoires réelles est une application mesurable de Ω dans Ω′ . notation On notera P [(X, Y ) ∈ ∆] , ∆ ⊂ R2 , la probabilité que le couple (X, Y ) prenne ses valeurs dans ∆.
Cours Probabilité, 1TR, 2015-2016 – p. 28/68
Loi d’un couple de va Variables aléatoires discrètes La loi du couple (X, Y ) est définie par l’ensemble des valeurs possibles du couple (qui est un ensemble fini ou dénombrable) noté {(xi , yj ) , i ∈ I, j ∈ J} et par les probabilités associées pij = P [X P= xi , Y = yj ], i ∈ I, j ∈ J telles que pij ≥ 0 et i,j pij = 1. Variables aléatoires continues La loi du couple (X, Y ) est définie par l’ensemble des valeurs possibles du couple (qui est un ensemble infini non dénombrable), en général une réunion d’intervalles de R2 , et par une densité de probabilité p(x, y) telle que Z Z p(x, y) ≥ 0, et p(x, y)dxdy = 1. R2
Cours Probabilité, 1TR, 2015-2016 – p. 29/68
Propriétés Couples de va discrètes P [(X, Y ) ∈ ∆] =
X
P [X = xi , Y = yj ].
(i,j)|(xi ,yj )∈∆
Couples de va continues P [(X, Y ) ∈ ∆] =
Z Z
p(u, v)dudv ∆
Remarque : signification de p(u, v)
Cours Probabilité, 1TR, 2015-2016 – p. 30/68
Fonction de répartition Définition R2 → [0, 1] F : (x, y) 7−→ F (x, y) = P [X < x, Y < y] Propriétés C’est une fonction étagée lorsque (X, Y ) est un couple de va discrètes C’est une fonction continue lorsque (X, Y ) est un couple de va continues avec Z x Z y ∂ 2 F (x, y) p(u, v)dudv d’où p(x, y) = F (x, y) = ∂x∂y −∞ −∞ Cours Probabilité, 1TR, 2015-2016 – p. 31/68
Lois marginales Cas discret P [X = xi ] = pi. =
X
pij
j∈J
P [Y = yj ] = p.j =
X
pij
i∈I
Cas continu densité de X densité de Y
: :
p(x, .) = p(., y) =
Z
ZR
p(x, y)dy p(x, y)dx
R
Cours Probabilité, 1TR, 2015-2016 – p. 32/68
Lois conditionnelles Les lois conditionnelles d’un couple (X, Y ) sont les lois de X| Y = y et de Y | X = x. Cas discret
Cas continu
pij P [ X = xi | Y = y j ] = p.j pij P [ Y = y j | X = xi ] = pi.
densité de X| Y densité de Y | X
p(x, y) p( x| y) = p(., y) p(x, y) p( y| x) = p(x, .) Cours Probabilité, 1TR, 2015-2016 – p. 33/68
Indépendance Les variables aléatoires X et Y sont indépendantes si ′ ′ P X ∈ ∆, Y ∈ ∆ = P [X ∈ ∆] P Y ∈ ∆ , ∀∆, ∀∆′ Cas discret
pij = pi. p.j
∀i ∈ I, ∀j ∈ J
Cas continu p(x, y) = p(x, .)p(., y) ∀x, ∀y
ou p( x| y) = p(x, .), ∀x, ∀y Cours Probabilité, 1TR, 2015-2016 – p. 34/68
Propriété si X et Y sont des variables aléatoires indépendantes et α et β sont des applications continues de R dans R, alors α (X) et β(Y ) sont des variables aléatoires indépendantes. La réciproque est vraie si α et β sont des applications bijectives. Par contre, dans le cas où α et β ne sont pas bijectives, la réciproque est fausse. On vérifiera par exemple que le couple (X Y ) de densité ( 1 (1 + xy) si |x| < 1 et |y| < 1 4 f (x, y) = 0 sinon est tel que X 2 et Y 2 sont indépendantes alors que X et Y ne le sont pas.
Cours Probabilité, 1TR, 2015-2016 – p. 35/68
Espérance mathématique Définition E[α(X, Y )] =
(
X et Y va discrètes : X et Y va continues :
P α(xi , yj )pij i,j∈I×J R α(u, v)p(u, v)dudv R2
Propriétés Constante : E(cste) = cste Linéarité : E [aα(X, Y ) + bβ(X, Y )] = aE [α(X, Y )] + bE [β(X, Y )] Définition cohérente (cas continu) : Z Z E [α(X)] = α(u)p(u, v)dudv = α(u)p(u, .)du R2
R
Indépendance : si X et Y sont indépendantes, alors E [α(X)β(Y )] = E [α(X)] E [β(Y )] , ∀α∀β
Cours Probabilité, 1TR, 2015-2016 – p. 36/68
Exemples Moments centrés et non centrés mij = E (X i Y j ) , i ∈ N, j ∈ N
µij = E ([X − E(X)]i [Y − E(Y )]j ) , i ∈ N, j ∈ N
Covariance et matrice de covariance = E ([X − E(X)][Y − E(Y )]) = E (XY ) − E(X)E(Y ) X − E[X] varX cov(X, Y ) T , V = E VV = Y − E[Y ] cov(X, Y ) varY cov(X, Y )
Fonction caractéristique T φX,Y (u1 , u2 ) = E exp(iu W ) , u = (u1 , u2 )T , W = (X, Y )T .
Cours Probabilité, 1TR, 2015-2016 – p. 37/68
Coefficient de Corrélation Définition r(X, Y ) =
cov(X, Y )
σX σY
,
où σX et σY sont les écart-types des va X et Y . Propriétés −1 ≤ r(X, Y ) ≤ 1 r(X, Y ) = ±1 si et ssi X et Y sont reliées par une relation affine si X et Y sont des va indépendantes, alors r(X, Y ) = 0 mais la réciproque est fausse Conclusion r(X, Y ) est une mesure imparfaite mais très pratique du lien entre les va X et Y . Cours Probabilité, 1TR, 2015-2016 – p. 38/68
Espérance conditionnelle Théorème E [α(X, Y )] = EX [EY [α(X, Y )|X]]
Exemple Y =
N X
Xi
i=1
où P [Xi = 1] = p, P [Xi = 0] = q = 1 − p et N est une va.
Cours Probabilité, 1TR, 2015-2016 – p. 39/68
Changements de variables Problème Étant donné un couple de variables aléatoires réelles (X, Y ) de loi connue, on cherche à déterminer la loi de (U, V ) = g(X, Y ) où g est une fonction de R2 dans R2 et U et V sont deux fonctions de R2 dans R. Variables aléatoires discrètes Définition P [(U, V ) = (uk , vl )] =
X
p[X = xi , Y = yj ]
i,j|g(xi ,yj )=(uk ,vl )
Exemple voir TD Cours Probabilité, 1TR, 2015-2016 – p. 40/68
Changements de va continues de R2 → R2 Théorème pour g bijective si (X, Y ) est un couple de va continues à valeurs dans un ouvert O ⊂ R2 et g : R2 → R2 est une application bijective de O dans un ouvert ∆ ⊂ R2 continument différentiable ainsi que son inverse g −1 , alors (U, V ) = g(X, Y ) est un couple de va continues de densité −1 pU,V (u, v) = pX,Y g (u, v) |det(J)|, où J est la matrice Jacobienne définie par ! J=
∂x ∂u ∂y ∂u
∂x ∂v ∂y ∂v
Cours Probabilité, 1TR, 2015-2016 – p. 41/68
Changements de va continues de R2 → R2 Exemple X ∼ N (0, 1), Y ∼ N (0, 1), X et Y va indépendantes. Quelle est la loi de (R, Θ) avec X = R cos Θ et Y = R sin Θ ? Généralisation Si g est bijective par morceaux, on ajoute les contributions de chaque morceau.
Cours Probabilité, 1TR, 2015-2016 – p. 42/68
Changements de va continues de R2 → R Problème Si (X, Y ) est un couple de va continues de loi connue et g : R2 → R, on cherche la loi de U = g(X, Y ). Solutions
Variable intermédiaire : on introduit une va V = h(X, Y ) (e.g., V = X ou V = Y ), on cherche la loi du couple (U, V ), puis la loi marginale de U Calcul de la fonction de répartition de U Z P [U < u] = P [g(X, Y ) < u] = P [(X, Y ) ∈ ∆u ] = p(x, y)dxdy, ∆u
Cas particulier de U = X + Y , X et Y indépendantes Calcul de la fonction caractéristique de U . Cours Probabilité, 1TR, 2015-2016 – p. 43/68
Que faut-il savoir ? Loi d’un couple de va discrètes et continues : ? Appartenance à un intervalle : P [(X, Y ) ∈ ∆] =?
Comment calculer les lois marginales d’un couple ? Comment calculer les lois conditionnelles d’un couple ? Indépendance de deux variables aléatoires ? Espérance mathématique : E[XY ] =? Covariance : cov(X, Y ) =? Coeff. de corrélation : r(X, Y ) =?, r(X, Y ) ∈? Intérêt ? Espérances conditionnelles : ?
Trois méthodes de changements de variables : ?
Cours Probabilité, 1TR, 2015-2016 – p. 44/68
Plan du cours Chapitre 1 : Eléments de base du calcul des probabilités Chapitre 2 : Variables aléatoires réelles Chapitre 3 : Couples de variables aléatoires réelles Chapitre 4 : Vecteurs Gaussiens Définition Transformation affine Lois marginales, lois conditionnelles, indépendance Lois du chi2, de Student et de Fisher Chapitre 5 : Convergence et théorèmes limites Cours Probabilité, 1TR, 2015-2016 – p. 45/68
Vecteur Gaussien Définition On dit que X = (X1 , ..., Xn )T suit une loi normale à n dimensions et on notera X ∼ Nn (m, Σ), si la densité de probabilité de X s’écrit 1 1 p exp − (x − m)T Σ−1 (x − m) p(x) = 2 (2π)n/2 det(Σ) où x ∈ Rn , m ∈ Rn et Σ ∈ Mn (R) est une matrice symétrique définie positive. Cas particuliers n=1 Σ diagonale Cours Probabilité, 1TR, 2015-2016 – p. 46/68
Signification de m et Σ Fonction caractéristique T 1 T iu X T φ(u) = E e = exp iu m − u Σu 2
Fonction génératrice des moments T 1 T u X T θ(u) = E e = exp u m + u Σu 2 m et Σ m est le vecteur moyenne Σ est la matrice de covariance
Cours Probabilité, 1TR, 2015-2016 – p. 47/68
Cas Bivarié Fonction caractéristique 1 1 φ(u) = exp i(u1 m1 + u2 m2 ) − Σ11 u21 − Σ22 u22 − Σ12 u1 u2 2 2 Dérivées partielles ∂φ(u) = φ(u)(im1 − Σ12 u2 − Σ11 u1 ) ∂u1 ∂φ(u) = φ(u)(im2 − Σ12 u1 − Σ22 u2 ) ∂u2 ∂ 2 φ(u) = φ(u)(im1 − Σ12 u2 − Σ11 u1 )(im2 − Σ12 u1 − Σ22 u2 ) − Σ12 φ(u) ∂u1 ∂u2 Moments ∂φ(u) ∂φ(u) = iE[X1 ] = im1 , = iE[X2 ] = im2 ∂u1 u=0 ∂u2 u=0 ∂ 2 φ(u) = −E[X1 X2 ] = −m1 m2 − Σ12 ∂u ∂u 1
2 u=0
Cours Probabilité, 1TR, 2015-2016 – p. 48/68
Transformation affine Problème : Soit X ∼ Nn (m, Σ) un vecteur Gaussien. Quelle est la loi de Y = AX + b, où Y est un vecteur aléatoire de Rp , b ∈ Rp et A est une matrice de taille p × n avec p ≤ n ?
Idée : on calcule la fonction génératrice de Y = AX + b 1 T T θY (v) = exp v (Am + b) + v AΣAT v 2 Conclusion Y ∼ Np Am + b, AΣA
T
si A est de rang p (i.e., de rang maximal). Cours Probabilité, 1TR, 2015-2016 – p. 49/68
Lois marginales Hypothèses ! X′ X= ∼ Nn (m, Σ), m = ′′ X
!
m′ m′′
,Σ =
Σ′ MT
M Σ′′
!
Problème Quelle est la loi de X ′ ? Conclusion ′
′
X ∼ Np m , Σ
où p est la dimension de X ′ .
′
Cours Probabilité, 1TR, 2015-2016 – p. 50/68
Indépendance Hypothèses ! X′ X= ∼ Nn (m, Σ), m = ′′ X
m′ m′′
!
,Σ =
Σ′ MT
M Σ′′
!
Conclusion X ′ et X ′′ sont des vecteurs indépendants si et ssi M = 0.
Cours Probabilité, 1TR, 2015-2016 – p. 51/68
Loi du chi2 Définition Si X1 , ..., Xn sont n va indépendantes de loi N (0, 1), Pn alors Y = i=1 Xi2 ∼ χ2n suit une loi du chi2 à n degrés de liberté. Propriétés
Densité de probabilité : pn (y) =
n
y
y 2 −1 e− 2 IR+ (y) n n 2 2 Γ( 2 ) − n2
Fonction caractéristique : φn (t) = (1 − 2it) Moyenne et variance : E(Y ) = n et var(Y ) = 2n Additivité : si Y ∼ χ2n , Z ∼ χ2m , Y et Z ind. alors Y + Z ∼ χ2n+m Cours Probabilité, 1TR, 2015-2016 – p. 52/68
Loi de Student Définition Si X ∼ N (0, 1), Y ∼ χ2n , X et Y indépendantes, alors Propriétés
X Z = q ∼ tn Y n
Densité de probabilité
− n+1 2 2 Γ z 1+ IR+ (z) pn (z) = √ n n nπΓ 2 n+1 2
Moyenne et variance (pour n > 2)
n E(Z) = 0 et var(Z) = n−2 pour n = 1, on a une loi de Cauchy Cours Probabilité, 1TR, 2015-2016 – p. 53/68
Loi de Fisher Définition Si X ∼ χ2n , Y ∼ χ2m , X et Y indépendantes, alors Propriétés
X/n Z= ∼ fn,m Y /m
Densité de probabilité connue (voir livres) Moyenne et variance (pour m > 4) m 2m2 (n + m − 2) E(Z) = et var(Z) = m−2 n(m − 4)(m − 2)2
Cours Probabilité, 1TR, 2015-2016 – p. 54/68
Que faut-il savoir ? X ∼ Nn (m, Σ)
Signification de m et de Σ ? Transformation affine (Y = AX + b) d’un vecteur gaussien ? Condition sur la matrice A associée ? Lois marginales d’un vecteur gaussien ? Indépendance de deux sous vecteurs d’un vecteur gaussien ? Pn loi de Y = i=1 Xi2 ∼ χ2n ? Cours Probabilité, 1TR, 2015-2016 – p. 55/68
Plan du cours Chapitre 1 : Eléments de base du calcul des probabilités Chapitre 2 : Variables aléatoires réelles Chapitre 3 : Couples de variables aléatoires réelles Chapitre 4 : Vecteurs Gaussiens Chapitre 5 : Convergence et théorèmes limites Convergence (en loi, en probabilité, en moyenne quadratique, presque sure) Théorèmes limites (loi des grands nombres, théorème de la limite centrale)
Cours Probabilité, 1TR, 2015-2016 – p. 56/68
Convergence en loi Définition La suite de va X1 , ..., Xn converge en loi vers la va X si et ssi la suite des fonctions de répartition Fn (x) = P [Xn < x] converge simplement vers F (x) = P [X < x] en tout point x où F est continue. Notation L
Xn → X n→∞
Exemple 1 1 P [Xn = 1] = et P [Xn = 0] = 1 − n n
Cours Probabilité, 1TR, 2015-2016 – p. 57/68
Convergence en loi Propriétés Théorème de Levy Xn cv en loi vers X si et ssi φ continue en t = 0 et itX itXn → φ(t) = E e , ∀t. φn (t) = E e n→∞
Si Xn est une suite de va continues de densités L pn (x) et que pn (x) → p(x) p.p., alors Xn → X . n→∞
n→∞
L
Si Xn → X et g : R → R continue, alors n→∞
L
g(Xn ) → g(X). n→∞
Cours Probabilité, 1TR, 2015-2016 – p. 58/68
Convergence en probabilité Définition La suite de va X1 , ..., Xn converge en probabilité vers la va X si et ssi ∀ǫ > 0, on a P [|Xn − X| > ǫ] → 0. n→∞
Notation P
Xn → X n→∞
Exemple : Xn de densité pn (x) = Propriété
ne−nx . (1+e−nx )2
P
Si Xn → X et g : R → R continue, alors n→∞
P
g(Xn ) → g(X). n→∞
Cours Probabilité, 1TR, 2015-2016 – p. 59/68
Convergence en moyenne quadratique Définition La suite de va X1 , ..., Xn converge en moyenne quadratique vers la va X si et ssi 2 E (Xn − X) → 0. n→∞
Notation
MQ
Xn → X n→∞
Exemple 1 1 P [Xn = n] = p et P [Xn = 0] = 1 − p n n
avec p = 2 et p = 3. Cours Probabilité, 1TR, 2015-2016 – p. 60/68
Convergence presque sûre Définition La suite de va X1 , ..., Xn converge presque sûrement vers la va X si et ssi Xn (ω) → X(ω), n→∞
∀ω ∈ A|P (A) = 1.
Notation PS
Xn → X n→∞
Comparaison entre les différents types de convergence
Cours Probabilité, 1TR, 2015-2016 – p. 61/68
Loi faible des grands nombres Loi faible des grands nombres Si X1 , ..., Xn sont des va indépendantes et de même loi de moyenne E [Xk ] = m < ∞, alors la va 1 Pn X n = n k=1 Xk converge en probabilité vers m. Preuve
h
ϕX n (t) = E e
it n1
Pn
k=1
Xk
i
=E
"
n Y
k=1
e
i nt Xk
#
n t = ϕ n
Dév. de Taylor de φ ϕ (t) = ϕ (0) + tϕ′ (0) + tλ (t) = 1 + itm + tλ (t)
Cours Probabilité, 1TR, 2015-2016 – p. 62/68
Preuve On en déduit
t t t t t t =n i m+ λ ln ϕX n (t) = n ln 1 + i m + λ n n n n n n
d’où
lim ϕX n (t) = eitm
∀t
n→∞
i.e., L
P
Xn → m ⇔ Xn → m n→∞
n→∞
Cours Probabilité, 1TR, 2015-2016 – p. 63/68
Loi forte des grands nombres Loi forte des grands nombres Si X1 , ..., Xn sont des va indépendantes et de même loi de moyenne E [Xk ] = m < ∞ et de variance σ 2 < ∞, 1 Pn alors la va X n = n k=1 Xk converge en moyenne quadratique vers m. Preuve E
h
X −m
2 i
n n 1 XX = 2 E [(Xk − m) (Xl − m)] n k=1 l=1
Mais E [(Xk − m) (Xl − m)] =
(
σ 2 si k = l 0 si k 6= l
Cours Probabilité, 1TR, 2015-2016 – p. 64/68
Preuve Donc E
i.e.,
h
Xn − m
2 i
σ2 = → 0 n n→∞
MQ
Xn → m n→∞
Cours Probabilité, 1TR, 2015-2016 – p. 65/68
Théorème de la limite centrale Théorème de la limite centrale Si X1 , ..., Xn sont des va indépendantes et de même loi 2 < ∞, de moyenne E [Xk ] = m < ∞ et de variance σ Pn X −nm converge en alors la va centrée réduite Yn = k=1√ k2 nσ loi vers la loi normale N (0, 1). Preuve
ϕYn (t) = E e
Mais
itYn
=e
√ itm n − σ
n Y
k=1
h
E e
i σ√t n Xk
i
h t i t i σ√n Xk √ E e =ϕ σ n Cours Probabilité, 1TR, 2015-2016 – p. 66/68
Preuve Donc
√ t itm n √ + n ln ϕ ln [ϕYn (t)] = − σ σ n
En utilisant le développement de Taylor de ϕ
2 t ϕ (t) = ϕ (0) + tϕ′ (0) + ϕ′′ (0) + t2 λ (t) 2
On en déduit ln [ϕYn (t)] = − lim ϕYn (t) = e
n→∞
t2 −2
t2 2
+
t2 n
λ
t √
σ n
L
∀t ⇔ Yn → N (0, 1) n→∞
Cours Probabilité, 1TR, 2015-2016 – p. 67/68
Que faut-il savoir ? Convergence en loi ? Convergence en moyenne quadratique ? 1 Pn k=1 Xk converge en probabilité vers ? Conditions ? n 1 Pn k=1 Xk converge en moyenne quadratique vers ? n Conditions ? Yn =
Pn
Xk −? ?
k=1
converge en loi vers ?
Cours Probabilité, 1TR, 2015-2016 – p. 68/68
