NC3 Probabilité condtionnelle et indépendance

L2 MIASHS 51EE07MT Probabilités & Statistiques

Note de cours 3

Observons un phénomène aléatoire auquel est associé le modèle aléatoire (Ω, A , P). Pour un événement B donné, on veut évaluer la fréquence d’occurrence d’un événement A sachant que B est réalisé. Pour tout événement C , NC désigne le nombre d’observations où C est réalisé et N est le nombre d’observations du même phénomène aléatoire : la fréquence NC /N est une approximation de P(C ). Si l’on conditionne les observations à la réalisation de B, la fréquence d’occurrence de A sachant que B est réalisé est :

Université Paris Diderot 2016 - 2017

Probabilités conditionnelles et indépendance

1 Probabilités conditionnelles Soit (Ω, A , P) un espace probabilisé, c’est-à-dire la donnée d’une σ-algèbre A sur Ω et d’une mesure de probabilités P définie sur A . Par souci de simplicité, nous conservons ces notations pour désigner un espace probabilisé générique.

N A∩B = NB

P(R) = 4

52 5

!−1

=

∀A ∈ A

!−1

=

P(A | B) =

P(A ∩ B) . P(B)

Démonstration. Montrons que P( · | B), application de A dans R+ , est une mesure de probabilités sur A . D’une part, P(Ω | B) = P(B)−1 P(B) = 1. D’autre part, vérifions que P( · | B) est σ-additive. Soit (A n )n∈N ∈ A N une suite à valeurs dans A , constituée d’événements de A deux à deux disjoints (i.e. A n ∩ A m = ; pour tout (m, n) ∈ N2 tel que m 6= n). Comme A est stable par intersection finie ou dénombrable, (A n ∩ B)n∈N ∈ A N est une suite à valeurs dans A , constituée d’événements de A deux à deux disjoints car (A n ∩B)∩(A m ∩B) = (A n ∩ A m )∩B = ;∩B = ; pour tout (m, n) ∈ N2 S S tel que m 6= n. Comme ( n∈N A n ) ∩ B = n∈N A n ∩ B, on obtient que : µµ ¶ ¶ µ ¶ X [ [ P An ∩ B = P An ∩ B = P(A n ∩ B),

Supposons que le distributeur de cartes place la cinquième carte face au-dessus et que celle-ci soit un as de carreau. Que devient la probabilité P(R | A  ) d’obtenir une suite royale sachant que l’on a tiré l’as de carreau ? Pour obtenir une suite royale, celle-ci ne peut être que de carreau et il convient de tirer les 4 cartes 10-V-Q-K de carreau, soit une seule partie de 4 cartes parmi toutes les parties de 4 cartes tirées dans le reste du paquet. Ainsi, 51 P(R | A  ) = 4

P(A ∩ B) . P(B)

Proposition et définition 1.1.1. Soient (Ω, A , P) un espace probabilisé et un événement B ∈ A tel que P(B) > 0. On appelle mesure de probabilités conditionnelle sachant B la mesure de probabilités sur A notée P( · | B) ou PB telle que :

4.2.3.4.5 1 1 = = . 52.51.50.49.48 22 .3.5.72 .13.17 649740

Ã

≃

Ceci nous conduit à proposer la définition suivante.

Pour introduire la notion de probabilité conditionnelle, examinons un simple de jeu de cartes. On distribue une main, i.e. cinq cartes, issue d’un jeu de 52 cartes (4 couleurs de 13 valeurs chacune). L’espace fondamental Ω est l’ensemble des parties de Ω ayant 5 éléments, A = P (Ω) et P est la mesure de probabilité uniforme sur Ω. On appelle suite royale toute suite 10-V-Q-K-A de même couleur : il y en a donc 4. La probabilité P(R) d’obtenir une suite royale est donc : Ã

N A∩B N NB N

2.3.4 13 = P(R). 51.50.49.48 5

n∈N

P

L’information a priori d’obtenir un as de carreau modifie la modélisation de l’expérience et l’expression de l’événement R : la probabilité d’obtenir une suite royale sachant qu’on a tiré un as de pique est multipliée par 2, 6.

µµ

[

n∈N

n∈N

¶¯ ¶ ¯ An ¯ B =

1 P P(B)

n∈N

µµ

[

n∈N

¶

¶ An ∩ B =

X 1 X P(A n ∩ B) = P(A n | B) P(B) n∈N n∈N

On a ainsi prouvé que P( · | B) est une mesure de probabilités. Remarque 1.1.2. Il résulte de la définition même que, pour tout événement A ∈ A disjoint de B, P(A | B) = 0. Pour cette raison, on dit que P( · | B) est concentrée sur B.

1.1 Définition et propriétés

Proposition 1.1.3. Soient (Ω, A , P) un espace probabilisé et B ∈ A tel que P(B) > 0

L’exemple introductif illustre le fait que conditionner à la réalisation d’un état précis l’observation d’un phénomène aléatoire modifie l’ensemble des observables et, dès lors, leur fréquence d’occurrrence.

1. La mesure de probabilité P( · | B jouit de toutes les propriétés habituelles des mesures de probabilité. 1

Démonstration. Soit A ∈ A . La famille finie ou dénombrable (A ∩ B j ) j ∈J ∈ A J est une famille d’événements deux à deux disjoints car, pour tout ( j , k) ∈ J 2 tel que j 6= k, (A∩B j )∩(A∩B k ) = A∩(B j ∩B k ) = A∩; = ; et de réunion ∪ j ∈J A∩B j = A∩(∪ j ∈J B j ) = A ∩ Ω = A. Comme J est fini ou dénombrable, la σ-additivité de P montre que : X ¡ ¢ X P(A) = P ∪ j ∈J A ∩ B j = P(A ∩ B j ) = P(A | B j )P(B j ).

2. Pour tout événement A ∈ A et tout événement B ∈ A tel que P(B) > 0, on dispose de l’égalité : P(A ∩ B) = P(A | B) P(B), formule particulièrement utile pour calculer la probabilité d’une intersection de deux événements. ˜ = PB la P-probabilité conditionnelle sachant B. 3. Notons P ˜ (C ) > 0, c’est-à-dire P(B ∩ C ) > 0. Alors, la P ˜ -probabilité saSoit C ∈ A tel que P ˜ C , coïncide avec la mesure de probabilité conditionnelle PB ∩C . chant C , P

j ∈J

puisque, pour tout j ∈ J , P(B j ) > 0 et P(A ∩ B j ) = P(A | B j )P(B j ).

Commentaire 1.2.3. Pour illustrer cette formule, imaginons choisir au hasard un individu dans une population donnée. L’ensemble Ω représentant cette population d’individus est stratifiée suivant r ∈ N∗ caractères distincts, la sous-population ayant le caractère j ∈ N∗r formant l’événement B j . Connaissant pour tout j ∈ N∗r la probabilité qu’un événement A ait lieu dans la sous-population B j , i.e. P(A | B j ), on peut donc reconstituer la probabilité de A à l’aide de ces probabilités et des probabilités (P(B j ))1É j Ér d’appartenir à l’une des sous-populations B j . On utilise cette idée de stratification des observations pour déterminer la probabilité qu’un individu (pris au hasard) appartienne à l’une des strates B j sachant qu’un événement A est réalisé. C’est l’objet même du :

Démonstration. Seul le dernier point est à prouver. Pour tout A ∈ A , ˜ C (A) = P

˜ (A ∩ C ) P(A ∩ C ∩ B)/P(B) P(A ∩ C ∩ B) P = = = PB ∩C (A). ˜ (C ) P(C ∩ B)/P(B) P(C ∩ B) P

˜ C = PB ∩C , autrement dit (PB )C = PB ∩C . Ainsi, on obtient l’égalité P Exemple 1.1.4 (L E CAS DE LA PROBABILITÉ UNIFORME). Soient Ω un ensemble fini non vide et A = P (Ω) la σ-algèbre des parties de Ω. On munit l’espace probabilisable (Ω, A ) de la mesure de probabilité uniforme P = Punif telle que ∀A ∈ A

Punif (A) = #(A)/#(Ω).

Théorème 1.2.4 (F ORMULE DE B AYES). Sous les mêmes hypothèses que dans la proposition 1.2.2, pour tout événement A ∈ A tel que P(A) > 0 et tout j ∈ J , la probabilité conditionnelle de B j sachant A peut s’écrire sous la forme :

Soit B ⊆ Ω non vide de sorte que P(B) > 0. Pour tout A ∈ A , la P-probabilité conditionnelle de A sachant B vaut PB (A) =

Ainsi, PB ({ω}) =

1 #(B )

j ∈J

P(A ∩ B) = #(A ∩ B)/#(B). P(B)

P(B j | A) = P

1B (ω) si ω ∈ Ω : PB est la mesure de probabilité uniforme sur B.

P(A | B j ) P(B j ) k∈J

P(A | B k ) P(B k )

.

(1.2)

Démonstration. Pour tout événement A ∈ A tel que P(A) > 0 et tout j ∈ J , on a les égalités : P(A)P(B j | A) = P(B j ∩ A) = P(A | B j )P(B j ).

1.2 Applications Définition 1.2.1 (S YSTÈME COMPLET D ’ ÉVÉNEMENTS). Soit (Ω, A , P) un espace probabilisé. On appelle système complet d’événements de A toute famille finie ou dénombrable (B j ) j ∈J ∈ A J d’événements deux à deux disjoints, i.e. B j ∩ B k = ; pour tout ( j , k) ∈ J 2 tel que j 6= k, de réunion Ω = ∪ j ∈J B j et telle que P(B j ) > 0 pour tout j ∈ J .

En utilisant l’expression (1.1) de P(A), on obtient l’expression (1.2) souhaitée. Voyons sur un exemple très classique une application concrète du calcul bayésien. Exemple 1.2.5 (L ES FAUX POSITIFS). Dans une population donnée, la proportion d’individus atteints d’une certaine maladie est x. On dispose d’un test de dépistage de cette maladie et on voudrait étudier sa fiabilité. On sait que, lorqu’on effectue le test de dépistage sur 100 personnes considérées comme malades, 98 ont un résultat au test positif, et que, lorsqu’on effectue le test de dépistage sur 100 personnes considérées comme saines, une seule a un résultat au test positif. On choisit au hasard un individu dans la population et on lui fait passer le test. On note f (x) la probabilité qu’une personne ayant un test positif soit malade.

Proposition 1.2.2 (F ORMULE DES PROBABILITÉS TOTALES). Soient (Ω, A , P) un espace probabilisé et (B j ) j ∈J ∈ A J un système complet d’événements de A . Pour tout événement A ∈ A , la P probabilité de A est barycentre des probabilités conditionnelles (P(A | B j )) j ∈J : X P(A) = P(A | B j )P(B j ). (1.1) j ∈J

2

1. Exprimer f (x) en fonction de x ∈ [0, 1]. Notons (Ω, A , P) l’espace probabilisé sous-jacent à l’expérience, M l’événement que l’individu dépisté est atteint de la maladie et T l’événement que l’individu dépisté a un résultat positif au test. Par hypothèse, x = P(M), α = P(Tc | M) = 2% et β = P(T | Mc ) = 1%. La formule de Bayes montre que f (x) = P(M | T) =

2.1 Indépendance de deux événements Au paragraphe précédent, on a défini la notion de probabilité conditionnelle pour tenir compte de l’information a priori dont pourrait disposer le modélisateur. Cependant, sur un espace probabilisé (Ω, A , P), la probabilité conditionnelle d’un événement A ∈ A sachant B ∈ A pourrait ne pas être modifiée par la connaissance de B : P(A | B) = P(A), autrement dit : P(A ∩ B) = P(A) P(B). C’est la notion même d’indépendance de deux événements. D’où la :

P(T | M)P(M) (1 − α)x = . P(T | M)P(M) + P(T | Mc )P(Mc ) (1 − α)x + β(1 − x)

Définition 2.1.1. Soit (Ω, A , P) un espace probabilisé. Deux événements A ∈ A et B ∈ A sont indépendants pour la probabilité P ou P-indépendants si et seulement si :

2. On considère que le test est fiable lorsque la probabilité qu’un individu ayant un test positif soit malade est supérieure à 95%. Le test est-il fiable si la proportion d’individus atteints de la maladie est de 5% ? À partir de quelle valeur de la proportion d’individus atteints de la maladie le test est-il fiable ? On vérifie aisément que f est une application strictement croissante de [0, 1] sur lui-même avec f (0) = 0 et f (1) = 1. La fiabilité du test est déterminée par le niveau maximal γ de faux positifs. Le test est donc fiable si et seulement si f (x) Ê 1 − γ ⇔ x Ê xγ où xγ =

P(A ∩ B) = P(A) P(B).

Exemple 2.1.2. Considérons le lancer de deux dés parfaits et distinguables (l’un est vert, l’autre rouge). L’espace des possibles Ω est donc l’ensemble des couples formés d’entiers compris entre 1 et 6 : Ω = (N∗6 )2 . Les deux dés étant parfaits, on choisit sur l’espace probabilisable fini (Ω, P (Ω)) la mesure de probabilité uniforme : si ω ∈ Ω, P({ω}) = 1/36. Notons A l’événement « le dé vert donne 2 » et S k l’événement « la somme des deux chiffres vaut k ». Clairement, A = {(2, l) | l ∈ N∗6 } et P(A) = 1/6. De même, S 6 = {(1, 5), (2, 4), (3, 3), (4, 2), (5, 1)} et S 7 = {(1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6, 1)}. On en déduit que P(A | S 6 ) = #(S 6 ∩ A)/#(S 6 ) = 1/5 et P(A|S 7 ) = #(S 7 ∩ A)/#(S 7 ) = 1/6. A et S 7 sont donc P-indépendants mais A et S 6 ne le sont pas.

β(1 − γ) . β(1 − γ) + (1 − α)γ

19 19 95 = = ≃ 16, 23%. 95 + 5.98 19 + 98 117 La proportion minimale de la population atteinte, à partir de laquelle le test peut être considéré comme fiable, s’élève donc à 16, 23%. Comme x = 5%, le test en question n’est évidemment pas fiable.

Ici, γ = 5% et xγ =

Remarque 2.1.3. Considérons deux événements A ∈ A et B ∈ A . Si P(B) = 0, comme A ∩ B ⊆ B, P(A ∩ B) É P(B) = 0 et P(A ∩ B) = 0 = P(A)P(B). Autrement dit, si l’un des deux événements A ou B est de P-probabilité nulle, A et B sont P-indépendants. Supposons maintenant que P(B) > 0. Alors, A et B sont P-indépendants si et seulement si P(A | B) = P(A). La théorie de l’information fournit ainsi une interprétation à la notion d’indépendance : deux événements sont indépendants sous une probabilité P si l’information fournie par le premier événement ne donne aucune information sur le deuxième événement, ces informations étant mesurés par P. En voici une illustration quasi évidente. Considérons le tirage d’une boule prise dans une urne qui contient deux boules, une rouge et une noire. Si on réalise l’expérience sans remettre la boule tirée dans l’urne, et que la première boule tirée est rouge, on peut déduire de cette information que la deuxième boule tirée est noire et ne peut être rouge. Les deux événements R1 et R2 ne sont donc pas indépendants. Si on remet la première boule dans l’urne avant un

C OMMENTAIRE . Ce résultat peut surprendre : l’usage d’un test sanguin semble totalement inutile. Ici, le très haut niveau de faux positifs découle de la très faible occurrence de la maladie. Le calcul montre qu’il est illusoire d’effectuer un test sanguin sur la totalité de la population si la maladie ne concerne qu’une fraction trop faible de la population. C’est une des raisons principales pour lesquelles il est impératif de cibler les sous-populations les plus exposées à la maladie et d’intensifier une information et une éducation à la santé. Bien entendu, l’usage (sérieux et responsable) des probabilités est un outil majeur des sciences médicales.

2 Indépendance La notion d’indépendance probabiliste est, malgré l’extrême simplicité de sa définition, l’une des idées mathématiques les plus présentes mais aussi les plus subtiles. 3

deuxième tirage, l’information du premier événement (la boule est rouge) ne fournit aucune information sur la couleur de la deuxième boule. Les deux événements R1 et R2 sont alors indépendants.

en résulte que, si I est une partie finie de cardinal n ∈ N∗ , une famille d’événements (A i )i∈I ∈ A I est P-indépendante si 2n − n − 1 égalités du type (2.1) sont satisfaites. La complexité algorithmique de la P-indépendance est donc exponentielle !

Remarque 2.1.4. L’indépendance de deux événements dépend aussi du choix de la probabilité. Sur l’espace fondamental Ω = N∗4 muni de la σ-algèbre complète P (Ω), considérons la mesure de probabilité uniforme Punif telle que Punif ({x}) = 41 pour tout ˜ ({2}) = 0. ˜ telle que P ˜ ({1}) = P ˜ ({3}) = P ˜ ({4}) = 1 et P x ∈ Ω et la mesure de probabilité P 3 Il est immédiat de constater que A = {1, 2}, B = {2, 3} sont Punif -indépendants mais ne ˜ -indépendants. sont pas P

Remarque 2.2.3 (L A P - INDÉPENDANCE DEUX À DEUX N ’ EST PAS LA P - INDÉPENDANCE). Si la famille d’événements (A i )i∈I ∈ A I est P-indépendante, les événements A α et A β sont P-indépendants pour toute paire d’indices {α, β} ⊆ I . Mais il peut exister une famille d’événements deux à deux P-indépendants qui n’est pas P-indépendante. Voici un exemple simple. Sur l’espace fondamental Ω = N∗4 muni de la σ-algèbre complète P (Ω) et de la mesure de probabilité uniforme P, considérons les événements A = {1, 2}, B = {2, 3} et C = {3, 4}. La famille finie (A, B,C ) n’est pas Pindépendante alors que les événements A, B,C sont deux à deux P-indépendants. En effet, P({x}) = 41 pour tout x ∈ Ω et P(A) = P(B) = P(C ) = 21 , de sorte que les événements A, B,C sont deux à deux P-indépendants. Mais, A ∩ B ∩ C = ; de sorte que P(A ∩ B ∩ C ) = 0 6= 81 = P(A)P(B)P(C ).

Proposition 2.1.5. Soit (Ω, A , P) un espace probabilisé. Tout événement A ∈ A est P-indépendant avec ; ou Ω. Soient A et B deux événements P-indépendants. Alors, C et D sont P-indépendants pour tout (C , D) ∈ {;, A, A c , Ω} × {;, B, B c , Ω}. Démonstration. Soit A ∈ A . Si B = ;, on sait déjà que A et B sont P-indépendants. Si B = Ω, c’est clair. Supposons donnés deux événements P-indépendants A et B. La relation d’indépendance étant symétrique, il suffit de prouver que A c et B sont P-indépendants. Mais B = (B ∩ A) ∪ (B ∩ A c ) et l’on calcule :

Remarque 2.2.4. Le lecteur peut s’étonner de la nécessité de parler de la Pindépendance d’une famille quelconque d’événements. Mais, pour ne prendre que l’exemple très intuitif du jeu de Pile ou Face infini, il paraît raisonnable de penser que, pour le cas d’un dé parfait et d’un joueur-robot, la famille dénombrable des lancers soit P-indépendante. Mais, là, le problème est de bien définir la mesure de probabilités sous-jacente qui réalise cette P-indépendance. On retrouve ici notre vieux problème de prouver l’existence de mesures de probabilités pour un espace fondamental et une σ-algèbre précis.

P(B ∩ A c ) = P(B) − P(B ∩ A) = P(B) − P(B) P(A) = P(B)(1 − P(A)) = P(B) P(A c )

ce qui prouve la P-indépendance de B et A c .

2.2 Indépendance d’une famille d’événements Lorsqu’on observe non pas deux événements mais une collection (A i )i∈I quelconque d’événements de A , on souhaite définir la P-indépendance de (A i )i∈I comme le fait que la connaissance d’informations sur toute sous-collection finie (A i )i∈J ne dépend pas de celle d’autre sous-collection (A i )i∈K si J et K sont disjoints. D’où la : Définition 2.2.1. Soit (Ω, A , P) un espace probabilisé. Une famille quelconque d’événements (A i )i∈I ∈ A I est P-indépendante, i.e. constituée d’événements indépendants pour la probabilité P, si et seulement si, pour toute partie J finie de I , ¡\ ¢ Y A i = P(A i ). P (2.1) i∈J

i∈J

Q T Remarque 2.2.2. On convient que, si J = ;, i∈J A i = Ω et i∈J P(A i ) = 1. L’égalité (2.1) est donc vérifiée pour les parties finies de I qui sont soit ; soit un singleton. Il

4