Biostatistiques et statistiques appliquées aux sciences expérimentales

Biostatistiques et statistiques appliquées aux sciences expérimentales Introduction aux statistiques Bayésiennes

Jérémie Mattout

Cogmaster A4 2006-2007

Programme de la séance

• Introduction • Rappels sur la théorie des probabilités • Principes de l’inférence Bayésienne • Application en Neuroimagerie • Conclusion

INTRODUCTION

Introduction

Statistiques: domaine cousin mais distinct des Mathématiques

Statistiques appliquées

Statistiques théoriques/mathématiques

Statistiques descriptives présentation, description et résumé des données

Statistiques inférentielles Modélisation et prise en compte du caractère aléatoire et de l’incertitude Pour le test d’hypothèse et/ou l’inférence de variables cachées ou inconnues

Introduction

Statistiques: ont connu leur véritable essor au XXème siècle Etymologie Mot d’abord allemand, issu du latin moderne et de l’italien (‘relatif à l’Etat’)

Définitions A la fois le domaine scientifique et les données collectées

Domaines d’application Démographie, Santé, Economie, Psychologie, Education, Finances …

S’appuient sur une théorie plus ancienne, celle des probabilités…

Introduction

Probabilité: notion apparue fin XVIème , début XVIIème

B. Pascal (1623-1662) A-M. Legendre (1752-1833)

AC-F. Gauss (1777-1855)

C. Huygens (1629-1695) A. de Moivre (1667-1754)

P-S. Laplace (1749-1827)

J. Bernouilli (1654-1705) P. de Fermat (1601-1665)

Notion bien comprise universellement, pourtant pas d’interprétation unique Interprétation fréquentiste Interprétation bayésienne

RAPPELS SUR LA THEORIE DES PROBILITES

Rappels sur la théorie des probabilités Qu’est-ce qu’une probabilité ? Définition classique (Laplace) Si une expérience aléatoire peut résulter en N événements équiprobables et mutuellement exclusifs. Si un nombre Nt de ces événements est de type t, alors la probabilité d’un résultat de type t est:

P(t ) =

- Uniquement pour un nombre fini de résultats possibles - Uniquement pour des événements équiprobables

Nt N

Définition fréquentiste La probabilité d’un événement est sa fréquence relative d’occurrence, après avoir répété l’expérience un grand nombre de fois (idéalement un nombre infini de fois). Si Nt est le nombre d’occurrence d’événements de type t parmi N essais:

P(t ) = lim

N "!

Nt N

- Approche objective - Il est généralement impossible de répéter une même expérience un très grand nombre de fois

Rappels sur la théorie des probabilités Qu’est-ce qu’une probabilité ?

Définition bayésienne

T. Bayes (1702-1761)

Mesure du degré de croyance ou de l’incertitude qu’un individu assigne à un événement ou une situation - S’applique à tout type d’événements ou phénomènes - Approche subjective - Nécessite de définir un a priori qui pourra varier selon les individus - Peut bien entendu prendre en compte un avis objectif e.g.1: les cotes sont fixées en fonction des paris (subjectifs)

e.g.4: quelle est la probabilité qu’ils diront la vérité ? e.g.2: quelle est la probabilité d’une chute ? e.g.3: probabilité d’être contrôlé au prochain coin de rue ?

Rappels sur la théorie des probabilités Controverse dans la définition/l’interprétation d’une probabilité - Résumé Approche fréquentiste

Approche bayésienne

- Probabilité = limite de la fréquence relative de l’événement, pour un grand nombre d’essais

- Probabilité = degré de croyance, mesure de l’incertitude

- N’est défini que dans le cadre d’expériences aléatoires bien définies

- S’applique à tout type d’événements ou de situations

- Recherche de l’objectivité

- Approche subjective

T. Bayes (1702-1761) J. Neyman (1894-1981)

R.A. Fisher (1880-1962) E.S. Pearson (1895-1980) P-S. Laplace (1749-1827)

H. Jeffreys (1891-1889)

Statistiques inférentielles classiques

Statistiques inférentielles bayésiennes

Rappels sur la théorie des probabilités Approche Mathématique…: Probabilité = vraisemblance qu’une ‘chose’ soit, ait été, existe ou advienne Indépendamment des débats parfois philosophiques concernant l’interprétation d’une probabilité, la théorie mathématique des probabilités s’est construite sur un certain nombre d’axiomes concernant les phénomènes aléatoires.

Chances

Théorie moderne des probabilités

A.N. Kolmogorov (1903-1987)

Rappels sur la théorie des probabilités Théorie unifiée des probabilités:

Espace des résultats

Cas discret

Cas continu

! = {x1 , x2 ,...}

!=R F ( x) = p( X ! x)

f ( x) ! [0,1] #x " ! Propriétés

!

f ( x) = 1

x#"

f

F: fonction monotone, continue, non décroissante lim F ( x) = 0 x # !"

lim F ( x) = 1 x "!

: fonction de masse

f =

dF dx

: fonction de densité

Exemple Pile ou Face ?

Température ici, à midi, le 15 Août 2007 ?

Rappels sur la théorie des probabilités Théorie unifiée des probabilités: Cas discret

Exemple

Cas continu

Température ici, à midi, le 15 Août 2007 ?

10 tirages à Pile ou Face ?

Loi Binomiale:

p ( X = x) = f ( x) = C xn p x (1 ! p )1! x

Loi Normale:

p( X ) ~ N ( µ , ! )

f ( x) =

1 ! 2"

x

p( X " x) = ! f ( x) 0

20

p (10 " X " 20) =

! f ( x)dx

x =10

e

#

( x#µ )2 2! 2

Rappels sur la théorie des probabilités

La Loi des grands nombres: Si un événement de probabilité p est observé de façon répétée, lors d’expériences identiques mais indépendantes, la fréquence d’occurrence de cet événement par rapport au nombre d’expériences, converge en probabilité vers p.

X i est une réalisation indépendante d’une variable aléatoire pouvant être égale à 1 avec une probabilité p et à 0 avec une probabilité 1-p

Alors, n indiquant le nombre d’essais

& $ lim P$ $n(' $ %

n

)X i =1

n

i

# ! = p! =1 ! ! "

Fréquence relative

# essais Pile (0) ou Face (1) ?

Rappels sur la théorie des probabilités

Le théorème central limite:

Soit une suite de variables aléatoires indépendantes, de même loi, d’espérance et de variance finies. Alors leur moyenne centrée, réduite, suit une loi normale de moyenne 0 et de variance 1.

Suite (X n ) d’espérance µ et de variance ! 2, alors

Zn =

Xn " µ !2 n

suit une loi normale

N (0,1) n

avec

Xn =

!X i =1

n

i

Rappels sur la théorie des probabilités

L’espérance mathématique: Valeur attendue, somme des gains (et pertes) pondérés par leur probabilité.

Cas discret

Cas continu +"

Formule

E (X ) = ! X i p(X i )

E (X ) =

i

! xf ( x)dx

#"

Exemple 2 tirages à Pile (1) ou Face (0) ?

Température ici, à midi, le 15 Août 2007 ?

+$

E (X ) = 1. + 2. + 0. = 1 1 2

1 4

1 4

x E (X ) = % # $" 2!

e

#

( x#µ )2 2" 2

=µ

Rappels sur la théorie des probabilités L’entropie de Shannon: Mesure de l’incertitude liée à une variable aléatoire, ou encore la quantité moyenne d’information Manquante lorsqu’on ne connaît pas la valeur de cette variable.

H (X ) = E (I (X )) = "! p(X i )ln (p(X i ))

Formule

i

Analogie en physique

ordre/structure Manque d’information/entropie/incertitude

Rappels sur la théorie des probabilités L’entropie de Shannon:

Exemple

Pile ou Face

H (X )

P(X =' Face')

Rappels sur la théorie des probabilités Axiomes des probabilités (de Kolmogorov):

A : événement quelconque lié a la même expérience aléatoire

! : ensemble/univers des résultats possibles (1)

0 ! P(A)! 1

(2)

P(! ) = 1 k

(3)

P(A1 " A2 L " Ak ) = ! P(Ai ) i =1

P(A ! B )

ou

P(A, B )

: probabilité jointe

pour des événements deux a deux incompatibles

Rappels sur la théorie des probabilités Propriétés essentielles, découlant des axiomes de Kolmogorov: -

P(' rien') = 0

-

P (A )= 1 ! P(A)

-

P(A # B ) = P(A)+ P(B )" P(A ! B )

-

P(A ! B ) = 0

-

P(A ! B ) = P(A).P(B )

-

Si

A

si

A

et

: complémentaire de

B

A

dans

!

quels que soient les événements

sont mutuellement exclusifs

si

A ! B alors P(A)! P(B )

A

et

B

sont indépendants

A

et

B

REGLE DE BAYES

Règle de Bayes Probabilités conditionnelles:

P(A B )

: Probabilité de

A

sachant / connaissant / étant donné

P(A ! B ) P(A B )= P(B )

Si

A

et

B

sont indépendants, alors

P(A B )= P(A)

B

Règle de Bayes Probabilités conditionnelles:

Exemple

Considérons le test de dépistage d’une grave maladie. Plus tôt la maladie est détectée, meilleur est le pronostic de survie. Nous savons que dans la population

Nous savons également que

P(malade ) = 0.01

P(positif sain )= 0.01

et

P(malade positif )?

P(négatif malade )= 0.01

Règle de Bayes Probabilités conditionnelles:

Exemple

Considérons le test de dépistage d’une grave maladie. Plus tôt la maladie est détectée, meilleur est le pronostic de survie. Nous savons que dans la population

Nous savons également que

On en déduit que

P(malade ) = 0.01

P(positif sain )= 0.01

et

P(négatif malade )= 0.01

P(positif malade )= 1 ! P(négatif malade )= 0.99

P(positif , malade ) = P(positif malade )P(malade ) = 0.0099

P ( positif ) = P ( positif ,sain ) + P ( positif ,malade) = 0.0198 et

!

P(malade positif )=

P(malade, positif ) = 0.50 P(positif )

Règle de Bayes Probabilités totales ou marginales: Cas discret

P(A) = ! P(A, Bk ) = ! P(A Bk )P(Bk ) k

k

Cas continu

P(X ) = ! P(X , Y )dY = ! P(X Y )P(Y )dY

Règle de Bayes Probabilités totales ou marginales:

Exemple

Cas discret Sur deux essais indépendants, quelle est la probabilité d’obtenir ‘Face’ au deuxième essai ?

Pile ou Face (résultats équiprobables)

P (T2 = Face) = P (T2 = Face T1 = Face) P (T1 = Face) +P (T2 = Face T1 = Pile) P (T1 = Pile) = 0.5 * 0.5 + 0.5 * 0.5 = 0.5

!

Règle de Bayes Théorème/Règle de Bayes Cas discret

P(Bk A)=

P(Bk A)=

Cas continu

P(A Bk )P(Bk ) P(A)

P(A Bk )P(Bk )

! P(A B )P(B ) k

k

k

P(X Y )=

P(X Y )=

P(Y X )P(X ) P(Y )

P(Y X )P(X )

! P(Y X )P(X )dX

PRINCIPES DE L’INFERENCE BAYESIENNE

Principes de l’inférence Bayésienne

Notion de modélisation: - Formalisation mathématique d’un processus ou système réel/physique (repose sur un ensemble d’hypothèses et d’approximations) entrée

observations modèle

Importance de la modélisation: - Permet de simuler des données - Permet l’estimation de paramètres non observés - Permet de prédire de futures observations - Permet de tester des hypothèses

Principes de l’inférence Bayésienne

Analyse/inférence Bayésienne: - Appliquer un modèle probabiliste des observations comme des quantités à estimer - Les quantités à estimer sont non observées ge

e pr

sa tis

n

ap u nna o co re

sa is

Paramètres du modèles

e nc

pr

éd

ic

tio

n

Futures observations

- Une caractéristique essentielle de l’inférence Bayésienne réside dans l’utilisation explicite de distributions de probabilités pour quantifier l’incertitude de l’inférence

Principes de l’inférence Bayésienne

Notations:

Y

: observations

!

: paramètres du modèle

~ Y

: données manquantes ou encore non observées

Principes de l’inférence Bayésienne

Trois étapes de l’inférence Bayésienne:

(1) Définition du modèle probabiliste complet, pour l’ensemble des quantités observables et non observables: spécification de la probabilité jointe P Y , !

(

)

(2) Calculer et interpréter les distributions de probabilités a posteriori (conditionnellement aux observations) des quantités non observées d’intérêt

(3) Evaluer la qualité des interprétations et du modèle, ainsi que la sensibilité des résultats aux hypothèses du modèle

Principes de l’inférence Bayésienne

Modèle général: Apprentissage/Reconnaissance Probabilité jointe

P(Y , ! ) = P(Y ! )P(! ) vraisemblance des données

Distribution a posteriori

S’écrit parfois

P(! Y )=

P(Y ! )P(! ) P(Y )

P(! Y )" P(Y ! )P(! )

car

dist. a priori

loi marginale ou évidence

P(Y ) ne dépend pas de !

Principes de l’inférence Bayésienne

Modèle général: Prédiction Distribution prédictive a priori

P(Y )

Distribution prédictive a posteriori

~ ~ P Y Y = " P Y ! P(! Y )d!

( )

( )

Mise à jour de l’a priori dans le cadre d’une analyse séquentielle: à l’arrivée de nouvelles données, la distribution a posteriori devient la nouvelle distribution a priori

MISE EN PRATIQUE

Mise en pratique

Exercice n°1: exemple de démarche Bayésienne

Exercice n°2: exemple de modèle Bayésien

Exercice n°3: illustration des limites de l’approche classique

DISTRIBUTIONS A PRIORI

Distributions a priori

Un aspect central et critique de l’approche Bayésienne est la formulation d’une distribution de probabilité a priori sur les quantités non observées que l’on souhaite estimer.

Différentes stratégies possibles: - A priori informatif permettant de guider au mieux l’estimation - A priori non informatif afin de ne pas biaiser l’estimation et de ‘laisser s’exprimer’ les données - Un compromis entre les deux…

Distributions a priori Construction d’un a priori

- Approche ‘pragmatique’: considérer les différentes valeurs possibles de θ et leur assigner une probabilité telle que leur somme sera égale à 1. ATTENTION: le support de la distribution a posteriori sera un sous-espace de celui de l’a priori. Autrement dit, l’estimée a posteriori ne pourra pas prendre de valeurs non prévues par l’a priori.

- Approche paramétrique: on attribue une distribution de forme connue à notre a priori sur θ. Alors l’a priori se résume à un petit nombre de paramètres (e.g. moyenne et variance) et le support n’est plus fini. ATTENTION: pas toujours applicable. Certaines distributions peuvent avoir des propriétés très similaires mais conduire à des estimations a posteriori très différentes. Que choisir ?

Distributions a priori A priori conjugué

- Etant donnée une loi de vraisemblance, un a priori conjugué est un a priori dont la distribution est telle que la distribution a posteriori appartiendra à la même famille de loi. - Approche très utile et très employée, notamment dans le cadre d’un apprentissage séquentiel. Cas discret

Cas continu

Vraisemblance

A priori conjugué

Vraisemblance

A priori conjugué

Binomiale

Beta

Exponentielle

Gamma

Multinomiale

Dirichlet

Normal

Normal

Poisson

Gamma

Gamma

Gamma

Exemples

Distributions a priori A priori non-informatif Se dit d’une distribution qui ne favorise aucune valeur de θ par rapport aux autres. Ainsi toute l’information nécessaire à l’estimation est fournie par les données. On se rapproche alors de l’inférence classique, s’appuyant uniquement sur le terme de vraisemblance (approche objective). Cas discret

Cas continu

! = [a, b]

" = {!1 , K , ! n }

P(! i ) = 1 / n

P(" ) = 1 / (b ! a ) ‘’propre’’

# = [" !,+!]

P(! ) = 1 / c

‘’impropre’’

L’a priori non-informatif est parfois aussi appelé a priori de référence (voir plus loin, évaluation de modèle) ATTENTION: un a priori informatif est parfois nécessaire, lorsque les données ne suffisent pas pour estimer les paramètres du modèles (cf. exemple en Neuroimagerie)

EXEMPLES D’INFERENCE BAYESIENNE

Exemples d’inférences Bayésienne

- Ayant défini un a priori, le théorème de Bayes nous permet de combiner cette information avec des observations afin de calculer la distribution a posteriori des paramètres ou prédictions. - L’inférence Bayésienne permet d’obtenir une information complète sur les quantités à estimer: leur entière distribution de probabilité. - Toutefois, il nous faudra le plus souvent résumer/interpréter cette information, notamment pour permettre un choix ou une réponse quantitative. Typiquement et de manière analogue à l’approche classique: une estimation ponctuelle, d’un intervalle ou le test d’une hypothèse.

Exemples d’inférences Bayésienne

Estimation ponctuelle ^θ « Comment résumer le résultat par une valeur statistique a posteriori ? » moyenne

- Estimateur ponctuel de variance a posteriori minimale - Sensible aux valeurs extrêmes - Peu représentatif si distribution multimodale

médiane

- Insensible aux valeurs extrêmes - Identique à la moyenne si la distribution est symétrique - Sensible aux valeurs extrêmes - Peu représentatif si distribution multimodale

mode

- Facile à calculer - Equivalent au maximum de vraisemblance lors de l’utilisation d’un a priori uniforme - Reflète seulement la valeur la plus probable - Aussi appelé Maximum A posteriori (MAP)

Exemples d’inférences Bayésienne

Estimation d’intervalle C « Intervalle C de confiance Bayésien » Définition fréquentiste Si on recalculait C pour un grand nombre de jeux de données obtenus de manière indépendante et selon le même protocole expérimental, (1-α).100% d’entre eux contiendrait la valeur de θ.

Définition Bayésienne La probabilité que la valeur θ appartienne à l’intervalle C, étant donné les observations Y, est supérieure ou égale à (1-α).

1 # % " P(C Y )= ! P($ Y )d$ C

Exemples d’inférences Bayésienne

Test d’hypothèse Définition fréquentiste

- H0 versus H1 - p = Probabilité que la statistique de test T(Y) soit plus extrême (vers H1) que T(Y|θ,H0)

Définition Bayésienne

- Autant d’hypothèses concurrentes que de modèles possibles, notés M1, M2, …, Mk - Pour chaque hypothèse, on peut calculer

- Ne permet pas d’accepter H0 - La valeur p ne peut pas être interprétée comme un degré de significativité

P(Y M i )= ! P(Y " , M i )P(" )d"

EVALUATION DE MODELE

Evaluation de modéle

Sélection/comparaison de modèles

Bayes Factor (BF): comparaison de deux modèles/hypothèses M1 et M2

P(M 1 Y ) P(M 2 Y ) P(Y M 1 ) BF = = P(M 1 ) P(M 2 ) P(Y M 2 )

Si les modèles sont a priori équiprobables

alors

BF =

P(M 1 ) = P(M 2 )

P(M 1 Y ) P(M 2 Y )

y = f(x)

Principe de parsimonie

évidence du modèle p(Y|M)

Evaluation de modéle

trop simple

‘juste bien’ trop complexe

Espace des données

x

Bayesian Information Criterion (BIC)

y=f(x)

' sup P(Y ) , M 1 )$ (BIC = !2 log % " ! (n 2 ! n1)log N &% sup P(Y ) , M 2 )#"

Akaike Information Criterion (AIC)

n1: # paramètres du modèle M1 n2: # paramètres du modèle M2 N: taille de l’échantillon

' sup P(Y ) , M 1 )$ (AIC = !2 log % " ! 2(n 2 ! n1) &% sup P(Y ) , M 2 )#"

Evaluation de modéle

Moyenne de modèles

Plutôt que d’estimer θ à partir d’une seule hypothèse, il se peut que plusieurs hypothèses conduisent à différentes solution tout aussi plausibles. Alors il peut être intéressant de moyenner sur plusieurs modèles.

P(" Y )= ! P(" M i , Y )P(M i Y ) i

Evaluation de modéle Modèles hiérarchiques Représentation sous la forme de graphe (Réseau Bayésien)

APPLICATION EN NEUROIMAGRIE

Application en neuroimagerie Segmentation des images d’IRM anatomiques

Histogramme des données

Vraisemblance: l’intensité dans chaque voxel de l’image est modélisé par un mélange de lois normales. Chaque loi normale correspond à un type de tissu: matière grise (MG), matière blanche (MB), liquide céphalo-rachidien (LCR)

A priori: Une distribution a priori pour chaque type de tissu a été obtenue à partir de la segmentation manuelle de 150 images de sujets différents.

MG

MB

LCR

Pour chaque nouveau sujet, on obtient une carte/image de probabilité a posteriori d’appartenance à chaque type de tissu.

CONCLUSION

Conclusion

Résumé: - décision en termes probabilistes - choix conditionnels (éventuellement par rapport à des covariables ou paramètres connus x) Inconvénients: - approche subjective - nécessité de définir une distribution a priori - calculs couteux en mémoire et en temps (approximations asymptotiques, méthodes d’échantillonnage, algorithme EM, approches variationelles) Avantages: - peut poser toutes les questions - interprétations plus intuitives - permet d’accepter l’hypothèse nulle (freq: évaluation rétrospective de la procédure utilisée pour estimer θ, étant donné p(y|θ,H0)) - permet l’application de modèles de plus en plus complexes

Conclusion

Références

Numéro spécial, modèles probabilistes en sciences cognitives (2006)