Eléments en théorie des probabilités et en

Eléments en théorie des probabilités et en statistiques Damien Nouvel

Damien Nouvel (Inalco)

Probabilités et statistiques

1 / 15

Généralités

Scrabble : un sac avec des lettres (simplifié : lettres A et B) ñ Chances de tirer la lettre A ? §

• Modèle du “monde” (probabilités) à l’aide de connaissances • Calcul par rapport à un historique de données (statistiques)

ñ Deux tirages, quelles chances de tirer deux fois B ? • Combinatoire (énumération des lettres pour deux tirages)

ñ Modélisation du monde (probabilités) versus données sur le monde (statistiques) ñ Discret (probabilités) versus continu (statistiques) Damien Nouvel (Inalco)

Probabilités et statistiques

2 / 15

Théorie des probabilités

Plan 1. Théorie des probabilités 2. Statistiques

Damien Nouvel (Inalco)

Probabilités et statistiques

3 / 15

Théorie des probabilités

Terminologie et notations §

Modélisation du “monde des possibles” tΩ, A, Pu : • Ensembles Ω et événements A • Mesure de probabilité d’événements P(A) P [0, 1] • Combinaisons et dépendances entre événements

ñ Etat du monde (abstraction de l’aspect temporel) §

Notations pour des événements tA, Bu : • • • •

Négation : A Intersection (conjonction, probabilité jointe) A X B Union (disjonction) A Y B Dépendance : A sachant B, P(A|B)

ñ Un symbole pour un événement ? § Variable aléatoire X telle que X P tA, B . . . Zu ñ Valeurs symboliques (discrètes) ou numérique (continues) Damien Nouvel (Inalco)

Probabilités et statistiques

4 / 15

Théorie des probabilités

Axiomes de probabilités §

Lois générales : • P(A Y A) = 1 • P(A Y B) = P(A) + P(B) ´ P(A X B) • Si A et B sont disjoints : • A X B = ∅ et P(A X B) = 0 • P(A Y B) = P(A) + P(B) • Si A et B sont indépendants : • P(A X B) = P(A) ˚ P(B) ñ “Il n’y a pas de corrélation entre ces deux événements”

§

Théorème de Bayes : • P(A X B) = P(A|B) ˚ P(B) = P(B|A) ˚ P(A)

ñ “La probabilité qu’une intersection d’événements se produise est celle que l’un des deux se produise multipliée par celle que l’autre se produise sachant que le premier s’est produit (et inversement)” Damien Nouvel (Inalco)

Probabilités et statistiques

5 / 15

Théorie des probabilités

Quelques calculs en combinatoire §

À partir d’un ensemble de n éléments • Sous-ensembles possibles : 2n • Tirer k éléments avec remise et ordonnés • nk possibilités

ñ Tirer trois six en jetant trois fois un dé • Tirer k éléments sans remise et ordonnés • Si k = n alors k! arrangements (permutations) possibles n! • Sinon Akn = arrangements possibles (n ´ k)!

ñ Tirer valet, dame, roi (dans l’ordre) parmi les cœurs • Tirer k éléments sans remise sans ordre • Une combinaison de k éléments donne k! arrangements ( ) Ak n! • Donc nk = n = combinaisons possibles k! k!(n ´ k)!

ñ Tirer un valet, une dame et un roi parmi les cœurs Damien Nouvel (Inalco)

Probabilités et statistiques

6 / 15

Théorie des probabilités

Lois de probabilités §

Distributions de probabilités : • Une variable aléatoire X • Une loi L avec paramètres (p1 , p2 . . . pn )

ñ X suit la distribution L(p1 , p2 . . . pn ), noté X „ L les probabilités des réalisations de X sont calculables §

Quelques lois courantes : • • • • •

Uniforme : tous les événements sont équiprobables Bernouilli : un seul tirage à deux issues Binomiale : plusieurs tirages sans remise à deux issues Multinomiale : plusieurs tirages à plusieurs issues Normale (Gauss, gaussienne, Laplace-Gauss) : cloche

Deux fonctions pour calculer les probabilités : • Densité de probabilité : P(X = a) • Fonction de répartition : P(X ă a) (intégrale de densité) Damien Nouvel (Inalco)

Probabilités et statistiques

7 / 15

Statistiques

Plan 1. Théorie des probabilités 2. Statistiques

Damien Nouvel (Inalco)

Probabilités et statistiques

8 / 15

Statistiques

Séries de données § §

Utilisation des probabilités au regard de données Soit une série x de données (x1 , x2 . . . xn ) : • Les indices ne sont pas (forcément) liés au temps : • Tirages indépendants de lettres • Positions dans un texte • Objets d’une base de données • Un échantillon est une sous-partie de la série • Calculs d’estimateurs : 1 ř • Moyenne µx = xi n i=1...n ñ aussi notée x (aucun rapport avec la négation) ou |X| 1 ř • Variance V(X) = (xi ´ µx )2 n i=1...n c a 1 ř • Ecart-type σx = V(X) = (xi ´ µx )2 n i=1...n

Damien Nouvel (Inalco)

Probabilités et statistiques

9 / 15

Statistiques

Covariance et corrélation § §

Comparer deux séries (x1 , x2 . . . xn ) et (y1 , y2 . . . yn ) Covariance (produit des variances à la moyenne) : ř • σxy =

1 n

(xi ´ µx ) ˚ (yi ´ µy )

i=1...n

• Exemple covariant (1) : • x = (1, 3, ´2) et y = (5, 10, ´3), µx = 0, 66 et µy = 4 • σxy = (1/3) ˚ ((1 ´ 0, 66) ˚ (5 ´ 4) + (3 ´ 0, 66) ˚ (10 ´ 4) + (´2 ´ 0, 66) ˚ (´3 ´ 4)) = 11 • Exemple non covariant (2) : • x = (1, 3, ´2) et z = (3, ´5, 2), µx = 0, 66 et µz = 0 • σxz = ´5, 33

ñ Grande lorsque les variables varient ensemble §

Coefficient de corrélation (Bravais-Pearson) :

σxy σx ˚ σy • Exemples : rxy = 0.99 et rxz = ´0.73 ñ Valeur dans [´1, 1] (de covariant à contravariant) • rxy =

Damien Nouvel (Inalco)

Probabilités et statistiques

10 / 15

Statistiques

Statistiques discrètes pour la linguistique ñ Linguistique et statistiques ne font pas bon ménage... § Séries : quel ordre pour les termes : • Lexicographique ? • Par fréquences ? • Par « poids sémantique » ? §

Problèmes d’échantillonnage : • Eparpillement des données (données éparses, sparsity) • Ressources complémentaires • Sélection de traits, régularisation • Valeurs manquantes : • Discrétisation d’échantillons (amplitudes, moyennes) • Fenêtres glissantes • Données marginales (outliers)

§

Problèmes de variation, de bruit, d’évolution...

Damien Nouvel (Inalco)

Probabilités et statistiques

11 / 15

Statistiques

Paradoxe de Simpson

§

Source : Science étonnante #7

Damien Nouvel (Inalco)

https://www.youtube.com/watch?v=vs_Zzf_vL2I

Probabilités et statistiques

12 / 15

Statistiques

Exemples de statistiques avec Python §

Fonction Python (somme) :

§

Fonction scipy (binomiale / normale) :

sum([1, 3, 7]) from scipy import stats print stats.binom(10,0.2).pmf(3) # loi binomiale print stats.norm(10, 3).pdf(10) # loi normale §

Fonctions numpy : • Calculer une moyenne et un écart-type : import numpy a = numpy.array([1, 5, 3]) numpy.mean(a) numpy.std(a) • Calculer une covariance et un coefficient de corrélation : b = numpy.array([3, 15, 2]) numpy.cov(a, b, bias=1)[0, 1] numpy.corrcoef(a, b, bias=1)[0, 1]

Damien Nouvel (Inalco)

Probabilités et statistiques

13 / 15

Statistiques

Aborder un problème statistique §

Questions de modélisation des probabilités : • • • •

Probabilité Probabilité Probabilité Probabilité

d’un événement ? de répétitions d’un événement ? jointe de deux événements ? d’un événement sachant un autre événement ?

ñ Travail préparatoire en déterminant • Variables à étudier • Valeurs qu’elles prennent (discrètes, continues) • Lois (distributions) de probabilités à utiliser

ñ Prévoir (et implémenter) les calculs à réaliser ñ Savoir comment visualiser les résultats ñ Autant possible, mesurer et évaluer la solution Damien Nouvel (Inalco)

Probabilités et statistiques

14 / 15

Statistiques

Exercice §

Sur le corpus • Nombre de mots par phrase • Calculer la moyenne du nombre de mots par phrase. • Calculer l’écart-type du nombre de mots par phrase. • Déduire la densité théorique du nombre de mots par phrase. • Visualiser et comparer avec celle des données. • Nombre d’entités nommées par mot(s) • Combien de phrases contiennent trois entités ? • Quelle loi modélise la probabilité qu’un mot soit une entité ? • Comment estimer cette probablité à partir des données ? • Quelle loi permet de calculer cette probabilité pour n mots ? • Calculer la densité théorique du nombre d’entités par phrase. • La comparer avec cette même densité dans les données. • Corrélations • Les nombre de mots / entités sont-ils corrélés ? • Quelles entités sont corrélées les unes aux autres ?

Damien Nouvel (Inalco)

Probabilités et statistiques

15 / 15