Cours 1 Probabilité : C`est l`étude mathématique de l`incertain. La

Cours 1 Probabilité : C’est l’étude mathématique de l’incertain. La notion de probabilité a été introduite au 17ème siècle à cause des jeux de hasard, puis a été développée en 1948 par Shannon. Les communications sont entachées d’incertitudes. En lisant l’information on lève l’incertitude.

Proba= à priori Info= à postéori Les probabilités sont essentielles dans la théorie de l’information. Le problème de probabilités le plus célèbre est celui du « chevalier de Méré » ; il a été résolu par Pascal. En 1933 Andrei Kolmogorov a introduit la théorie des probabilités (Axiome). C’est le cœur de la probabilité (expérience aléatoire). L’expérience aléatoire est non répétable. Evènement : c’est le résultat possible d’une expérience. Probabilité d’un évènement : mesure de la vraisemblance de l’évènement. C’est un nombre appartenant à l’intervalle [0,1 ]. 0=> l’évènement est impossible. 1=> possible mais incertain.

Les points de vue

-

Classique : P=(nombre de cas favorable)/(nombre de cas possibles)

Ce point de vue n’est pas satisfaisant. -

Point de vue orthodoxe : Limite de la fréquence. Il souffre des memes insuffisances que le point vue classique parce que les expérience sont non répétables.

-

Subjectivité : à partir de l’état de connaissance d’un observateur sur un évènement donné. Ex : Afrique du sud Vs France en rugby , l’AFS part favori.

Axiomess de Kolgomorov

Def espace probabilisé (Ω,E,P)

Ω ensemble fondamental. ensemble des parties de Ω. P fonction de probabilité P : E [0,1]. E sigma- algèbre. S1 : Ω ∈ E S2 : Ω est stable par complément

Si A ∈ E alors a bar A E. S3 : E est stable par réunion dénombrable . Si A ∈ E alors A bar ∈ E . Si (Ai) i ∈ I est une famille dénombrable d’éléments de E alors U Ai

∈E

P satisfait P1 P(Ω) = 1 P2 si (Ai) i ∈ est une famille dénombrable d’éléments de E. deux à deux disjoints Alors P(U Ai)=

Ai

Cas ou Ω est finie.

E= P(Ω) p est défini par ses valeurs sur le singleton. Ω=(Wi, ….. Wn ) ; p(Ωi)=1 Notions à revoir :Distribution des probabilités ; formule d’inclusionexclusion ; formule pointcaré ; Variables aléatoires ; formule de Bayes ; Loi conditionnelle d’une Variable aléatoire ; Loi conjointe de 2 variables aléatoires ; espérance ; distributions conjointes ; variable de Bernouilli ; disjonction des cas.

Cours 2

Information et Entropie

Rappel : La probabilité est une quantité comprise entre 0 et 1 qui quantifie un évènement (étude mathématique de l’incertain) avant qu’il se produise.

Information 1er Principe : quantifie la connaissance apportée par un évènement produit.  

Pour un évènement peu probable on a beaucoup d’informations. Pour un évènement très probable on a peu d’informations.

L’information est aussi la fonction décroissante de la probabilité. 2ème Principe : Additivité L’information i(A) d’un évènement est une fonction qui transforme les produits en somme (fonction logarithme). i(A)=-log(P(A)). Par convention on utilise -

-log2 (P(A)).

Si A est un évènement certain P(A)=1 => i(A)=0. Si P(A)=0 => i(A)=+

L’unité d’information est le bit (binary digit). NB : bit !=symbole binaire. Le choix de la base 2 est arbitraire.

Exemple : Ω ={pile,face} ( ¼ , ¾) i({pile}) = -log2 ( ½ ) = log2 (2)

i({pile}) = 1 Rappel : log2(x)= ln(x)/ln(2)

Entropie

L’entropie représente l’information révélée par une expérience. Elle a été développée par SHANNON qui y a travaillé pendant une vingtaine d’années (1948). Elle est adaptée à la communication et à la transmission de données.

Comme définition l’entropie de SHANNON est la distribution de probabilités P=(pi …..pn) est la moyenne de la fonction information apportée par la réalisation de chacune des opérations individuelles. n Elle se note H(p)=-

i=1

Pi log2 (Pi)

L’entropie correspond aussi à la quantification du nombre de questions avec réponse oui/non pour obtenir une information donnée.

Exemple : Deviner un nombre entre 1 et 100. Chaque nombre étant équi-probable. pour chaque nombre(loi de probabilité). L’entropie de cette expérience H(x) =log2(1/100)= log2(100)=6.64

P=1/100

(de 1 à 100) de (1/100)log2(1/100)=-

Pour coder un nombre entier compris entre 1 et 100 il faut au moins 7 symboles binaires.

Si la loi est uniforme (1/i …..1/n) H(p)=log2(n)



Fonction d’entropie binaire

Variable de bernouilli de paramètre p H(p)= -p log2(p) – (1-p)log2(1-p) H(1/2)=1 H(1/4)=0.811

H(0)=0 H(1)=0 Dérivée H’(p)=uv+vu H’(p)= -log2(p)-p Log’2(x)=1/xln(2)

H’(p)= -log2(p) + log2(1-p)

Si p est plus petit que ½ on a 0