Théorie de l`information et du codage

Théorie de l’information et du codage Examen écrit janvier 2012 Première partie. Durée : 2h00 Pas de GSM, ni de calculatrice. Documents (cours, rapports de projet. . . ) autorisés. Répondez à chaque question et indiquez votre nom, prénom sur chaque feuille. Répondez aux Questions 1, 2 et 3 sur des feuilles différentes, et numérotez les feuilles. Soyez clair, concis et précis. Pour répondre aux questions, vous pouvez utiliser les approximations suivantes : ln(2) ≈ 0.7;

ln(3) ≈ 1.1;

ln(5) ≈ 1.6;

ln(7) ≈ 1.9.

QUESTION 1 : Grandeurs de la théorie de l’information Q1.1 L’USS scorpion, un sous-marin américain, a coulé en mai 1968 dans l’atlantique Nord. La densité de probabilité de la position du sous-marin est uniforme dans la zone de recherche, que l’équipe de recherche a délimité par un quadrillage de 3 × 4 tel que la surface de chaque case est égale à celle des autres (voir Figure 1). Il vous est demandé d’utiliser vos connaissances afin d’aider les recherches. Les variables X , Y correspondent aux positions sur la grille en abscisse et en ordonnée (voir Figure 1). (a) Quelle est la probabilité de trouver l’USS scorpion en (X, Y ) = (i, j) ? (b) Quelles sont la loi de probabilité et l’entropie de la variable X ? (c) Modélisez de façon graphique les relations de dépendance entre ces deux variables ? Justifiez votre réponse à l’aide des grandeurs de la théorie de l’information.   

  







Figure 1 – Grille de recherche Q1.2 Soit (a) (b) (c)

Y = g(X ), une fonction de la variable aléatoire discrète X . Donnez un exemple de variable aléatoire X et de fonction g telles que H(Y) < H(X ). Donnez un exemple de variable aléatoire X et de fonction g telles que H(Y) = H(X ). Donnez un exemple de variable aléatoire X et de fonction g telles que H(Y) ≥ H(X ), ou bien prouvez qu’il est impossible de faire cela. Q1.3 Soit un squelette candidat de réseau bayésien X − Y − Z formé sur trois variables binaires. On dispose d’un échantillon de N = 1000 observations conjointes des trois variables : (a) Expliquez la démarche que vous aller adopter pour orienter le graphe ? (Soyez précis ! ) ˆ ; Z) = 0.003 et I(X ˆ ; Z|Y) = 0.06, dites (b) En supposant que l’échantillon nous indique que I(X nous s’il est possible d’orienter le graphe, en acceptant une probabilité de α = 0.05 de commettre des erreurs, et si oui faites le. Note : Pour un nombre d’échantillons N , l’indépendance conditionnelle entre deux variables ˆ ; Y|Z) X et Y étant donée Z peut être évaluée à l’aide de la grandeur 2 × N × ln(2) × I(X qui suit une loi de χ2 de k = |Z|(|X | − 1)(|Y| − 1) degrés de liberté en cas d’indépendance conditionnelle. La Table 1 (page suivante) fournit les informations pertinentes pour α = 0.05. 1

Degrés de libertés Densité de probabilité de χ en x Densité de probabilité cumulative de χ2 en x Densité de probabilité cumulative inverse de χ2 en x 2

1

2

3

4

5

0.2681 0.6572 2.7055

0.3188 0.3624 4.6052

0.2413 0.1746 6.2514

0.1435 0.0754 7.7794

0.0724 0.0298 9.2364

Table 1 – Informations concernant la loi du χ2 pour x = (1 − α) = 0.95.

QUESTION 2 : Modèle probabiliste graphique Q2.1 Les trois graphiques de la Figure 2 ont chacun été obtenus en appliquant l’algorithme de Chow-Liu sur une base de données considérées comme infinie, puis en détectant les v-structures. Il vous est demandé, pour chacun de ces modèles, de dessiner toutes les structures de réseaux bayésiens qu’il est possible d’obtenir en effectuant une propagation des bassins de causalités. A

B

A

C

B

D

E

A

C D

B C

E

D Figure 2 – Trois polyarbres en devenir

Q2.2 Soient cinq modèles d’indépendance correspondant aux cinq modèles probabilistes graphiques de la Figure 3. Il vous est demandé d’indiquer, pour chacun des modèles, s’il est un I-map, un D-map et/ou un P-map de chacun des autres modèles, et de le justifier. A

B C

A

B

A

B

C

A

C

B C

A

B C

Figure 3 – Cinq modèles probabilistes graphiques Q2.3 L’algorithme de Chow-Liu permet-il de construire un arbre optimal ? Si oui, précisez en quel sens un arbre renvoyé par cet algorithme serait optimal. Est ce que cet arbre est nécessairement unique ? Justifiez vos réponses (éventuellement au moyen de contre-exemples).

QUESTION 3 : codage de source Q3.1 Est-ce que le code suivant [10, 11, 001, 100001] est régulier, déchiffrable, instantané et/ou complet ? (Justifier) Q3.2 Soit une source sans mémoire et stationnaire qui émet 4 symboles différents, dont les probabilités sont données par le vecteur ci-dessous. P (S) = [0.10

0.15

0.20

0.55]

(a) Effectuez un encodage de Huffman avec un alphabet de code binaire sur cette source. (b) Afin de diminuer la longueur moyenne des messages de cette source une fois encodés, vaut-il mieux augmenter la taille de l’alphabet du code ou effectuer une extension de la source ? Justifiez votre réponse. Q3.3 Représentez le code binaire suivant [01, 00, 100, 101, 110] sous forme d’un arbre. Le code est-il, déchiffrable, instantané, complet ou incomplet ? (Justifier chaque réponse !) Est-il possible de compléter ce code ? Si oui, proposez une façon de le rendre complet. (et justifiez le fait que le résultat est en effet complet). 2