UV Théorie de l`Information Cours n° 1−2
Short Description
Download UV Théorie de l`Information Cours n° 1−2...
Description
UV_TI
UV Théorie de l’Information Cours n° 1−2 : − Introduction à la théorie de l’information − Caractérisation des sources d’information − Notions de probabilité (Rappel) − Entropie et Information : − Entropie des sources discrètes sans mémoire − composées − avec mémoire − q−ième extension d’une source
−Entropie limite, efficacité et redondance Cours n°1−2
1
Alexandrina ROGOZAN
UV_TI
Introduction Théorie de l’information Processus de transmission numérique Signal Signal Message Message émis reçu reçu émis Source Émetteur Canal Destinataire Récepteur d’information Bruit et distorsions Sources de perturbations Cours n°1−2
2
Alexandrina ROGOZAN
UV_TI
Introduction
Théorie de l’information ≡ Théorie stochastique, fondée sur les propriétés statistiques, de messages ⇒ Notions fondamentales de probabilité, entropie, information mutuelle
Cours n°1−2
3
Alexandrina ROGOZAN
UV_TI
Introduction Théorie de l’information => Limites de performances d’un système de transmission numérique ⇒ Mode de représentation de l’information => quantité d’information associée à chaque signe émis ⇒ Cadence théorique maximale de transmission de l’information => capacité d’un système de transmission Cours n°1−2
4
Alexandrina ROGOZAN
UV_TI
Introduction Théorie de l’information => Résultats ⇒ Codage de source (ou compression des données)
Augmenter la compacité des signaux (sans ou avec distorsion)
Éliminer la redondance inutile
⇒ Codage de canal
Accroître (autant que l’on veut) la sécurité de la transmission en présence de bruit
Ajouter de la redondance pour la détection, voire la correction, de principales erreurs
Cours n°1−2
5
Alexandrina ROGOZAN
UV_TI
Introduction Théorie de l’information
! $# "% ! & &" " ' (")*+",- .*+ . ),- (+ ("/0/1 2
⇒"
Objectif de recherche : ⇒ Optimiser conjointement le codeur de source et de canal
Cours n°1−2
6
Alexandrina ROGOZAN
UV_TI
Introduction
Théorie de l’information => Extension ⇒ Cryptographie
Assurer le secret de la communication
Cours n°1−2
Encryptage à clé publique Signature digitale Générateurs d’encryptage pseudo− aléatoires
7
Alexandrina ROGOZAN
UV_TI
Sources d’information Définition : Systèmes capables de sélectionner et d’émettre des séquences de signes (ou messages) appartenant à un ensemble (ou alphabet) donné ⇒ Ex. de signes : lettres, chiffres, échantillons ⇒Ex. de sources : système à 2 niveaux logiques, texte
Cours n°1−2
8
Alexandrina ROGOZAN
UV_TI
Sources d’information discrètes Caractéristique : alphabet utilisé fini Exemples : Sources d’information alphanumériques, de symboles binaires, d’information numérique(e.g. signaux quantifiés en amplitude, en fréquence ou en phase) Classification : ⇒ Sources sans mémoire : signes générés indépendamment les uns des autres => modèle de Bernoulli ⇒ Sources avec mémoire : prise en compte de la dépendance entre un signe émis et les signes précédents => modèle de Markov Cours n°1−2
9
Alexandrina ROGOZAN
UV_TI
Sources d’information discrètes
Classification : ⇒ Sources sans mémoire : quand les signes générés sont indépendants => modèle de Bernoulli ⇒ Sources avec mémoire : prise en compte de la dépendance entre un signe émis et les signes précédents => modèle de Markov
Cours n°1−2
10
Alexandrina ROGOZAN
UV_TI
Sources d’information discrètes Classification des sources de Markov : ⇒ Source du 1 er ordre = la mémoire se limite au dernier signe émis – Ex : modélisation du processus de réalisation d’un phonème
⇒ Source d’ordre m = la mémoire tient compte des m signes émis – Ex : description statistique des langues écrites usuelles
Cours n°1−2
Alexandrina ROGOZAN
11
UV_TI
Sources d’information continues Caractéristique : nombre théorique de signes croît à l’infini ⇒ Remarque : Limite pratique fixée par la précision limitée des observations
Exemples : Sources de signaux analogiques : Parole, Musique, Images, Mesures
Cours n°1−2
12
Alexandrina ROGOZAN
UV_TI
Modélisation de sources d’information Mécanisme statistique d’émission des signes ⇒ Source discrète : une loi de probabilité donnée associée à une variable aléatoire discrète ⇒ Source continue : une loi de densité de probabilité associée à une variable aléatoire continue
Exemples : ⇒TEXTE = succession des réalisations de la variable aléatoire : "caractère sortant du clavier" ⇒ IMAGE_NB = succession de "niveaux de gris" mesurés sur une image Cours n°1−2
Alexandrina ROGOZAN
13
UV_TI
Notions de probabilité (Rappel) Source discrète ≈ variable aléatoire discrète choisissant un signe dans un alphabet de taille finie : ⇒ S3
les probabilité P S 4 si s1 , s2 ,... , s K avec K
satisfont la condition :
Notations :
5
6
i 1
4 pi qui
pi 7 1
⇒ S 7 si − Événement aléatoire Ai ⇒P S 7 si 7 P Ai − Proba. de l’événement aléatoire Ai
Propriétés : 08 P A 8 1
⇒ P A 9 1 qd. A est certain Cours ⇒ n°1−2 P A 9 0 qd. A est impossible 14
Alexandrina ROGOZAN
UV_TI
Notions de probabilité (Rappel) Propriétés :
<
⇒ Événements s’excluant mutuellement : A et A =>
=
P A
1> P A ?
⇒ Quand l’événement A entraîne B : A⊂B => P A
@
P B
⇒Somme des événements
: :
Événements A et B incompatibles : P A A B k événements 2 à 2 incompatibles : P A 1 B A 2 B ... B A k C P A 1
;
Cours n°1−2
B
= B
P A2
A
P A
P B
... B P A k
Cas particulier pour K événements s’excluant mutuellement : P A 1 B P A 2 B ... B P A K 15
C
1 Alexandrina ROGOZAN
UV_TI
Notions de probabilité (Rappel) Propriétés : ⇒Somme des événements : P AD B
:
8
P AD P B
Événements A et B compatibles :
P AD B
9
P A
D
E
P B
P AB
⇒ Produit des événements A et B
: :
Événements A et B indépendants : P AB
P A P B
Événements A et B dépendants :
P AB Cours n°1−2
9
8
P A et P AB 16
8
P B Alexandrina ROGOZAN
UV_TI
Notions de probabilité (Rappel) Probabilité conditionnelle de B sachant A F P B G A ⇒ Propriétés : P B G A >H P B
Événements A et B indépendants : P B G A 9 P B
P AB
9
P A P B G A 9 P B P AG B
08 P B G A 8 1 P B G A 9 1 quand A⊂B P B G A 9 0 quand A et B incompatibles B⊂B1 => P BI A
Cours n°1−2
J P B1I A
Alexandrina ROGOZAN
17
UV_TI
Notions de probabilité Propriétés de la probabilité conditionnelle : ⇒ P BD C G A
<
9
P B G A D P C G A qd. B et C incompatibles
Généralisation pour k événements Bk 2 à 2 incompatibles
⇒ P BG A
9
1E P B G A
⇒ Probabilité totale d’un événement B − l’expérience A a exactement K issues Ak
P B
2 à 2 incompatibles
K P A1 P B I A1 L P A2 P BI A2 L ... L P A K P B I A K
Cours n°1−2
18
Alexandrina ROGOZAN
UV_TI
Quantité d’information propre Signal = Information + Redondance Objectif : Coder seulement l’information et éliminer la redondance ⇒ Besoin d’évaluation objective de la quantité d’information propre
Cours n°1−2
Alexandrina ROGOZAN
19
UV_TI
Entropie et Information Information => effet de surprise ; Entropie => degré d’incertitude ⇒ Source S pouvant émettre N signes si équiprobables degré d’incertitude ≈ f N
7 log N 7SR log P S 7 si sh (selon Hartley)
⇒ Source S pouvant émettre N signes si non−équiprobables
H S
M$N O
N
P
i 1
Cours n°1−2
P S M si log P S M s i sh Q signe (selon Shannon) 20
Alexandrina ROGOZAN
UV_TI
Entropie des sources discrètes sans mémoire H0 S
9$E O
N
P
P S 9 si log P S 9 s i
sh T signe
i 1
⇒ Quantité d’information associée en moyenne à chaque signe si d’une source S pouvant émettre N signes statistiquement indépendants les uns des autres
⇒ Quantité moyenne d’information nécessaire pour spécifier quel signe a été émis par la source
:
∀ séquence de signes émise par une source discrète d’entropie H => séquence de bits avec en moyenne H bits/signe (1er th. de Shannon)
Cours n°1−2
Alexandrina ROGOZAN
21
UV_TI
Entropie des sources discrètes sans mémoire Unité de mesure de la quantité d’information => dépend de la base du log utilisé :
:
hartley ou dit pour une base 10
:
nit pour une base e
:
shannon (sh) pour une base 2
U Remarque : Ne pas confondre le shannon avec le bit !!! : Un bit − variable binaire − transporte un shannon : Cours n°1−2•
d’information ssi ses 2 états sont équiprobables.
Nombre symboles binaires bits 22
VXW
alors que Entropie sh
YZ
Alexandrina ROGOZAN
UV_TI
Entropie des sources discrètes sans mémoire Propriétés de l’entropie ⇒ Continuité car l’entropie H(S) est une fonction continue et convexe de pi . Montrer ceci pour N=2.
⇒ Symétrie par ex. H S \
\
0 ,1
source binaire.
H S\
1,0
pour une
⇒ Propriétés extrémales :
: :
]
MAX H S
^
log N
MIN H S
0
[
quand pi=1/N
quand pi=1 et les autres sont nulles
Monter que H S
_
0
p i logp i ` 0 quand pi ] 0
Cours n°1−2
Alexandrina ROGOZAN
23
UV_TI
Entropie des sources composées a Soit S une source pouvant être décomposée en une source X (à K signes) et une source Y (à J signes) qui émettent simultanément ⇒ Entropie de la source composée S (notée XY) :
:
M
:
H XY H XY
c
b
H X H X
b
H Y
quand X et Y sont indépendantes
H Y quand X et Y sont liées
H XY d H X e H Y f X Cours n°1−2
24
Alexandrina ROGOZAN
UV_TI
Entropie conditionnelle moyenne de sources discrètes sans mémoire H Y G X : entropie conditionnelle moyenne de la
source Y liée à la source X H YG X
9 O
N
p xi H Y G x i
P
i 1
Propriétés :
⇒ 0h H Y i X ⇒H X
j
⇒ H Yl X Cours n°1−2
h
H Y
H YkX
m
⇒ H Y g xi : entropie conditionnelle de la source Y quand la source X produit le signe xi
]
H Y
j
H X k Y , car H XY
]
H YX
H Xl Y Alexandrina ROGOZAN
25
UV_TI
Entropie et Information Information sur une source => diminution du degré d’incertitude ; Quantité d’information = DDE (Diminution D’Entropie)
Cas particulier : Source complètement prévisible; I X
n
H X
o
0
Quantité d’information acquise lorsque l’état d’un système physique devient entièrement connu = Entropie du système
Cas général : Soit X la source à étudier et soit Y une source pouvant être observée afin fournir de renseignements sur X ⇒ I Y p X n H X o H Xl Y ⇒ I Y p X n I X p Y n I X; Y , information mutuelle moyenne contenue dans les sources X et Y
Cours n°1−2
26
Alexandrina ROGOZAN
UV_TI
Entropie et Information Information mutuelle moyenne ⇒ Définition : I X;Y
n
H X
q
H Y
o
H XY
H(X)
⇒Diagramme de Venn :
H(Y) I(X;Y)
H(XY)
⇒ Propriétés : − sources X et Y indépendantes : I X;Y − sources X et Y équivalentes : I X;Y Cours n°1−2
n
I X 27
n
I Y
n
H X
n
n
0
H Y
Alexandrina ROGOZAN
UV_TI
Entropie et Information Débit d’information moyen (ou taux d’emission de la source)
r
H X sh t s T où T représente la durée moyenne d’émission d’un signe
⇒ Définition H X
s
⇒ Remarque • Débit d’information moyen, exprimé en sh u s ≡
Cadence d’émission, exprimée en bits u s seulement pour une source de symboles binaires équiprobables ou exprimée en bauds qd. celle−ci coïncide à la vitesse de modulation de la voie.
Cours n°1−2
28
Alexandrina ROGOZAN
UV_TI
Entropie et Information Conclusion : ⇒ L’entropie dépend des probabilités pi des signes si émis par la source S, mais ne dépend nullement de la nature de ces signes
: :
Entropie = mesure quantitative de l’information contenue dans un message Entropie ≠ mesure qualitative de l’information ou du contenu réel du message
Cours n°1−2
Alexandrina ROGOZAN
29
UV_TI
Sources discrètes avec mémoire Soit X une source de Markov homogène d’ordre m , dont l’alphabet comporte N signes : ⇒ Comportement stationnaire, ⇒ Émission d’un signe en fonction des m signes précédents.
:
Sachant qu’une séquence seq donnée de m signes ∈ SEQ (ensemble comportant Nm séquences distinctes), alors l’entropie de la source X, conditionnelle à une séquence seq donnée , vaut :
H X I seq
Kwv x
N
y
P x iI seq log P x iI seq
i 1 Cours n°1−2
30
Alexandrina ROGOZAN
UV_TI
Sources discrètes avec mémoire L’entropie d’une source de Markov homogène d’ordre m , dont l’alphabet comporte N signes, vaut : Hm X
3 H X z SEQ 3{x
Nm
y
P seq H X z seq
seq 1
⇒ Particularisation de la formule de l’entropie d’une expérience composée XY : H XY s H YX s H X | H Y } X au calcul de l’entropie conjointe H SEQ, X s H SEQ | H X } SEQ
H m X ~ H SEQ, X H SEQ sh signe Cours n°1−2
Alexandrina ROGOZAN
31
UV_TI
Entropie de la q−ième extension d’une source S
S q : Source générant des groupes de q signes, c’est à dire des vecteurs : x1 , x 2 , ...,xq Entropie de la q−ième extension
9
H Sq H S . . .
H Sq Cours n°1−2
9
q
H X 1 , X 2 , ..., X q
9
q
S
H X 1 , X 2 , ..., X q H X1
D
1
H X 2G X 1
D
D
32
H X q G X 1 , X 2 , ..., X q ...D H X q G X 1 ...X q
1
1
Alexandrina ROGOZAN
UV_TI
Entropie de la q−ième extension d’une source S Extension d’une source sans mémoire
:
Vecteur émis
H S
q
3x
x1 , x2 , ...,xq
q
H0 Xi
y
= Suite I.I.D. de signes
3 qH 0 X sh séq. de q signes
i 1
:
Vecteur émis
H S ~
q
q
x1 , x2 , ...,xq
= Suite I.N.D. de signes
H 0 X i sh séq. de q signes
i 1 Cours n°1−2
Alexandrina ROGOZAN
33
UV_TI
Entropie de la q−ième extension d’une source S
Extension d’une source avec mémoire − de Markov d’ordre m sur un alphabet de N signes − ⇒
S q : Source de Markov d’ordre 7
m q
générant N
q
séquences (ou mots) distincts de q signes
H S q qH m X sh mot de q signes Cours n°1−2
34
Alexandrina ROGOZAN
UV_TI
Entropie limite d’un processus stochastique Source S émettant q signes liés : 08 H X q G X 1 ...X q 1 8 H X q
1
G X 1 ...X q 2 8
...8 H X 1
Variation de l’entropie de la séquence émise, x1 , x 2 , ...,xq avec sa longueur q ; Valeur de l’Entropie Limite si la limite existe : ⇒1ère déf. : H
1
1
H X 1 , X 2 , ..., X q C lim H C qlim q q q ⇒2ème déf. : H’ C lim H X q i X 1 ... X q 1 sh signe q Cours n°1−2
S
q
sh signe
Alexandrina ROGOZAN
35
UV_TI
Entropie limite d’un processus stochastique Exemples et Propriétés : ⇒Séquence I.I.D. de q signes : H
:
^
H X1
Séquences de q lettres (∈ alphabet de N lettres équiprobables) − cas de la dactylographe − : H
^
log N
⇒Séquence I.N.D. de q signes : H peut ne pas exister ⇒Processus stochastique stationnaire : H
:
Source de Markov homogène d’ordre m=q−1 :
H !^ lim H X q X 1 ... X q q
Cours n°1−2
H’ existe tjr.
^
36
1
^
lim H X q X q
q
1
^
H X 2 X1 Alexandrina ROGOZAN
UV_TI
Efficacité et redondance d’une source Efficacité informationnelle de la source S
9 S
H S H MAX S
8
1
⇒Si S 1 alors plus de signes que le minimum nécessaire utilisés pour émettre un message donné ( => il y a des signes redondants )
Redondance relative de la source S r S K 1 vX Cours n°1−2
SK
H MAX S
v H S
H MAX S
J 1
⇒Mesure de l’adéquation de son alphabet aux messages délivrés
37
⇒
Alexandrina ROGOZAN
UV_TI
Pourquoi le codage de source ?
− pour améliorer l’efficacité informationnelle d’une source S, notée s , en introduisant un codage préalable des signes. − pour réduire la redondance des messages émis par cette source S, notée r s . –
Cours n°1−2
38
Alexandrina ROGOZAN
View more...
Comments