Reconnaissance de Forme Statistique

Reconnaissance de Forme Statistique James L. Crowley Deuxième Année ENSIMAG Séance 1

Troisième Bimestre 2001/2002 27 mars et 2 avril 2002

Reconnaissance, Probabilité et la Règle de Bayes Plan de la séance :

Notations ...............................................................................2 Introduction et quelques définitions..................................3 Les Observations.................................................................4 La classification..................................................................5

La probabilité d'un évenement..........................................7 Définition Fréquentielle.......................................................7 Définition Axiomatique. ......................................................7 La probabilité de la valeur d'une variable aléatoire.................8 Exemple : Les statistiques de pixel couleurs......................... 10 Probabilité a posteriori : Le cas de variable discret.............. 12

La Règle de Bayes............................................................ 13 La règle de Bayes avec une ratio d'histogrammes................. 15

La Loi Normale................................................................. 16 Estimations des moments d'une densité................................ 17 La Loi Normale................................................................ 19 Estimation d’un vecteur de variables aléatoires..................... 19 Notes des Cours sur Web : http://www-prima.imag.fr/Prima/Homepages/jlc/Courses/Courses.html Sources : "Statistical Pattern Recognition", K. Fukunaga, Academic Press, 1990. "Pattern Recognition and Scene Analysis", R. E. Duda and P. E. Hart, Wiley, 1973.

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

Notations →

x

Un vecteur

D

Nombre de dimensions de X

wk k K Mk M pk, p(wk)

La classe k Indice d'une classe Nombre de classes Nombre d'exemples de la classe k. Nombre totale d'exemples de toutes les classes Probabilité a priori de rencontrer un membre de la classe k.

X,Y

Une observation (un vecteur aléatoire).

P(X )

Probabilité d'une observation X

pk(X)

Probabilité d'une observation X pour la classe wk

→

→

→

→

→

→

→

→

→

pk(X) = p(X | w k) →

P(X ) =

K

→

∑

k=1 →

qk(X) →

p(X | w k) p(wk)

→

La probabilité a posteriori de wk étant donnée X →

qk(X) = P(wk | X ) =

→

p(X | w k ) p(w k) →

p(X )

→

p(X | w k ) p(w k) = K → ∑ p(X | w k) p(w k) k=1

1-2

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

Introduction et quelques définitions. La reconnaissance de forme est la science des méthodes de classification de phénomènes. Phénomène : tout ce qui est objet d'expérience possible. Tout ce qui se manifeste par l'intermédiaire des sens. (ref : Critique de la Raison Pure, I. Kant, 1781) Une observation : une constatation attentive des phénomènes. Pour des machines, des observations sont fournies par les capteurs. Forme n. f. : A. Apparence, aspect visible. 1) ... 2) apparence extérieure donnant à un objet ou à un être sa spécificité. B. Réalisation particulières et concrète d'un fait général 1) Manière variable dont une notion, une idée, un événement, une action se présente. Les méthodes statistique de la reconnaissance de forme traite les observations sous forme de vecteur de caractéristiques. Caractéristiques : (En anglais : Feature) Signes ou ensembles de signes distinctifs. Une ensemble de propriétés. { x 1, x 2 ... xn}. En notation vectorielle :

 x1   x2  → X =  ...   x  n La formation des vrais objets physiques est sujette aux influences aléatoires. Pour les objets d'une classe, wk, les propriétés des objets individuels sont, les valeurs aléatoires. On peut resume ceci par une somme d'une forme →

→

"intrinsèque" x plus ces influences aléatoires individuelles, Bi. →

→

→

X = x + Bi

1-3

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

Toutes les techniques étudiées dans ce cours suppose un bruit additif. →

L'influence aléatoire individuelle, Bi est spécifique à un individuel par rapport de son classe et indépendant des observations. En notation vectorielle :

 X1  X  X =  ...2   X  n →

=

 x1   x2   ...   x  n

 B1  B  +  ...2   B  n

Les Observations Les propriétés sont observées au travers des capteurs. Ceci donne une observation (un phénomène) sous forme d'une ensemble de caractéristiques : { Y1, Y 2 ... Yn}.

 Y1  Y  Y=  ...2   Y  n →

→

Les observations sont corrompues par un bruit, Bo. →

→

→

Y = X + Bo Le bruit est, par définition, imprévisible. Il est aléatoire. Donc les caractéristiques observées sont des vecteurs aléatoires. La corruption des observations par un bruit aléatoire est fondamentale aux capteurs physiques. Parce que des caractéristiques sont des vecteurs à N dimensions, nous allons faire appel aux méthodes de la géométrie des espaces à N dimensions pour construire les techniques de reconnaissance.

1-4

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

Exemple : Le spectre des plantes observées par un satellite. Une image satellite est composée de pixels s(x, y). Chaque pixel compte le nombre de photons issus d’une surface carrée de la terre (ex. 10 m2. ). Les photons sont captés au travers des filtres spectraux. Ceci donne une vecteur de caractéristiques pour chaque pixel. →

x : Le spectre des pigments des feuilles pour une espece. →

Bi : Les variations du spectre intrinsèque dues aux variations d'age ou →

d'humidité. Bi est spécifique à un individu. Il ne change pas entre les observations. →

→

→

X = x + Bi : Le spectre des pigments des feuilles pour un individu →

Bo : Les variations d'observations dues à l'angle du soleil et les effets de filtrage de la lumière par l'atmosphère (humidité, pollution etc). La classification La classification est une capacité fondamentale de l'intelligence. Comprendre : Faire entrer dans une catégorie. Les perceptions brutes (les phénomènes) sont comprise par l'association aux catégories mentales (les concepts). La capacité de classer les phénomènes est caractéristique à toute espèce vivante. Reconnaissance : Le fait de reconnaître, d'identifier un objet, un être comme tel. Reconnaître : A. Saisir un objet par la pensée, en reliant entre elles, des images, des perceptions. Identifier par la mémoire, le judgement ou l'action. 1. Penser un objet présent comme ayant déjà été saisi par la pensée. 2. Juger un objet ou un concept comme compris dans une catégorie. Identifier :

Reconnaître un individu

Classer :

Reconnaître un membre d'une catégorie, ou d'une classe.

Classe: n. f. 2) Ensemble d'individus ou d'objets qui ont des caractères communs. ensemble n. m. : un groupe. 1-5

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

Les ensembles peuvent êtres définis par extension : une liste complète des membres intention : une conjonction des caractéristiques Un ensemble est défini par un test d'appartenance. par extension : Une comparaison d'une observation avec des membres connus de l'ensemble (des prototypes) par intention : Conjonction de prédicats définis sur les propriétés observées Ceci correspond (grosso modo) aux deux approches de la reconnaissance statistique : les techniques de classification paramétriques (par intention) et non-paramètriques (par extension). La classification est un processus d'association d'une classe à une observation. x1 x2 ... xn

d{g(x1,x2, ..., xn)}

^ w

Pour un vecteur de caractéristique il sort une estimation de la classe, w^ Les techniques de reconnaissance de formes statistiques fournissent une méthode pour induire des tests d'appartenance à partir d'un ensemble d'échantillons. La classification se résume à une division de l'espace de caractèristique en partition disjoint. Cette division peut-être fait par estimation de fonctions paramétrique ou par une liste exhaustives des frontières. Le critère est la probabilité. Cette probabilité est fournie par la règle de Bayes. →

p(Classek | X ) =

→

p(X | Classe k ) p(Classe k) →

p(X )

1-6

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

La probabilité d'un évenement. La sémantique (ou "sens") de la probabilité d'un événement peut être fourni par sa fréquence d'occurrence ou par un système d'axiomes. L' approche frequentielle a l'avantage d'être facile à comprendre. Par contre, elle peut entrainer les difficultés dans l'analyse. Les mathématiciens préferent une définition axiomatique. Dans le deux cas, la probabilité est une fonction numérique, Pr() ∈ [0, 1]. Le domaine de la fonction Pr() est une ensemble S. L'ensemble S est composé de K sous-ensembles (tribus) disjoints d'evennements, S = {A 1 ∪ A2 ∪ ...∪ AK} Définition Fréquentielle. Une définition "Fréquentielle" de la probabilité sera suffisante pour la plupart des techniques vues dans ce cours. Soit M observations des événement aléatoires dont Mk appartiennent à la classe Ak. La Probabilité d'observer un événement de la classe Ak est Mk pk = p(Ak) = Pr{Ak} ≡ Lim { M } M→ ∞ Mk Pour le cas pratique ou M est fini, Pr{wk} ≈ M La validité de l'approximation dépend du nombre d'échantillons M. Définition Axiomatique. Une définition axiomatique permet d'eviter certain difficulté dans l'analyse de systèmes probabilistes. Trois postulats sont suffisants : Postulat 1 : ∀ A ∈ S : Pr(A) ≥ 0 Postulat 2 : Pr(S) = 1 Postulat 3 : ∀ Ai, A j ∈ S tel que Ai ∩ Aj = ∅ : Pr( A i ∪ Aj) = P(Ai) + P(Aj) 1-7

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

La probabilité de la valeur d'une variable aléatoire Pour X entier, tel que X ∈ [Xmin, X max] . On peut traiter chacun des valeurs possibles comme une classe d’événement. Si les valeurs de x sont entières, tel que x ∈ [xmin, x max] on peut estimer la probabilité a partir de M observations de la valeur, {Xm}. On compte le nombre d'observation de chaque valeur, x, dans une table, h(x). L'existence des ordinateurs avec des centaines de megabytes rendre des tables de fréquence très pratique pour la mise en œuvre en temps réel des algorithmes de reconnaissance. Dans certains domaines, comme l'analyse d'images, par abus de langage, un tel table s'appelle une histogramme. Proprement dit, l'histogramme est une représentation graphique de h(x) Ainsi la probabilité d'une valeur de X ∈ [Xmin, Xmax] est la fréquence de cette valeur. Avec M observations de la valeur, X, on peut faire une table, h(x), de fréquence pour chacun des valeurs possibles. On observe M exemples de X, {Xm}. Pour chaque observation on ajoute "1" à son entré dans la table. ∀m=1, M : h(Xm) := h(Xm) + 1; M := M+1; h(x) est une table de fréquence pour chaque x ∈ [xmin, x max]. Ainsi, on peut définir la probabilité d’une valeur x par sa fréquence : 1 pr{Xm=x} ≡ Lim { M h(x)} M→ ∞ Quand M est fini, on peut faire appel à l'approximation. 1 pr{X=x} = p(x) ≈ M h(x) La validité de l'approximation depend dunombre de valeurs possible et de M. En règle générale, on dit qu'il faut 10 exemples par valeur possible. Que faire si la masse d'exemple est insuffisante : M < 10 (Xmax–Xmin) ? Que faire si x n'est pas entier ? Il faut une fonction paramétrique pour p(X). 1-8

Reconnaissance, Probabilité et la Règle de Bayes Pour x entier, tel que x ∈ [Xmin, Xmax] x par sa fréquence :

Séance 1

on peut définir la probabilité d'un valeur

1 p(X=x) ≡ Lim { M h(x)} M→ ∞ Quand M est fini, on peut faire appel à l'approximation. 1 p(X=x) ≈ M h(x) La validité de l'approximation depend de la nombre de valeurs possible et de M. En régle générale, on dit qu'il faut 10 echantillons par valeur possible. Nous verrons le problème d'estimation de l'erreur plus tard

1-9

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

Exemple : Les statistiques de pixel couleurs Une image est une table de pixels. Chaque pixel est une observation d'une scène, et donc, une variable aléatoire. Il y a beaucoup des pixels dans les images (512 x 512 = 218 = 256 K pixels) Les pixels d'une image couleur sont representé par 3 octets R, G et B avec (8 bits par octets). Dans ce cas, chaque pixel est une vecteur aléatoire. →

X = (R, G, B)T ou R, G, et B sont issue du [0, 255]. Pour un vecteur de caractéristique, on peut calculer une table à 3 dimensions. →

Pour un image couleur, composé de (R, G, B), avec 8 bits par pixel, h(X) contient 2563 = 224 valeurs. Mais chaque image contient 5122 = 218 pixels. Si on suppose qu'il faut 10 exemples par cellulle, Il faut 10 x 26 images = 640 → → 1 images pour une estimation valable de p(X ) = M h(X ) . On peut transformer le vecteur (R, G, B)T en luminance et chrominance. La luminance, ou intensité, L, est en proportion de cos(i) où i est l'angle entre la source et la normale de la surface. La chrominance, C1, C 2 est une signature pour la reconnaissance. Composant Speculaire Composant Lambertian

Lumieres

Surface

Pigment

La composant "luminant" est déterminé par l'orientation de la surface.

1-10

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

La composant "chrominant" est déterminé par la composition de la spectre de la source et le spectre d'absorbation des pigments de la surfaces. Si la spectre de la source est constante, la chrominance indique l'identité de l'objet Par exemple : L = R+G+B

R C1 = R+G+B

G C2 = R+G+B

R, G, B sont les entiers. Donc, C1, C 2 sont issu d'une ensemble finit de valeurs dans l'intervalle [0, 1]. On peut transformer C1, C 2 en entier entre [0, N-1], par R C1 = Round ( N · R+G+B ).

G C2 = Round ( N · R+G+B ).

On aura N2 cellulles de chrominances dans l'histogramme. Par exemple, pour N=32, on a 322 = 1024 cellules à remplir est il nous faut que M = 10 K pixels d'exemples. (Une image = 256 K pixels). Dans ce cas, pour M observations

→ → 1 p(X) ≈ M h(X)

1-11

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

Probabilité a posteriori : Le cas de variable discret Pour les observations de K classes wk, la probabilité conditionnelle est →

→

Si X est composé de variable discretes, {x ∈ Ν} tel que x ∈ [Xmin,

p(X | wk).

→

Xmax], on peut faire une table hk(X) pour les Mk observations de la classe w k. → → 1 p(X | wk ) ≈ M hk(X) k

La somme de toutes les observations est M =

K

∑

k=1 K

→

p(X) =

∑

k=1

Mk

→

p(w k) p(X | wk )

→ → 1 1 K ≈ M h(X) = M ∑ Mk hk(X) k=1

La probabilité à posteriori peut être calculé par la règle de Bayes. →

p(wk | X ) =

→

p(X | w k ) p(w k) →

p(X )

1-12

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

La Règle de Bayes Soit q une proposition d'un évenement. Par axiome 2 de la définition des systèmes de probabilités : P(q) + P(¬q) = 1. Soit deux propositions p et q. P(p ∧ q) est la probabilité "conjointe" de p et q. Si p et q sont mutuellement exclusifs.. P(p ∧ q) = P(p) · P(q), P(p ∨ q) = P(p) + P(q). On peut voir ça d'une manière graphique : P(p)

P(¬p)

1 P(¬q) P(¬q) x P(p)

P(q)

P(q) x P(p)

P(¬q)x P(¬p)

P(q) x P(¬p)

0 0

oit :

1

P(p ∧ q) + P(p ∧ ¬q) + P(¬p ∧ q) + P(¬p ∧ ¬q) = 1 P(p ∧ q) = A P(p ∧ ¬q) = B P(¬p ∧ q) = C P(¬p ∧ ¬q) = D

Dans ce cas, les probabilités marginales sont P(p) = A + B = P(p ∧ q) + P(p ∧ ¬q) P(q) = A + C = P(p ∧ q) + P(¬p ∧ q)

1-13

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

La probabilité conditionnelle de q étant donnée p s'écrit P(q | p) P(q | p) =

P(p ∧ q) A = P(p) A+B

de la même manière : P(p | q) =

P(p ∧ q) A = P(q) A+C

Par algèbre on déduire : P(q | p) P(p) = P(p | q) P(q) Ceci est une forme de règle de Bayes. On peut écrire : P(q | p) =

P(p | q) P(q) P(p)

P(q | p) est la probabilité "conditionnelle" ou "postérieur"

1-14

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

La règle de Bayes avec une ratio d'histogrammes. La probabilité à posteriori peut être calculé par la règle de Bayes. →

p(wk | X ) =

→

p(X | w k ) p(w k) →

p(X ) →

Dans le cas des valeurs de X discrètes tel que x ∈ [Xmin, X max] , on a Mk p(wk) ≈ M

probabilité de la classe wk: →

probabilité conditionnelle de X): →

Probabilité à priori de X :

→ → 1 p(X| w k) ≈ M hk(X) k → → 1 p(X) ≈ M h(X)

ce qui donne : p(wk | X ) =

p(X | w k ) p(w k) p(X)

≈

→ Mk 1 → h (X ) k M Mk hk(X) = → → 1 h(X) h ( X ) M

Cette technique s'avère très utile dans les cas où il y a suffisemment d'échantillons pour faire un histogramme valable. Par exemple quand on traite des images ou les signaux.

Que faire si la masse d'exemple est insuffisante : M < 10 (Xmax–Xmin) ? Que faire si x n'est pas entier ? Il faut une fonction paramétrique pour p(X).

1-15

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

La Loi Normale : Une fonction paramétrique pour p(X). Quand les variables aléatoires sont issues d'une séquence d’événements aléatoires, leur densité de probabilité prend la forme de la loi normale, N(µ, σ).

Ceci est démontré par le théorème de la limite centrale. Il est un cas fréquent en nature. Les paramètres de N(µ, σ) sont les premiers et deuxième moments des exemples. Donc, on peut les estimer pour n’importe quel nombre d'exemples. On peut même estimer les moments quand il n'existe pas les bornes (Xmax–Xmin) ou quand X est une variable continue. Dans ce cas, p( ) est une "densité" et on peut utiliser

N(µ,

σ) comme une fonction

de densité pour p(x). 1 p(x)≈ N(x; µ, σ) = 2πσ

e

–

(x–µ)2 2σ2 N(x; µ, σ)

x µ+σ

µ

µ+σ

Le base "e" est : e = 2.718281828.... Il s'agit du fonction tel que 1 2πσ

Le terme ∞ ⌠  ⌡

e

∫ ex

dx = ex

sert à normaliser la fonction en sorte que sa surface est 1.

(x–µ)2 2σ2 dx = 2π σ.

–

–∞ Le terme d2(x)=

(x–µ)2 est la distance x et µ normalisée par la variance. σ2 1-16

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

La différence (x – µ)2 est la "distance" entre une caractéristique et la caractéristique "nominale" d'une classe. La variance, σ2, sert à "normaliser" cette distance. La différence normalisée par la variance est connue sous le nom de "Distance de Mahalanobis". La Distance de Mahalanobis est un test naturel de similarité Estimations des moments d'une densité Le premier moment : La Moyenne Soit M observations d'un variable aléatoire, { X1, X 2, ..., X 3} = {Xm} La moyenne est l’espérance de {Xm}. . 1 M µ ≡ E{x} = M ∑ X m m=1 Il s'agit d'une somme sur M (le nombre exemples). Cette somme existe, même quand Xmin et X max n'existent pas et quand X est réelle. On note que dans le cas X est un nombre entier, on peut aussi estimer la moyenne par la table de fréquence. La masse d’un histogramme, h(x) est le nombre d'échantillons qui composent l'histogramme, M. M=

xmax

∑ h(x) x=xmin

Pour X entier, tel que X ∈ [xmin, x max] on peut démontrer que

µ≡

xmax 1 xmax E{x} = M ∑ h(x) ≈ ∑ p(x)·x x=xmin x=xmin

1 M 1 xmax donc : µ ≡ E{x} = M ∑ X m = M ∑ h(x) m=1 x=xmin Pour X réel µ ≡ E{x} =

∫ p(x)·x dx 1-17

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

Le deuxième moment (La variance) La variance, σ2, est le deuxième moment de la densité de probabilité. Pour un ensemble de M observations {xm} 1 M ≡ E{(X m-µ)2} = M ∑ (X m – µ)2 m=1 Mais l'usage de µ estimé avec le même ensemble, introduit un biais dans σ2 . Pour l’éviter, on peut utiliser une estimation sans biais.

σ2

σ2

M 1 = M-1 ∑ (X m – µ)2 m=1

Lequel est correct ? (les deux !) Pour X entier, tel que X ∈ [Xmin, X max] on peut démontrer que 1 Xmax = E{(X m-µ)2} = M ∑ h(x)(x – µ)2 x=xmin Ceci est vrais parce que la table h(x) est fait de {Xm}.

σ2

Donc :

σ2

1 M 1 xmax = M ∑ (X m – µ)2 = M ∑ h(x)(x – µ)2 m=1 x=xmin

Pour X réel on a

σ2 ≡

E{(X m–µ)2} =

∫ p(x)·(x–µ)2 dx

1-18

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

La Loi Normale Avec µ et

σ2, on peut estimer la densité p(x) par N(x; µ, σ)

1 pr(X=x) = p(x) = N(x; µ, σ) = 2πσ

N(x; µ, σ)

e

–

(x–µ)2 2σ2

a la forme : N(x; µ, σ)

x µ+σ

µ+σ

µ

La moyenne, µ, est le premier moment de la densité p(x). µ ≡ E{X} =

∫ p(x)·x dx

La variance, σ2 est le deuxième moment de p(x).

σ2 ≡

E{(X–µ)2} =

∫ p(x)·(x–µ)2 dx

Estimation d’un vecteur de variables aléatoires Pour un vecteur de D propriétés →

M

1 µ ≡ E{X} = M ∑

m=1

→

Xm

  = 

  . . .  D  1 2

=

 E{X 1}   E{X 2}   ...  E{X }  D

→

Pour X entier, tel que pour chaque d ∈ [1, D], xd ∈ [xdmin, xdmax] on peut démontrer que

1-19

Reconnaissance, Probabilité et la Règle de Bayes

Séance 1

xDmax → 1 x1max E{x d} = M ∑ .... ∑ h(x) xd x1=x1min xD=xDmin

µd ≡

Pour x réel,

µd ≡

E{x d} =

∫ ∫ ... ∫

→

→

p(x) ·x d dX

Dans tous les cas : →

µ = E{X}

  = 

  . . .  n  1 2

=

E{x 1} E{x 2}  ...  E{x }  n

Pour D dimensions, la covariance entre les variables xi et x j est estimée à partir →

de M observations {X m}

σij2

≡ E{ (Xi – E{Xi} )(X j – E{Xj})} =

1 M ∑ (X im – µi)(X jm – µj)) M m=1

Et encore, pour éviter le bias, on peut utiliser :

σij2 =

M 1 ∑ M-1 m=1(X im – µi)(X jm – µj))

Ces coefficients composent une matrice de covariance. C →

Cx ≡ E{[X –

Cx ≡

→

→

→

→

→

→

→

µ)(X – µ)T} = E([X – E{X })(X – E{X }) T}    

σ112 σ212 ... σD12

σ122 σ222 ... σD22

σ1D2 σ2D2 ... σDD2

... ... ...

   

→

Dans le cas d'un vecteur de propriétés, X, la loi normale prend la forme :

1-20

Reconnaissance, Probabilité et la Règle de Bayes →

p(X)=

→

→

N( X ; µ ,C ) =

e

1 D 1 2 (2π) det(C)2

Séance 1 1

→

– 2(X –

→

→

µ)TCx–1(X

–

→

µ

)

x1

x2

Le terme

D 1 2 (2π) det(C)2 est un facteur de normalisation.

∫ ∫ ...∫ e

→

1

– 2(X –

→

→

µ)TCx–1(X

–

→

µ

)

D 1 dX1 dX2 ... dXD = (2π) 2 det(C)2

La déterminante, det(C) est une opération qui donne la "énergie" de C. Pour D=2

a b det c d  = a·b–c·d

Pour D=3  a b c det  d e f  =  g h i  

e f f d d e a·det h i  + b·det i g  + c· det g h 

= a(ei-fh)+ b(fg-id)+ c(dh-eg) pour D > 3 on continue recursivement. L'exposant est une valeur positive et quadrique. 1 → → T –1 → → (si X est en mètre, 2 (X – µ) Cx (X – µ ) est en mètre2. ) Cette valeur est connue comme la "distance de Mahalanobis". 1-21

Reconnaissance, Probabilité et la Règle de Bayes → 1 → d2(X)= 2 (X –

→

→

Séance 1

→

µ) TCx–1(X – µ )

Il s'agit d'une distance euclidienne, normalisé par la covariance Cx. →

Cette distance est bien définie, même si les composants de X n'ont pas les mêmes unités. (Ceci est souvent le cas). Le premier moment d'une densité est son moyenne (son espérance). La deuxième moment d'une densité est son covariance.

Pour le vecteur d'observations : →

→

µ = E{X}

 µ1  µ  =  ...2   µ  d

où chaque composant est

→ → µd = ⌠⌡ p(X) ·x i dX =

∞ ∫ x i p(xi)dxi –∞

Les moments sont conservés par les transformations linéaires. La transformation linéaire d'une loi normale et une loi normale. Les moments d'une transformation linéaire d'un jeu de données sont les transformations linéaires des moments de ces jeux de donnée. En conséquence, La distance de Mahalanobis est invariante aux transformations linéaires. Pour matrice T →

→

T { d2(X )}= d2(T {X } )

1-22