Recherche opérationnelle et aide à la décision

1

8 chaînes de Markov

modélisation, optimisation, complexité des algorithmes chapitre 8 (chaînes de Markov)

2

Une « chaîne de Markov à espace fini et à temps discret » est un processus stochastique ayant les propriétés suivantes : T est ensemble fini (ou infini dénombrable) de dates ou d’instants { t0 , t1 , t2 , … , tk , …} E est un ensemble fini d’états { E0 , E1 , E2 , … , Er } L’événement [ Xn = k ] se traduit par « le processus est passé dans l’état Ek à l’instant n » . D’autre part, la probabilité d’atteindre un état à l’instant n ne dépend que de l’état atteint à l’instant n – 1 . On parle d’une « probabilité de transition » p ij qui indique la probabilité de passer de l’état Ei à l’état Ej. Les probabilités de transition sont donc indépendantes de l’instant n. Pour tout état i, la somme des probabilités p ij ( j  { 1 , … , r } ) est toujours égale à 1. Une « chaîne de Markov homogène à espace d’états fini et à temps discret » est donc complètement déterminée par la donnée des p ij . La donnée de tous les p ij est résumée dans la matrice stochastique M. La distribution initiale des probabilités des états est  (0) = ( 1(0) , 2(0) , 3(0) , … , r(0) ) où i(0) représente la probabilité de se trouver dans l’état i à l’instant 0. A l’instant n, la distribution est  (n) = ( 1(n) , 2(n) , 3(n) , … , r(n) ) où i(n) représente la probabilité de se trouver dans l’état i à l’instant n. On a  (n) =  (n – 1)  M et donc  (n) =  (0)  Mn On peut alors s’intéresser à la répétition d’un grand nombre de changements d’états, c’est à dire rechercher s’il existe une limite pour chacune des suites i(n) quand n   . Si c’est le cas, on dira alors que l’état  (n) converge vers un état stable. Comme  (n) =  (0)  Mn il est clair que  (n) a une limite si et seulement si Mn en a une. Comment trouver l’état stable ? On cherche une matrice ligne  = (x1 , … , xr) avec  xi = 1 telle que  =   M.

modélisation, optimisation, complexité des algorithmes chapitre 8 (chaînes de Markov)

3

Prenons l’exemple d’un taxi qui prend ses clients soit à la gare SNCF, soit à l’aéroport. Le matin, il se positionne à la gare SNCF. Quand il prend un client à la gare SNCF, 4 fois sur 5, sa course l’emmène dans le grand Nantes intra périphérique (donc avec la probabilité 0,8), et il revient se positionner à la gare SNCF. 1 fois sur 5, sa course l’emmène hors de la ceinture du périphérique (donc avec la probabilité 0,2), et ensuite il va attendre le client suivant à l’aéroport. Quand il est à l’aéroport, 3 fois sur 5, sa course l’emmène dans le grand Nantes intra périphérique (donc avec la probabilité 0,6), et il revient se positionner à la gare SNCF. 2 fois sur 5, sa course l’emmène hors de la ceinture du périphérique (donc avec la probabilité 0,4), et ensuite il retourne attendre le client suivant à l’aéroport. On peut appeler « état 1 » le taxi attendant son client à la gare SNCF, et « état 2 » le taxi attendant son client à l’aéroport. La situation décrite ci-dessus peut se représenter de cette façon :

Évidemment, le taxi ne va pas faire des centaines (ni des milliers) de courses dans la journée ! mais c’est le même principe que l’on va adopter pour étudier des phénomènes aléatoires qui se répètent de cette façon un très grand nombre de fois. La matrice stochastique est

 0,8 0, 2  M  .  0,6 0, 4 

Pour chercher l’état stable avec une matrice stochastique de type

système linéaire

 a 1 a  , on résout le M   b  1  b

 y  1  x .  (1  a) x  (b  1) y  0 3 4

Dans l’exemple étudié, on peut conjecturer et vérifier que l’état stable est P  

1 . 4

modélisation, optimisation, complexité des algorithmes chapitre 8 (chaînes de Markov)