Chaînes de Markov et Génération Aléatoire

Chaînes de Markov et Génération Aléatoire Aléa 2006 - Deuxième partie P. Duchon LaBRI

Aléa 06 - Chaînes de Markov – p. 1/2

Couplages d’un graphe G un graphe (simple, non orienté, sans boucles, n sommets) dont les arêtes ont des poids w(e), CG ensemble des couplages (matchings) de G. Y w(m) = w(e) e∈m

w(m) π(m) = P 0 m0 ∈CG w(m )

On fabrique facilement une chaîne de Markov ergodique, réversible, dont π soit la distibution stationnaire/limite.

Aléa 06 - Chaînes de Markov – p. 2/2

Couplages: Chaîne de Markov Algorithme de transition: dans l’état m: Avec probabilité 1/2, ne rien faire (m0 = m); Choisir une arête e = (u, v) uniforme; Déterminer un nouveau couplage m00 : si e ∈ m, m00 = m − e si u et v sont libres dans m, m00 = m + e si un seul de u et v est libre dans m, et si l’autre est incident à une arête e0 , m00 = m − e0 + e sinon, m00 = m m0 = m00 avec probabilité min(1, w(m0 )/w(m)), sinon m 0 = m.

Aléa 06 - Chaînes de Markov – p. 3/2

Couplages: Chaîne de Markov Algorithme de transition: dans l’état m: Avec probabilité 1/2, ne rien faire (m0 = m); Choisir une arête e = (u, v) uniforme; Déterminer un nouveau couplage m00 : si e ∈ m, m00 = m − e (↓-transition) si u et v sont libres dans m, m00 = m + e si un seul de u et v est libre dans m, et si l’autre est incident à une arête e0 , m00 = m − e0 + e sinon, m00 = m m0 = m00 avec probabilité min(1, w(m0 )/w(m)), sinon m 0 = m.

Aléa 06 - Chaînes de Markov – p. 3/2

Couplages: Chaîne de Markov Algorithme de transition: dans l’état m: Avec probabilité 1/2, ne rien faire (m0 = m); Choisir une arête e = (u, v) uniforme; Déterminer un nouveau couplage m00 : si e ∈ m, m00 = m − e (↓-transition) si u et v sont libres dans m, m00 = m + e (↑-transition) si un seul de u et v est libre dans m, et si l’autre est incident à une arête e0 , m00 = m − e0 + e sinon, m00 = m m0 = m00 avec probabilité min(1, w(m0 )/w(m)), sinon m 0 = m.

Aléa 06 - Chaînes de Markov – p. 3/2

Couplages: Chaîne de Markov Algorithme de transition: dans l’état m: Avec probabilité 1/2, ne rien faire (m0 = m); Choisir une arête e = (u, v) uniforme; Déterminer un nouveau couplage m00 : si e ∈ m, m00 = m − e (↓-transition) si u et v sont libres dans m, m00 = m + e (↑-transition) si un seul de u et v est libre dans m, et si l’autre est incident à une arête e0 , m00 = m − e0 + e (↔-transition) sinon, m00 = m m0 = m00 avec probabilité min(1, w(m0 )/w(m)), sinon m 0 = m.

Aléa 06 - Chaînes de Markov – p. 3/2

Couplages: Chaîne de Markov Algorithme de transition: dans l’état m: Avec probabilité 1/2, ne rien faire (m0 = m); Choisir une arête e = (u, v) uniforme; Déterminer un nouveau couplage m00 : si e ∈ m, m00 = m − e (↓-transition) si u et v sont libres dans m, m00 = m + e (↑-transition) si un seul de u et v est libre dans m, et si l’autre est incident à une arête e0 , m00 = m − e0 + e (↔-transition) sinon, m00 = m m0 = m00 avec probabilité min(1, w(m0 )/w(m)), sinon m 0 = m.

(algorithme de Metropolis)

Aléa 06 - Chaînes de Markov – p. 3/2

Chemins canoniques pour couplages On doit trouver, pour deux couplages m et m0 quelconques, un chemin γmm0 : une suite de transitions qui fasse passer de m à m0 , en essayant de faire en sorte que

Aléa 06 - Chaînes de Markov – p. 4/2

Chemins canoniques pour couplages On doit trouver, pour deux couplages m et m0 quelconques, un chemin γmm0 : une suite de transitions qui fasse passer de m à m0 , en essayant de faire en sorte que les chemins ne soient pas trop longs

Aléa 06 - Chaînes de Markov – p. 4/2

Chemins canoniques pour couplages On doit trouver, pour deux couplages m et m0 quelconques, un chemin γmm0 : une suite de transitions qui fasse passer de m à m0 , en essayant de faire en sorte que les chemins ne soient pas trop longs ils évitent de trop utiliser certaines transitions

Aléa 06 - Chaînes de Markov – p. 4/2

Chemins canoniques pour couplages On doit trouver, pour deux couplages m et m0 quelconques, un chemin γmm0 : une suite de transitions qui fasse passer de m à m0 , en essayant de faire en sorte que les chemins ne soient pas trop longs ils évitent de trop utiliser certaines transitions Par exemple, le choix consistant, pour passer de m à m0 , à passer systématiquement par le couplage vide est probablement mauvais : les arêtes incidentes au couplage vide seront très chargées.

Aléa 06 - Chaînes de Markov – p. 4/2

Chemins canoniques pour couplages m et m0 étant donnés : Z = m ⊕ m0 Dans Z , chaque sommet est de degré 0, 1 ou 2 : ensemble de chemins et de cycles.

Aléa 06 - Chaînes de Markov – p. 5/2

Chemins canoniques pour couplages m et m0 étant donnés : Z = m ⊕ m0 Dans Z , chaque sommet est de degré 0, 1 ou 2 : ensemble de chemins et de cycles. Ingrédients :

définir un ordre total entre ces chemins et cycles;

Aléa 06 - Chaînes de Markov – p. 5/2

Chemins canoniques pour couplages m et m0 étant donnés : Z = m ⊕ m0 Dans Z , chaque sommet est de degré 0, 1 ou 2 : ensemble de chemins et de cycles. Ingrédients :

définir un ordre total entre ces chemins et cycles; “détricoter” chacun des chemins et cycles, pour passer de m à m0 :

Aléa 06 - Chaînes de Markov – p. 5/2

Chemins canoniques pour couplages m et m0 étant donnés : Z = m ⊕ m0 Dans Z , chaque sommet est de degré 0, 1 ou 2 : ensemble de chemins et de cycles. Ingrédients :

définir un ordre total entre ces chemins et cycles; “détricoter” chacun des chemins et cycles, pour passer de m à m0 : pour un cycle, commencer par une ↓-transition (on obtient un chemin)

Aléa 06 - Chaînes de Markov – p. 5/2

Chemins canoniques pour couplages m et m0 étant donnés : Z = m ⊕ m0 Dans Z , chaque sommet est de degré 0, 1 ou 2 : ensemble de chemins et de cycles. Ingrédients :

définir un ordre total entre ces chemins et cycles; “détricoter” chacun des chemins et cycles, pour passer de m à m0 : pour un cycle, commencer par une ↓-transition (on obtient un chemin) pour un chemin, une suite de ↔-transitions, éventuellement suivie par une ↑- ou ↓-transition

Aléa 06 - Chaînes de Markov – p. 5/2

Chemins canoniques pour couplages m et m0 étant donnés : Z = m ⊕ m0 Dans Z , chaque sommet est de degré 0, 1 ou 2 : ensemble de chemins et de cycles. Ingrédients :

définir un ordre total entre ces chemins et cycles; “détricoter” chacun des chemins et cycles, pour passer de m à m0 : pour un cycle, commencer par une ↓-transition (on obtient un chemin) pour un chemin, une suite de ↔-transitions, éventuellement suivie par une ↑- ou ↓-transition (Jerrum & Sinclair: pour w(e) = λ, ρ ≤ 4m.n. max(1, λ))

Aléa 06 - Chaînes de Markov – p. 5/2

Couplages (Encore une) technique pour majorer le temps de mélange “Si on arrive à faire tourner deux copies de la chaîne de telle sorte qu’elles aient tendance à se retrouver dans le même état, alors la chaîne mélange vite” Couplage Venu du Passé (Coupling From the Past, CFTP) : une technique pour tirer selon la distribution limite exacte.

Aléa 06 - Chaînes de Markov – p. 6/2

Distance de variation totale 1X D(π, π ) = |π(x) − π 0 (x)| 2 0

x∈Ω

Aléa 06 - Chaînes de Markov – p. 7/2

Distance de variation totale 1X D(π, π ) = |π(x) − π 0 (x)| 2 0

x∈Ω

Autre caractérisation :

Aléa 06 - Chaînes de Markov – p. 7/2

Distance de variation totale 1X D(π, π ) = |π(x) − π 0 (x)| 2 0

x∈Ω

Autre caractérisation : si X et X 0 sont deux variables aléatoires, définies sur le même espace, et de lois respectives π et π 0 , alors on a P(X 6= X 0 ) ≥ D(π, π 0 )

Aléa 06 - Chaînes de Markov – p. 7/2

Distance de variation totale 1X D(π, π ) = |π(x) − π 0 (x)| 2 0

x∈Ω

Autre caractérisation : si X et X 0 sont deux variables aléatoires, définies sur le même espace, et de lois respectives π et π 0 , alors on a P(X 6= X 0 ) ≥ D(π, π 0 )

on peut avoir l’égalité (au moins pour les lois sur un ensemble fini)

Aléa 06 - Chaînes de Markov – p. 7/2

0.2 0.2 0.2 0.2 0.2 0.1 0.15 0.18 0.22 0.35

Aléa 06 - Chaînes de Markov – p. 8/2

0.1 0.05 0.02 0 0 0 0.02 0.15

0

0

0.1 0.15 0.18 0.2 0.2

Aléa 06 - Chaînes de Markov – p. 8/2

0.08 0.05 0.02 0

0.15 0.18

0

0.15

0

0.1

0

0

0

0.02

0.2 0.2

Aléa 06 - Chaînes de Markov – p. 8/2

0.08 0

0

0

0.15 0.18

0

0.1

0

0.1

0

0

0.02

0.02

0.2 0.05

0.2

Aléa 06 - Chaînes de Markov – p. 8/2

0.08 0

0

0

0.15 0.18

0

0.08

0

0.1

0

0

0

0.02

0.2 0.05 0.02

0.2

Aléa 06 - Chaînes de Markov – p. 8/2

0 0

0

0

0

0

0.1 0.15

0

0.18

0 0

0.02

0

0.08 0.05 0.02

0.2 0.2

Aléa 06 - Chaînes de Markov – p. 8/2

Idée du couplage de chaînes On définit un couplage de la chaîne M avec une copie d’elle-même : un processus (Xt , Yt )t≥0 , tel que (Xt )t≥0 est une copie de la chaîne M, partant de l’état x0 ; (Yt )t≥0 est une copie de la chaîne M, partant de la distribution limite π (donc Yt suit la distribution π , pour tout t).

Automatiquement, on a δx0 (t) ≤ P(Xt 6= Yt ). On ajoute comme contrainte (sur le couplage) : si Xt = Yt , alors Xt+1 = Yt+1 . Alors, (P(Xt 6= Yt ))t≥0 décroît, et on a automatiquement τx0 () ≤ min{t : P(Xt 6= Yt ) ≤ }

Aléa 06 - Chaînes de Markov – p. 9/2

Choix du couplage Pour définir le couplage, on définit une procédure qui examine les deux états (x, y); [simule X ] choisit le nouvel état x0 , selon la loi p(x, .); [simule Y ] si y = x, choisit y 0 = x0 ; sinon, choisit y 0 selon une loi p0 (x, x0 , y, .) qui doit vérifier : X 0 ∀(x, y, y ), p(x, x0 )p0 (x, x0 , y, y 0 ) = p(y, y 0 ) x0

On n’est évidemment pas obligé de regarder la valeur de x0 pour choisir y 0 , mais on en a le droit.

Aléa 06 - Chaînes de Markov – p. 10/2

Cas particulier : fonction de mise à jour Une façon bien pratique de visualiser le couplage : on simule la chaîne de base M par une procédure de mise à jour : Tirer U aléatoire (selon une loi connue, e.g. uniforme sur [0, 1]) Si l’état courant est x, le nouvel état est x0 = f (U, x)

Aléa 06 - Chaînes de Markov – p. 11/2

Cas particulier : fonction de mise à jour Une façon bien pratique de visualiser le couplage : on simule la chaîne de base M par une procédure de mise à jour : Tirer U aléatoire (selon une loi connue, e.g. uniforme sur [0, 1]) Si l’état courant est x, le nouvel état est x0 = f (U, x) La fonction f doit vérifier : pour tous x et x0 , µ({u : f (u, x) = x0 }) = p(x, x0 )

(définir f revient à décrire un moyen de simulation de la chaîne)

Aléa 06 - Chaînes de Markov – p. 11/2

Cas particulier : fonction de mise à jour Une façon bien pratique de visualiser le couplage : on simule la chaîne de base M par une procédure de mise à jour : Tirer U aléatoire (selon une loi connue, e.g. uniforme sur [0, 1]) Si l’état courant est x, le nouvel état est x0 = f (U, x) Alors le couplage peut se définir par : Tirer U aléatoire; x0 = f (U, x); y 0 = f (U, y).

Aléa 06 - Chaînes de Markov – p. 11/2

Cas particulier : fonction de mise à jour Une façon bien pratique de visualiser le couplage : on simule la chaîne de base M par une procédure de mise à jour : Tirer U aléatoire (selon une loi connue, e.g. uniforme sur [0, 1]) Si l’état courant est x, le nouvel état est x0 = f (U, x) Alors le couplage peut se définir par : Tirer U aléatoire; x0 = f (U, x); y 0 = f (U, y).

(les deux chaînes sont simulées en utilisant les mêmes jets de dés)

Aléa 06 - Chaînes de Markov – p. 11/2

Cas particulier : fonction de mise à jour Une façon bien pratique de visualiser le couplage : on simule la chaîne de base M par une procédure de mise à jour : Tirer U aléatoire (selon une loi connue, e.g. uniforme sur [0, 1]) Si l’état courant est x, le nouvel état est x0 = f (U, x) Alors le couplage peut se définir par : Tirer U aléatoire; x0 = f (U, x); y 0 = f (U, y).

La fonction f (U, .) représente une fonction (aléatoire, car U est aléatoire) de mise à jour de l’état.

Aléa 06 - Chaînes de Markov – p. 11/2

Vitesse de convergence Exemple des colorations d’un graphe de degré maximum ∆, avec ∆0 ≥ 2∆ + 1 couleurs

Aléa 06 - Chaînes de Markov – p. 12/2

Vitesse de convergence Exemple des colorations d’un graphe de degré maximum ∆, avec ∆0 ≥ 2∆ + 1 couleurs La chaîne simple : X la coloration courante Choisir un sommet u au hasard; le recolorier avec une couleur aléatoire uniforme parmi celles qui n’apparaissent pas parmi les voisins de u dans X.

Aléa 06 - Chaînes de Markov – p. 12/2

Vitesse de convergence Exemple des colorations d’un graphe de degré maximum ∆, avec ∆0 ≥ 2∆ + 1 couleurs Le couplage : X , Y les deux colorations courantes Choisir un sommet u au hasard; Soit A l’ensemble des couleurs qui n’apparaissent pas parmi les voisins de u dans X , et B l’ensemble des couleurs qui n’apparaissent pas parmi les voisins de u dans Y ; Choisir un couple (a, b) ∈ A × B , aléatoire, avec a uniforme sur A et b uniforme sur B , et P(a = b) = |A ∩ B|/ max(|A|, |B|) (exercice!) Dans X , recolorer u en a; dans Y , recolorer u en b.

Aléa 06 - Chaînes de Markov – p. 12/2

Majoration du temps de mélange Soit Dt l’ensemble des sommets pour lesquels Xt et Yt diffèrent : on veut majorer P(Dt 6= ∅).

Aléa 06 - Chaînes de Markov – p. 13/2

Majoration du temps de mélange Soit Dt l’ensemble des sommets pour lesquels Xt et Yt diffèrent : on veut majorer P(Dt 6= ∅). Pour cela, on majore E(|Dt |).

Aléa 06 - Chaînes de Markov – p. 13/2

Majoration du temps de mélange Soit Dt l’ensemble des sommets pour lesquels Xt et Yt diffèrent : on veut majorer P(Dt 6= ∅). Pour cela, on majore E(|Dt |). (On montre que)   0 ∆ − 2∆ E(#Dt+1 |Dt ) ≤ 1 − #Dt 0 (∆ − ∆)n

Aléa 06 - Chaînes de Markov – p. 13/2

Majoration du temps de mélange Soit Dt l’ensemble des sommets pour lesquels Xt et Yt diffèrent : on veut majorer P(Dt 6= ∅). Pour cela, on majore E(|Dt |). (On montre que)   0 ∆ − 2∆ E(#Dt+1 |Dt ) ≤ 1 − #Dt 0 (∆ − ∆)n   0 ∆ − 2∆ P(Dt 6= ∅) ≤ E(#Dt ) ≤ n exp −t 0 (∆ − ∆)n

Aléa 06 - Chaînes de Markov – p. 13/2

Majoration du temps de mélange Soit Dt l’ensemble des sommets pour lesquels Xt et Yt diffèrent : on veut majorer P(Dt 6= ∅). Pour cela, on majore E(|Dt |). (On montre que)   0 ∆ − 2∆ E(#Dt+1 |Dt ) ≤ 1 − #Dt 0 (∆ − ∆)n   0 ∆ − 2∆ P(Dt 6= ∅) ≤ E(#Dt ) ≤ n exp −t 0 (∆ − ∆)n  n  (∆0 − ∆)n . τ () ≤ ln 0  ∆ − 2∆

Aléa 06 - Chaînes de Markov – p. 13/2

CFTP: l’algorithme Propp-Wilson Le CFTP (Coupling from the Past - le couplage venu du passé) est une technique pour simuler la distribution π exacte.

Aléa 06 - Chaînes de Markov – p. 14/2

CFTP: l’algorithme Propp-Wilson Le CFTP (Coupling from the Past - le couplage venu du passé) est une technique pour simuler la distribution π exacte. On reprend l’idée des fonctions de mise à jour pour définir un couplage de N copies de M - une partant de chaque état.

Aléa 06 - Chaînes de Markov – p. 14/2

CFTP: l’algorithme Propp-Wilson Le CFTP (Coupling from the Past - le couplage venu du passé) est une technique pour simuler la distribution π exacte. On reprend l’idée des fonctions de mise à jour pour définir un couplage de N copies de M - une partant de chaque état. Méga-couplage: faire un pas de temps, c’est U uniforme sur [0, 1], F ← FU (u)

(u)

Pour chaque copie X (u) de la chaîne: Xt+1 ← F (Xt )

Aléa 06 - Chaînes de Markov – p. 14/2

Simulation exacte, mais idiote Pour tout entier n, on obtient une simulation exacte de la distribution limite π , par: tirer n fonctions aléatoires indépendantes F1 , . . . , Fn ; calculer G = Fn ◦ Fn−1 ◦ . . . ◦ F1 ; choisir u selon la loi π ; retourner G(u).

Aléa 06 - Chaînes de Markov – p. 15/2

Simulation exacte, mais idiote Pour tout entier n, on obtient une simulation exacte de la distribution limite π , par: tirer n fonctions aléatoires indépendantes F1 , . . . , Fn ; calculer G = Fn ◦ Fn−1 ◦ . . . ◦ F1 ; choisir u selon la loi π ; retourner G(u). (C’est idiot : si on sait tirer u selon la loi π , on n’a pas besoin d’un algorithme plus compliqué pour simuler la loi)

Aléa 06 - Chaînes de Markov – p. 15/2

Oui, mais. . . Si la loi de F est bien choisie, pour n assez grand, la fonction G sera très probablement une fonction constante; pas besoin de choisir astucieusement u, il suffit de retourner G(u0 ) pour un u0 quelconque (puisque le résultat ne dépend pas de u).

Aléa 06 - Chaînes de Markov – p. 16/2

Oui, mais. . . Si la loi de F est bien choisie, pour n assez grand, la fonction G sera très probablement une fonction constante; pas besoin de choisir astucieusement u, il suffit de retourner G(u0 ) pour un u0 quelconque (puisque le résultat ne dépend pas de u). (Il y a un piège. . . )

Aléa 06 - Chaînes de Markov – p. 16/2

Remarque sur la coalescence (Coalescence : la composée finit par être constante) De deux choses l’une : soit, pour tout N , la composée de N fonctions aléatoires a probabilité 0 d’être constante;

Aléa 06 - Chaînes de Markov – p. 17/2

Remarque sur la coalescence (Coalescence : la composée finit par être constante) De deux choses l’une : soit, pour tout N , la composée de N fonctions aléatoires a probabilité 0 d’être constante; soit cette coalescence se produit avec probabilité 1, et l’espérance du nombre de fonctions à composer est finie.

Aléa 06 - Chaînes de Markov – p. 17/2

Remarque sur la coalescence (Coalescence : la composée finit par être constante) De deux choses l’une : soit, pour tout N , la composée de N fonctions aléatoires a probabilité 0 d’être constante; soit cette coalescence se produit avec probabilité 1, et l’espérance du nombre de fonctions à composer est finie. Preuve : si la probabilité n’est pas nulle, alors la composée de N0 fonctions a probabilité  > 0 d’être constante, et, chaque fois qu’on compose N0 nouvelles fonctions, on a (au moins) cette même probabilité de coalescence; le temps avant coalescence a donc une espérance d’au plus N0 / < +∞.

Aléa 06 - Chaînes de Markov – p. 17/2

Exemple: marche sur un cycle V = {1, 2, . . . , N }; pi,i = pi,i+1 = 1/2 (pN,1 = 1/2)

Aléa 06 - Chaînes de Markov – p. 18/2

Exemple: marche sur un cycle V = {1, 2, . . . , N }; pi,i = pi,i+1 = 1/2 (pN,1 = 1/2) On peut réaliser un couplage généralisé de différentes manières

Aléa 06 - Chaînes de Markov – p. 18/2

Exemple: marche sur un cycle V = {1, 2, . . . , N }; pi,i = pi,i+1 = 1/2 (pN,1 = 1/2) On peut réaliser un couplage généralisé de différentes manières

Chaque image F (i) choisie independamment parmi {i, i + 1} : 2N fonctions possibles;

Aléa 06 - Chaînes de Markov – p. 18/2

Exemple: marche sur un cycle V = {1, 2, . . . , N }; pi,i = pi,i+1 = 1/2 (pN,1 = 1/2) On peut réaliser un couplage généralisé de différentes manières

Chaque image F (i) choisie independamment parmi {i, i + 1} : 2N fonctions possibles; Tirage à pile ou face : pile, F (i) = i pour tout i; face, F (i) = i + 1 pour tout i (2 fonctions possibles);

Aléa 06 - Chaînes de Markov – p. 18/2

Exemple: marche sur un cycle V = {1, 2, . . . , N }; pi,i = pi,i+1 = 1/2 (pN,1 = 1/2) On peut réaliser un couplage généralisé de différentes manières

Chaque image F (i) choisie independamment parmi {i, i + 1} : 2N fonctions possibles; Tirage à pile ou face : pile, F (i) = i pour tout i; face, F (i) = i + 1 pour tout i (2 fonctions possibles); Tirage à pile ou face : pile, F (i) = i pour i pair, F (i) = i + 1 pour i impair; face, le contraire (2 fonctions possibles).

Aléa 06 - Chaînes de Markov – p. 18/2

Exemple: marche sur un cycle V = {1, 2, . . . , N }; pi,i = pi,i+1 = 1/2 (pN,1 = 1/2) On peut réaliser un couplage généralisé de différentes manières

Chaque image F (i) choisie independamment parmi {i, i + 1} : 2N fonctions possibles; Tirage à pile ou face : pile, F (i) = i pour tout i; face, F (i) = i + 1 pour tout i (2 fonctions possibles); Tirage à pile ou face : pile, F (i) = i pour i pair, F (i) = i + 1 pour i impair; face, le contraire (2 fonctions possibles). Seule la troisième est une “bonne” proposition; en règle générale, il faut éviter que les fonctions de mise à jour soient bijectives.

Aléa 06 - Chaînes de Markov – p. 18/2

Couplage vers le futur (Idée : Si on attend assez longtemps, le couplage va bien finir par être coalescent)

Aléa 06 - Chaînes de Markov – p. 19/2

Couplage vers le futur (Idée : Si on attend assez longtemps, le couplage va bien finir par être coalescent) G←I

Tant que G n’est pas constante, G ← RandomF() ◦ G Retourner G(u0 )

Aléa 06 - Chaînes de Markov – p. 19/2

Couplage vers le futur (Idée : Si on attend assez longtemps, le couplage va bien finir par être coalescent) G ← I , u ← u0

Tant que G n’est pas constante, F ← RandomF(); G ← F ◦ G; u ← F (u) Retourner u

Aléa 06 - Chaînes de Markov – p. 19/2

Couplage vers le futur (Idée : Si on attend assez longtemps, le couplage va bien finir par être coalescent) G ← I , u ← u0

Tant que G n’est pas constante, F ← RandomF(); G ← F ◦ G; u ← F (u) Retourner u C’est un couplage vers le futur : après n étapes, G = Gn = Fn ◦ . . . ◦ F1 ; Gn (u) = RandomF()(Gn−1 (u)).

Aléa 06 - Chaînes de Markov – p. 19/2

Couplage vers le futur (Idée : Si on attend assez longtemps, le couplage va bien finir par être coalescent) G ← I , u ← u0

Tant que G n’est pas constante, F ← RandomF(); G ← F ◦ G; u ← F (u) Retourner u C’est un couplage vers le futur : après n étapes, G = Gn = Fn ◦ . . . ◦ F1 ; Gn (u) = RandomF()(Gn−1 (u)). (C’est l’ordre “naturel” de composition des fonctions)

Aléa 06 - Chaînes de Markov – p. 19/2

Couplage venu du passé G←I

Tant que G n’est pas constante, G ← G ◦ RandomF() Retourner G(u0 )

Aléa 06 - Chaînes de Markov – p. 20/2

Couplage venu du passé G←I

Tant que G n’est pas constante, G ← G ◦ RandomF() Retourner G(u0 ) C’est un couplage venu du passé : Gn = F1 ◦ . . . ◦ Fn ; en renumérotant les Fi en F−i , Gn = F−1 ◦ F−2 ◦ . . . ◦ F−n .

Aléa 06 - Chaînes de Markov – p. 20/2

Couplage venu du passé G←I

Tant que G n’est pas constante, G ← G ◦ RandomF() Retourner G(u0 ) C’est un couplage venu du passé : Gn = F1 ◦ . . . ◦ Fn ; en renumérotant les Fi en F−i , Gn = F−1 ◦ F−2 ◦ . . . ◦ F−n . Gn (u) = Gn−1 (RandomF(u)) : pour calculer l’image d’un point, la composition se fait dans le mauvais sens. . .

Aléa 06 - Chaînes de Markov – p. 20/2

Couplage venu du passé G←I

Tant que G n’est pas constante, G ← G ◦ RandomF() Retourner G(u0 ) C’est un couplage venu du passé : Gn = F1 ◦ . . . ◦ Fn ; en renumérotant les Fi en F−i , Gn = F−1 ◦ F−2 ◦ . . . ◦ F−n . Gn (u) = Gn−1 (RandomF(u)) : pour calculer l’image d’un point, la composition se fait dans le mauvais sens. . . Idée : Si on prend un couplage qui tourne depuis infiniment longtemps, il est forcément coalescent au temps 0; on va simplement s’arranger pour calculer où il est au temps 0.

Aléa 06 - Chaînes de Markov – p. 20/2

Le piège. . . Le couplage vers le futur ne simule pas (en général) la loi stationnaire;

Aléa 06 - Chaînes de Markov – p. 21/2

Le piège. . . Le couplage vers le futur ne simule pas (en général) la loi stationnaire; le couplage venu du passé la simule (pour peu que la coalescence soit possible, donc presque sûre).

Aléa 06 - Chaînes de Markov – p. 21/2

Le piège. . . Le couplage vers le futur ne simule pas (en général) la loi stationnaire; le couplage venu du passé la simule (pour peu que la coalescence soit possible, donc presque sûre). Remarque: le temps de coalescence (nombre de fonctions à composer) suit la même loi pour les couplages vers le futur et depuis le passé

Aléa 06 - Chaînes de Markov – p. 21/2

Un exemple Ω = {1, 2, 3, 4, 5}, pi,i+1 = p, pi,i−1 = 1 − p (sauf p5,5 = p, p1,1 = 1 − p)

Aléa 06 - Chaînes de Markov – p. 22/2

Un exemple Ω = {1, 2, 3, 4, 5}, pi,i+1 = p, pi,i−1 = 1 − p (sauf p5,5 = p, p1,1 = 1 − p) Couplage réalisé par 2 fonctions : F− (i) = max(1, i − 1) (1 − p) F+ (i) = min(5, i + 1) (p)

Aléa 06 - Chaînes de Markov – p. 22/2

Un exemple Ω = {1, 2, 3, 4, 5}, pi,i+1 = p, pi,i−1 = 1 − p (sauf p5,5 = p, p1,1 = 1 − p) Couplage réalisé par 2 fonctions : F− (i) = max(1, i − 1) (1 − p) F+ (i) = min(5, i + 1) (p)

Ce couplage finira par être coalescent : chaque fois qu’on compose 4 fonctions, on a probabilité p4 + (1 − p)4 d’avoir 4 fois F− ou 4 fois F+

Aléa 06 - Chaînes de Markov – p. 22/2

Un exemple Ω = {1, 2, 3, 4, 5}, pi,i+1 = p, pi,i−1 = 1 − p (sauf p5,5 = p, p1,1 = 1 − p) Couplage réalisé par 2 fonctions : F− (i) = max(1, i − 1) (1 − p) F+ (i) = min(5, i + 1) (p)

Ce couplage finira par être coalescent : chaque fois qu’on compose 4 fonctions, on a probabilité p4 + (1 − p)4 d’avoir 4 fois F− ou 4 fois F+ (Pour p = 1/2, le nombre moyen de compositions avant coalescence est d’au plus 32)

Aléa 06 - Chaînes de Markov – p. 22/2

Un exemple Ω = {1, 2, 3, 4, 5}, pi,i+1 = p, pi,i−1 = 1 − p (sauf p5,5 = p, p1,1 = 1 − p) Couplage réalisé par 2 fonctions : F− (i) = max(1, i − 1) (1 − p) F+ (i) = min(5, i + 1) (p)

Ce couplage finira par être coalescent : chaque fois qu’on compose 4 fonctions, on a probabilité p4 + (1 − p)4 d’avoir 4 fois F− ou 4 fois F+ (Pour p = 1/2, le nombre moyen de compositions avant coalescence est d’au plus 32) Exercice: donner un argument très simple justifiant que le couplage vers le futur ne simule pas la loi π

Aléa 06 - Chaînes de Markov – p. 22/2

Pourquoi le CFTP est correct On considère une suite doublement infinie de fonctions aléatoires indépendantes (Fn )n∈Z , et on pose (n < m) Gn,m = Fm−1 ◦ Fm−2 ◦ . . . ◦ Fn

Aléa 06 - Chaînes de Markov – p. 23/2

Pourquoi le CFTP est correct On considère une suite doublement infinie de fonctions aléatoires indépendantes (Fn )n∈Z , et on pose (n < m) Gn,m = Fm−1 ◦ Fm−2 ◦ . . . ◦ Fn

En tant que fonction aléatoire, Gn,m laisse la loi π stationnaire;

Aléa 06 - Chaînes de Markov – p. 23/2

Pourquoi le CFTP est correct On considère une suite doublement infinie de fonctions aléatoires indépendantes (Fn )n∈Z , et on pose (n < m) Gn,m = Fm−1 ◦ Fm−2 ◦ . . . ◦ Fn

En tant que fonction aléatoire, Gn,m laisse la loi π stationnaire; avec probabilité 1, il existe n < 0 tel que Gn,0 est une fonction constante;

Aléa 06 - Chaînes de Markov – p. 23/2

Pourquoi le CFTP est correct On considère une suite doublement infinie de fonctions aléatoires indépendantes (Fn )n∈Z , et on pose (n < m) Gn,m = Fm−1 ◦ Fm−2 ◦ . . . ◦ Fn

En tant que fonction aléatoire, Gn,m laisse la loi π stationnaire; avec probabilité 1, il existe n < 0 tel que Gn,0 est une fonction constante; si Gn,0 est constante, Gn0 ,0 = Gn,0 pour tout n0 < n;

Aléa 06 - Chaînes de Markov – p. 23/2

Pourquoi le CFTP est correct On considère une suite doublement infinie de fonctions aléatoires indépendantes (Fn )n∈Z , et on pose (n < m) Gn,m = Fm−1 ◦ Fm−2 ◦ . . . ◦ Fn

En tant que fonction aléatoire, Gn,m laisse la loi π stationnaire; avec probabilité 1, il existe n < 0 tel que Gn,0 est une fonction constante; si Gn,0 est constante, Gn0 ,0 = Gn,0 pour tout n0 < n; donc, pour tout u, lim P(G−n,0 = u) = πu

n→+∞

Aléa 06 - Chaînes de Markov – p. 23/2

Pourquoi le CFTP est correct On considère une suite doublement infinie de fonctions aléatoires indépendantes (Fn )n∈Z , et on pose (n < m) Gn,m = Fm−1 ◦ Fm−2 ◦ . . . ◦ Fn

En tant que fonction aléatoire, Gn,m laisse la loi π stationnaire; avec probabilité 1, il existe n < 0 tel que Gn,0 est une fonction constante; si Gn,0 est constante, Gn0 ,0 = Gn,0 pour tout n0 < n; (C’est un résultat de convergence monotone; ce qui échoue pour le couplage vers le futur, c’est que l’on n’a pas G0,n0 = G0,n si G0,n est constante et n0 > n)

Aléa 06 - Chaînes de Markov – p. 23/2

Versions pratiques du CFTP On n’a pas besoin de calculer complètement Gn,0 , seulement de détecter (éventuellement avec retard) que Gn,0 est constante;

Aléa 06 - Chaînes de Markov – p. 24/2

Versions pratiques du CFTP On n’a pas besoin de calculer complètement Gn,0 , seulement de détecter (éventuellement avec retard) que Gn,0 est constante; CFTP Monotone : dans tous les cas où V est un ensemble ordonné avec des éléments minimaux et des éléments maximaux, et que les fonctions F sont croissantes, la coalescence est équivalente à G(u) = G(v) pour tous les extremaux;

Aléa 06 - Chaînes de Markov – p. 24/2

Versions pratiques du CFTP On n’a pas besoin de calculer complètement Gn,0 , seulement de détecter (éventuellement avec retard) que Gn,0 est constante; CFTP Monotone : dans tous les cas où V est un ensemble ordonné avec des éléments minimaux et des éléments maximaux, et que les fonctions F sont croissantes, la coalescence est équivalente à G(u) = G(v) pour tous les extremaux; en particulier, si V est un treillis distributif fini (maximum et minimum uniques), il suffit de calculer Gn,0 (max) et Gn,0 (min); (les cas faciles sont de ce type)

Aléa 06 - Chaînes de Markov – p. 24/2

Versions pratiques du CFTP On n’a pas besoin de calculer complètement Gn,0 , seulement de détecter (éventuellement avec retard) que Gn,0 est constante; CFTP Monotone : dans tous les cas où V est un ensemble ordonné avec des éléments minimaux et des éléments maximaux, et que les fonctions F sont croissantes, la coalescence est équivalente à G(u) = G(v) pour tous les extremaux; en particulier, si V est un treillis distributif fini (maximum et minimum uniques), il suffit de calculer Gn,0 (max) et Gn,0 (min); (les cas faciles sont de ce type) binary-backoff CFTP : on calcule G−2k ,0 pour k = 1, 2, . . ., en stockant les fonctions Fn de manière à les réutiliser; ainsi, la composition se fait “dans le bon sens”

Aléa 06 - Chaînes de Markov – p. 24/2

Couplages plans 12 1

2

Aléa 06 - Chaînes de Markov – p. 25/2

Couplages plans 12 1

2

Couplages parfaits de 2n brins, sans croisements

Aléa 06 - Chaînes de Markov – p. 25/2

Couplages plans 12 1

2

Couplages parfaits de 2n brins, sans croisements Comptés par les nombres de Catalan

Aléa 06 - Chaînes de Markov – p. 25/2

Couplages plans 12 1

2

Couplages parfaits de 2n brins, sans croisements Comptés par les nombres de Catalan abababaabbab

Aléa 06 - Chaînes de Markov – p. 25/2

Transformation par croisement 12 1

2

“croisement” de deux brins (les boucles disparaissent)

Aléa 06 - Chaînes de Markov – p. 26/2

Une chaîne sur les couplages On “croise” deux brins adjacents, pris au hasard uniforme Chaîne de Markov non réversible, ergodique Distribution limite non prouvée! (“conjecture de Razumov et Stroganov”) Expérimentalement : temps de mélange (coalescence) de l’ordre de n2

Aléa 06 - Chaînes de Markov – p. 27/2

Un couplage de 60 brins. . .

Aléa 06 - Chaînes de Markov – p. 28/2

. . . et quelques-uns de 1000

Aléa 06 - Chaînes de Markov – p. 29/2