Méthodes de Monte Carlo par Chaînes de Markov
et
Applications
Intervenants : S. Allassonnière, G. Fort et E. Moulines


Plan du cours 2011-2012
Séance 1 [28 sept]  (Stéphanie Allassonnière) 
Introduction aux méthodes de Monte Carlo
Séance 2 [3 Oct] (Stéphanie Allassonnière)
Méthodes MCMC : les algorithmes essentiels
Séance 3 [10 Oct] (Stéphanie Allassonnière)
Chaînes de Markov et MCMC
Séance 4 [17 Oct] (Eric Moulines)
Ergodicité uniforme
Séance 5 [24 Oct] (Eric Moulines)
Ergodicité uniforme - Loi des grends Nombres, TCL
Séance 6 [7 Nov] (Gersende Fort)
Irréductibilité, ensembles small, apériodicité, couplage.
Séance 7 [14 Nov] (Gersende Fort)
 Ergodicité des chaînes dans le cas général, conditions de drift.
Séance 8 [21 Nov] (Eric Moulines)
Loi des Grands Nombres et TCL pour les chaînes à états généraux
Séance 9 [28 Nov] (Gersende Fort) 
 Conférence : méthodes MCMC adaptatives [Slides.pdf]
Séance 10 [5 Déc] (Eric Moulines)
Conférence : Applications des MCMC en inférence des systèmes 


Validation du cours
Sur projet individuel : contacter l'encadrant d'un des projets décrits ci-dessous.
Soutenance :   mercredi 4 janvier de 14h à 17h, salles 102 et 103.

Encadrant
Description du projet
S. Allassonnière (contact)
Estimation of parameters in incomplete data models defined by dynamical systems

Bibliographie :
S. Donnet et  A. Samson, [pdf file] Journal of Statistical Planning and Inference, 137(9):2815-31, 2007.
S. Allassonnière (contact)
Probabilistic Independent Component Analysis

Projet en lien avec la première séance de TP
Bibliographie :
S. Allassonnière et L. Younes. A Stochastic Algorithm for Probabilistic Independent Component AnalysisS. Allassonnière, L. Younes. Accepted for publication in Annals of Applied Statistics
O. Cappé (contact)
A. Garivier
(contact)
Efficient Algorithms for Universal Portfolios

A constant rebalanced portfolio is an investment strategy that keeps the same distribution of wealth among a set of stocks from day to day. There has been much work on Cover’s Universal algorithm, which is competitive with the best constant rebalanced portfolio determined in hindsight (Cover, 1991, Helmbold et al, 1998, Blum and Kalai, 1999, Foster and Vohra, 1999, Vovk, 1998, Cover and Ordentlich, 1996a, Cover, 1996c). While this algorithm has good performance guarantees, all known implementations are exponential in the number of stocks, restricting the number of stocks used in experiments (Helmbold et al, 1998, Cover and Ordentlich, 1996a, Ordentlich and Cover, 1996b, Cover, 1996c, Blum and Kalai, 1999). We present an efficient implementation of the Universal algorithm that is based on non-uniform random walks that are rapidly mixing (Applegate and Kannan, 1991, Lovasz and Simonovits, 1992, Frieze and Kannan, 1999). This same implementation also works for non-financial applications of the Universal algorithm, such as data compression (Cover, 1996c) and language modeling (Chen et al, 1999).

Bibliographie :
A. Kalai, S.Vempala
M. Sigelle (contact)
Modèle de segmentation d'une image bruitée en m classes par champ markovien; Analyse bayésienne et approximation de la distribution a posteriori (DAP) par la pseudo-vraisemblance.

L'echantillonnage de Gibbs de la DAP permet d'obtenir conjointement (ou plutot de facon alternee) une segmentation optimale (au sens de la marginale de la loi a posteriori en chaque pixel ) ainsi que l'estimation des hyperparamètres du modèle (par EM gibbsien). A la fois interessant du point de vue theorique et facile (ainsi que ludique !) à implémenter ainsi qu'à tester sur des images réelles ou simulées.

D'après l'article de B.Chalmond (1989)
M. Sigelle (contact)

Grammaires de formes probabilistes pour la synthèse d'images

Les grammaires de formes sont une méthode classique pour créer des images de synthèse à partir de formes de base.  Récemment Talton et al. ont proposé  une extension probabiliste de ces méthodes, qui permet de mieux contrôler le style visuel des productions de ces grammaires, à l'aide de méthodes de simulation originales basées sur l'algorithme de Metropolis-Hastings. Un exemple d'application de cette méthode est  la génération automatique de tableaux dans le style de Mondrian.
Le but du mini-projet sera d'implémenter les méthodes décrites par Talton et al. sur cet exemple et de les évaluer sur un échantillon de styles variés extraits de la bibliographie du domaine (Mondrian, Miro, Kandinski).

Co-encadrement avec Rémi Ronfard (INRIA Grenoble) Remi.Ronfard[at]inria.fr

Reference  :
"Metropolis Procedural Modeling"
Jerry O. Talton, Yu Lou, Steve Lesser, Jared Duke (Stanford University),Radomir Mech (Adobe Systems) and Vladlen Koltun (Stanford University)
S. Allassonnière (contact)

Ce projet est basé sur un article plus théorique. Il se concentre sur l'étude de la méthode de Langevin Monte Carlo en particulier les propriétés prouvées dans l'article d'Yves Atchadé :  http://www.stat.lsa.umich.edu/~yvesa/atmala.pdf

Les buts du projet seront de comprendre quelques preuves clefs et d'implémenter dans les cas simples synthétique cet algorithme de Langevin.
G. Fort
(contact)

Méthodes MCMC en interaction

Le choix de la loi de proposition a une grande influence sur l'efficacité des méthodes de Hastings-Metropolis. Kou, Zhou, Wong (2006) ont proposé de définir cette loi de proposition à l'aide d'un processus auxiliaire construit pour avoir une avoir une loi stationnaire égale à une version "tempérée" de la loi cible. Cet algorithme est particulièrement intéressant dans le cas de lois cibles multimodales : le processus auxiliaire a de meilleures propriétés de convergence en se déplaçant beaucoup plus rapidement entre les modes de la densité. En créant des interactions entre ce processus auxiliaire et le processus d'intérêt, ce dernier peut hériter des bonnes propriétés de convergence du processus auxiliaire et se révéler redoutablement plus efficace qu'un simple échantillonneur hastings-Metropolis.
L'objectif de ce projet est de comparer des versions adaptatives de l'algorithme de Kou, Zhou, Wong (2006) pour l'exploration de lois multimodales et de discuter de leurs propriétés de convergence.

Bibliographie :
Kou, Zhou, Wong  "Equi-Energy sampler",  Ann.Stat. 2006
A. Schreck, G. Fort et E. Moulines (disponible début novembre)

Rendez-vous :
* Jusqu'au 27 oct, ou du 4 au 7 nov : contacter l'encadrant.
* Premier RdV : avant le 18 novembre
* Second RdV : semaine du 5 au 10 décembre
* Dernier RdV :  semaine du 19 au 23 décembre
* Soutenance : première semaine de janvier
G. Fort
(contact)

Algorithme de Wang Landau adaptatif

L'algorithme de Wang-Landau est un algorithme de type MCMC adaptatif développé pour favoriser l'exploration de lois cibles multimodales, lorsque les modes sont séparés par de 'profondes vallées'. Dans ce cas, il est connu que les échantillonneurs classiques ont beaucoup de mal à se déplacer entre les différents modes de la loi cible, et restent piégés dans un ou quelques modes. Récemment, des versions adaptatives de cet algorithme ont été proposées pour rendre automatique le choix de certains paramètres d'implémentation de la méthode, à l'aide du comportement passé de l'algorithme.
L'objectif de ce projet est d'étudier le nouvel algorithme de Wang Landau récemment proposé par Jacob et al. (2011) pour l'exploration de lois multimodales et de discuter de ses propriétés de convergence.

Bibliographie :
L. Bornn, P. Jacob, P. Del Moral, A. Doucet (2011), " An adaptive interacting Wang-Landau algorithm for automatic density exploration"

Rendez-vous :
* Jusqu'au 27 oct, ou du 4 au 7 nov : contacter l'encadrant.
* Premier RdV : avant le 18 novembre
* Second RdV : semaine du 5 au 10 décembre
* Dernier RdV :  semaine du 19 au 23 décembre
* Soutenance : première semaine de janvier
G. Fort
(contact)

Relabelling algorithms for the "label switching" problem

Les algorithmes MCMC sont des outils permettant de résoudre des problèmes d'inférence dans des modèles statistiques complexes. Néanmoins, dans certains cas, la loi a posteriori est invariante par (certaines) permutations impliquant une inefficacité des échantilloneurs MCMC du fait du "label switching". Par suite, la chaîne ne permet pas de répondre à l'analyse bayésienne : par exemple, les valeurs moyennes de certaines statistiques d'intérêt sont toujours nulles et donc non informatives sur la loi à explorer.
Jasra et al. (2005) ont proposé un algorithme pour résoudre le problème de "label switching", basé sur la technique de relabelisation. Récemment, Bardenet et al. (2011), ont proposé des méthodes de relabelisation adaptives: l'idée de ces algorithmes est de produire une chaîne à valeur dans un sous-espace du support de la loi cible, ce sous-domaine permettant de retrouver, par permutations, tout le support de la loi cible. Dans les approches adaptatives, ce sous-domaine est choisi en fonction du comportement passé de l'algorithme.

L'objectif de ce projet est d'étudier quelques algorithmes de "relabelling", dont des procédures adaptatives, et de discuter de leurs propriétés de convergence.

Bibliographie :
A. Jasra, C. C. Holmes, and D. A. Stephens  (2005) "Markov Chain Monte Carlo Methods and the Label Switching Problem in Bayesian Mixture Modeling"
R.  Bardenet et al. (2011) (disponible début novembre)

Rendez-vous :
* Jusqu'au 27 oct, ou du 4 au 7 nov : contacter l'encadrant.
* Premier RdV : avant le 18 novembre
* Second RdV : semaine du 5 au 10 décembre
* Dernier RdV :  semaine du 19 au 23 décembre
* Soutenance : première semaine de janvier
E. Moulines (contact)

Autour des algorithms adaptatifs (I) : échantillonneur Hastings Metropolis adaptatif

Bibliographie :
E. Saksman and M. Vihola “On the ergodicity of the adaptive Metropolis algorithm on unbounded domains,” Annals of Applied Probability, 20(6):2178-2203, 2010.doi:10.1214/10-AAP682 Preprint: arXiv:0806.2933, PDF
E. Moulines (contact)

Une application des algorithmes de MCMC adaptatifs

Bibliographie :
M. Vihola "Grapham: Graphical models with adaptive random walk Metropolis algorithms",Computational Statistics & Data Analysis, 54(1):49-54, 2010.doi:10.1016/j.csda.2009.09.001
E. Moulines (contact)


Autour des algorithms adaptatifs (II) : échantillonneur de Gibbs adaptatif

Bibliographie :
K Latuszynski, G.O. Roberts and  JS Rosenthal: Adaptive Gibbs samplers and related MCMC methods
E. Moulines (contact)
Autour des chaînes de Markov (I)

Bibliographie :
K Latuszynski, B Miasojedow and W Niemiro: Nonasymptotic bounds on the mean square error for MCMC estimates via renewal techniques
E. Moulines (contact)
Autour des Chaînes de Markov (II)

Bibliographie :
Roberts G.O. and Rosenthal J.S. : Quantitative Non-Geometric Convergence Bounds for Independence Samplers


Applets pour visualiser le comportement d'algorithmes MCMC
Applet de Laird Breyer  [algorithmes Hastings-Metropolis principalement]
Applet de Jeff Rosenthal [algorithmes MCMC adaptatifs]


Références
Rappels de Probabilités
P. Billingsley, Probability and Measure, John Wiley and sons, 1995.  [En particulier, rappels sur temps d'arrêt et espérance conditionnelle]

Cours sur les Chaînes de Markov, et Rappels de probabilités
P. Priouret, Cours de Probabilité approfondie, disponible en pdf
P. Billingsley.  Probability and measure, J. Wiley, New-York. 1986.
J. Doob,  Stochastic processes. J. Wiley, New-York. 1953.

Chaînes de Markov
D. Revuz, Markov chains. North Holland, Amsterdam. 1984.
S. Meyn et R. Tweedie, Markov chains and stochastic stability, Springer 1993 [dispo en pdf] (nouvelle édition, 2009) [Théorie des chaînes de Markov à valeur dans un espace général].

Méthodes de Monte Carlo
L. Devroye, Non uniform random variate generations, Springer.     [Méthodes de Monte Carlo]
C. P. Robert, Méthodes de Monte Carlo par Chaînes de Markov, Economica 1996.   [Méthodes de Monte Carlo, Méthodes MCMC: algorithmie]
C. P. Robert et G. Casella, Monte Carlo Statistical Methods, Springer 1999. [Méthodes de Monte Carlo, Méthodes MCMC: algorithmie]
R.L. Tweedie et G.O. Roberts, Understanding MCMC, 2009.        [Méthodes MCMC (algorithmie, théorie) et résultats sur les chaînes de Markov pour application à l'étude des MCMC]
P. Glasserman, Monte Carlo methods in financial engineering, Springer, 2004. [Méthodes de Monte Carlo / réduction de variance : algorithmie et théorie]

Chaînes de Markov cachées
O. Cappé, E. Moulines, T. Ryden, Inference in Hidden Markov Models, Springer 2005   [En particulier : section sur variation totale / Dobrushin ]