| Encadrant |
Description du projet |
| S. Allassonnière (contact) |
Estimation
of
parameters
in incomplete data models defined by dynamical systems
Bibliographie : S. Donnet et A. Samson, [pdf file] Journal of Statistical Planning and Inference, 137(9):2815-31, 2007. |
| S. Allassonnière (contact) |
Probabilistic Independent Component
Analysis Projet en lien avec la
première séance de TP
Bibliographie :
S. Allassonnière et L. Younes. A Stochastic Algorithm for Probabilistic Independent Component Analysis. S. Allassonnière, L. Younes. Accepted for publication in Annals of Applied Statistics |
| O. Cappé (contact) A. Garivier (contact) |
Efficient
Algorithms
for
Universal
Portfolios
A constant rebalanced portfolio
is an investment strategy that keeps the same distribution of wealth
among a set of stocks from day to day. There has been much work on
Cover’s Universal algorithm, which is competitive with the best
constant rebalanced portfolio determined in hindsight (Cover, 1991,
Helmbold et al, 1998, Blum and Kalai, 1999, Foster and Vohra, 1999,
Vovk, 1998, Cover and Ordentlich, 1996a, Cover, 1996c). While this
algorithm has good performance guarantees, all known implementations
are exponential in the number of stocks, restricting the number of
stocks used in experiments (Helmbold et al, 1998, Cover and Ordentlich,
1996a, Ordentlich and Cover, 1996b, Cover, 1996c, Blum and Kalai,
1999). We present an efficient implementation of the Universal
algorithm that is based on non-uniform random walks that are rapidly
mixing (Applegate and Kannan, 1991, Lovasz and Simonovits, 1992, Frieze
and Kannan, 1999). This same implementation also works for
non-financial applications of the Universal algorithm, such as data
compression (Cover, 1996c) and language modeling (Chen et al, 1999).
Bibliographie : A. Kalai, S.Vempala |
| M. Sigelle (contact) |
Modèle
de
segmentation
d'une image
bruitée en m classes par champ markovien; Analyse
bayésienne et approximation de la distribution a posteriori
(DAP) par la pseudo-vraisemblance.
L'echantillonnage de Gibbs de la DAP permet d'obtenir conjointement (ou plutot de facon alternee) une segmentation optimale (au sens de la marginale de la loi a posteriori en chaque pixel ) ainsi que l'estimation des hyperparamètres du modèle (par EM gibbsien). A la fois interessant du point de vue theorique et facile (ainsi que ludique !) à implémenter ainsi qu'à tester sur des images réelles ou simulées. D'après l'article de B.Chalmond (1989) |
| M. Sigelle (contact) |
Grammaires
de
formes
probabilistes pour la synthèse d'images
Les grammaires de formes sont une méthode classique pour créer des images de synthèse à partir de formes de base. Récemment Talton et al. ont proposé une extension probabiliste de ces méthodes, qui permet de mieux contrôler le style visuel des productions de ces grammaires, à l'aide de méthodes de simulation originales basées sur l'algorithme de Metropolis-Hastings. Un exemple d'application de cette méthode est la génération automatique de tableaux dans le style de Mondrian. Le but du mini-projet sera d'implémenter les méthodes décrites par Talton et al. sur cet exemple et de les évaluer sur un échantillon de styles variés extraits de la bibliographie du domaine (Mondrian, Miro, Kandinski). Co-encadrement avec Rémi Ronfard (INRIA Grenoble) Remi.Ronfard[at]inria.fr Reference : "Metropolis Procedural Modeling" Jerry O. Talton, Yu Lou, Steve Lesser, Jared Duke (Stanford University),Radomir Mech (Adobe Systems) and Vladlen Koltun (Stanford University) |
| S. Allassonnière (contact) |
Ce projet est basé sur
un article plus
théorique. Il se concentre sur l'étude
de la méthode de Langevin Monte Carlo en particulier les
propriétés
prouvées dans l'article d'Yves Atchadé : http://www.stat.lsa.umich.edu/~yvesa/atmala.pdf
Les
buts du projet seront de comprendre quelques preuves clefs et
d'implémenter dans les cas simples synthétique cet
algorithme de
Langevin.
|
| G. Fort (contact) |
Méthodes
MCMC
en
interaction
Le choix de la loi de proposition a une grande influence sur l'efficacité des méthodes de Hastings-Metropolis. Kou, Zhou, Wong (2006) ont proposé de définir cette loi de proposition à l'aide d'un processus auxiliaire construit pour avoir une avoir une loi stationnaire égale à une version "tempérée" de la loi cible. Cet algorithme est particulièrement intéressant dans le cas de lois cibles multimodales : le processus auxiliaire a de meilleures propriétés de convergence en se déplaçant beaucoup plus rapidement entre les modes de la densité. En créant des interactions entre ce processus auxiliaire et le processus d'intérêt, ce dernier peut hériter des bonnes propriétés de convergence du processus auxiliaire et se révéler redoutablement plus efficace qu'un simple échantillonneur hastings-Metropolis. L'objectif de ce projet est de comparer des versions adaptatives de l'algorithme de Kou, Zhou, Wong (2006) pour l'exploration de lois multimodales et de discuter de leurs propriétés de convergence. Bibliographie : Kou, Zhou, Wong "Equi-Energy sampler", Ann.Stat. 2006 A. Schreck, G. Fort et E. Moulines (disponible début novembre) Rendez-vous : * Jusqu'au 27 oct, ou du 4 au 7
nov : contacter l'encadrant.
* Premier RdV : avant le 18 novembre * Second RdV : semaine du 5 au 10 décembre * Dernier RdV : semaine du 19 au 23 décembre * Soutenance : première semaine de janvier |
| G. Fort (contact) |
Algorithme
de
Wang
Landau adaptatif
L'algorithme de Wang-Landau est
un algorithme de type MCMC adaptatif développé pour
favoriser l'exploration de lois cibles multimodales, lorsque les modes
sont séparés par de 'profondes vallées'. Dans ce
cas, il est connu que les échantillonneurs classiques ont
beaucoup de mal à se déplacer entre les différents
modes de la loi cible, et restent piégés dans un ou
quelques modes. Récemment, des versions adaptatives de cet
algorithme ont été proposées pour rendre
automatique le choix de certains paramètres
d'implémentation de la méthode, à l'aide du
comportement passé de l'algorithme.
L'objectif de ce projet est d'étudier le nouvel algorithme de Wang Landau récemment proposé par Jacob et al. (2011) pour l'exploration de lois multimodales et de discuter de ses propriétés de convergence. Bibliographie : L. Bornn, P. Jacob, P. Del Moral, A. Doucet (2011), " An adaptive interacting Wang-Landau algorithm for automatic density exploration" Rendez-vous : * Jusqu'au 27 oct, ou du 4 au 7
nov : contacter l'encadrant.
* Premier RdV : avant le 18 novembre * Second RdV : semaine du 5 au 10 décembre * Dernier RdV : semaine du 19 au 23 décembre * Soutenance : première semaine de janvier |
| G. Fort (contact) |
Relabelling
algorithms
for
the "label switching" problem
Les algorithmes MCMC sont des outils permettant de résoudre des problèmes d'inférence dans des modèles statistiques complexes. Néanmoins, dans certains cas, la loi a posteriori est invariante par (certaines) permutations impliquant une inefficacité des échantilloneurs MCMC du fait du "label switching". Par suite, la chaîne ne permet pas de répondre à l'analyse bayésienne : par exemple, les valeurs moyennes de certaines statistiques d'intérêt sont toujours nulles et donc non informatives sur la loi à explorer. Jasra et al. (2005) ont proposé un algorithme pour résoudre le problème de "label switching", basé sur la technique de relabelisation. Récemment, Bardenet et al. (2011), ont proposé des méthodes de relabelisation adaptives: l'idée de ces algorithmes est de produire une chaîne à valeur dans un sous-espace du support de la loi cible, ce sous-domaine permettant de retrouver, par permutations, tout le support de la loi cible. Dans les approches adaptatives, ce sous-domaine est choisi en fonction du comportement passé de l'algorithme. L'objectif de ce projet est
d'étudier quelques algorithmes de "relabelling", dont des
procédures adaptatives, et de discuter de leurs
propriétés de convergence.
Bibliographie :
A. Jasra, C. C. Holmes, and D. A. Stephens (2005) "Markov Chain Monte Carlo Methods
and the Label Switching Problem in Bayesian Mixture Modeling"R. Bardenet et al. (2011) (disponible début novembre) Rendez-vous : * Jusqu'au 27 oct, ou du 4 au 7
nov : contacter l'encadrant.
* Premier RdV : avant le 18 novembre * Second RdV : semaine du 5 au 10 décembre * Dernier RdV : semaine du 19 au 23 décembre * Soutenance : première semaine de janvier |
| E. Moulines (contact) |
Autour des
algorithms adaptatifs (I) : échantillonneur Hastings Metropolis
adaptatif
Bibliographie : E. Saksman and M. Vihola “On the ergodicity of the adaptive Metropolis algorithm on unbounded domains,” Annals of Applied Probability, 20(6):2178-2203, 2010.doi:10.1214/10-AAP682 Preprint: arXiv:0806.2933, PDF |
| E. Moulines (contact) |
Une application des algorithmes de MCMC
adaptatifs Bibliographie :
M. Vihola "Grapham: Graphical models with adaptive random walk Metropolis algorithms",Computational Statistics & Data Analysis, 54(1):49-54, 2010.doi:10.1016/j.csda.2009.09.001 |
| E. Moulines (contact) |
Autour des algorithms adaptatifs (II) :
échantillonneur de Gibbs adaptatif Bibliographie : K Latuszynski, G.O. Roberts
and JS Rosenthal: Adaptive
Gibbs
samplers
and related MCMC methods
|
| E. Moulines (contact) |
Autour des
chaînes de Markov (I)
Bibliographie : K Latuszynski, B Miasojedow and W Niemiro: Nonasymptotic bounds on the mean square error for MCMC estimates via renewal techniques |
| E. Moulines (contact) |
Autour
des
Chaînes
de Markov (II)
Bibliographie : Roberts G.O. and Rosenthal J.S. : Quantitative Non-Geometric Convergence Bounds for Independence Samplers |