Synthèse de textures par automates cellulaires

Projet MVA

Descriptif : La synthèse de texture a connu ces dernières années de spectaculaires développements obtenus en générant des images dont les réponses à certains réseaux de neurones sont contraintes, à la suite du papier [1]. Une forte limitation des ces approches est le nombre colossal de paramètres mis en oeuvre pour chaque texture exemple (de l'ordre de 100 000 pour la méthode [1]. Ce constat est valable pour la plupart des travaux qui ont suivis.

Récemment une approche alternative a été proposée dans [2], voir également ce site. Cette approche repose sur une architecture neuronale très simple qui s'approche à la fois des automates cellulaires et des équations de réaction-diffusion. Moins universelle que les méthodes de type [1], cette méthode permet néanmoins de générer une grande variété de textures.

Le but du projet consiste à comprendre l'approche proposée dans [2] et à la recoder, éventuellement sous une forme simplifiée. Dans une deuxième partie, on pourra s'intéresser à la forme des filtres appris par cette architecture.

Papiers :
[1] L. A. Gatys, A. S. Ecker, and M. Bethge, Texture Synthesis Using Convolutional Neural Networks
Advances in Neural Information Processing Systems 28, 2015   Web Site

[2] Texture Generation with Neural Cellular Automata, A. Mordvintsev, E. Niklasson and E. Randazzo, preprint, 2021

Figure extraite de [2]