Pré-requis

Nous distinguerons trois possibilités : ce cours est fait en première année d’école d’ingénieurs (A), en préparation à l’agrégation (B) ou dans un M2 de probabilités (C).

• Dans les cas (A) et (B), on peut attendre des étudiants la connaissance des probabilités discrètes de base. Dans le cas (B), on se basera sur une bonne connaissance de l’algèbre linéaire.

• En M2, on peut exiger la connaissance de l’espérance conditionnelle et éventuellement des martingales discrètes. On disposera d’une bonne vingtaine d’heures.

Compétences à acquérir

• Elles dépendent non seulement des pré-requis mais aussi du temps imparti et de l’environnement.

• Dans le cas d’une école d’ingénieurs, les chaînes de Markov sont un outil comme d’autres et l’on visera plutôt des compétences pratiques. On aura sans doute une quinzaine d’heures au mieux.

• Dans le cas du M2 de probabilités, l’objectif est de décortiquer en profondeur ce qui fait que les chaînes de Markov peuvent être étudiées finement de manière à ce que les étudiants puissent les manipuler aisément au détour de leur recherche.

• Dans le cas de la préparation à l’agrégation, les compétences sont dictées par ce qui est attendue dans les épreuves orales. C’est donc un cadre beaucoup plus délimité mais le temps est par la grande quantité de notions à voir par ailleurs.

• Le libellé d’une compétence commence par un verbe d’action donc pas de savoir, connaître, etc, ces verbes sont réservés aux savoir-faire qui vont être associés à la compétence.

• Une compétence est accompagnée d’un niveau d’exigence : initiation, savoir-faire, maitrise, appropriation. Pour aller vite,

  . initiation (I) : l’étudiant a vu le concept et travaillé sur des exemples simples. Par exemple, il a vu la notion d’intégrale et les primitives simples des fonctions usuelles.

  . savoir-faire (SF) : l’étudiant sait faire des exercices guidés. On indique la méthode à suivre pour faire calculer l’intégrale.

  . maîtrise (M) : l’étudiant choisit lui-même la bonne méthode d’intégration, voire détecte que l’on ne sait pas faire.

  . appropriation (A) : c’est plutôt le niveau du doctorat où l’étudiant sait mettre en relation les différentes notions d’intégrale qui existent et serait à même d’en définir une nouvelle.

• Pour des étudiants usuels, on s’arrêtera donc au niveau maitrise.

• Enfin, il faut définir la façon dont la compétence sera évaluée et donc validée ou pas.

En école d’ingénieurs

Modéliser un système dynamique stochastique par une chaîne de Markov (niveau attendu I)

• Savoirs associés :

  . choisir l’espace d’états et écrire la matrice de transition d’une chaîne de Markov.

  . connaître quelques exemples de CdM classiques : urnes d’Erhenfest, marche aléatoire sur un petit graphe, etc.

  Remarque : il existe d’autres modèles de systèmes dynamiques discrets comme les séries chronologiques qui peuvent dans un premier temps être un cas particulier de CdM mais peuvent avoir des structures plus compliquées.

Analyser un système dynamique stochastique représenté par une CdM (niveau attendu I)

• Savoirs associés :

  – classifier les états dans des cas simples (nombre d’états finis de petit cardinal)

  – calculer la probabilité stationnaire de manière algébrique

Simuler une chaîne de Markov (niveau attendu I)

• Savoirs associés:

  – Théorèmes limites pour les chaînes de Markov

  – Simulation de variables aléatoires discrètes

  – Calcul de certains éléments de la probabilité stationnaire par simulation

Validation

– contrôle écrit : facile à écrire, classique à mettre en oeuvre, à ce stade de connaissance, les questions sont un peu toujours les mêmes : soit la CdM blabla, classifier les états, calculer la probabilité stationnaire. Permet le bachotage.

– Activité numérique sur ordinateur : permet de créer des situations plus complexes. La difficulté n’est plus dans la résolution d’un système (ce qu’après tout un ordinateur fait mieux que nous) mais dans l’usage qu’on en fait. On peut tester différentes jeux de paramètres, donner aux étudiants un modèle simple et leur demander de le complexifier. La difficulté est dans l’évaluation de ce travail.

En préparation à l’agrégation

• Les compétences sont essentiellement les mêmes qu’en école d’ingénieurs. La validation se fait par les épreuves du concours :)

En M2 de probabilités

On reprend essentiellement les trois mêmes compétences sauf que

Modélisation (niveau attendu M)

– être à même de savoir quand augmenter l’espace d’états pour garder le caractère markovien d’une suite de variables aléatoires.

Analyser (niveau attendu M)

– mesures de probabilités sur les espaces de trajectoires

– notion de temps d’arrêt, de tribu arrêtée, de shift

– liens avec la théorie des martingales

– opérateurs de transition

– critères de récurrence et de transience avancés (type Foster)

– calculer des temps d’atteinte

– contrôle de chaînes de Markov (application au Q-learning)

Validation

La richesses des résultats théoriques vus incite le plus souvent à un contrôle écrit même si un travail sur ordinateur serait le bienvenu.