Photo






Olivier Rioul

Théorie de l'information et du codage

Information and Coding Theory

Research / Recherche Cours / Teaching Livres / Books CPGE / UPS / LIESSE Divers / More


Hermes Science  - Lavoisier

Hors collection

55€ • 286 pages •16 x 24 • Septembre 2007 • ISBN : 978-2-7462-1719-5.

(English translation planned in the near future)

Click to enlarge:

couverture livre Table des matières et Index (PDF)

Présentation et bon de commande (PDF)

Présentation et bon de commande (JPG)

Fiche Web Lavoisier

4ieme couverture livre


Ce livre s'adresse aussi bien aux chercheurs, ingénieurs et professeurs qu'aux étudiants de deuxième cycle des universités ou d'écoles d'ingénieurs. Il vise à donner les notions essentielles de théorie de l'information, pour son application au codage de source et de canal. Les lecteurs auxquels il s'adresse possèdent les bases en théorie des probabilités (variables aléatoires), discipline sur laquelle s'appuie la théorie de l'information. Cet ouvrage est né de cours donnés par l'auteur, à l'Ecole Nationale Supérieure des Télécommunications (ENST), l'Ecole Nationale Supérieure de Techniques Avancées (ENSTA), l'Université Pierre et Marie Curie (Paris VI) et l'Université de Paris-Sud XI. Sa rédaction a régulièrement évolué pendant plus de dix ans.

Très peu de livres consacrés totalement ou en grande partie à la théorie de l'information ont été publiés en langue française, malgré l'importance de ce sujet pour l'enseignement en université ou école d'ingénieurs. Il apparaît que le présent ouvrage est probablement la seule référence en français qui traite de la théorie de l'information à ce niveau de détail, depuis la présentation des outils de base de la théorie (entropie, information mutuelle) jusqu'à la démonstration des théorèmes de Shannon (pour le codage de source et de canal). Certains éléments du présent ouvrage résultent de travaux originaux de l'auteur, notamment sur l'établissement du lien avec l'information de Fisher et sur une preuve originale de l'inégalité de la variance entropique.

Ce livre se compose de deux parties: 

La première partie présente les outils généraux de la théorie de l'information.  On y aborde les notions d'entropie et d'entropie relative (ou divergence); la propriété de positivité de la divergence est fondamentale car elle permet, par la suite, de prouver facilement la plupart des propriétés importantes des outils de théorie de l'information. On étudie ensuite l'information au sens de Shannon (information mutuelle): c'est la notion fondamentale autour de laquelle tout cet ouvrage est articulé. Les diverses notions d'entropie (absolue, différentielle, conditionnelle), sont présentés à la fois comme importantes en soi et comme des outils de calcul qui seront utiles par la suite pour l'application au codage. En particulier, on traite en détail les techniques de maximisation d'entropie et les inégalités de Fano. Le théorème du traitement de données pour des chaînes de traitement est une inégalité fondamentale pour son application au codage de source et de canal abordée en deuxième partie. Enfin, la première partie se termine par la présentation d'autres outils (information de Fisher, erreur quadratique moyenne) utiles en théorie de l'estimation; on fait le lien avec les outils de la théorie de l'information, via l'inégalité de la variance entropique et l'identité de de Bruijn.

La deuxième partie présente les applications de la théorie de l'information au codage de source et de canal. On introduit d'abord les modèles fondamentaux de source d'information et de canal de transmission, ainsi que les problématiques duales du codage de source et de canal. On aborde ensuite les limites de Shannon sur les performances des systèmes codés, données par la fonction taux-distortion (pour le codage de source) et la fonction capacité-coût (pour le codage de canal). On traite en détail des propriétés générales de ces fonctions et de leur calcul pour des sources et des canaux particuliers. Enfin, la deuxième partie se termine par la démonstration des théorèmes fondamentaux de Shannon pour le codage de source et de canal à l'aide de la notion de séquence typique (qui utilise la loi faible des grands nombres).

Des exercices et problèmes complètent le texte. Ils donnent un certain nombre de résultats mais ne sont pas corrigés. La résolution et la rédaction des solutions constituent une part essentielle du travail personnel nécessaire à assimiler le contenu de cet ouvrage. Les énoncés des exercices sont regroupés à l'annexe A et portent sur les outils de la théorie de l'information. Ceux des problèmes sont regroupés à l'annexe B et portent essentiellement sur les limites de Shannon pour le codage de source et de canal.






dernière modification 04-09-2007