Olivier Rioul
Théorie de l'information et du codage
|
Information and Coding Theory
|
Hermes Science - Lavoisier
Hors
collection
55€ • 286 pages •16 x 24 •
Septembre 2007 • ISBN : 978-2-7462-1719-5.
Click to enlarge:
Ce
livre s'adresse aussi bien
aux chercheurs, ingénieurs et professeurs qu'aux étudiants de
deuxième
cycle des universités ou d'écoles d'ingénieurs. Il vise
à donner les notions essentielles de
théorie de l'information, pour son application au codage de
source et de canal. Les lecteurs auxquels il s'adresse
possèdent les bases en théorie des
probabilités
(variables aléatoires), discipline sur laquelle s'appuie la
théorie de l'information. Cet ouvrage est né de
cours
donnés par l'auteur, à l'Ecole Nationale
Supérieure des Télécommunications
(ENST), l'Ecole
Nationale Supérieure
de Techniques Avancées (ENSTA), l'Université
Pierre et
Marie Curie
(Paris VI) et l'Université de Paris-Sud XI. Sa
rédaction
a régulièrement évolué
pendant plus de dix
ans.
Très peu de livres consacrés totalement ou en
grande
partie à la théorie de l'information ont
été publiés en langue
française,
malgré l'importance de ce sujet pour l'enseignement en
université ou école d'ingénieurs. Il
apparaît que le présent ouvrage est probablement
la seule
référence en
français
qui traite de la théorie de l'information à ce
niveau de
détail, depuis la présentation des outils de base
de la
théorie (entropie, information mutuelle) jusqu'à
la
démonstration des théorèmes de Shannon
(pour le
codage de source et de canal). Certains éléments
du
présent ouvrage résultent de travaux originaux de
l'auteur, notamment sur l'établissement du lien avec
l'information de Fisher et sur une preuve originale de
l'inégalité de la variance entropique.
Ce livre se compose de deux parties:
La première
partie
présente les outils généraux de la
théorie
de l'information. On y aborde les notions d'entropie et
d'entropie relative (ou divergence); la propriété
de
positivité de la divergence est fondamentale car elle
permet,
par la suite, de prouver facilement la plupart des
propriétés importantes des outils de
théorie de
l'information. On étudie ensuite l'information au sens de
Shannon (information mutuelle): c'est la notion fondamentale
autour de
laquelle tout cet ouvrage est articulé. Les diverses notions
d'entropie (absolue, différentielle, conditionnelle), sont
présentés à la fois comme importantes
en soi et
comme des outils de calcul qui seront utiles par la suite pour
l'application au codage. En particulier, on traite en détail
les
techniques de maximisation d'entropie et les
inégalités
de Fano. Le théorème du traitement de
données pour
des chaînes de traitement est une
inégalité
fondamentale pour son application au codage de source et de canal
abordée en deuxième partie. Enfin, la
première
partie se termine par la présentation d'autres outils
(information de Fisher, erreur quadratique moyenne) utiles en
théorie de l'estimation; on fait le lien avec les outils de
la
théorie de l'information, via
l'inégalité de la variance entropique et
l'identité de de Bruijn.
La deuxième
partie
présente les applications de la théorie de
l'information
au codage de source et de canal. On introduit d'abord les
modèles fondamentaux de source d'information et de canal de
transmission, ainsi que les problématiques duales du codage
de
source et de canal. On aborde ensuite les limites de Shannon sur
les
performances des systèmes codés,
données par la
fonction taux-distortion (pour le codage de source) et la fonction
capacité-coût (pour le codage de canal). On traite
en
détail des propriétés
générales de
ces fonctions et de leur calcul pour des sources et des canaux
particuliers. Enfin, la deuxième partie se termine par la
démonstration des théorèmes
fondamentaux de
Shannon pour le codage de source et de canal à l'aide de la
notion de séquence typique (qui utilise la loi faible des
grands
nombres).
Des exercices
et problèmes
complètent le texte. Ils donnent un certain nombre de
résultats mais ne sont pas corrigés. La
résolution
et la rédaction des solutions constituent une part
essentielle
du travail personnel nécessaire à assimiler le
contenu de
cet ouvrage. Les énoncés des exercices
sont
regroupés à l'annexe A et portent sur les outils
de la
théorie de l'information. Ceux
des problèmes sont
regroupés à l'annexe B et portent essentiellement
sur les
limites de Shannon pour le codage de source et de canal.
dernière
modification 04-09-2007
