| | |
| От автора | 4 |
| Введение | 7 |
| Глава 1. Что такое информация? | 14 |
| 1.1. Некоторые понятия из теории вероятностей | 14 |
| 1.2. Информация и энтропия | 17 |
| 1.3. Семантическая и прагматическая информация | 29 |
| 1.4. Дифференциальная и относительная энтропия | 33 |
| 1.5. Максимум энтропии | 37 |
| 1.6. Энтропия дискретных случайных процессов | 41 |
| 1.7. Эргодические и марковские случайные процессы | 45 |
| 1.8. Колмогоровская сложность | 53 |
| 1.9. Задачи | 56 |
| Глава 2. Фундаментальные теоремы кодирования | 61 |
| 2.1. Типичные последовательности | 61 |
| 2.2. Сжатие данных и избыточность | 64 |
| 2.3. Совместно-типичные последовательности | 67 |
| 2.4. Лемма об обработке данных и лемма Фано | 71 |
| 2.5. Теорема о передаче данных | 74 |
| 2.6. Теорема о сжатии и передаче данных | 81 |
| 2.7. Пропускная способность дискретных каналов связи | 84 |
| 2.8. Гауссовский канал | 92 |
| 2.9. Задачи | 96 |
| Глава 3. Кодирование источника сообщений | 99 |
| 3.1. Классы кодов источника и неравенство Крафта | 99 |
| 3.2. Оптимальность кодов, алгоритмы Фано и Шеннона | 107 |
| 3.3. Алгоритм Хаффмена | 114 |
| 3.4. Алгоритм Танстелла | 116 |
| 3.5. Арифметическое кодирование | 120 |
| 3.6. Префиксное кодирование натуральных чисел | 123 |
| 3.7. Алгоритм Рябко - Элайеса | 125 |
| 3.8. Алгоритм Лемпеля - Зива | 128 |
| 3.9. Задачи | 134 |
| Глава 4. Теоретико-информационные основы криптологии | 138 |
| 4.1. Классические системы шифрования | 138 |
| 4.2. Основы теории Шеннона о защите информации | 142 |
| 4.3. Задачи | 145 |
| Библиографические ссылки | 146 |
| Предметный указатель | 148 |