Теория информации

  

P. Л. Стратонович Теория информации. М., «Сов. радио», 1975, - 424 с.

Книга посвящена одному из главных направлений теоретической кибернетики. Дается систематическое изложение важнейших, ставших уже традиционными, результатов шенноновской теории информации, а также ряда новых вопросов, разработанных автором. К числу последних относятся теория ценности хартлиевского, больцмановского и шенноновского количеств информации, аппарат потенциальных функций, использующий параметры типа «температуры». Подчеркивается общность математического аппарата теории информации и статистической термодинамики. Содержание книги сгруппировано в соответствии с тремя вариационными задачами, характерными для теории информации.

Автор является крупным специалистом по случайным процессам, математической статистике и теории информации. Он опубликовал более ста оригинальных статей и три монографии.

Книга рассчитана на научных работников — специалистов в области кибернетики и статистической теории связи, а также аспирантов и студентов высших учебных заведений.



Оглавление

Предисловие
Введение
Глава 1. ОПРЕДЕЛЕНИЕ ИНФОРМАЦИИ И ЭНТРОПИИ ПРИ ОТСУТСТВИИ ПОМЕХ
1.1. Определение энтропии в случае равновероятных возможностей
1.2. Энтропия в случае неравновероятных возможностей и ее свойства
1.3. Условная энтропия. Свойство иерархической аддитивности
1.4. Асимптотическая эквивалентность неравновероятных возможностей равновероятным
1.5. Асимптотическая равновероятность и энтропийная устойчивость
1.6. Определение энтропии непрерывной случайной величины
1.7. Свойства энтропии в обобщенной версии. Условная энтропия
Глава 2. КОДИРОВАНИЕ ДИСКРЕТНОЙ ИНФОРМАЦИИ ПРИ ОТСУТСТВИИ ПОМЕХ И ШТРАФОВ
2.2. Основные теоремы для кодирования без помех. Равнораспределенные независимые сообщения
2.3. Оптимальное кодирование по Хуфману. Примеры
2.4. Погрешности кодирования без помех при конечной длине записи
Глава 3. КОДИРОВАНИЕ ПРИ НАЛИЧИИ ШТРАФОВ. ПЕРВАЯ ВАРИАЦИОННАЯ ЗАДАЧА
3.2. Дискретный канал без помех и его пропускная способность
3.3. Решение первой вариационной задачи. Термодинамические параметры и потенциалы
3.4. Примеры применения общих методов вычисления пропускной способности
3.5. Метод потенциалов в случае большего числа параметров
3.6. Пропускная способность канала без шумов со штрафами в обобщенной версии
Глава 4. ПЕРВАЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА И СВЯЗАННЫЕ С НЕЙ РЕЗУЛЬТАТЫ
4.1. Потенциал Г или производящая функция семиинвариантов
4.2. Некоторые асимптотические результаты статистической термодинамики. Устойчивость канонического распределения
4.3. Асимптотическая эквивалентность двух видов ограничений
4.4. Некоторые теоремы, касающиеся характеристического потенциала
Глава 5. ВЫЧИСЛЕНИЕ ЭНТРОПИИ ДЛЯ ЧАСТНЫХ СЛУЧАЕВ. ЭНТРОПИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ
5.1. Энтропия отрезка стационарного дискретного процесса и удельная энтропия
5.2. Энтропия марковской цепи
5.3. Удельная энтропия части компонент дискретного марковского процесса и условного марковского процесса
5.4. Энтропия гауссовых случайных величин
5.5. Энтропия стационарной последовательности. Гауссова последовательность
5.6. Энтропия случайных процессов в непрерывном времени. Общие понятия и соотношения
5.7. Энтропия гауссового процесса в непрерывном времени
5.8. Энтропия точечного случайного процесса
5.9. Энтропия дискретного марковского процесса в непрерывном времени
5.10. Энтропия диффузионных марковских процессов
5.11. Энтропия комбинированного марковского процесса, условного процесса и части компонент марковского процесса
Глава 6. ИНФОРМАЦИЯ ПРИ НАЛИЧИИ ПОМЕХ. ШЕННОНОВСКОЕ КОЛИЧЕСТВО ИНФОРМАЦИИ
6.2. Информация связи дискретных случайных величин
6.3. Условная информация. Иерархическая аддитивность информации
6.4. Количество информации связи в общем случае
6.5. Информация связи гауссовых величин
6.6. Удельная информация стационарных и стационарно связанных процессов. Гауссовы процессы
6.7. Информация связи компонент марковского процесса
Глава 7. ПЕРЕДАЧА СООБЩЕНИЙ ПРИ НАЛИЧИИ ПОМЕХ. ВТОРАЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА В РАЗЛИЧНЫХ ФОРМУЛИРОВКАХ
7.1. Принципы передачи и приема информации при наличии помех
7.2. Случайный код и средняя вероятность ошибки
7.3. Асимптотическая безошибочность декодирования. Теорема Шеннона (вторая асимптотическая теорема)
7.4. Асимптотическая формула для вероятности ошибки
7.5. Усиленные оценки для оптимального декодирования
7.6. Некоторые общие соотношения между энтропиями и взаимными информациями при кодировании и декодировании
Глава 8. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛОВ. ВАЖНЫЕ ЧАСТНЫЕ СЛУЧАИ КАНАЛОВ
8.2. Решение второй экстремальной задачи. Соотношения для пропускной способности и потенциала
8.3. Вид оптимального распределения и статистическая сумма
8.4. Симметричные каналы
8.5. Двоичные каналы
8.6. Гауссовы каналы
8.7. Стационарные гауссовы каналы
8.8. Аддитивные каналы
Глава 9. ОПРЕДЕЛЕНИЕ ЦЕННОСТИ ИНФОРМАЦИИ
9.1. Уменьшение средних штрафов при уменьшении неопределенности
9.2. Ценность хартлиевского количества информации. Пример
9.3. Определение ценности шенноновского количества информации и а-информации
9.4. Решение третьей вариационной задачи. Соответствующие ей потенциалы
9.5. Решение вариационной задачи при некоторых дополнительных предположениях
9.6. Ценность больцмановского количества информации
9.7. Другой подход к определению ценности шенноновской информации
Глава 10. ЦЕННОСТЬ ШЕННОНОВСКОЙ ИНФОРМАЦИИ ДЛЯ ВАЖНЕЙШИХ БЕЙЕСОВСКИХ СИСТЕМ
10.2. Системы с однородной функцией штрафов
10.3. Гауссовы бейесовские системы
10.4. Стационарные гауссовы системы
Глава 11. АСИМПТОТИЧЕСКИЕ РЕЗУЛЬТАТЫ, КАСАЮЩИЕСЯ ЦЕННОСТИ ИНФОРМАЦИИ. ТРЕТЬЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА
11.1. О различии между ценностями различных родов информации. Предварительные формы
11.2. Теорема об асимптотической равноценности различных количеств информации
11.3. Быстрота исчезновения различия в ценности шенноновской и хартлиевской информации
11.4. Другие способы записи основного результата. Обобщения и частные случаи
11.5. Обобщенная теорема Шеннона
Глава 12. ТЕОРИЯ ИНФОРМАЦИИ И ВТОРОЙ ЗАКОН ТЕРМОДИНАМИКИ
12.1. Информация о физической системе, находящейся в состоянии термодинамического равновесия. Обобщенный второй закон термодинамики
12.2. Приток шенноновской информации и превращение теплоты в работу
12.3. Энергетические затраты на создание и запись информации. Пример
12.4. Энергетические затраты на создание и запись информации. Общая формулировка
12.5. Энергетические затраты в физических каналах
Приложение. НЕКОТОРЫЕ МАТРИЧНЫЕ (ОПЕРАТОРНЫЕ) ТОЖДЕСТВА
Список литературы