Главная > Математика > Теория информации
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

3.6. Пропускная способность канала без шумов со штрафами в обобщенной версии

1. В § 3.2, 3.3 рассматривалась пропускная способность дискретного канала без шумов, но со штрафами. Как указывалось, ее вычисление сводится к решению первой вариационной задачи теории информации. Приведенные там результаты могут быть обобщены на случай произвольных случайных величин, могущих принимать, в частности, непрерывные значения. Некоторые относящиеся к обобщенной версии формулы, приведенные в § 1.6, подсказывают, как это сделать.

Будем считать, что задан канал без шумов (необязательно дискретный), если задано измеримое пространство ( значения из которого может принимать величина и — измеримая функция , называемая функцией штрафов, а также мера на ( (нормировка которой не требуется). Для уровня потерь а определяем пропускную способность как максимальное значение энтропии (1.6.9):

совместимое с условием

Данная вариационная задача решается в принципе так же, как это делалось в § 3.3, частные производные при этом заменяются вариационными производными. После вариационного дифференцирования по вместо (3.3.4) будем иметь условие экстремума

где .

Отсюда получаем экстремальное распределение

Усредняя (3.6.3) и учитывая (3.6.1), (3.6.2), находим

Последняя формула совпадает с равенством (3.3.13) дискретной версии. Как и в § 3.3, можно ввести статистическую сумму (интеграл)

служащую обобщением (3.3.11), и свободную энергию

Таким же способом, как и в § 3.3, доказывается соотношение (3.3.15) и прочие результаты. Аналогичным образом обобщаются на данный случай формулы из § 3.5. При этом формулы (3.5.1), (3.5.2) заменяются на

Результирующие же равенства (3.5.3), (3.5.5) и другие остаются неизменными.

2. Рассмотрим в качестве примера тот случай, когда -мерное действительное пространство а функция с (I) имеет вид линейной квадратичной формы

где невырожденная положительно определенная матрица. Будем полагать, что Тогда формула (3.6.2) примет вид

Вычисляя интеграл и логарифмируя, находим

Следовательно, уравнение (3.3.18) при учете (3.3.16) принимает вид

а формула (3.3.15) дает

т. e. в силу (3.6.7)

Экстремальное распределение в этом случае является гауссовым, и его энтропия может быть также найдена при помощи формул § 5.4.

<< Предыдущий параграф Следующий параграф >>
Оглавление