Главная > Математика > Теория информации
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

2.4. Погрешности кодирования без помех при конечной длине записи

Методы кодирования, описанные в § 2.2, таковы, что длина записи фиксированного числа сообщений является случайной. Приведенная теория дает оценки для средней длины, но ничего не говорит о ее разбросе. Между тем практически длина записи или время передачи сообщения бывает ограниченно техническими условиями. Может оказаться, что запись сообщения не сможет уложиться в допустимые пределы и данная рализация сообщения поэтому не сможет быть записана (или передана). Это вносит определенные потери информации или искажения (зависящие от разброса длины записи), исследование которых является особой проблемой. Как видно из дальнейшего, определяющим фактором в этом отношении является энтропийная устойчивость случайных величин

Пусть длина записи сообщения не может превосходить фиксированной величины Выберем код, определяемый согласно

(2.2.5) неравенствами

Тогда запись тех реализаций сообщения, для которых выполнено условие

заведомо сможет уложиться в заданных пределах. При декодировании эти реализации будут восстановлены безошибочно. Запись некоторых реализаций не сможет уложиться. При декодировании в этом случае можно указывать любую реализацию, что, как правило, будет сопряжено с появлением ошибки. Возникает вопрос, как оценить вероятность правильного и ошибочного декодирования.

Очевидно, что вероятность ошибки декодирования не будет превосходить вероятности неравенства

которое обратно неравенству (2.4.1).

Неравенство (2.4.2) можно записать в виде

Но для энтропийно устойчивых случайных величин отношение стремится к единице. Принимая во внимание определение энтропийно устойчивых величин (§ 1.5), получаем отсюда следующий результат.

Теорема 2.5. Если случайные величины энтропийно устойчивы и если длина записи так растет с ростом что выражение

остается больше некоторой положительной постоянной то вероятность ошибки декодирования стремится к нулю при Очевидно, что условие

в приведенной теореме можно заменить на более простое условие

если при

Не поместившиеся в записи и поэтому неправильно декодированные реализации при этом относятся к множеству несущественных реализаций, о котором идет речь в теореме 1.9.

Используя результаты § 1.5, можно получить более детальные оценки для вероятности ошибки Рощ, оценить быстроту ее исчезновения.

Теорема 2.6. Вероятность ошибки декодирования при фиксированной длине записи удовлетворяет неравенству

Доказательство. Воспользуемся неравенством Чебышева

любое) для случайной величины Полагая

отсюда имеем

что доказывает (2.4.3).

Для последовательности равнораспределенных независимых сообщений из (2.4.3) получаем убывание с ростом по закону если растет линейно с ростом и дисперсия конечна. В самом деле, подставляя

в (2.4.3), находим

Используя теорему 1.13, нетрудно доказать более быстрый экспоненциальный закон убывания вероятности

Теорема 2.7. При фиксированной длине вероятность ошибки декодирования удовлетворяет неравенству

где потенциал, определяемый формулой (1.5.15), а положительный корень уравнения

если этот корень лежит в области определения и дифференцируемости потенциала.

Для доказательства нужно лишь воспользоваться формулой (1.5.18) теоремы 1.13, полагая

При малых в пределах применимости формулы (1.5.22) неравенство (2.4.6) можно заменить следующим:

В случае одинаково распределенных независимых сообщений, когда справедливы соотношения (2.4.4) и формула (2.4.5), в силу (2.4.7) имеем такое соотношение:

Оно говорит об экспоненциальном законе убывания вероятности с ростом

Полученные формулы (2.4.7), (2.4.8) соответствуют такому случаю, когда распределение вероятности для энтропии можно считать приближенно гауссовым в силу центральной предельной теоремы.

<< Предыдущий параграф Следующий параграф >>
Оглавление