Главная > Математика > Теория информации
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

Глава 11. АСИМПТОТИЧЕСКИЕ РЕЗУЛЬТАТЫ, КАСАЮЩИЕСЯ ЦЕННОСТИ ИНФОРМАЦИИ. ТРЕТЬЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА

Главным асимптотическим результатом, затрагивающим ценность информации, следует признать факт асимптотической равноценности различных родов информации: хартлиевской, больцмановской, шенноновской, имеющей место при весьма широких предположениях типа требований информационной устойчивости. Этот факт не сводится к факту асимптотической безошибочности передачи информации через канал с помехами, утверждаемому теоремой Шеннона (гл. 7), а является самостоятельным и не менее значимым.

Комбинация двух указанных фактов приводит к обобщенному результату, носящему название обобщенной теоремы Шеннона (§ 11.5). В последней рассматривается общий критерий качества, определяемый произвольной функцией штрафов и соответствующим ей риском. Исторически факт асимптотической равноценности информации был впервые доказан (1959 г.) именно в такой комбинированной, завуалированной форме, в сочетании со вторым фактом (асимптотической безошибочности). Он не осмысливался сначала как самостоятельный факт, а составлял по существу часть обобщенной теоремы Шеннона.

Мы в этой главе придерживаемся другого способа изложения и рассматриваем факт асимптотической равноценности различных количеств информации как совершенно особый самостоятельный факт, более элементарный, нежели обобщенная теорема Шеннона. Этот способ изложения мы считаем более предпочтительным как с принципиальной, так и с педагогической точки зрения. При этом отчетливее видна симметрия теории информации, равноправие второй и третьей вариационных задач.

Помимо самого факта асимптотической равноценности информаций, разумеется, важен и интересен вопрос о величине расхождения между ценностями различных родов информации. В § 11.3, 11.4 приводятся найденные автором первые члены асимптотического разложения для указанного расхождения., Эти члены являются точными для выбранного случайного кодирования и дают представление (как во всяком асимптотическом, полусходящемся разложении) о быстроте убывания расхождения, хотя сумма всех остальных членов разложения и не оценивается. Особо рассматривается вопрос

об инвариантности результатов относительно преобразования функции штрафов с которое не сказывается на передаче информации и на ее ценности. Предпочтение отдается тем формулам, в которых фигурируют величины и функции, инвариантные относительно указанного преобразования, например, берется отношение инвариантной разности к инвариантной величине У, а не к риску который является неинвариантным (см. теорему 11.2).

Разумеется, исследования в данном направлении могут быть дополнены и улучшены. Скажем, при рассмотрении обобщенной теоремы Шеннона в § 11.5 законно поставить вопрос о быстроте исчезновения расхождения в рисках. Этот вопрос, однако, остался нерассмотренным.

<< Предыдущий параграф Следующий параграф >>
Оглавление