Главная > Математика > Теория информации
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

Глава 5. ВЫЧИСЛЕНИЕ ЭНТРОПИИ ДЛЯ ЧАСТНЫХ СЛУЧАЕВ. ЭНТРОПИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ

В настоящей главе излагаются методы подсчета энтропии многих случайных величин или случайного процесса в дискретном и непрерывном времени.

Особый интерес с принципиальной, а также прикладной точки зрения представляют стационарные случайные процессы и их теоретико-информационные характеристики, в частности, энтропия. Такие процессы являются относительно простыми объектами, особенно дискретный процесс, т. е. стационарный процесс с дискретными состояниями, протекающий в дискретном времени. Поэтому на его примере удобно иллюстрировать основные положения, и мы с него начнем.

Основное внимание будет уделено определению такой важной характеристики стационарного процесса, как удельная энтропия, т. е. энтропия, отнесенная к единице времени, к одному такту. Кроме того вводится энтропия Г конца отрезка. Она вместе с удельной энтропией определяет энтропию длинного отрезка длины Т по приближенной формуле

которая тем точнее, чем больше Т. Обе постоянные вычисляются для дискретного марковского процесса.

Обобщенное определение энтропии, данное в § 1.6, позволяет применять это понятие как к непрерывно-значным случайным величинам, так и к тому случаю, когда число этих случайных величин континуально, т. е. к случайному процессу с непрерывным параметром (временем).

Ниже показано, что на случай непрерывного пространства значений и на случай непрерывного времени могут быть распространены многие результаты, относящиеся к дискретному процессу. Так, для стационарных процессов в непрерывном времени может быть введена удельная энтропия, отнесенная уже не к одному такту, а к единице времени, и энтропия конца отрезка. Энтропия случайного процесса на отрезке приближенно представляется в виде двух членов по аналогии с приведенной выше формулой.

Для нестационарных процессов с непрерывным временем, вместо постоянной удельной энтропии, нужно рассматривать плотность энтропии, которая, вообще говоря, непостоянна во времени.

Энтропия и ее плотность подсчитываются для различных важных случаев процессов с непрерывным временем: гауссовых процессов и диффузионных марковских процессов.

Проводимый здесь подсчет энтропии случайных процессов дает возможность подсчитывать для случайных процессов шенноновское количество информации, о котором будет сказано в гл. 6.

<< Предыдущий параграф Следующий параграф >>
Оглавление