Главная > Разное > Теоретические основы техники связи
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

5.5. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА

Довольно простое утверждение, приведенное в разд. 5.4, которое состоит в том, что вероятность объединения событий меньше суммы вероятностей этих событий, позволяет получить неравенство

и из него вывести

Согласно неравенству (5.586), для любого канала с аддитивным белым гауссовским шумом при скоростях передачи существует такая совокупность сигналов, для которой вероятность ошибки может быть сделана сколь угодно малой. Значение для которого правая часть неравенства равна требуемой вероятности ошибки, является верхней оценкой числа измерений, необходимого для ее достижения.

С другой стороны, из неравенств вовсе не следует, что для скоростей больших, чем не может быть достигнута произвольно малая вероятность ошибки. В самом деле, мы знаем что Таким образом остается открытым центральный вопрос о том, каковы же на самом деле ограничения, накладываемые шумами в канале.

ТЕОРЕМА О ПРОПУСКНОЙ СПОСОБНОСТИ

Окончательный ответ на этот вопрос дает теорема, доказанная Шенноном [72, 75]: теорема о пропускной способности. Грубо говоря, эта замечательная теорема утверждает, что для любой системы связи существует максимум скоростей передачи, при которых мояшо удовлетворительно передавать сообщения, если есть ограничения на мощность сигналов. Эта максимальная скорость называется пропускной способностью канала. Передача со скоростями, большими пропускной способности, приводит к высокой вероятности ошибки, как бы ни выбирать совокупность сигналов и приемник. Эта теорема носит весьма общий характер и распространяется не только на гауссовские каналы. Ясно, однако, что для гауссовских каналов пропускная способность не может быть меньше так как мы доказали, что существуют системы связи, позволяющие при скоростях, меньших вести передачу со сколь угодно малой вероятностью ошибки.

Напомним, что число измерений в секунду для канала с ограниченной полосой частот определено не точно. Поэтому теорему о пропускной способности сформулируем, используя параметры и где по-прежнему означает скорость поступления данных в битах на измерение. Энергия каждого сигнала не может превышать размерность пространства сигналов.

В частном случае передачи по каналу с аддитивным белым гауссовским шумом теорема о пропускной способности формулируется следующим образом

Теорема. Для данного канала существует постоянная которая определяется выражением

и называется пропускной способностью гауссовского канала. Эта величина обладает следующими свойствами:

Негативное утверждение. Если и число равновероятных сообщений велико, то для любой возможной совокупности передаваемых сигналов вероятность ошибки близка к

Позитивное утверждение. Если и достаточно велико, то существуют такие совокупности передаваемых сигналов и соответствующие им оптимальные приемники, для которых вероятность ошибки может быть сделана как угодно малой.

График зависимости от вместе с графиком представлен на фиг. 5.19. Мы видим, что

Отсюда следует, что скорость передачи не обязательно ограничена неравенством как это может показаться из рассмотрения неравенства

Фиг. 5.19. (см. скан) Сравнение пропускной способности канала с параметром .

Ограничение связано со способом получения оценки, а не вытекает из физических свойств канала. Ограничение ослабить нельзя.

Из неравенства следует, что

Допустимое число измерений в секунду в канале с ограниченной полосой частот подчиняется неравенству [ср. приложение 5А, соотношение (5А.6)]

Если равно своей верхней оценке то и мы получим хорошо известный результат:

где С — пропускная способность канала в битах за секунду, определяется соотношением и является максимально допустимой средней мощностью передаваемого сигнала.

ДОКАЗАТЕЛЬСТВО ТЕОРЕМЫ О ПРОПУСКНОЙ СПОСОБНОСТИ

Приводимое доказательство теоремы Шеннона [72] о пропускной способности гауссовского канала является по существу геометрическим. Доказательство длинное, но довольно простое по структуре.

«Затвердевание» сферы. Начнем доказательство с рассмотрения -мерного пространства сигналов и совокупности сигналов, энергия каждого из которых не превышает

Если выполняется соотношение мы говорим, что сигналы лежат внутри -мерной сферы радиуса

При доказательстве рассмотрим векторы, пронормированные таким образом, чтобы объем ограничивающей сферы не зависел от

где, как обычно, определяются при помощи ортонормальных функций. Тогда получим

Таким образом, все нормированные сигналы лежат внутри «сферы сигналов» радиуса где средняя допустимая энергия на измерение.

Интересно найти среднеквадратичную длину -мерного вектора шума при такой нормировке:

Здесь совокупность статистически независимых случайных величин, каждая из которых имеет нулевое среднее и дисперсию Следовательно,

Отсюда видно, что средний квадрат длины нормированного вектора шума равен независимо от числа измерений

Хотя средний квадрат длины вектора шума не зависит от дисперсия квадрата его длины — и это существенно для нашего доказательства — зависит от Так как дисперсия суммы независимых случайных величин равна сумме их дисперсий, то дисперсия которую обозначим через равна

Вычислим выражение (5.65в), учитывая, что, согласно равенству (2.145), для гауссовских случайных величин с нулевыми средними

Поэтому

Отсюда видно, что дисперсия величины стремится к нулю с возрастанием Согласно неравенству Чебышева, для любого положительного числа как бы мало оно ни было,

Из соотношения следует, что, выбирая достаточно большое можно сделать вероятность отклонения квадрата длины нормированного вектора шума от его среднего значения более чем на как угодно близкой к 0. Так как все направления вектора шума равновероятны, можно считать, что при очень больших вектор шума независимо от его ориентации лежит около поверхности сферы радиуса Это иллюстрируется фиг. 5.20. Подобное явление называется «затвердеванием» сферы.

Чтобы лучше понять явление «затвердевания» сферы, вычислим вероятность того, что попадет между концентрическими сферами с радиусами при Так как компоненты вектора гауссовские случайные величины с нулевыми средними и дисперсией то плотность распределения вероятностей вектора шума имеет вид

Для малых получим

Таким образом,

В приложении показано , что объем области между концентрическими сферами пропорционален Поэтому вероятность того, что попадет в область между сферами, пропорциональна произведению двух сомножителей, один из которых с увеличением убывает, а другой возрастает. При получим

Фиг. 5.20. «Затвердевание» сферы.

Фиг. 5.21. Зависимость вероятности от

Как показано на фиг. 5.21, правая часть соотношения (5.67в) имеет единственный максимум при При достаточно больших существенно отличны от нуля лишь вероятности значений в окрестности этого максимума Явление «затвердевания» сферы графически изображено на фиг. 5.21.

Доказательство негативного утверждения. Негативное утверждение о пропускной способности состоит в том, что, если скорость передачи превышает пропускную способность, вероятность ошибки стремится к единице с возрастанием Это утверждение легко доказать, используя соображения, связанные с «затвердеванием» сферы. Вначале напомним, что для любой совокупности передаваемых сигналов приемник определяется совокупностью областей решения. Если область решения, связанная с нормированным сигналом значительно меньше, чем сфера радиуса с центром в то вероятность того, что вектор попадет в эту область решения, стремится к нулю с возрастанием Следовательно, область решения должна быть сравнима по величине со сферой радиуса или больше этой сферы. Доказательство негативного утверждения теоремы опирается на следующий факт: если число сигналов слишком велико, то из-за ограниченности объема (энергии) эффективные размеры типичной области решения будут меньше, чем эффективные размеры сферы радиуса

Перейдем к более точному доказательству. Сначала докажем, что явление «затвердевания» сферы характерно и для принимаемого сигнала, т. е. что вектор с высокой вероятностью попадет внутрь сферы радиуса Рассуждая аналогично тому, как это делалось в случае величины получим, что при передаче сигнала

где Так как среднее значение каждой компоненты шума равно нулю, то

Далее, обозначая дисперсию квадрата длины через и учитывая, что дисперсия суммы двух случайных величин не превышает удвоенную сумму их дисперсий [вследствие неравенства ], получим, что если передается сигнал , то

Дисперсия квадрата длины принимаемого сигнала также стремится к нулю с возрастанием Следовательно, принимаемый сигнал, как правило, располагается около поверхности сферы радиуса . В частности,

с возрастанием стремится к нулю. Таким образом, эффективный объем области решения существенно ограничивается тем фактом, что принимаемый сигнал в основном попадает внутрь сферы фиксированного диаметра.

Теперь можно перейти к доказательству негативного утверждения теоремы о пропускной способности. Покажем, что если и передается одно из равновероятных сообщений, то для любого малого положительного можно выбрать такое достаточно большое чтобы вероятность правильного приема была меньше с, каковы бы ни были совокупность сигналов и приемник.

Согласно принципу «затвердевания» сферы, при больших вектор практически всегда лежит внутри сферы радиуса эту

сферу обозначим через . Запишем вероятность правильного решения как сумму двух слагаемых:

Легко видеть, что для любого второе слагаемое при достаточно больших удовлетворяет неравенству

Это неравенство следует из .

Остается показать, что для достаточно больших первое слагаемое в (5.70а) также меньше при всех

Пусть означает ту часть области решения для сигнала, которая полностью лежит внутри (фиг. 5.22). Обозначим через объем объем области Так как области решения не пересекаются, то

и

Далее отметим, что для любого

где через обозначен радиус -мерной сферы, объем которой равен (эта сфера и область имеют одинаковые объемы). Согласно соотношению сферическая область решения, центр которой совпадает с вектором сигнала, является лучшей среди всех областей решения данного объема. Доказательство оптимальности сферы непосредственно вытекает из того факта, что это сферически симметричная функция плотности, монотонно убывающая с возрастанием Отсюда следует, что вероятность попадания вектора в любой элемент объема, удаленный от более чем на меньше, чем вероятность попадания в элемент объема, находящийся на расстоянии, меньшем, чем . С другой стороны, расстояние всех элементов объема сферы от не превышает .

Фиг. 5.22. Области решения, лежащие внутри

Фиг. 5.23. Оптимальность выбора областей решения в виде сфер равного объема. Вклад элемента объема тем больше, чем он ближе к центру сферы.

Подставляя в получим

Каждое слагаемое в правой части этого неравенства есть вероятность попадания вектора в сферу, объем которой равен . Таким образом, правая часть неравенства равна арифметическому среднему вероятностей попадания векторов шума внутрь сфер с радиусами изображенных на фиг. 5.23, а.

Если объемы первоначальных областей решения равны, то из получим

причем все равпы радиусу сферы объема который обозначим через . В этом случае для любого элемента объема лежащего в совокупности сфер, найдется сфера, центр которой удален от него не более чем на (фиг. 5.23, б). С другой стороны, если , а следовательно, и не все равны между собой, то минимальное расстояние некоторых элементов объема от центров сфер будет больше Поэтому эти элементы объема дадут меньший вклад в сумму вероятностей в соотношении Следовательно,

и

Таким образом, общая вероятность правильного решения для любой конкретной совокупности областей решения не превышает вероятности попадания вектора шума внутрь сферической области объема

Если число сигналов достаточно велико, то объем меньше, чем объем сферы радиуса . Вновь обращаясь к принципу «затвердевания» сферы, получим, что при достаточно больших

Используя соотношения и получим следующий результат, выполняющийся при достаточно больших и М:

откуда с учетом найдем

Теперь определим, какое число сигналов является достаточно большим для того, чтобы выполнялось соотношение . В приложении [равенство ] доказано, что объем V и радиус сферы в -мерном пространстве связаны соотношением

где положительная постоянная, зависящая лишь от Поэтому неравенство и эквивалентное ему утверждение, состоящее в том, что меньше объема сферы радиуса можно записать в виде

Так как объем сферы радиуса то соотношение (5.776) принимает вид

или

Наконец, учитывая, что перепишем (5.77в) в виде

или

Ясно, что при

можно выбрать такое достаточно малое чтобы выполнялось неравенство и, следовательно, неравенство Таким образом, из условия вытекает, что

или

Соотношение (5.78а) устанавливает верхнюю границу для числа двоичных символов сообщения, приходящихся на одпо измерение. При превышении

этой границы стремится к 1 с возрастанием Следующая последовательность неравенств резюмирует доказательство:

Эти неравенства выполняются, если

откуда следует, что

или

Вывод соотношений совершенно не зависит от того, как выбрана совокупность передаваемых векторов этот результат справедлив для любой совокупности сигналов, энергия которых ограничена неравенством Тем самым мы доказали негативное утверждение теоремы о пропускной способности. Ясно, что использование для передачи совокупности векторов, каждый из которых имеет компонент, не исключает возможности -кратной передачи с использованием каждый раз совокупности векторов, каждый из которых имеет компонент. Поэтому теорема остается верной для любой стратегии передачи. Мы установили, что при скоростях передачи больших вероятность безошибочной передачи блока из двоичных символов стремится к нулю с возрастанием

Метод, использованный в этом доказательстве, называется методом «плотной сферической упаковки». Доказательство носит негативный характер, так как мы не утверждали, что существуют сигналы для которых области решения действительно являются сферами одинакового радиуса. Из геометрических соображений ясно, что это невозможно. Доказательство основано на идеализированном представлении о «плотноупакованных сферах». Оно позволяет найти границу, которую не могут превзойти характеристики системы, использующей любую реальную совокупность сигналов.

Доказательство позитивного утверждения. Докажем теперь позитивное утверждение теоремы о пропускной способности канала: если то для любого положительного числа а (как бы мало оно ни было) существует достаточно большое число совокупность сигналов для которой достижимая вероятность ошибки меньше Доказательство затрудняется двумя обстоятельствами: во-первых, вообще говоря, нельзя указать явно такую совокупность сигналов и, во-вторых, даже если бы такая совокупность была бы найдена, вычислить для нее вероятности ошибки было бы очень трудно. Эти затруднения, с которыми мы уже столкнулись при вычислении можно обойти, рассмотрев, как и ранее, не одну систему связи, а целый ансамбль систем связи, каждая из которых состоит из передатчика, канала и оптимального приемника. Как и ранее, построим ансамбль таким образом, чтобы можно было легко вычислить среднюю вероятность ошибки Показав, что для достаточно больших величина

докажем, что ансамбль должен содержать конкретные системы, для которых вероятность ошибки также меньше .

Задание кодов для ансамбля систем. В теореме о пропускной способности гауссовского канала рассматриваются нормированные -мерные сигналы средняя мощность каждого из которых ограничена:

Здесь, как и ранее,

Все векторы могут принимать любое значение внутри -мерной сферы сигналов задаваемой соотношением (5.79а). Поэтому коды ансамбля систем можно определять, задавая соответствующую плотность распределения вероятностей в

Средняя по ансамблю вероятность ошибки может быть следующим образом выражена через плотность распределения:

Так как число [векторов равно М и каждый из них -мерный, то у представляет собой -мерный вектор. Интегрирование кратного интеграла производится по всем аргументам.

С точки зрения облегчения вычисления величины удобно и просто выбрать следующим образом [при этом ограничение (5.79а) остается в силе]:

и

где означает объем Согласно соотношению все векторы сигналов ансамбля систем статистически независимы и вероятность того, что какой-либо вектор сигнала окажется вне сферы сигналов равна нулю. Более того, если I — область объема V, целиком лежащая внутри сферы сигналов, то

Таким образом, вероятность того, что сигнал соответствующий сообщению, для случайно выбранной из ансамбля системы попадет в область I сферы сигналов, прямо пропорциональна объему области

Хотя вероятность того, что попадет в некоторый элемент объема внутри сферы сигналов, не зависит от его расположения, разные значения длины радиуса не равновероятны. В самом деле, для любого в сфере радиуса

Эта вероятность очень мала при больших . В соотношении проявляется тот факт, что почти весь объем многомерной сферы сосредоточен около ее поверхности. Так как вероятность выбора сигнала определяется соотношением то энергия почти всех сигналов близка к

Вычисление Перейдем к доказательству того, что при достаточно больших усредненная по рассматриваемому ансамблю всех возможных систем вероятность Заметим, что величина связана с тремя статистически независимыми совокупностями случайных величин:

1. Выбираемые сообщения

2. Шумы с плотностью вероятностей определяемой соотношением (5.67а).

3. Выбираемые коды с плотностью распределения вероятностей определяемой соотношением

Поэтому, умножив условную вероятность ошибки если таковы, что

на

проинтегрировав полученное произведение по непрерывным переменным и, наконец, просуммировав результат по к, получим

Совершенно ясно, что величина не зависит от того, в каком порядке мы интегрируем и суммируем рассматриваемые случайные величины. Однако если вначале интегрировать по и суммировать по к, то возникает необходимость нахождения для каждого кода входящего в ансамбль. Эта проблема нахождения для конкретного кода как мы уже отмечали, слишком трудна. Напомним, что главное преимущество, которое дает метод случайного кодирования, состоит в том, что он позволяет в самом начале исключить (проинтегрировав по ансамблю систем) и тем самым упростить вычисления. Поэтому произведем вычисления в следующем порядке: Исключив (т. е. проинтегрировав по ним) для всех получим Исключив получим Исключив получим

Тем самым на яервом этапе вычислений мы сможем использовать геометрические соображения, что упрощает доказательство.

(I) Исключение При вычислении будем предполагать, что передаваемый вектор и искажающий передачу шум принимают по определению фиксированные известные значения Через эти два вектора можно провести двумерную плоскость, пересечение кото-» рой с -мерной сферой сигналов образует круг радиуса как показано на фиг. 5.24. Все точки пространства сигналов, лежащие к принятому сигналу ближе, чем к образуют вокруг «шумовую» сферу радиуса Так как мы условились, что каждый приемник в ансамбле систем связи оптимален, то наличие в «шумовой» сфере одного или более других сигналов вызывает ошибку. С другой стороны, все сигналы лежат

(кликните для просмотра скана)

в Поэтому пересечение и «шумовой» сферы с центром в точке образует геометрическое место точек, соответствующих передаваемым сигналам, которые приводят к ошибке при фиксированных переданном сигнале и принятом сигнале

Это геометрическое место точек представляет собой -мерное геометрическое тело, проекции которого на плоскость, в которой лежат векторы и , заштрихованы на фиг. 5.25а. Проекции этого -мерного геометрического тела на любую плоскость, проходящую через и начало координат, имеют одинаковую линзообразную форму. Следовательно, это геометрическое тело, которое мы в дальнейшем будем называть -мерной «линзой», полностью лежит внутри сферы радиуса с центром в О. Это следует из того, что проекция той сферы на любую плоскость, проходящую через есть круг радиуса с центром в точке О. Поэтому объем «линзы» Улинзы ограничен неравенством

Этим неравенством мы воспользуемся позднее. Чтобы наглядно представить себе приведенные геометрические соотношения, полезно рассмотреть случаи трехмерной сферы (фиг. 5.25б).

При фиксированных для любой системы из ансамбля, для которой соответствующий код содержит по крайней мере один вектор в рассматриваемой «линзе», произойдет ошибка. Согласно соотношению (5,82в), вероятность того, что вектор сигнала попадет в «линзу», равна

Число непереданных векторов для любого кода равно Так как вероятность объединения событий не превышает сумму их вероятностей, то вероятность того, что по крайней мере один из непереданных векторов сигналов попадет в «линзу», ограничена неравенством

Отсюда

Из рассмотрения фиг. 5.25а ясно, что объем зависит от и . Для некоторых значений этих векторов больше единицы. В этом случае более сильным оказывается тривиальное неравенство

(II) Исключение Перейдем ко второму этану доказательства — исключению непрерывных переменных и из выражения для условной вероятности ошибки, ограниченной неравенствами (5.86):

Здесь интегрирование производится по всем возможным значениям Область интегрирования разобьем на две области с тем, чтобы можно было использовать неравенства (5.86а) и (5.86б). Первую область интегрирования по переменным выберем таким образом, чтобы был меньше некоторой (малой) постоянной . Второй интеграл возьмем по оставшейся

области изменения переменных и Позднее докажем, что вероятность попадания в достаточно мала, что и позволит эффективно использовать оценку (5.86б). Таким образом,

Интегралы по областям обозначены соответственно через При выводе последнего неравенства мы воспользовались тем, что вероятность не может быть больше единицы.

Мы определили как ту область значений переменных в которой выполняется хотя бы одно из следующих условий:

Вероятность попадания в равна вероятности объединения этих событий; она не превышает сумму их вероятностей:

Из соотношений (5.66) и следует, что, выбрав достаточно большое можно сделать каждое из трех слагаемых в правой части неравенства меньше так что

Теперь докажем, что первое слагаемое в правой части соотношения также меньше при достаточно больших Все векторы из области по определению удовлетворяют неравенствам

Из фиг. 5.25а видно, что объем «линзы» возрастает, когда убывает или возрастает. Поэтому «линза», образованная векторами принадлежащими , имеет максимальный объем, если соотношения переходят в равенства, как показано на фиг. 5.26. Из получим

где изображено на фиг. 5.26.

Фиг. 5.26. Максимальное значение величины для векторов которые лежат в равно

Фиг. 5.27. Геометрическое представление при

Для доказательства того, что достаточно мало, так что меньше необходимо найти верхнюю оценку для Легко видеть из фиг. 5.26, что является непрерывной функцией от близких к нулю. В частности, обозначив через значение для получим

где величина положительна и может быть сделана как угодно малой, если выбрать достаточно малые Так как образуют прямоугольный треугольник, изображенный на фиг. 5.27, не представляет труда найти Вычислив площадь этого треугольника, сначала выбрав, в качестве основания а затем получим

и, следовательно,

Так как объем сферы сигналов радиуса равен то требуемая оценка величины имеет вид

Если

то при выборе достаточно малого значения А, а следовательно, и 6 выражение в квадратных скобках может быть сделано меньше 1. Соотношение можно, переписать в эквивалентном виде: . Таким образом, для достаточно больших

и

(III). Исключение . Доказательство позитивного утверждения теоремы о пропускной способности канала завершается суммированием по к:

Доказательство закончено.

ОБСУЖДЕНИЕ

Понятие пропускной способности канала является основой современной теории связи. До работы Шеннона инженеры-связисты думали, что при наличии шума в канале и фиксированной скорости источника точность передачи не может превзойти некоторый предел. Теорема о пропускной способности утверждает, что шумы (а также допустимое число измерений в секунду и допустимая мощность сигнала) ограничивают лишь скорость, при которой может быть достигнута точная связь, а не саму точность.

Эта теорема, доказанная здесь для канала с аддитивным белым гауссовским шумом, в действительности имеет широкую применимость. Она остается верной для очень общего класса математических моделей каналов. Более важным является то, что и в любом реальном канале также наблюдаются явлеиии, согласующиеся с представлением о том, что скорость поступления двоичных сигналов не может превысить некоторый предел, если должна быть осуществлена точная связь. Добавим, что этот предел обычно значительно больше тех скоростей, при которых надежная связь может быть достигнута обычными методами, такими, например, как передача отдельных символов.

В значительной степени исследования в области теории связи, касающиеся нахождения практических методов одновременного получения высокой точности и больших скоростей передачи данных, стимулированы теоремой о пропускной способности. В гл. 6 будут рассмотрены некоторые из этих задач.

<< Предыдущий параграф Следующий параграф >>
Оглавление