Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Рг [^тгтг ^ ехр [ Г0 (U Zmin)] • (6Б .33)
Можно также показать (см. Феллер (1966), т. 2, гл. XII, §5), что асимптотически при больших и Рг [Smin < и] — Сё~г°и, где С не зависит от и.
ОО
1=S 2j fo,n(u, v)er«v^>
п=1
со
>еГ(Н 2 S fo,n(u> v), п= 1 Vi.tl
7
ДИСКРЕТНЫЕ ПО ВРЕМЕНИ КАНАЛЫ БЕЗ ПАМЯТИ
7.1. ВВЕДЕНИЕ
В гл. 4 и 5 для дискретных каналов без памяти были доказаны теорема кодирования и ее обращение. Под дискретными понимались каналы, в которых вход и выход были временными последовательностями букв, выбранных из конечного алфавита. В этой главе результаты гл. 4 и 5 будут обобщены на случай, когда входные и выходные алфавиты бесконечны. Простейшим и наиболее важным примером такого обобщения является случай, когда входной и выходной алфавиты образованы множествами действительных чисел и канал статистически описывается условной плотностью вероятности ру[Х (у | х). Предполагается, что канал является каналом без памяти, т. е. что если х = = (ху, xn) — последовательность N входных символов, то для соответствующей выходной последовательности у = (у±..........ys) услов-
ная плотность вероятности задается равенством
Pn (у I х) = п pY\x{tJn\Xn)- (7-1.1)
п= 1
Другими словами, каждая выходная буква статистически зависит только от соответствующей входной буквы и эта статистическая зависимость остается неизменной во времени (т. е. не меняется от положения в последовательности).
В общем случае дискретный по времени канал без памяти задается произвольным входным пространством X, произвольным выходным пространством Y, и для каждого элемента х входного пространства условной вероятностной мерой*) на выходе Ру\х¦ Входом канала является последовательность букв входного пространства, выходом — последовательность букв выходного пространства и каждая выходная буква зависит вероятностно только от соответствующей входной буквы; эта зависимость задается вероятностной мерой Ру/х (т. е. так же как и в гл. 4 для любого заданного п величины хп и уп условно не зависят от всех других входов и выходов).
Развиваемый здесь общий подход к изучению таких каналов состоит в том, чтобы ограничиться использованием конечного множества
*> Для полной корректности следует также определить события на выходе замкнутые относительно операции дополнения и относительно конечных или счет! ных объединений и пересечений. Для каждого х входного пространства Р ц. Должно быть вероятностной мерой на этом классе выходных событий.
334
букв входного алфавита, скажем ах, а2....а%, и разбиением выходного
пространства на конечное множество непересекающихся событий, скажем Въ ..., Bj, объединение которых образует все выходное пространство. Тогда в принципе можно построить квантующее устройство, для которого входом в каждый момент времени является выход канала у, а выходом — событие Bj, содержащее у. Канал и квантующее устройство в совокупности образуют дискретный канал без памяти с переходными вероятностями PY\x (Bj\ak). Изучение первоначального канала будет основано на рассмотрении поведения всех таким образом полученных дискретных каналов без памяти. Такой подход имеет преимущество в том, что он тесно связан со способами физического использования канала и в легкости аналитического исследования.
При изучении таких каналов возникает новая проблема, связанная с ограничениями на входы канала. Рассмотрим канал примера
4 гл. 2, в котором выход канала образован суммой входа и независимой гауссовой случайной величины
Согласно (2.4.36), если вход—гауссовская случайная величина с дисперсией а?, то
При 8 произвольно большом количество информации / (Х\ Y) становится сколь угодно большим и, выбирая сколь угодно большое множество входов, разнесенных сколь угодно далеко по амплитуде, видим, что, по существу, без кодирования может быть достигнута произвольно высокая скорость передачи при произвольно малой вероятности ошибки. Однако если рассмотреть эти входы как выборки переданных непрерывных сигналов, то можно заметить, что этот результат получается при использовании сколь угодно большой мощности. Для этого канала и для обширного класса каналов, связанных с этим примером, мы можем получить физически важные и математически интересные результаты, если зададим ограничения на входы канала.
Простейшим при нашем подходе типом ограничений, накладываемых на вход канала, является ограничение на амплитуду: входной алфавит просто ограничен значениями х, меньшими или равными некоторому фиксированному числу А. Если входное пространство определено как интервал от — А до + А, то это ограничение можно не учитывать. Более общий и важный тип ограничения — ограничение на энергию. Этот тип ограничения будет точно описан позднее, однако сущность его состоит в том, что вход канала должен иметь среднеквадратическое значение, не большее некоторого фиксированного числа &. Этот тип ограничений касается не входного пространства, а относительных частот, с которыми различные входы могут быть использованы. Как будет показано в следующей главе, ограничение на энергию являетея естественным при представлении непрерывного по времени
