Научная литература
booksshare.net -> Добавить материал -> Физика -> Галлагер Р. -> "Теория информации и надежная связь" -> 230

Теория информации и надежная связь - Галлагер Р.

Галлагер Р. Теория информации и надежная связь — М.: Советское радио, 1974. — 738 c.
Скачать (прямая ссылка): teoriyainformacii1974.pdf
Предыдущая << 1 .. 224 225 226 227 228 229 < 230 > 231 232 233 234 235 236 .. 355 >> Следующая


Наконец, верхняя граница для d* при т — 2 равна dmax, так что для любого d*, большего чем то значение, для которого (9.5.13) задает R (d*), (9.5.27) определяет т, для которого (9.5.25) задает R (d*).

Имеется простое физическое истолкование (9.5.25). Для заданного т. мы пытаемся представить источник, используя только буквы адресата от 0 до т — 1. С вероятностью 1 — Sm источник порождает одну из букв от т до К — 1, при этом искажение равно единице и нет никакого смысла в затрате какой-либо информации на эти буквы. Следовательно, минимум средней взаимной информации равняется умноженному на Sm минимуму при условии появления какой-либо из букв от 0 до т — 1. Из (9.5.26) следует, что d можно интерпретировать как минимум среднего искажения при условии появления одной из букв от 0 до т — 1. Для этого условного искажения член в скобках равен как раз минимуму условной средней взаимной информации, что молено было ожидать из (9.5.13).

9.6. ДИСКРЕТНЫЕ ПО ВРЕМЕНИ ИСТОЧНИКИ С НЕПРЕРЫВНЫМИ

АМПЛИТУДАМИ

Рассмотрим теперь источники, для которых выход представляет собой последовательность статистически независимых, одинаково распределенных непрерывных, действительных, случайных величин..., и_ъ и0, щ, ... . Предположим, что распределение букв источника в каждый момент описывается плотностью вероятности q (и). Выход источника должен быть представлен у адресата последовательностью действительных чисел v0, ... ,и имеется мера искажения d (и; и), прини-

мающая числовые значения для всех действительных чисел и и v и определяющая искажение, если выход источника и представляется у адресата значением v. Примем, как и раньше, что d (и\ v) ^ 0 и что для каждого и имеется v (обычно v = и), для которого d (и; и) = 0. Наиболее употребительными мерами искажения являются разностные меры искажения, у которых d (и; v) является функцией только разности v — и и наиболее распространенной разностной мерой является d (u; v) = (v — и)2.

484
Функция R (d*) для такого источника определяется равенством

R (d*) = inf / (U; V), (9.6.1)

где нижняя грань берется по всем совместным вероятностным мерам на пространстве UV при ограничениях, что q (и) — плотность вероятности на U и что среднее искажение не более d*. Такое же определение будет использоваться для R (d*) и в случае, когда U — произвольное пространство, а не только действительная прямая, и когда вероятностная мера на U (и заданная сг-алгебра подмножеств) произвольна, а не только плотность вероятности.

Для этих источников и мер искажения кривая R (d*) невозрастающая и выпуклая w по d*. Это можно понять, пользуясь теми же соображениями, что и в дискретном случае, и используя здесь интегралы вместо сумм. Основное различие между R (а*), рассматриваемым здесь, и R (d*) для дискретного случая состоит в том, что, как правило, в непрерывном случае lim R (d*) = оо (ср. рис. 9.2.1 и 9.7.1).

о _

Теорема 9.2.1 (которая утверждает, что если dL — среднее искажение на букву в последовательности из L букв источника, то (1 IL)I (UL; VL) ^ R (dL)) также имеет кесто, когда U — произвольное пространство с произвольной вероятностной мерой. Однако, когда энтропия UL не определена, доказательство должно быть видоизменено следующим образом:

/(UL; VL)^J]/(?/,; VL| U1---U^L),

i= l

/({/,; VL| U1---Ul.1) = I(Ul; \ьиг- ¦ ¦{/,_,)-Uv..Ul-1) = I(Ul- VLU1---Ul-1)> /(U[, Vt),

/(UL; VL)> 2/({/,; Vt). (9.6.2)

В остальном доказательство проводится, как и ранее.

Теорема 9.6.1. Теорема 9.2.2 (обращение теоремы кодирования для источников, связанных с мерой искажения) применима в общем случае ко всем дискретным по времени источникам без памяти с мерой искажения, заданной для отдельных букв.

Доказательство такое, как в теореме 9.2.2, и поэтому опускается.

Теорема кодирования для непрерывных по амплитуде источников также вполне аналогична соответствующей теореме для дискретных источников. Для заданного источника и тест-канала (т. е. заданной вероятностной меры на пространстве UV) опять рассматривается ансамбль независимо выбранных кодовых слов, каждая буква в котором выбирается в соответствии с вероятностной мерой на V. Лемма 9.3.1 применима здесь без изменений. Если источник и тест-канал описываются совместной плотностью вероятности, то доказательство леммы может быть модифицировано просто заменой всех сумм интегралами и всех вероятностей плотностями. Для произвольной совместной

485
меры вероятности (полагая, что I (и; v) и D (и; v) измеримы и

I ((J; V) С оо) применимо такое же доказательство, опирающееся на общие результаты теории меры.

Теорема 9.6.2. Пусть R (d*) — скорость как функция искажения для дискретного по времени источника с мерой искажения d (и; о) и пусть существует конечное множество букв адресата а1г ..., aJt такое, что min d (и; конечно, где математическое ожидание берется по ансамблю источника сообщений. Для любых d* > 0, б > 0 и достаточно большого L существует код источника, для которого энтропия множества кодовых слов удовлетворяет неравенству Н (VL)<J L № (d*) + + 6] и среднее искажение на букву удовлетворяет неравенству dL^ rg^.d* + б. Кроме того, если In J < R (d*)y то существует код с М' ехр [LR (d*) + LS] кодовыми словами и средним искажением
Предыдущая << 1 .. 224 225 226 227 228 229 < 230 > 231 232 233 234 235 236 .. 355 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed