Динамика иерархических систем: эволюционное представление - Николис Дж.
Скачать (прямая ссылка):
медленных случайных вариаций параметров канала, если статистика сигнала
при прохождении через турбулент- *
ную среду подчиняется распределению Рэлея.
4.5.2. Канал без потерь
У"
Рис. 4.11. Канал без потерь.
Вычислим теперь пропускную способность канала не только с шумом, но и с
числом состояний у,- приемника, превосходящим числом состояний Xj
передатчика (рис. 4.11). Такой канал называется каналом без потерь, и в
частном случае" представленном на рис. 4.11, его матрица имеет вид
УI У 2 Уз У 4 Уъ Уз
Х\ 1/8 3/8 1/2 0 0 0
*2 0 0 0 1/3 2/3 0
Хз 0 0 0 0 0 1
В каждом столбце имеется только один ненулевой элемент.
188 Глава 4
Остаточная неопределенность равна
S(X/Y) = - Е Ер(М, yi)log2p(xt/yt). (4.5.13)
i=i/=i
Однако из схемы канала или из его матрицы мы видим, что при любом
принятом у/ можно вполне достоверно восстановить, какой сигнал Xi был
передан. Следовательно, условная вероятность p(Xi/yj) в каждом случае
равна либо единице, либо нулю. Таким образом, для канала без шума S(X/Y)
= 0, и поэтому передача информации I{X~^Y) равна S(X)-энтропии
передатчика. Пропускную способность канала мы найдем, максимизируя 5 (X)
и С = log2 q, где q - число состояний передатчика (в нашем случае С =
log2 3).
4.5.3. Детерминистический канал
В этой схеме число состояний передатчика xi больше числа состояний
приемника у/. Матрица такого канала имеет в каждой строке только один
ненулевой элемент (схему детерминистического канала см. на рис. 4.12).
Рис. 4.12. Детерминистический канал. Так как каждая строка содержит
только один элемент, этот элемент должен быть равен единице. Передачу
информации можно представить в виде
/ (X -> Y) = S (Г) - S {Y/X) (4.5.14)
и
S(Y/X)= Е Е p(xh г//) log's, р (г/у/л^г). (4.5.15)
i=1/=1
Так как все элементы p(yj/Xi) равны либо нулю, либо единице,
S(Y/X) = 0 и С = гпах5(У)= log2r, где г - число состояний
приемника (следовательно, С = log2 3).
Элементы теории информации и кодирования
4.5.4. Равномерный канал
189
Равномерным мы называем такой канал, в матрице которого все строки и все
столбцы одинаковы с точностью до перестановки элементов. Если матрица
канала квадратная, то каждая строка и каждый столбец являются просто
перестановками первой строки (рис. 4.13).
1 / 2
У1 Уг Уз
XI 1/2 1/4 1/4
х2 1/4 1/4 1/2
Хз 1/4 1/2 1/4
Энтропия равномерного канала S(Y/X) не зависит от вероятностей входных
сигналов. В этом нетрудно убедиться, если записать
У!
Рис. 4.13. Равномерный канал.
Итак,
•S (Y/X) = - Е 2 Р (х{, tjj) log2 р (yjjXi) =
Я 1 г
= - Е Р (Xi) j Е Р (уjlXl) l0g2 Р (yj/Xi) =
i = 1 ¦ -¦ '
J i=\
= - E P (У/М log2 p (.Ui/Xi).
I (X Y) = 5 (У) + E P (Pi/Xi) log2 P (у,/хд
/=l
С = log2 <7 + E P (P//*") l°g2 p (yjlxi).
(4.5.16)
(4.5.17)
(4.5.18)
(4.5.19)
В нашем примере q - г = 3. В приведенном выше суммировании i может
принимать любые значения. Таким образом:
1 . 1 , б 1 Ч
190
Глава 4
4.5.5. Двоичный симметричный канал
Это - важный частный случай равномерного канала предыдущего типа (рис.
4.14).
У\ У2
*1 Р q p + q = 1
х2 q р
*2
Пропускная способность этоп> Рис. 4.14. Двоичный симметричный канала
может быть выведена
канал. непосредственно из соответ-
ствующего выражения для равномерного канала (4.5.19), если положить в нем
q = 2, г = 2, Р {yi/xi) - Р ПРИ /= 1. 1 (или 2) и p{y,/xi) = q при j =
2,
i = 1 (или 2):
С = log2 2 + р log2 p + q log2 q, (4.5.20)
или
С = 1 + р log2 p + (l~p) log2 (1 - p). (4.5.21)
Построив график С как функции от р, мы увидим, что С достигает минимума С
= 0 при У, р = 1/2 и что С = 1 при р - 1
или р = 0.
4.5.6. Двоичный "стирающий" "анал
У\ У 2 Уз
Xi
х2
q
q
о
р
Рис. 4.15. Двоичный "стирающий"
канал. В этом канале (рис. 4.15) су-
ществует выходной символ г/2> используемый для обнаружения ошибки в
передаче. Двоичный стирающий канал - это канал, обнаруживающий одиночную
ошибку. Вычислим передачу информации I(XY) = S (X) -
Элементы теории информации и кодирования
191
- S(X/Y). Пусть символы источника имеют вероятности р{хi) = а, р{х2) = 1
- а. Тогда
S (X) = - a log2 а - (1 - а) log2 (1 - а) (4.5.22)
и
s (x/Y) = - ? |> №) Р 1о^ [P{yip(li){Xi)1\ ¦ (4-5'23)
В суммировании необходимо принимать во внимание все шесть членов. После
несложных вычислений получаем, наконец.
S (X/Y) = q[- a log2 а - (1 - а) log2 (1 - а)] = qS (X) (4.5.24)
и
I(X^Y) = (l-q)S(X) = pS(X). (4.5.25)
Соответственно пропускная способность канала равна
С = max / (X -> Y) = р [бит/с]. (4.5.26)
4.5.7. Пропускная способность оптического канала
Нас интересует пропускная способность оптического прибора,
рассматриваемого как канал связи. До сих пор мы определяли пропускную
способность канала как максимальное число битов, которое канал может
передать в единицу времени. Но поскольку для большинства оптических
приборов время наблюдения практически неограниченно, пропускную
способность оптического прибора, следуя ди Франциа [4.7], удобнее
определять как число битов, которое прибор может передавать за одно
