Теоретические основы информатики - Аветисян Р.Д.
Скачать (прямая ссылка):
если ошибка имела место, то на уровне какого именно из т + .s символов она произошла.
Пользуясь формулой (2.5) второй главы, общее количество неопределенности Н[х/у] определяем как сумму двух неопределенностей, соответствующих этим двум вопросам:
/,г / і ( 1 і 1 m + s m + s Л
Н[х/у] = \---Iog2-----Iog2-- +
V 1 + т + S 1 + m + s 1 + т + s 1 + т + s J
т + S
+-Iog2 (да + 5) = Iog2 (1 + т + s) = s. (3.276)
1 + да + S
Здесь мы учли, что т + s + 1 = 2\ а множитель (да + .v)/(l + т + s) при втором слагаемом выполняет ту же роль, что множитель Xt в формуле (2.5).
64 Подставляя значения Н[х\ = т + s и Н[х/у] = S в формулу (3.27а), получим значение 1[х, у | = т количества информации, которое доводится до конца канала очередным блоком из т + s символов. Таким образом, каждый блок из пг + s символов, будучи загруженным на входе канала т + бит информации, из-за наличия помех в канале связи часть этой информации, а именно, s бит теряет в пути и до конца канала доводит лишь т бит информации. Каждый двоичный символ доводит до конца канала т/(т + s) бит информации, и поэтому, если передаваемый текст характеризуется энтропией, равной H бит, то для передачи через канал связи одной буквы исходного текста потребуются (т + л) Hlni двоичных символов. Здесь мы еще раз убеждаемся в справедливости тех результатов, которые были получены во второй главе при рассмотрении кода Р. Хэмминга.
Введем в рассмотрение коэффициент проводимости канала связи, определив его как
х[х, у] = /[JC, у] / Н[х] = U(A-IЛ2. ш)- (3.40)
Значение этого коэффициента численно равно той доле входной информационной нагрузки, которое двоичному символу удается провести через канал связи до его выхода. Значения коэффициента проводимости у] нормированы в интервале
0«x[jr,y]«l, (3.41)
причем нулевое значение коэффициента проводимости соответствует каналу с X) + A2 = 1, а единичное значение - идеальному каналу (или идеальному инвертору). В [1] нами было доказано существование и единственность при заданных значениях A1 и X2 (A, + A2 Ф 1) значения ш = сох, обеспечивающего наибольшее возможное значение коэффициента проводимости х[ху у] = Kmax. Там же приведено доказательство неравенства
Xmax « (VV^ - д/а-Ма-М)2 (3-42)
В общем случае, при произвольных A1 и A2 (X, + A2 Ф 1), значение COx может отличаться от со = 0,5. Тогда при работе в режиме со = сох, т.е. при желании свести к минимуму долю потерь информации в канале, приходится "отойти" от значения со = 0,5, т.е. от режима оптимального кодирования, обеспечивающего возможно наибольшую (1 бит) информационную нагрузку каждого символа на входе канала. В результате информационная нагрузка каждого двоичного символа на входе канала может оказаться настолько малой, что даже при минимальных потерях в пути все равно до выхода канала дойдет крайне малое количество информации. Придерживаясь же значения со = 0,5, мы, хотя и обеспечим максимально возможную информационную нагрузку на входе канала, большая доля этой информации будет потеряна в пути и в итоге
65
ГЛАВА 5 до выхода канала дойдет опять-таки небольшое количество информации. Интуитивно ясно, что значение 0) = (О,, при котором достигается возможно наибольшее значение /[л, у] = /тах, должно находиться между двумя значениями: со = 0,5, обеспечивающее максимально возможную информационную нагрузку (1 бит) на входе канала, и со = сох, обеспечивающее наилучшие условия передачи, т.е. условия, когда доля потерь информации в пути достигает минимума.
В [1] приведено доказательство неравенства
|со,-0,5І«|сох-0,5І. (3.43)
При заданных значениях X, и X2 значение СО/ легко определить из условия (см. (3.34))
3/)(^,,^2,0))/3(0 = 0, (3.44)
откуда следует, что
(0,
(Х,+Х2-1)
а
a + ?
(3.45)
где
a = ехр
ґ H(Xt) In 2 Л ^X, +X2-I
? = ехр
W(X2) In2
¦1
(3.45а)
(3.456)
Подставляя значение (0; в (3.34), определим максимально возможное значение /[л, у] = /тах при заданных значениях X, и X2 (X, + X2 #1):
L
Iog2
a + ? •?x'
a
(3.46)
Из (3.45) легко установить, что
Аг)= ' -ft)/(X2,X|) = со,[(1 -X1 ),(1 - X2)].
(3.47)
Зависимость (3.45) графически представлена на рис. 3.2. Здесь хорошо прослеживаются свойства (3.47) симметричности С0/(Хь X2) относительно прямой X, = X2 и точки X, = 0,5, X2 = 0,5. В [1] нами было доказано, что область существования величины СО/ ограничена интервалом значений
1 , 1
-=5(0,?!--.
(3.48)
66 Рис. 3.2. Кривые, иллюстрирующие характер зависимости ш/ от аргументов X1 и X-
Рис. 3.3. Кривые, иллюстрирующие характер зависимости Zmax от аргументов X, и X2.
67
ГЛАВА 5 Эти свойства симметричности хорошо прослеживаются на рис. 3.3, где приведено графическое представление зависимости /та* ОТ X1 и X2.
Рассмотрим случай, когда вероятностная характеристика канала связи задана не в виде фиксированной пары значений X, и X2, а в виде параметрической зависимости
где t - некий параметр, значения которого можно изменять в определенном диапазоне. Каждое фиксированное значение t из этого диапазона задает соответствующую точку на кривой зависимости X1 = Xi(X2). Представляет интерес задача подбора из всего диапазона возможных значений г такого значения (такой точки на кривой зависимости X] = = X1(X2)), при котором можно достичь максимального возможного значения /та*»- Пример графического решения этой задачи приведен на рис 3.3, где пунктиром представлена зависимость X1 = X1(X2). Решение задачи осуществляется в два этапа:
