Сигнал о некоторых понятиях кибернетики - Полетаев И.А.
Скачать (прямая ссылка):
Н(Х, V) = H(Y) + H(X\Y); (4.20)
аналогично получаем
Я (.X, Y) = H{X) + H (Y\X). (4.21)
Условная энтропия H(X\Y) не может быть больше безусловной Я(Х)у т. е. всегда 0<Я(Я|К)<Я(.Х). Иначе говоря, знание выходного сигнала Y никогда не увеличивает энтропию X. Из (4.20) и (4.21) следует
Н{Х, К)<Я(Х) + Я(П, (4.22)
причем равенство имеет место только в том случае, если X и Y независимы. В случае взаимозависимости X и Y энтропия перестает быть аддитивной.
86
Итак, мы имеем перед собой две ситуации. Во-первых, до передачи сигнала нам известна конечная схема X, т. е. возможные сообщения Xt и их вероятности, а следовательно, и энтропия источника Н(Х)7 которая характеризует степень неопределенности выбора X из множества возможных. Во-вторых, после получения искаженного сигнала Y мы все еще остаемся перед некоторой, хотя и меньшей, неопределенностью относительно того, какое же из возможных сообщений X/ было в действительности послано. Эта «остаточная» неопределенность характеризуется условной энтропией H(XjY)f которую называют также ненадежностью.
Поскольку H(X\Y) не может быть больше Н(Х)У неопределенность выбора X никогда не может возрасти, а может только уменьшиться в результате получения искаженного сигнала Y. Уменьшение неопределенности происходит потому, что, несмотря на помехи, некоторое количество информации все же было передано по каналу. Это количество информации при исчислении энтропии в единицу времени называется действительной скоростью передачи R. Она равна разности безусловной и условной энтропий
R = H(X)^H(XlY) = H{X)±H(V) — H(XtY). (4.23)
Иначе говоря, R есть уменьшение неопределенности выбора X после приема сигнала. Это уменьшение неопределенности за счет приема сигнала относительно неопределенности исходной схемы называют иногда отрицательной или «негативной» энтропией или же сокращенно негэн-т р о п и е й.
Если шум в канале отсутствует, то, как мы видели, H(X/Y) равно нулю и скорость передачи равна энтропии источника; иначе говоря, все количество информации, выдаваемое источником в единицу времени, доходит до адресата. Если шум настолько велик, что условная энтропия равна энтроп1ии источника, то по каналу информация не проходит вовсе и /?=0. Это, между прочим, не означает, что все сигналы обязательно искажаются. Так, например, если при передаче сигнала в алфавите (0,1) только половина знаков проходит без искажений, а другая половина меняется на противоположные случайным образом, то скорость передачи оказывается равной нулю. Это очевидно хотя бы потому, что в этом случае можно было бы не пользоваться каналом связи, а просто восстанавливать каждый символ с помощью жребия; результат был бы такой же,
87
как и при использовании канала связи. В самом деле, пусть Р(0) =Р(1) =1/г. Тогда Н(Х) = 1 единиц/символ. После принятия любого символа условные вероятности равны:
Р(0|1) = Я(0|0) = Р(1|0) = Р(1|1) = ±.
Следовательно,
H{X\Y) = P(0) [P(0|0)logP(0|0) + P(l|0)logP(l|0)] +
+ Р(1)[Р (0|l)logP(0|l) + P(l|l)logP(l|l)] =
[т1о& т+у,0? у]+т \тlos i+т 1о? т] =1 -
т. е.
R = H(X) — H(X\Y)=l — 1=0.
Скорость передачи зависит от распределения вероятностей как сообщений, так и шумов. При данных шумах в канале и различных множествах сообщений с различными распределениями вероятностей скорости передачи будут также различны. Бели мы будем поочередно испытывать различные источники на входе канала, то для одного из них скорость передачи окажется максимальной и будет равна пропускной способности к а н а-л а С.
Пропускная способность канала, следовательно, равна С = max [Н (X) — Ну (Х)1 (4.24)
где максимум отыскивается по всем возможным источникам.
Величина С является характеристикой канала связи. Она имеет тот смысл, что при наличии любых шумов, но при правильном кодировании, т. е. при статистическом согласовании источника и канала, по каналу можно передавать в единицу времени количество информации, равное С ед/сек, со сколь угодно малой вероятностью ошибки. Если величина С будет превзойдена, т. е. мы захотим передать по каналу количество информации, превышающее С (например, использовав более экономичные коды), то вероятность ошибок должна остаться конечной и не сможет быть сведена к нулю. В результате при приеме сигнала появится ненадежность (см. рис. 4.2).
Таким образом, проблема передачи информации по каналу связи приобретает вполне законченную, по крайней ме-
88
ре в принципе, количественную трактовку. Информацию можно рассматривать как физическую величину, которая может быть точно измерена, и вопрос о ее передаче становится аналогичным, скажем, перевозке грузов. Шэганон сравнивает передачу информаций с перевозкой леса на конвейере. Если 1вес и кубатура леса не превышает грузоподъемности и емкости конвейера, лес может быть транспортирован полностью. Нужно только, чтобы форма бревен соответ ствовала конструкции конвейера. Для (правильной упаковки леса и полной загрузки конвейера придется, быть может, некоторые бревна распилить на бруски или даже намельчить до опилок. В случае канала связи это изменение формы соответствует перекодировке сообщений для статистического согласования источника и канала *.
