Научная литература
booksshare.net -> Добавить материал -> Биология -> Полетаев И.А. -> "Сигнал о некоторых понятиях кибернетики" -> 32

Сигнал о некоторых понятиях кибернетики - Полетаев И.А.

Полетаев И.А. Сигнал о некоторых понятиях кибернетики — Советское радио, 1958. — 413 c.
Скачать (прямая ссылка): signal1958.djvu
Предыдущая << 1 .. 26 27 28 29 30 31 < 32 > 33 34 35 36 37 38 >> Следующая

наличию грамматических законов словообразования и составления фраз.
Избыточность русского и европейского языков превышает половину и составляет, по некоторым подсчетам, от 0,68 до 0,75. Мы могли бы выражаться в 3—4 раза лаконичнее, умей мы пользоваться в качестве языка оптимальным кодом. В этом случае любая комбинация букв составляла бы слово, имеющее смысл, любая таблица, состоящая из букв, представляла бы собой кроссворд, все буквы и все их комбинации применялись бы одинаково часто.
В действительности, конечно, в реальном языке вероятности появления букв и их сочетаний далеко не одинаковы. Если подсчитать частоты появла*шя слов, например в телеграммах, то окажется, что такие слова, как задержи-ваюсь, целую, деньга будут иметь большие частоты, а такие, как пахта или верея очень малые. Примерно то же самое имеет место и в разговорной речи, и в газетно-журнальных текстах, и! научно-технической литературе. Все реальные сообщения, закодированные в символы национальных языков, имеют значительную избыточность.
Этот факт, конечно, не случаен и не является недостатком принятого способа выражать человеческие мысли. Избыточность полезна, и польза ее состоит в том, что «излишние» символы позволяют без труда исправлять ошибки, опечатки, которые всегда появляются при передаче. или воспроизведении информации.
Конечно, никакой аптекарь не рискнул бы выполнить рецепт, написанный типичным врачебным почерком, если бы ошибка в одной букве меняла слово аспирин на слово стрихнин.
Скорость передачи
Всякое устройство, осуществляющее передачу сигналов на расстояние, называется каналом связи. Примером могут служить телеграф, телефон, телеметрическая система, нерв животного и т. д. Канал связи на входном передающем конце получает информацию в виде сигналов от некоторого источника. Далее эти сигналы проходят по каналу до другого его конца — выходного или приемного, где выдаются адресату. Алфавит выходного сигнала не обязательно совпадает с алфавитом сигнала на входе; иначе говоря, в состав канала связи могуг входить кодирующие устройства. Так, канал телеизмерения может получать на вход от датчика-измерителя электриче-
84
ское напряжение, а на приемном конце выдавать кривую, записанную на бумажную ленту.
При передаче сигнала по каналу связи на сигнал тем или иным путем воздействуют шумы или помехи. В результате на приемном конце канала адресат получает нечто отличное от посланного сообщения—сигнал, искаженный помехой. Если рассматривать выход канала как источник сообщений и подсчитать его энтропию, то окажется, что энтропия на выходе больше, чем энтропия на входе. Количество информации возросло, однако ее содержание отнюдь не обогатилось, так как содержанием дополнительной информации является помеха, которая не соответствует описываемому событию.
Если помехи велики, то на выходе канала они преобладают над полезным сигналом и большая часть выходных сигналов канала становится не относящейся к исходному сообщению. Возникает вопрос: какое же количество полезной информации передается при этом от входа к выходу канала?
Сигнал на выходе канала при наличии помех перестает быть однозначно функционально связанным с сигналом на входе, между ними сохраняется только статистическая связь.
Рассмотрим два случайных события: появление на входе канала сигнала X и появление на выходе сигнала У. Каждое из этих событий имеет определенную вероятность Р(Х) и Я (У). X и У не являются независимыми, поэтому вероятность сложного события — одновременного и совместного появления обоих сигналов, Р(Х, У), можно выразить с помощью условной вероятности:
Р(Х, Y) = P(X)P(V\X) = P(V)P(X\Y), (4.17)
P(XjY)—вероятность появления X, если появился Y,
Я(У)Х)—вероятность появления У, если появился X.
Для всех возможных сигналов X ,и У, образующих две взаимно-зависимые конечные схемы, можно подсчитать энтропию на символ или в единицу времени. То же можно сделать и для объединения схем X и У в одну общую конечную схему сложного события (X, У).
я(Х,К)=^)bgP(^, Гк) = i k
= I S W P (Xi I Yk) [l02 P (K*) + log P (X, I yk)\ = i k
85
=?*’№1>'.)Г',’<1'*>1оер<к*>+
i ft
+I р(К*> I р (х‘-1 к*} log р (х<1 к*>’ (4-18)
ft i
а так как ^]/>(А'.|Кд)= 1 для любого Кд, как сумма веро-i
ятностей полной группы событий, то
Н(Х, К) = Я(К) + 2Р(Ка) |2Р(^|К4)1о8Р(^|К4) 1(4.19)
* I I J
Величина (Х.\У k)logP (Х.\У^ есть энтропия послан-
ft
ного сигнала (схемы X) при заданном значении принятого сигнала Кд. Поскольку Yk — случайная величина, эта энтропия также является случайной величиной. В формулу (4.19) входит ее математическое ожидание по всем возможным сигналам на выходе Y. Эта величина
Н (*|К) = ?/> (Yk) 2 Р {Xt\Y k) log Р (Х,\Гк) ft i
носит название условной энтропии. Оиа дает меру количества информации на один выбор (или меру неопределенности до выбора) из множества возможных А", если известен К, в среднем по всем К. Итак,
Предыдущая << 1 .. 26 27 28 29 30 31 < 32 > 33 34 35 36 37 38 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed