Динамика иерархических систем: эволюционное представление - Николис Дж.
Скачать (прямая ссылка):
многомерного шума является такая, у которой все одномерные компоненты щ
имеют гауссовское распределение и стохастически независимы друг от друга.
В свою очередь из этой стохастической независимости следует, что
автокорреляционная функция В (г) шума N(^) должна обращаться в нуль
только в дискретные моменты времени
12 3 т
Х ~ 2W ' 2W ' 2W '
Такая автокорреляционная функция имеет вид
В (т) = ст2 sin^T) '- (4.1.47)
Кроме того, взяв преобразование Фурье от В (т) и получив тем самым спектр
шума, мы обнаружим, что спектр шума N(0 должен быть плоским при всех
частотах W. Таким образом, мы приходим к выводу о том, что наихудший из
возможных аддитивный шум имеет многомерную гауссовскую ф. п. в. и плоский
спектр частот ("белый шум") в полосе частот W.
Для того чтобы разность S(Y) - S(N) в (4.1.42) была максимальной,
гипервектор Y = X+N должен иметь многомерное гауссово распределение и
плоский спектр. В свою очередь это означает, что несущий информацию
гипервектор X должен быть кодирован (разд. 4.2), т. е. отображен так,
чтобы его можно было трансформировать в каноническую ф. п. в. с белым
спектром [на принимающем конце канала связи должна производиться обратная
операция - декодирование - для детектирования исходного сигнала Х(^)].
Следовательно, должно выполняться соотношение
5 (Y)MaKC = WT log2 (2пе(у2)) = WT log2 [2ne ((*2) + ст2)] =
= WT log2 [2пест2 (1 + Г)], (4.1.48)
где
(x2)
Г = = Отношение сигнал/шум. (4.1.49)
162 Глава 4
Подставляя выражения (4.1.46), (4.1.48) в (4.1.42), получаем
окончательное выражение для пропускной способности канала связи
С = W log2 (1 + Г) бит/с. (4.1.50)
При Г 1 (сильный сигнал и/или слабый шум)
С ~W log2 Г, а при Г <С 1 (слабый сигнал, сильный шум)
1 + Г ~ ег, C~lTTlog2e, или С ~ 1,4431ГТ.
В формуле (4.1.50) - знаменитой формуле Шеннона - замечательно то, что
пропускная способность канала связи остается
конечной даже в тех случаях, когда амплитуда сигнала по величине на много
порядков ниже амплитуды окружающего шума, и что значение С можно
улучшить, увеличивая ширину полосы частот W сигнала, несущего информацию.
Прежде чем идти дальше, приведем один конкретный пример использования
формулы (4.1.50). Предположим, что сигнал состоит из последовательности
дискретных прямоугольных импульсов с равновероятными амплитудами +1 или -
1 В (рис. 4.4). Ширина полосы канала W равна 100 Гц, передача сигнала
происходит при наличии гауссовского белого шума со спектральной
плотностью -~0,15-10-3 Вт/Гц. Полная мощность шума равна о2 = 0,3 Вт (в
полосе частот шириной ±1000 Гц), одномерная ф. п. в. шума имеет вид
Р(п)= . 1 ехр (-------V (4.1.51)
У2я-о,з *4 2-0.3J v '
Принятая последовательность импульсов - более или менее искаженная шумом
(действие которого сводится к замене положительных импульсов
отрицательными или к замене отрицательных импульсов положительными) -
интерпретируется пу-
Элементы теории информации и кодирования 163
тем рассмотрения последовательности в любой точке между двумя
последовательными импульсами (рис. 4.4).
Условимся считать, что шум искажает положительный импульс, если имеет
отрицательную амплитуду, превосходящую по абсолютной величине 1 В, и что
шум искажает отрицательный импульс, если имеет положительную амплитуду,
превосходящую 1 В.
Так как вероятности воздействия шума на положительные и отрицательные
импульсы мы считаем равными, полная вероятность приема ошибочного
импульса равна
- 1 оо - 1
Р = JL J P(n)dn + ± \ p(n)dn = J Р (п) dn =
- оо +1 -оо
-1 - lVoJ
= -.-1 ^ ехрГ--')dn = -7= ( е~у'/2 dy ~ 0,0340.
•у2я • 0,3 J \ 2 • 0,3 / +2я J
- оо - оо
(4.1.52)
Это означает, что 3,4 °/о принятых импульсов в последовательности
ошибочны.
Количество информации I(X-^Y), переданной от источника к приемнику за
один импульс, может быть вычислено по формуле
/ (X -> Y) = S (X) - S (X/Y) = - [у log2 j + j log2 4] + +(0,034 log2
0,034 + 0,966 log2 0,966) = 0,786 бит/импульс. (4.1.53)
Скорость передачи импульсов составляет, разумеется, 2000 импульсов в
секунду, поэтому скорость передачи информации для рассматриваемой системы
составляет всего лишь
/(Х7ГУ) = 2000 • 0,786 = 1572 бит/с. (4.1.54)
Сравним теперь эту скорость с "теоретическим максимумом", задаваемым
формулой Шеннона. Отношение сигнал/шум равно
и
C = W log2 (1 + Г) = 1000 log2 (1 + 3,333) = 2115,5 бит/с. (4.1.55)
Таким образом, рассматриваемая система передает информацию со скоростью
ниже оптимальной и составляющей 74,5 % от теоретического максимума, кроме
того, принимаемый сигнал
И*
Элементы теории информации и кодирования 163
тем рассмотрения последовательности в любой точке между двумя
последовательными импульсами (рис. 4.4).
Условимся считать, что шум искажает положительный импульс, если имеет
отрицательную амплитуду, превосходящую по абсолютной величине 1 В, и что
шум искажает отрицательный импульс, если имеет положительную амплитуду,
превосходящую 1 В.
Так как вероятности воздействия шума на положительные и отрицательные
