Научная литература
booksshare.net -> Добавить материал -> Физика -> Николис Дж. -> "Динамика иерархических систем: эволюционное представление" -> 68

Динамика иерархических систем: эволюционное представление - Николис Дж.

Николис Дж. Динамика иерархических систем: эволюционное представление — М.: Мир, 1989. — 490 c.
Скачать (прямая ссылка): dinamikaiearhicheskihsistem1989.pdf
Предыдущая << 1 .. 62 63 64 65 66 67 < 68 > 69 70 71 72 73 74 .. 187 >> Следующая

чтобы избежать стереотипных повторений и, следовательно, застоя?
Придадим более точный смысл параметрам вариабельности и надежности и
исследуем, при каких условиях взаимодействие этих параметров может
привести к некоторому оптимуму [4.5].
Коэффициент вариации D\ множества N сигналов есть величина, на которую
энтропия системы отклоняется от своего максимального значения, или
величина, на которую набор априорных вероятностей Pi отличается от
равновероятности:
N
Di = 5макс - 5, = log2 N + X pi l°g2 Pi- (4.4.1)
i = 1
Когда все Pi равны, коэффициент Di равен нулю и достигает максимума
(log2Ar) при 5i = 0, т. е. когда источник информации обладает только
одним состоянием с априорной вероятностью, равной единице. Коэффициент
надежности D2 множества N сигналов есть величина отклонения символов
источника информации от полной независимости. Чтобы быть более точным, мы
вводим совместную энтропию пары символов/состояний Xi, хр.
N N
52 = - Е Е P{XU xj)log2P{xi, xj), (4.4.2)
/=i/=i
где P(xi, Xj)-совместная ф. п. в. пары символов (лг(-, Xj). Определим
коэффициент надежности как разность
D2 = S'2nd - S2dep (4.4.3)
значений совместной энтропии, когда (х,-, х/) статистически независимы
(S2nd) и когда (xi, Xj) статистически зависимы (S!>ep).
Вычислим сначала 5гпа. В этом случае по теореме Байеса из элементарной
теории вероятностей Р(хг-, х;) = P(xi)P(xj), поэтому
Sfd = - I I Р (Xj) Р (Xj) log2 [Р (Xi) Р (х,)] =
/=1
= - Y Y Р (Xi) Р (Xj) log2 Р (xj) - Y Y Р (х{) Р (xj) log, Р (xj) =
i = \ i = \ t = 1/ = 1
= -T,P (Xi) log2 P (xj) I Y P (Xj) S -
i - 1 & / = 1 J
-YP (Xj) log2 P (Xj) [ Y P (Xi) I = + 2S,. (4.4.4)
182 Глава 4
Вычислим теперь S2ep. По теореме Байеса в этом случае получаем
Р (Xiy Xj) = Р (Xt) Р (Xj/Xt) = Р (Xj) Р (xjxj),
поэтому
52dep = - Е Е Р (х{, х,) log2 [Р (xt) Р (x,/xt)] =
1=1 / =3 1
= - Е Е Р (xt) Р (Xj/Xt) log2 Р (х{) -
i=i/=i
ЛГ ЛГ
- Е Л P(xt, Xj) log2 Р (Xj/xt) = г=1/=i
= [- Е Р (*<) 1о^2 Р (*,)] [Е Р (*//*,)] + 5м, (4.4.5)
ГДе N N
sM = - Е Е р Сч- -ч) iog2 р (*//*<)¦ (4-4-6)
( = 1 /=1
Так как
'Е,Р(х,/х,)=1.
/ = 1
мы получаем окончательно
S2dep - 5, + SM (4.4.7)
и
D2 = S2nd - S2ep = 25, - S, - S* = S, - Sm. (4.4.8)
Чтобы взаимодействие коэффициентов Dx и P2 стало более очевидным,
построим следующую символическую схему (рис. 4.10). Язык без правил не
обладает надежностью и имеет к тому же нулевую вариабельность. Для такого
"языка" энтропия равна
S = SHaKC = \og2N.
Порядок в такой системе мы начинаем создавать, вводя прежде всего
некоторые "грамматические правила", т. е. задавая величину вариации ?>,.
Но коэффициенту вариации Dx не следует давать расти выше определенного
предела из-за возникающего затем стереотипа. Затем мы вводим некоторую
надежность D2, создавая "синтаксические правила", которые устанавливают
статистическую взаимозависимость между различными символами/состояниями.
Однако коэффициент надежности Р>2 не дол-
Элементы теории информации и кодирования
183
жен опускаться ниже определенного предела, так как чрезмерное его
уменьшение лишает нас возможности обнаруживать и исправлять ошибки из-за
отсутствия "контекста". Остающаяся энтропия
SM - log2 N D{
До
(4.4.9)
если энтропия языка с коэффициентом вариации Dx и коэффициентом
надежности Д2. Избыточность такого языка определяется величиной
/?=!-¦
м
°\ +Д2 log 2N
(4.4.10)
и изменяется от 0 (полный беспорядок) до 1 (нулевая энтропия- из-за
строгого стереотипа символов, или строгой взаимозависимости).
R = 1
s=o
Рис. 4.10. "Конфликт" между разнообразием и надежностью.
Источник статистически независимых сигналов обладает памятью: мы будем
рассматривать случай, когда вероятность появления символа зависит только
от непосредственно предшествующего ему символа. Такой источник информации
порождает последовательность сигналов, образующих цепь Маркова. Цепь
Маркова п состояний однозначно определяется матрицей п X п перехода Р,
элементы которой Р,у - вероятности перехода из состояния i в состояние /.
Цепь Маркова может обладать стационарными состояниями; необходимое
условие - существование целого числа К, такого, что матрица РЛ имеет по
крайней мере один ненулевой столбец. Кроме того, цепь Маркова эргодична,
если из любого состояния мы можем перейти в любое другое состояние. Нас
интересует вопрос: чему равна энтропия цепи Маркова? (Иначе говоря, чему
равна энтропия источника информации с памятью?)
184
Глава 4
Из статистической взаимозависимости отдельных символов/состояний
источника информации непосредственно следует, что не все символы, которые
источник предположительно может генерировать в течение заданного
интервала времени, несут одинаковое количество информации. Это позволяет
нам, используя статистическую структуру конкретного источника, достичь
более высокой скорости передачи информации при данной вероятности ошибки.
Неопределенность источника в общем случае мы определяем как
неопределенность очередного символа, порождаемого источником, при
Предыдущая << 1 .. 62 63 64 65 66 67 < 68 > 69 70 71 72 73 74 .. 187 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed