Динамика иерархических систем: эволюционное представление - Николис Дж.
Скачать (прямая ссылка):
при определенном начальном состоянии и подаче на вход соответствующего
сигнала. Некоторые из таких возможных моделей обладают тем свойством* что
ни один другой автомат не имеет меньшего числа внутренних состояний.
Поэтому составитель модели, действующий оптимально и считающий, что
наблюдаемый временной ряд порожден причинным процессом, всегда выбирает в
качестве модели автомат с минимальным числом внутренних состояний.
Следуя Гейнсу [4.10], выведем соотношение между длиной последовательности
наблюдений и математическим ожиданием (средним) числа состояний модели,
построенной оптимальным причинным составителем моделей (т. е. модели
средней сложности). Иначе говоря, нас интересует поведение отношения
ц ___ Среднее число состояний модели
N Число наблюдений
как функции длины наблюдаемой последовательности. Можно-было бы ожидать,
что 0 при N-^ оо. Однако в действи-
тельности /?лг->1 при оо. Это означает, что с увеличением длины
наблюдаемого временного ряда число состояний оптимальной (причинной)
модели возрастает, или что сложность оптимальной причинной модели
возрастает с увеличением числа наблюдений.
Мы увидим, что малейшее введение вероятностного отклонения от причинности
в поведение динамической системы, моделируемое с помощью
детерминистического автомата с конечным числом внутренних состояний,
порождает модели, сложность которых по существу пропорциональна длине
наблюдений. Предположим, что поведение моделируемой системы представимо в
виде ряда нулей и единиц с равными вероятностями Р(0) = = Р(1)= 1/2 [в
общем случае мы получаем последовательность Бернулли с Р (0) Ф Р(1) ] •
От поведения стохастического автомата с двумя состояниями можно ожидать
следующего.
Существуют 2N возможных последовательностей из N наблюдений; все эти
последовательности равновероятные (с вероятностью 2~N). Перечислим все
различные детерминистические
218
Глава 4
автоматы с S состояниями, допустимые в качестве моделей таких
последовательностей. Заметим, что данный автомат, находясь в данном
исходном состоянии, может действовать как модель только одной из
последовательностей, и мы хотим найти верхнюю границу множества моделей,
достижимых из данного состояния 5.
Например, пусть S = 6. Тогда одной моделью будет последовательность
001010, другой - последовательность 010001 и т. д. Общий вид модели -
цепочка переходов, образующих цикл, например:
О^ГГГП
Если S состояний должны быть заполнены двумя символами (0 и 1) и цикл
может начинаться с любого состояния, то существуют самое большее S2S
моделей (часть которых может порождать одну и ту же последовательность,
что и позволяет считать приведенную величину верхней границей числа
различных моделей):
M = S- 2s >2*. (4.6.1)
(Заметим, что в эту оценку входят также модели с числом состояний меньше
S.)
Нас интересует среднее число состояний в минимальных формах этих М
моделей. Моделей с R состояниями существует не более R2R\ следовательно,
нижняя граница среднего (математического ожидания) числа состояний в
множестве моделей с максимальным числом состояний S может быть вычислена
следующим образом. Пусть М(^)-вероятность найти модели с числом состояний
от R - 1 до R:
M(R)=^^p-dR, (4.6.2)
1
где dM(R)/dR - соответствующая ф.п.в. Но так как R - дискретная
переменная, среднее значение M(R) при R, заключенном в интервале от 1 до
S- 1, равно
тгЬ-Е тог1*- <4ЛЗ>
Л=1
2* + R ¦ 2r = R ¦ 2r - (R - 1) • 2r + R • 2*~' =
R-2r-{R - 2)- 2r~1 - (R- 1) • 2r~\
Ho
Ш (R) Л R
Элементы теории информации и кодирования 219
поэтому
S-1
я [Я-2*- (Я - 1)-2*-1]. (4.6.4)
л-i
Так как среднее число ps состояний 5 порождает неравенство
S-1
ps • 2s > Mffi > -g4-г E * ^ • 2* - • 2*~4' <4Л5)
Д = 1
получаем
s-i
^ ' i 2 (*2 •2*+R •2^' (4-6-6>
' ' R = 1
или после некоторых преобразований
ps > S - 2 -)-------------------------ъ-г >5 - 2. (4.6.7)
^ S-1 (S-1)-2s-1
Из неравенства (4.6.1) следует также неравенство
S + logoS>N, (4.6.8)
откуда
S> N - log2S, (4.6.9)
но так как 5 <С N, мы можем записать неравенство S>N - log2 N. Таким
образом,
ps>5 - 2> N - log2N - 2, (4.6.10)
т. е. среднее число состояний в ансамбле моделей, необходимое для учета
всех возможных поведений, больше, чем N - log2iV- -2, где N - длина
принятых переменных рядов. Следовательно,
л,= 1- '-8^ + 2. (4.6.11)
при N-у <х эта величина стремится к единице.
Вывод из всего сказанного такой: если составитель модели жаждет
воспроизвести стохастическое поведение с помощью детерминистического
автомата с конечным числом состояний, то он приходит к сверхсложному
представлению об исследуемой системе. В гл. 6 мы увидим, как системы,
обладающие странными аттракторами, эффективно сжимают поведение системы,
обладающей числом степеней свободы, равным размерности пространства
состояний, в которое странный аттрактор погружен в качестве компактного
подмножества.
220
Глава 4
4.7. Связь между двумя иерархическими системами, моделируемыми
управляемыми цепями Маркова
