Введение в кибернетику - Эшби У.Р.
Скачать (прямая ссылка):
Если такой вектор образуется выбором с возвращением, он имеет только ту небольшую особенность, что каждая составляющая берется из одного и того же множества значений, тогда как более общий тип, как, например, в § 3/5, может иметь разные множества значений для разных составляющих.
9/10. Ограничения разнообразия в множестве последовательностей. Какое-либо множество таких последовательностей, так же как и какое-либо множество векторов (§ 7/11), может обнаруживать ограничение разнообразия, когда оно не охватывает всей области значений, которую могли бы образовать составляющие, если бы они были независимы. Если последовательность имеет конечную длину, как, например, последовательность пяти бросаний монеты, приведенная в предыдущем параграфе, то ограничение разнообразия можно выявить и исследовать точно так же, как в § 7/11. Если же она имеет неопределенную длину, как это часто бывает с последовательностями (протяженность которых часто произвольна и несущественна), то надо применять какой-нибудь другой метод, не меняя, однако, существа дела.
Такой метод можно найти, рассмотрев, каким образом может задаваться вектор неопределенной длины. Ясно, что составляющие и значения такого вектора не могут быть совершенно произвольными, как в § 3/5, ибо в этом случае потребовалось бы бесконечное количество
9/10
ЦЕПЬ МАРКОВА
247
времени и бумаги, чтобы его выписать. Обычно такие векторы неограниченной длины задаются некоторым процессом. Сначала задается исходная составляющая, а затем применяется некоторый определенный процесс (преобразование), порождающий последовательно остальные состояния (как «интегрирование» в § 3/9).
Отсюда можно вывести условия, которые необходимы для того, чтобы множество таких векторов не обнаруживало никакого ограничения разнообразия. Предположим, что мы строим множество «без всяких ограничений», переходя последовательно от состояния к состоянию. Согласно § 7/12, первая составляющая должна пробегать всю область своих значений; тогда каждое из этих значений должно комбинироваться с каждым из возможных значений второй составляющей, а каждая из этих пар должна комбинироваться с каждым из возможных значений третьей составляющей и т. д. Правило состоит в том, что при добавлении каждой новой составляющей должны допускаться все ее возможные значения.
Теперь мы видим, что множество векторов, не обнаруживающее ограничения разнообразия, соответствует цепи Маркова, в которой на каждом этапе все переходы равновероятны К (Когда вероятность становится
1 Здесь автор не совсем точен. Если даже не все переходы равновероятны, то (при условии, что все они возможны, т. е. соответствую-* щие вероятности отличны от нуля) возможны все векторы (так, в упр. 9/4/3 возможно — хотя и маловероятно — появление вектора, все составляющие которого равны А), и потому ограничения разнообразия (если понимать его в смысле § 7/8 и 7/11) не обнаруживается. При неравновероятных переходах ограничение разнообразия (уже не в абсолютном смысле главы 7, а в новом, вероятностном смысле) обнаруживается в том, что некоторые векторы оказываются более, а другие менее вероятными; при повторениях опыта одни векторы будут получаться, как правило, чаще чем другие; некоторые векторы будут настолько редки, что могут считаться практически невозможными. Эти рассуждения не применимы прямо к бесконечным последовательностям: вероятность каждой такой отдельно взятой последовательности равна нулю. Разумеется, нельзя провести опыт с целью получения всей бесконечной последовательности. Из всего множества последовательностей можно, однако, выделить подмножество вероятности 1 (т. е. вероятность того, что случайно выбранная последовательность попадёт в это множество, равна 1), обнаруживающее сильное ограничение разнообразия в смысле § 7/9. Более того, если не все переходы равновероятны, то, задав произвольное е > О, для каждого п в множестве векторов длины п можно выделить
248 ГЛАВА 9. НЕПРЕКРАЩАЮЩАЯСЯ ПЕРЕДАЧА 9/11
фактической частотой, то возникает много различных цепей, образуя таким образом множество последовательностей.) Например, если каждая составляющая может принимать три состояния, то при отсутствии ограничений разнообразия возможные последовательности образуют множество, порождаемое матрицей
! л в с
л 1
3 1
3 1
3
в 1
3 1
3 1
3
с 1
3 1
3 1
3
Упр. 1. Экспоненциальный ряд определяет вектор бесконечной длины с составляющими
V1, Хь 2 ' 2-3' 2.3-4'
Какое преобразование порождает этот ряд, позволяя получать каждую составляющую из предыдущей? (Указание: назовите составляющие и, и, ... и т. д.; ^ есть то же самое, что ^+1 .)
Упр. 2. Обнаруживает ли ограничение разнообразия ряд, образуемый бросанием нефальшивой кости?
Упр. 3. (Продолжение.) А ряд из упр. 9/4/3?
ЭНТРОПИЯ
9/11. В § 7/5 и в гл. 8 мы видели, что информация не может передаваться в большем количестве, чем это позволяет количество разнообразия. Мы видели, что ограничения могут уменьшить потенциальное количество разнообразия. И мы только что видели в предшествующем параграфе, что такой источник разнообразия, как цепь Маркова, имеет нулевое ограничение разнообразия, когда все его переходы равновероятны. Отсюда следует,
