Научная литература
booksshare.net -> Добавить материал -> Физика -> Стин Э. -> "Квантовые вычисления " -> 9

Квантовые вычисления - Стин Э.

Стин Э. Квантовые вычисления — НИЦ: Регулярная и хаотическая динамика, 2000. — 112 c.
Скачать (прямая ссылка): kvantovievichesleniya2000.pdf
Предыдущая << 1 .. 3 4 5 6 7 8 < 9 > 10 11 12 13 14 15 .. 45 >> Следующая

ничего нового, т. е. не получите информации. С другой стороны, если вам
заранее известно, что значение X определяется броском игральной кости, то
здесь получение значения числа соответствует увеличению информации. В
этом состоит основное парадоксальное свойство, заключающееся в том, что
информация часто является мерой незнания: информационное содержание (или
"собственная информация") величины X определяется как информация, которая
может быть получена при определении значения данной величины X.
Если X является случайной величиной и принимает значение х с вероятностью
р{х), то информационное содержание переменной X определяется как
S({p(x)}) = - ^р(х) log2p(x). (1)
X
Следует отметить, что логарифм берется по основанию 2, а величина S
всегда положительна, поскольку вероятность появления значения х
подчиняется условию р{х) ^ 1. Здесь зависимость (1) является функцией
распределения вероятностей значений переменной X.
24
Глава 2
Это необходимо запомнить, поскольку в дальнейшем вместо выражения
5({р(ж)}) будет использоваться выражение 5(Х). Очевидно, что выражение
S(X) означает не функцию от X, а информационное содержание переменной X.
Иногда, по понятным причинам, выражение S(X) называют энтропией.
Если изначально известно, что X = 2, то р(2) = 1, другие слагаемые под
знаком суммы отсутствуют. Это приводит к тому, что 5 = 0 и величина X,
таким образом, не обладает информационным содержанием. Если, с другой
стороны, значение величины X определяется-броском игральной кости, то
р(х) = | для х е {1, 2, 3, 4, 5, 6}. Таким
образом, 5 = - log2 | ~ 2,58. Если величина X может принимать N
различных значений, то ее информационное содержание (или энтропия) имеет
максимальное значение для плоской функции распределения вероятностей р,
где р(х) = (для обыкновенной кости величина 5 ~ 2,58, а в случае с
утяжеленной с одной стороны кости, для которой р(6) = |, р( 1, ... , 5) =
величина 5 ~ 2,16). Это согласуется с тем фактом, что объем информации
(которую можно получить при определении значения X) наибольший, когда
предварительные знания о величине X минимальны.
Таким образом, максимальный объем информации, который в принципе может
содержаться в переменной, способной принимать N разных значений, равен
log2(TV). Логарифм берется по основанию 2 по соглашению. Этот выбор
определяет единицу информации: S(X) = 1, если величина X принимает два
значения с равными вероятностями. Таким образом, двоичная переменная или
переменная, принимающая два значения, содержит единицу информации. Эта
единица называется битом. Как правило, значения бита записывается в виде
двоичных чисел: 0 и 1.
В случае с двоичной переменной можно определить вероятность появления
величины X = 1 как р, тогда вероятность появления величины X = 0 равна 1
- р. Сама информация может быть выражена как функция только от
вероятности р:
H(jp) = -p\og2p-{l-p)\og2{\-p). (2)
Функция Н(р) называется энтропийной и ее область значений равна 0 ^ Я(р)
^ 1.
2.1. Меры (количества) информации
25
В последующем значение основания логарифма будет опущено, т. е. будет
предполагаться, что все логарифмы берутся по основанию 2, если другое не
оговорено.
Вероятность того, что величина У = у при условии, что величина X = х
записывается как р{у\х). Условная энтропия 5(У|Х) определяется как
5(У|Х) = р(х) ^>2 р(у\х) logр(у\х) = (3)
X у
= -^2^2 р(х' у) \°&p(y\x)i (4)
X у
где уравнение (4) выводится с помощью выражения р(х, у) = р(х)р(у\х)
{р(х, у) определяет вероятность появления величины X = х и У = у).
Обращаясь к определению, можно сказать, что величина 5(У|Х) является
мерой усредненного количества информации, содержащегося в величине У,
если известно значение величины X. Заметим, что неравенство 5(У|Х) ^ 5(У)
выполняется всегда, а неравенство 5(У|Х) ф 5(Х|У) - в большинстве
случаев.
Понятие условной энтропии главным образом необходимо для перехода к
следующей величине: полному количеству информации (mutual information),
определяемому как:
= 5(Х)-5(Х|У). (6)
По определению, величина 1(Х : У) есть мера количества информации,
содержащейся в величинах X и У друг относительно друга1. Если величины X
и У являются независимыми, то р(х, у) = р{х)р(у) и, следовательно,
величина 1(Х : У) = 0. Зависимости между основными
1 Многие авторы используют выражение I(X\Y) вместо I(X : Y). Однако здесь
используется последний вариант, поскольку знак ":" отражает тот факт, что
I(X:Y) = I(Y : Z).
S(X,Y)
Рис. 3. Зависимость между мерами классической информации
26
Глава 2
мерами информации показаны на рис. 3. Читателю в качестве упражнения
предлагается доказать, что величина S(X, Y), определяющая количество
информации о величинах X и Y (т. е. это информация, которую можно
получить при определении как X, так и F, если первоначально их значение
неизвестно), удовлетворяет уравнению S(X, Y) - S(X) + + S{Y)-I(X:Y).
Информация может исчезать, но не может самопроизвольно возникнуть из
ниоткуда. Это важное замечание нашло математическое отражение в
Предыдущая << 1 .. 3 4 5 6 7 8 < 9 > 10 11 12 13 14 15 .. 45 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed