Введение в Алгебраическую теорию информации - Гоппа В.Д.
Скачать (прямая ссылка):
3 0 1 0 1 1 1 0 1 0 0 0 0
1
4 0 0 1 0 1 0 1 0 1 1 1 1
1
5 1 1 0 1 0 1 1 0 1 0 1 0
1
6 1 0 1 0 1 1 0 1 0 1 0 1
0
7 1 0 1 0 1 1 0 0 1 0 0
0
8 1 0 0 1 1 1 0 1 0 0 0 0
0
9 1 0 1 1 1 1 0 0 1 0 0 1
0
10 0 1 1 0 0 0 0 1 0 1 0 1
0
Контроль
11 0 0 1 1 1 1 0 0 0 0 0 1
9
12 0 0 0 1 0 1 0 0 1 0 1 1
9
Таким образом, мы собираем информацию о разведанных месторождениях,
обучаемся на основе этой информации, а затем пытаемся прогнозировать
запас руды для неизвестного (контрольного) месторождения, опираясь на
косвенные признаки AM *-* Х\2, которые не требуют глубокой разведки.
Пример 2.3 (управление технологическим процессом). Рассмотрим
производство карбида кальция на мощной электрической печи. Конечный
продукт можно отнести к одному из трех сортов. С помощью математического
моделирования очень трудно
34
установить, как влилет на сортность карбида характер технологического
режима. Поэтому мы отказываемся от моделирования и применяем метод
распознавания образов: собираем информацию о технологическом режиме и
полученной при этом сортности карбида за несколько рабочих смен и
составляем информационную матрицу для обучения. При этом набор признаков,
предположительно оказывающих влияние на качество карбида, формируется на
основе консультаций со специалистами (экспертами). Например, можно
выбрать такие признаки:
XI-содержание влаги в коксе,
Х2-гранулометрический состав кокса,
ХЗ-гранулометрический состав извести,
Х4-количество шихтовой извести,
Х5-сила тока,
Х6-напряжение трансформатора,
Х7-общая активная мощность печи.
В информационную матрицу следует включать как можно больше признаков. В
дальнейшем останутся лишь информативные признаки, действительно влияющие
на качество конечного продукта.
Пример 2.4 (распознавание изображений). Предположим, что экран разделен
на квадратные клетки, каждой из которых соответствует свой
светочувствительный элемент:
1 2 3 4
5 6 7 8
9 10 11 12
13 14 15 16
Тогда любое изображение можно превратить в двоичное слово, считая i-м
признаком:
^ _ Г1, если изображение пересекает г- ю клетку,
' 10, если не пересекает,
=> (111000000),
=> (110110001).
Можно поставить задачу отнесения изображения к одному из классов,
основываясь на предварительном обучении.
2.2. Вычисление информативности признака
Каждый признак X является столбцом информационной матрицы, т. е. является
словом в конечном алфавите. Например,
2. XI = (2,2,2, 2,2, 1,2, 2, 2).
35
Мы хотим по этому признаку определить значение основного признака У, т.
е. узнать, к какому классу принадлежит данный объект. Таким образом,
информативность признака X равна количеству информации, содержащейся в
этом признаке относительно основного признака Y:
i0(X:У) = /0(:У) - /0(У/Х) = 10(Х) - 10{Х/ Y).
Например, если Y = (1, 1, 1, 2, 2, 2, 3, 3, 3), то IQ(Xl:Y) = = 1.77
бита.
Для вычисления информативности составляется матрица перехода букв слова X
в буквы слова Y:
1 2 3
1 0 1 0 1
2 3 2 3 8
3 3 3 9
Для матрицы из примера 2.1 получаем следующую информативность признаков:
АГ1 XI хз ХА Х5 АГ6 XI JC8
1.77 6.16 8.26 6.16 6.16 8.26 1.37 6.16
Признак X, для которого Iq(X:Y) = /^(У). назовем чистым. Для
такого признака IQ(Y/X) = 0, т. е. признак полностью раскрывает
неопределенность. В этом случае существует функциональная зависимость X -
* Y. Если же Iq(X: Y) = 0, то признак называется
шумом. Такой признак не дает никакой информации относительно
принадлежности объекта к какому-либо классу, поскольку он независим от Y.
Введем первый параметр настройки а, определяющий минимально допустимый
уровень информативности признака, и отбросим все признаки,
информативность которых меньше а. Параметр а обычно задается в процентах
от максимально возможной информативности I{Y). Если в примере 2.1 выбрать
а = 24 %, то, поскольку /(У) = 14.26, получаем а = 3.42. Таким образом,
считаем шумовыми признаки XI и XI.
В примере 2.2 информативность признаков равна
XI Х2 ХЗ Х4 Х5 Х6 Х7 Х8 Х9 XI0 *11 XI2
2.8 2.8 1.24 0.3 1.24 0.3 2.8 0.3 1.24 1.24 6.1 0
(здесь I(Y) = 10 бит). Если выбрать а = 25 %, т. е. а = 2.5, то для
дальнейшего анализа остаются четыре признака:
XII XI Х2 Х7
6.1 2.8 2.8 2.8
36
2*3* Кластерный знялиз в пространстве признаков
Некоторые признаки могут повторять друг друга. Сходные признаки образуют
подмножество в пространстве признаков, называемое кластером. Для анализа
зависимости признаков естественно воспользоваться информационной метрикой
р(Х,, хр = \ (10(Х/Х} + 10(х,/хр).
Если расстояние р(Х., Xj) мало, то X. и X. зависимы
(повторяют друг друга). Для независимых признаков р(Х., X.)
приближается к максимуму.
В примере 2.1 имеем
Х2 ХЗ Х4 XS Х6 А-8
Х2 0 3.5 8.4 8.4 5.2 6.8
л:з 0 8.4 8.4 6 3.5
Х4 0 6.8 3.5 8.8
Х5 0 3.5 8.8
Х6 0 8.4
А-8 0
3.5
-сЬ
3.5
8.8
Таким образом, существуют два кластера: (Х8, ХЗ, Х2) и (Х4, Хб, Х5).
Для примера 2.2 имеем соответственно
XI
Х2
XI
37
Построенные графы дают лишь предварительную информацию о взаимной
