Сигнал о некоторых понятиях кибернетики - Полетаев И.А.
Скачать (прямая ссылка):
Информационная емкость
С установления оценки количества информации посредством числа начинается новая отрасль теории связи— теория информации, которая рассматривает вопро-
70
сы о пропускной способности каналов связи, о наилучшем кодировании информации и выводит предельные соотношения для количества информации, которое может быть передано по каналу в единицу времени. Эти соотношения в теории связи по их значению можно сравнить с законом сохранения энергии в энергетике. Подобно тому как в энергетике, количество энергии, отдаваемое энергетической машиной, не может быть больше количества потребляемой ею энергии, в теории информации количество информации, передаваемое без ошибок в единицу времени, не может быть больше пропускной способности канала.
Как же оценить количество информации? Как это ни странно с первого взгляда, но для численной оценки количества информации, т. е. количества содержания, смысла сигнала, необходимо прежде всего отвлечься от этого содержания, от смысла, от семантики. Впрочем странность этого только кажущаяся. При любых количественных расчетах все единицы теряют свою индивидуальность и становятся качественно одинаковыми. Чтобы воспользоваться, например, арифметикой или алгеброй для какого-либо конкретного расчета, мы должны прежде всего отбросить эту конкретность и перейти к числу вообще. То же справедливо относительно формальной логики и других теоретических дисциплин.
Если мы перестанем интересоваться семантикой сообщений, т. е. отвлечемся от конкретного содержания того события, о котором передаются или записываются сообщения, то у нас останется только множество отличных друг от друга состояний. Какое бы реальное событие мы ни описывали: строительство дома или производство автомобилей, ход спортивного соревнования или военной операции, состояние физической системы или ход химической реакции, судьбу отдельного человека или историю народа—любое событие в каждый момент времени может находиться в одном из большого числа возможных состояний. Описание события есть не что иное, как указание на то, в каком из возможных состояний находится описываемый объект.
Протекание события во времени есть смена этих состояний, выбранных из числа возможных. Различные конкретные события отличаются друг от друга числом возможных состояний и особенностями выбора. Множество возможных состояний может быть дискретным или непрерывным, представлять собой одну величину или совокупность многих величин.
71
Таким образом, информация в отвлеченном виде, без конкретного смысла сообщения, есть просто выбор некоторого определенного элемента из множества возможных. Каждому состоянию события может быть приведено в соответствие определенное состояние физического процесса, представляющего собой сигнал. Посылка сообщения о событии есть, таким образом, выбор определенного символа сигнала из множества возможных символов. Элементы множества сигнальных символов, подобно состояниям описываемого события, могут быть либо дискретными символами (буквы печатного текста, точки и тире телеграфной азбуки, цифры), либо непрерывными (высота звукового тона, амплитуда колебания).
Будем называть множество возможных состояний или символов сигнала алфавитом сигнала, а состояние физического объекта или процесса, реализующее этот алфавит, физическим алфавитом. Отдельный символ можно называть буквой алфавита, а серию или комбинацию символов—словом в алфавите. Простейшим примером дискретного алфавита является алфавит, состоящий из двух символов: 0 и 1, или + н —, или да и нет и так далее.
Чтобы подойти к определению числовой меры количества информации, необходимо прежде всего составить представление об объеме множества возможных сообщений, из которого производится выбор, а затем уточнить характер самого выбора.
Для дискретных алфавитов подсчет числа возможных сообщений, состоящих из заданного числа символов, не составляет труда. Если в алфавите N букв, то число возможных слов, состоящих из п букв каждое, равно Nn (одну букву можно выбрать N способами, две буквы — N2 способами,... ,п букв—Nn способами).
Для непрерывных алфавитов число возможных сообщений бесконечно велико. Однако непрерывная величина, являющаяся сигналом, всегда известна с некоторой ошибкой, обязанной шуму. Поэтому с точностью до допустимой ошибки эта величина может быть представлена в виде дискретных значений (или, как говорят, «квантована»). Наличие шума не позволяет реализовать и использовать бесконечно большое множество сообщений в непрерывном алфавите. Мы уже видели, каким образом можно непрерывную функцию времени с ограниченным спектром и с ограниченной амплитудой в ограниченном интервале времени представить в виде конечной последовательности конеч-
72
ных дискретных величин. Квантованием этих величин можно представить любую такую функцию в виде конечного множества чисел с конечным числом разрядов. Таким образом, можно свести непрерывный алфавит к дискретному и пересчитать все возможные непрерывные сообщения и в этом случае.
