На приемном конце канала связи принятый сигнал должен быть отождествлен с одним из возможных переданных сообщений. В большинстве реальных систем связи эта операция осуществляется последовательно: сначала элементы сигнала преобразуются в последовательность кодовых символов (демодуляция), а затем эта последовательность преобразуется в последовательность элементов сообщения (декодирование), которые воспринимаются получателем.
Количество информации в сообщении
Для того чтобы иметь возможность сравнивать различные источники сообщений и различные линии и каналы связи, необходимо ввести некоторую количественную меру, позволяющую оценивать содержащуюся в сообщении и переносимую сигналом информацию. Такая мера в виде количества информации была введена К. Шенноном на основе концепции выбора, что позволило ему построить достаточно общую математическую теорию связи .
Рассмотрим основные идеи этой теории применительно к дискретному источнику, выдающему последовательность элементарных сообщений. Попытаемся найти удобную меру количества информации, заключенной в некотором сообщении.