Основная идея теории информации заключается в том, что эта мера определяется не конкретным содержанием данного сообщения, а тем фактом, что источник выбирает данное элементавноп т общение из конечного множества X. Эта идея оправдана тем. что на ее основании удалось получить ряд далеко идущих и в то же время нетривиальных результатов, хорошо согласующихся с интуитивными представлениями о передаче информации. Основные из этих результатов будут изложены далее.
Итак, если источник произйодит выбор одного элементарного сообщения Xi,(k=, ..., ) из множества алфавита X, то выдаваемое им количество информации зависит не от конкретного содержания этого элемента, а от того, каким образом этог выбор осуществляется. Если выбираемый элемент сообщения заранее определен, то естественно полагать, что заключающаяся в нем информация равна нулю. Поэтому будем считать, что выбор буквы Хъ. происходит с некоторой вероятностью р(хъ). Эта вероятность может, вообще говоря, зависеть от того, какая последовательность предшествовала данной букве. Примем, что количество информации, заключенное в элементарном сообщении Xk, является непрерывной функцией этой вероятности <f[p(Xh)], и попытаемся определить вид этой функции так, чтобы он удовлетворял некоторым простейшим интуитивным представлениям об информации.