Величина Н(х) характеризует источник сообщений и называется энтропией источника, отнесенной к одному элементу сообщения.
В простейшем случае источника независимых сообщений, в котором вероятность выбора того или иного элемента сообщения не зависит от ранее выбранных элементов, объем алфавита источника;
вероятность выбора k-ro элемента (&-й буквы).
Обычно отмечают, что энтропия характеризует заданное распределение вероятностей с точки зрения степени неопределенности исхода испытания, т. е. неопределенности выбора того или иного сообщения. Действительно, легко убедиться, что энтропия равна нулю тогда и только тогда, когда одна из вероятностей p{xh) равна единице, а все остальные равны нулю; это означает полную определенность выбора. При фиксированном объеме алфавита  энтропия принимает максимальное значение в случае, когда все p{xh)  одинаковы; тогда
При этом степень неопределенности выбора, понимаемая интуитивно, больше, чем при не равных вероятностях р{хъ). Наконец, если рассматривать алфавиты с равновероятными элементами, но с разными объемами, то энтропия увеличивается с увеличением объема . Это также согласуется с интуитивным представлением о степени неопределенности выбора.