После того как источник произвел выбор некоторого конкретного элемента сообщения, существовавшая неопределенность устраняется. С этой точки зрения количество информации, содержащееся в среднем в элементе, измеряется неопределенностью, которая оказалась устраненной з результате выбора этого элемента, т. е. энтропией источника.
Возможна и другая наглядная интерпретация понятия энтропии как меры «разнообразия» сообщений, создаваемых источником. Легко убедиться, что приведенные выше свойства энтропии вполне согласуются с интуитивным представлением о мере разнообразия. Также естественно считать, что количество информации, содержащееся в элементе сообщения, тем больше, чем более разнообразны возможности выбора этого элемента.
Определим теперь энтропию для более общего класса источников сообщений, в котором вероятность выбора элемента зависит от того, какие элементы были выбраны ранее. Ограничимся при этом источниками, в которых вероятностные связи выражены только для элементов, не очень далеко отстоящих друг от друга. Именно с такими источниками сообщений чаще всего приходится встречаться в реальной действительности.