При некоторых дополнительных условиях, называемых условиями эргодичности, выполняемых для всех источников, представляющих практический интерес, существуют безусловные вероятности р(Хь) выбора А-го элементарного сообщения
Выражение представляющее математическое ожидание количества информации в выбираемом элементе, для источника, находящегося в q-м состоянии, можно назвать энтропией этого состояния. Энтропию источника (рассчитанную на один элемент) Hq в соответствии с получим путем усреднения по всем возможным состояниям
Выражение является частным случаем при г= 1, т. е. при единственном состоянии источника. Если бы мы не учитывали вероятностных связей между элементами сообщения и исходили из безусловных верояг-
ностей p(xk), определяемых по, то за энтропию источника на один элемент следовало бы принять
В теории информации доказывается, что всегда .Я, т. е. наличие вероятностных связей уменьшает энтропию источника сообщений.
Для характеристики алфавита источника сообщения представляет интерес сравнение энтропии Н, определяемой выражением, с максимально возможной при данном алфавите энтропией #MaKC = logZ.