Определенная выше энтропия источника на элемент сообщения зависит от того, каким образом сообщения расчленяются на элементы, т. е. от выбора алфавита. Однако энтропия обладает важным свойством аддитивности. Пусть источник сообщения с объемом алфавита 1 имеет энтропию на элемент сообщения (с учетом всех вероятностных характеристик), равную Н. Произведем укрупнение алфавита, считая каждую последовательность из любых п букв первичного алфавита одним элементом нового, вторичного, алфавита. Очевидно, что объем вторичного алфавита fe="- Покажем, что энтропия на один элемент вторичного алфавита Н2 равна n#f. Из определения количества информации следует, что в некотором конкретном элементе вторичного алфавита содержится ровно столько же информации, сколько ее содержится в п элементах первичного алфавита, входящих в его состав. Количество информации в одном конкретном элементе первичного алфавита q) является случайной величиной, принимающей различные значения для различных элементов. Количество информации в элементе вторичного алфавита Ф является суммой п случайных величин q>i, ..., фп- Математическое ожидание величины Ф, равное по определению Н2, как известно, равно сумме математических ожиданий слагаемых фъ(&=1, п), а так как каждое из последних равно Ни то Определим избыточность вторичного алфавита гх2. Максимальная энтропия для алфавита объемом 12 = 1" равна откуда, учитывая, Из выражения следует, что избыточность при укрупнении алфавита не изменяется.