С этой целью произведем простое преобразование сообщения, заключающееся в том, что каждую пару «букв» (xi, х, создаваемых последовательно источником, мы будем рассматривать как одну укрупненную «букву». Такое преобразование назовем укрупнением алфавита множество X2 укрупненных «букв» образует алфавит объемом Р, так как вслед за каждым из  элементов алфавита X может, вообще говоря, выбираться любой из  элементов. Пусть p(xt, Хъ) есть вероятность того, что источник произведет последовательный выбор элементов Xi и Xk. Тогда, рассматривая пару Xt, Xk как букву нового алфавита X2, можно утверждать, что в этой паре заключено количество информации xh).
Естественно потребовать, чтобы количество информации, заключенное в паре букв, удовлетворяло условию аддитивности, т. е. равнялось сумме количеств информации, содержащихся в каждой из букв xt и Xk первоначального алфавита X. Информация, содержащаяся в букве Xi, равна tp[p(xi)], где p{xt)—вероятность выбора буквы Xi после всех букв, предшествовавших ей. Для определения информации, содержащейся в букве Xk, нужно учесть вероятность выбора буквы хк после буквы Xt с учетом также всех букв, поедшествовавших букве Xi. Эту условную вероятность  обозначим р (хь | л:,). Тогда количество информации в букве хк выразится функцией q>[p(xkXi)].