При таком выборе k единица информации называется двоичной. Она равна информации, содержащейся в сообщении о том, что наступило событие, вероятность которого равнялась, т. е. которое могло с равной вероятностью наступить и не наступить. Иногда используют и другие единицы информации, например десятичные. Мы будем применять как двоичные, так и натуральные единицы количества информации. В тех случаях, когда выбор единиц не играет роли, мы будем писать считая, что логарифм берется по любому основанию, лишь бы это основание сохранялось на протяжении решаемой задачи.
Благодаря свойству аддитивности информации выражения позволяют определить количество информации не только в букве сообщения, но и в любом сколь угодно длинном сообщении. Нужно лишь принять за р вероятность выбора этого сообщения из всех возможных с учетом ранее выбранных сообщений.
Энтропия и производительность источника сообщений
Для построения теории связи основное значение имеет не количество информации, содержащееся в некотором конкретном сообщении, а средняя величина (математическое ожидание) количества информации, содержащегося в одном элементарном сообщении источника:
Здесь, как и всюду в дальнейшем, горизонтальная черта обозначает математическое ожидание.