|
Формула определяет класс функций ф(р), выражающих количество информации при выборе буквы Xi, имеющей вероятность p(xi)=p, и удовлетворяющих условию аддитивности. Для определения постоянной интегрирования С воспользуемся высказанным выше условием, по которому заранее предопределенный элемент сообщения, т. е. имеющий вероятность, не содержит информации. Следовательно, ср(1)=0, откуда сразу следует, что С=0.
Что касается коэффициента пропорциональности k, то его можно выбрать произвольно, так как он определяет лишь систему единиц, в которых измеряется информация. Однако, поскольку 1пр<0, разумно выбирать k отрицательным, для того чтобы количество информации было положительным. Наиболее простым является выбор k——1. Тогда
При этом единица количества информации равна той информации, которая содержится в элементарном сообщении, имеющем вероятность 1е (е — основание натуральных логарифмов), или, другими словами, равна информации, содержащейся в сообщении о том, что наступило событие, вероятность которого равнялась. Такую единицу информации называют натуральной единицей.
|