Так, например, для источника, создающего сообщения в виде текста, записанного, скажем, русским алфавитом, можно разделить все возможные сообщения на группы, отличающиеся количеством букв в сообщении, расположить эти группы в порядке возрастания числа букв, а внутри каждой группы расположить сообщения в алфавитном порядке и полученную последовательность сообщений пронумеровать. Следовательно, такой источник сообщений является дискретным. Любые два сообщения этого источника, если они не тождественны, отличаются по меньшей мере одной буквой.
Примером непрерывного источника является устройство, передающее результат измерения какой-либо непрерывной величины, скажем атмосферного давления в некотором месте. Если два сообщения такого источника не тождественны, то они могут отличаться друг от друга сколь угодно мало. При этом, как бы мало не отличалось сообщение А от сообщения В, всегда возможно некоторое сообщение С, которое будет отличаться от А еще меньше, чем В. Такое множество сообщений образует континуум и не может быть пронумеровано.