Любая реальная материальная система, входящая в источник сообщений, может иметь непрерывный ряд состояний . Однако сведения, передаваемые о ней, никогда не исчерпывают всех особенностей состояния и могут во многих случаях образовывать дискретное (т. е. конечное или счетное) множество А. В этом случае говорят, что источник сообщений является дискретным.
Для того чтобы судить о том, является ли некоторый источник сообщений дискретным или непрерывным, необходимо, выбрав конечный интервал времени длительностью Т, рассмотреть все множество сообщений Ат, которое данный источник мог бы создавать за это время . Если это множество конечно, то источник сообщений является дискретным, в противном случае он непрерывный.
Разумеется, с ростом Т увеличивается и число различных сообщений Ат, которое может создать дискретный источник, причем это число для любых источников возрастает приблизительно по экспоненциальному закону. Поэтому если не ограничивать интервал времени Т, то множество Ат окажется всегда бесконечным. Однако для дискретного источника сообщений оно всегда будет счетным. Это значит, что все мыслимые сообщения можно расположить по некоторому закону в ряд и перенумеровать.