Так, например, если источник выдает сообщение в виде текста, написанного на русском (или каком-либо ином) языке, то вероятность появления некоторой буквы сильно зависит от нескольких предшествующих букв, но почти не зависит от той части текста, которая отстоит от нее, скажем, на несколько десятков слов. Действительно, если в каком-либо тексте мы найдем сочетание букв «распределе...», то с большой степенью уверенности можно ожидать, что за ними последуют буквы «ные». Далее, если текст математический, то вслед за словом «распределение» с большой вероятностью последует слово «.вероятностей». Однако вероятность того, какие буквы или слова будут на следующей строке, практически не зависит от букв, написанных в начале предыдущей строки. Несколько более протяженные вероятностные связи можно обнаружить в стихотворном тексте (вследствие ритма и рифмы), но и здесь они, как правило, не простираются дальше, чем на одну строфу.
Другим примером может служить источник, измеряющий с заданной точностью через определенные промежутки времени атмосферное давление в каком-либо пункте. В этом примере вероятностные связи между результатами наблюдений распространяются на большие промежутки времени, порядка нескольких дней или недель, и, следовательно, охватывают много элементарных сообщений (если измерения производятся достаточно часто, например каждый час).