Главная > Теория информаци и связи > Передача информации. Статическая теория связи
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

4.4. Среднее по ансамблю и среднее по последовательности

Нижеследующий мыслимый эксперимент позволяет дать наглядное истолкование понятия математического ожидания или среднего по ансамблю. Представим себе, что в нашем распоряжении имеются идентичных стационарных источников, т. е. стационарных источников, описываемых одним и тем же распределением вероятностей. Представим себе далее, что сообщения на их выходах синхронно разбиваются на сообщения, состоящие из последовательных событий. Остановимся теперь на частных совокупностях из сообщений, одновременно порожденных источниками в течение некоторого времени. Обозначим через собственную информацию сообщения, порожденного источником, т. е. величину, задаваемую выражением (4.31), когда совокупность суть буквы, порожденные источником.

Собственная информация является случайной величиной, определенной на ансамбле сообщений, т. е. на ансамбле, образованном различными последовательностями из букв, которые могут быть порождены источником. Ее математическое ожидание, или среднее по ансамблю, является, по определению, энтропией ансамбля сообщений. Так как все источников, согласно нашему предположению, идентичны, то соответствующие случайных величин имеют одно и то же распределение вероятностей и поэтому одно и то же математическое ожидание.

Пусть

будет средним арифметическим значений собственной информации сообщений, одновременно порожденных источниками. Это среднее арифметическое само является случайной величиной с математическим ожиданием, тем же, что и у каждого из составляющих значений собственной информации и равным энтропии Кроме того, если число источников гораздо больше числа различных сообщений, то интуитивно мы ожидаем, что будет приблизительно равно по тем же причинам, по которым при бросании большого числа одинаковых симметричных монет мы интуитивно ожидаем, что доля выпадений «герба» равна приблизительно Это интуитивное представление точно выражается двумя законами больших чисел, которые ради удобства сформулированы ниже в терминах рассматриваемых здесь случайных величин.

Закон больших чисел. Для любых положительных чисел существует целое такое, что для вероятность

т. е. вероятность того, что среднее арифметическое будет отличаться от математического ожидания больше, чем на любое конечное число, может быть сделана сколь угодно малой, если достаточно велико.

Усиленный закон больших чисел. Для любых двух положительных чисел и 6 существует такое целое что для любого натурального числа одновременно удовлетворяются все неравенств

с вероятностью, большей чем

Грубо говоря, усиленный закон утверждает, что весьма правдоподобно, что при возрастании целого величина становится и остается меньше чем в то время как обычный закон больших чисел утверждает только, что весьма правдоподобно, что эта величина будет меньше Оба утверждения, однако, позволяют рассматривать как среднее арифметическое значений собственной информации сообщений, одновременно порождаемых большим числом источников.

Рассмотрим теперь один-единственный стационарный источник и представим последовательность букв на его выходе как последовательность сообщений, каждое из которых состоит из последовательных букв. Обозначим через собственную информацию сообщения, а через

среднее арифметическое значение собственных информации первых сообщений, порождаемых источником.

Величина зависит от конкретной последовательности из букв, которая образует сообщение, и, следовательно, является случайной величиной, определенной на ансамбле, образованном возможными сообщениями. Поскольку источник стационарен, то последовательность случайных величин, соответствующая последовательности сообщений, будет также стационарной. Следовательно, случайные величины из этой последовательности имеют одно и то же распределение вероятностей, хотя, конечно, они могут и не быть статистически независимыми. Среднее по последовательности значение собственных информаций последовательных сообщений есть, по определению,

если этот предел существует. Исследуем теперь величину этого предела и условия его существования.

Рассмотрим сначала источник статистически независимых событий. При этом случайные величины относящиеся к последовательным сообщениям, статистически независимы, как и при создании сообщений различными источниками.

Теорема. Для стационарных источников статистически независимых событий существует имеющее вероятность 1 среднее значение по последовательности, определяемое соотношением (4.36), и оно равно среднему по ансамблю

Доказательство. Согласно усиленному закону больших чисел, величина — с вероятностью, сколь угодно близкой к единице при стремящемся к бесконечности, становится и остается меньшей любого положительного числа . Ч. Т. Д.

Вернемся теперь к общему случаю стационарных источников. Обобщение усиленного закона больших чисел на стационарные последовательности из не независимых случайных величин является одним из главных результатов эргодической теории [2, 3]. Имея в виду наши цели, это обобщение можно сформулировать следующим образом.

Обобщение усиленного закона больших чисел. При заданных любых положительных числах существует целое такое, что с вероятностью большей для любого натурального

будет удовлетворяться каждое из неравенств

где некоторое число. Если для всех сообщений, для которых эти неравенства удовлетворяются, это число одно и то же, то оно совпадает с энтропией т. е. с общим для всех сообщений математическим ожиданием случайных величин

Из этого обобщения закона больших чисел на стационарные источники следует, что среднее значение по последовательности, определяемое равенством (4.36), существует с вероятностью 1 (т. е. почти для всех сообщений). Если среднее значение по последовательности одно и то же для всех сообщений на выходе источника, для которых оно существует, то это среднее совпадает со средним по ансамблю Такое совпадение средних по последовательностям с соответствующими средними по ансамблям является свойством подкласса стационарных источников, называемых эргодическими.

<< Предыдущий параграф Следующий параграф >>
Оглавление