Главная > Теория информаци и связи > Передача информации. Статическая теория связи
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

8.3. Верхние границы полиномиальных функций распределения

Теперь с помощью рассмотренной в предыдущем разделе методики перекашивания распределений вероятностей вычислим верхние границы хвостов полиномиальных распределений. Для большей четкости эти границы приведены в виде теорем.

Снова рассмотрим дискретный ансамбль А, состоящий из конечного числа точек, и обозначим через распределение вероятностей, характеризующее ансамбль, и через определенную на точках этого ансамбля случайную величину. Будем предполагать, что конечны и логарифм производящей функции моментов случайной величины - его первая и вторая производные по для значений из интервала содержащего точку Вернемся снова к последовательностям из статистически независимых событий каждое из которых может быть любой точкой а ансамбля и к сумме случайных величин связанных с этими событиями. Рассмотрим, в частности, определенную выражением (8.23) функцию распределения случайной величины

Теорема. Полиномиальная функция распределения удовлетворяет неравенству

где

Множитель в показателе в неравенстве (8.27) задается соотношением

где вспомогательное распределение вероятностей, определенное выражением (8.7).

Доказательство. Пусть множество последовательностей для которых Для из соотношений (8.18), (8.21) и (8.23) имеем

С другой стороны, поскольку — распределение вероятностей на произведении пространств то

Отсюда следует, что

Последнее неравенство удовлетворяется для Следовательно, мы вправе выбрать значение из этого интервала, минимизирующее правую часть неравенства (8.32). Приравнивая нулю производную по коэффициента в показателе, получаем

Откуда

Кроме того, в сил у выражения (8.10),

Отсюда следует, что значение удовлетворяющее условию (8 34), максимизирует коэффициент в показатете и потому

минимизирует правую часть неравенства (8 32). Подстановка вместо в неравенство (8.32) дает неравенство (8.27). Тот факт, что меньше среднего значения случайной величины немедленно следует из выражения (8.11).

Коэффициент в показателе можно оценить следующим образом. Из выражения (8.9) имеем

С другой стороны, из соотношения (8.7) имеем

Подстановка левой части этого равенства в правую часть равенства (8.36) дает выражение (8 29). Наконец, неотрицательность суммы в выражении (8.29) можно легко доказать с помощью выражения (8.91). Получаем

Ч. Т. Д.

Приближения, использованные при выводе формулы (8.27), заслуживают дальнейшего изучения. Прежде всего из равенства (8.34) видно, что распределение вероятностей случайной величины относительно перекошено так, что ее среднее совпадает со значением в аргументе функции распределения. Это в свою очередь означает, что среднее значение относительно совпадает с Отсюда следует, что сумма в левой части неравенства (8.31) содержит все последовательности для которых меньше или равно его среднему значению относительно вспомогательного распределения Таким образом, использование приближения (8.31) увеличивает верхнюю границу лишь примерно вдвое.

Однако приближение, использованное в выражении (8.30), связано с более сильным эффектом. Это приближение является результатом замены значения наибольшим значением, принимаемым этой случайной величиной для любой последовательности из множества а именно Более точная оценка левой, части выражения (8.30) [3] с помощью центральной предельной теоремы приводит к появлению в правой части множителя, грубо говоря, обратно пропорционального

Однако коэффициент в показателе остается неизменным. Особенно важно заметить, что неравенство (8.30) справедливо только для Это в свою очередь означает, что распределение вероятностей перекошено в сторону меньших значений случайной величины: для среднее значение относительно становится равным его среднему значению относительно Другими словами, выражение (8.27) справедливо только для нижнего хвоста распределения вероятностей. Аналогично верхняя граница для верхнего хвоста распределения вероятностей устанавливается в следующей теореме.

Теорема. Дополнение функции распределения до единицы удовлетворяет неравенству

где

Коэффициент в показателе в выражении (8.39) задается соотношением

Доказательство. Доказательство этой теоремы идентично доказательству предыдущей теоремы, если иметь в виду, что положительно и множество заменяется его дополнением, а именно множеством последовательностей для которых . Ч. Т. Д.

Истолкование этой теоремы также идентично истолкованию предыдущей теоремы, за исключением того факта, что распределения вероятностей случайных величин относительно перекошены в стороны больших значений случайных величин, а не в сторону меньших значений.

Обратимся теперь к двум важным обобщениям предыдущих теорем. Определим еще одну случайную величину на ансамбле А. Совместная производящая функция моментов двух случайных величин есть, по определению,

где новый параметр, играющий такую же роль, что и параметр

Пусть

Определим семейство вспомогательных распределений вероятностей

Для первых частных производных по имеем

Эти две частные производные снова представляют собой средние значения двух случайных величин относительно вспомогательного распределения вероятностей

Возвращаясь теперь к последовательности событий свяжем с каждым событием вторую случайную величину и обозначим через

сумму значений, принимаемых этими независимыми случайными величинами. Логарифм совместной производящей функции моментов двух случайных величин равен

а соответствующее вспомогательное распределение вероятностей

Пусть множество последовательностей для которых одновременно Совместная функция распределения случайных величин есть, по определению,

Ниже мы будем предполагать, что и ее первая и вторая частные производные по конечны для значений в интервалах содержащих точки

Теорема. Совместная полиномиальная. функция распределения пары случайных величин удовлетворяет неравенству

где

Коэффициент в показателе в выражении (8.51) задается соотношением

Доказательство. Это доказательство вполне аналогично доказательству предыдущей теоремы. Поскольку, по определению, не превосходит не превосходит для любой последовательности из множества то для из выражений (8.48), (8.49) и (8.50) получаем

И опять это неравенство удовлетворяется для Следовательно, можно выбрать значения из этих полуинтервалов, минимизирующие правую часть выражения (8 54). Приравнивая нулю частную производную коэффициента в показателе получаем

откуда

Аналогично, приравнивая нулю производную по получаем

Вычисляя вторые частные производные от по легко проверить, что значения и удовлетворяющие условию (8.56), максимизируют коэффициент в показателе, а поэтому минимизируют правую часть неравенства (8.54).

Наконец, оценивая коэффициент в показателе, так же как в доказательствах предыдущих теорем, получаем выражение (8.53). Ч. Т. Д.

Очевидно, что аналогичные верхние границы для совместных функций распределения можно получить при произвольном числе случайных величин, определенных на одном и том же ансамбле.

Функция распределения двух случайных величин имеет, как говорят, четыре различных хвоста, соответствующих четырем возможным комбинациям

Теперь становится ясным, что одно и то же выражение дает верхнюю границу для всех четырех хвостов, но, конечно, при значениях из различных областей. Точнее, имеем

где вместо коэффициента в показателе в выражении (8.51) подставлена сумма из правой части выражения (8.53).

Второе обобщение полученной верхней границы относится к последовательностям статистически независимых событий, не обязательно подчиненных одному и тому же распределению вероятностей. Предположим, что первые событий последовательности имеют распределение вероятностей следующие событий — распределение вероятностей , и т. д., т. е.

где К — число различных распределений вероятностей. Соответственно разные значения случайных величин могут сопоставляться разным событиям последовательности. Мы примем, однако, что одно и то же значение случайной величины будет связываться с событиями, соответствующими величинам с одним и тем же распределением, т. е.

Для каждого распределения вероятностей и соответствующей случайной величины логарифм производящей функции моментов есть, по определению,

Соответствующее семейство вспомогательных распределений вероятностей есть

Первая и вторая производные от легко вычисляются с помощью выражений (8.9) и (8.10), и эти производные опять-таки можно истолковать как срелнее значение и дисперсию относительно Пусть

— сумма значений случайных величин, связанных с событиями некоторой последовательности В силу статистической независимости случайных величин логарифм производящей функции моментов можно легко вычислить многократным применением выражения (8.12). Получаем

где

Соответственно можно определить семейство вспомогательных распределений вероятностей

на ансамбле последовательностей

Примем в дальнейшем, что все и их первые и вторые производные по конечны для значений из некоторого интервала содержащего

Теорема. Функция распределения случайной величины удовлетворяет двум неравенствам

где

Коэффициент в показателе в выражениях (8.68) и (8.69) задается соотношением

Доказательство. Доказательство этой теоремы аналогично доказательствам предыдущих теорем. Пусть — множество последовательностей для которых Из выражений (8.65) и (8.67) имеем

Это неравенство справедливо для всех отрицательных значений внутри определенного интервала. Поэтому правую часть можно минимизировать, приравнивая нулю производную коэффициента в показателе по т. е.

откуда получаем

Значение удовлетворяющее условию (8.74), минимизирует коэффициент в показателе, так как

и как видно из выражения (8.10), представляет собой дисперсию а потому ее значение неотрицательно. Подстановка вместо в выражение (8.72) дает неравенство (8.68). Аналогичным образом получаем неравенство (8.69). Тот факт, что функция удовлетворяет неравенству (8.70), следует немедленно из того, что ее производная неотрицательна. Так как - есть среднее значение случайной величины относительно то соотношение (8.70) означает, что распределение вероятностей относительно перекошено в сторону малых значений случайных величин для и в сторону больших значений для

Наконец, следуя тому же методу, что и при выводе выражений (8.36), (8.37) и (8.38), для каждого целого получаем

откуда с помощью равенства (8.66) сразу следует выражение (8.71). Ч. Т. Д.

Эта теорема легко распространяется на ситуации, в которых две или более случайные величины связаны с каждым событием. Верхние границы для четырех хвостов совместной функции распределения двух случайных величин можно получить из соотношения (8.59). С этой целью сумма в показателе должна быть заменена правой частью выражения (8.71) с вспомогательными распределениями определенными условием (8.44).

<< Предыдущий параграф Следующий параграф >>
Оглавление