Главная > Математика > Вероятностные процессы
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

§ 3. Сложные цепи Маркова

Мы уже отмечали в § 6 гл. II, что сложная цепь Маркова, т. е. процесс, в котором, грубо говоря, условные вероятности будущих состояний зависят от предыдущих состояний, может быть сведена в марковскому

процессу, образованному векторными случайными величинами. В случае конечной цепи Маркова это означает, что сложная цепь может быть сведена к обычной конечной цепи, но с большим числом состояний. Если заданные переходные вероятности стационарны (мы будем рассматривать только этот случай), то достаточно задавать лишь переходные вероятности

по которым можно вычислить все другие вероятности перехода. Если определить теперь как -мерный вектор то процесс оказывается марковским процессом со стационарными переходными вероятностями Если каждое из может принимать значений, то вероятности определяют стохастическую матрицу с строками и столбцами, соответствующими возможным значениям, которые может принимать каждое из Однако большинство элементов этой стохастической матрицы равно нулю, так как, очевидно,

таким образом, отличными от нуля могут быть лишь переходных вероятностей. Если перенумеровать в некотором порядке возможных совокупностей значений то процесса можно рассматривать как обычную однородную цепь Маркова, для которой образующие ее случайные величины принимают значения вероятности переходят в вероятности где Как уже отмечалось, большинство вероятностей обращается в нуль. Теперь можно применить результаты предыдущего параграфа, рассматривая указанные там условия как условия, наложенные на процесс в дальнейшем эти условия могут быть преобразованы и в условия на процесс Так, например, в силу теоремы 2.1

существует для всех Суммируя по мы находим, что

существует для всех В частности, предположим, что

для всех Тогда

при всех откуда вытекает [случай б) предыдущего раздела], что существует

и что этот предел не зависит от Поэтому существует и не зависит от также и предел

<< Предыдущий параграф Следующий параграф >>
Оглавление