Главная > Математика > Вероятностные процессы
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

Глава V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ

§ 1. Цепи Маркова. Определения

Цепь Маркова определяется как марковский процесс, в котором образующие процесс случайные величины могут (с вероятностью 1) принимать значения только из некоторого конечного или счетного множества. Удобно считать, что это множество возможных состояний состоит из чисел (конечный случай) или (счетный случай); мы будем всегда предполагать, что множество состояний выбрано именно таким образом. Физически можно говорить о системе, которая переходит из одного состояния в другое в соответствии с вероятностным законом, удовлетворяющим марковскому свойству. Пусть - случайные величины, образующие цепь. Если то определим формулой

Обозначим через матрицу Тогда, если то

и

Так как наш процесс является марковским, то вторые сомножители в сумме не зависят от (В (1.2) предполагается, что если не определено из-за того, что то соответствующее слагаемое равно 0; заметим, что для такого к всегда Таким образом, матрица вероятностей перехода из состояния в момент в состояние в момент т. е. из в момент за два «шага», является произведением матриц вероятностей перехода за одпн шаг. Во многих приложениях не зависит от В таких случаях мы будем писать вместо и говорить о стационарных переходных вероятностях. цепь Маркова называется в этом случае однородной. При этом, если — вероятность перехода из за шагов, то

так что

Практически обычно задаются матрицы удовлетворяющие (1.1), и по ним строят марковский процесс, имеющий эти матрицы своими матрицами вероятностей перехода. Для того чтобы определить этот процесс, нужно задать также начальные вероятности положить

Если определить таким образом распределения вероятностей для величин то процесс будет марковским процессом с заданными вероятностями перехода. Точнее, если при таком определении

то является вероятностью перехода

Будет ли положительна или нет, зависит как от начальных вероятностей, так и от вероятностей перехода.

В соответствии с результатами § 6 гл. II любой марковский процесс, обращенный во времени, снова будет марковским процессом. В случае цепи нетрудно вычислить обращенные вероятности перехода за один шаг. Именно,

где

Отметим, что обращенные вероятности перехода зависят от выбора начальных вероятностей.

Предыдущие рассмотрения показывают, что любая матрица удовлетворяющая условиям

вместе с любыми начальными вероятностями удовлетворяющими условиям

может быть использована для определения однородной цепи Маркова. Матрица удовлетворяющая соотношениям (1.4), называется стохастической матрицей. Вероятности перехода за шагов также образуют стохастическую матрицу; они определяются последовательно формулами

и удовлетворяют соотношению (1.3). Вероятности состояния в момент задаются рекуррентным соотношением

Величины называются абсолютными вероятностями. В частности, если при всех то

и отсюда следует, что в этом случае называются стационарными абсолютными вероятностями, а соответствующее распределение (т. е. совокупность величин стационарным (абсолютным) распределением вероятностей. В дальнейшем будет показано, что в случае конечной цепи (т. е. когда имеется только конечное число состояний, так что соответствующие матрицы конечномерны) всегда существует по крайней мере одно стационарное распределение вероятностей. В счетном случае такого распределения может и не быть.

<< Предыдущий параграф Следующий параграф >>
Оглавление