Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем

Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем

Моделирование операций по схеме марковских случайных процессов

Многие операции развиваются как СП, ход и итог которых находится в зависимости от ряда случайных причин, провождающих эти операции. К примеру, функционирование системы ПВО при отражении налета, воздушны бой самолета, процесс наведения на цель УР, сервис клиентов в ресторане, функционирование билетных касс, работа Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем АТС либо АЗС и т.д.

ОПР. Молвят, что в физической системе Х происходит СП, если состояние системы изменяется во времени случайным, заблаговременно непредсказуемым образом.

Система Х именуется системой с дискретными состояниями, если вероятное состояние системы Х1, Х2, … , Хn, можно перечислить одно за другим и переход из 1-го состояния в Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем другое осуществляется скачком (в предстоящем будем рассматривать только такие системы)

Вероятное состояние системы Х наглядно изображается при помощи так именуемого графа состояния, на котором состояние системы изображается прямоугольниками, а вероятные переходы системы из состояния в состояние – стрелками, соединяющими надлежащие прямоугольники.

X1
К примеру, система имеет 4 вероятных состояния

X4
X3
X2

Для описания Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем СП дискретного процесса, протекающего в системе с дискретным состояниям Х1, Х2,…, Хn, пользуются вероятностями состояний

СП, протекающий в системе Х именуется процессом с дискретным временем, если переходы вероятны исключительно в определенные моменты времени

Если переходы вероятны в хоть какой момент времени, процесс именуется процессом с непрерывным временем

ОПР.СП, протекающий в Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем системе Х именуется марковским (либо процессом «без последствия»), если для каждого момента возможность хоть какого состояния системы в дальнейшем( при ) зависит только от ее состояния в реальном( при ) и не находится в зависимости от того, когда и каким образом система пришла в это состояние( т.е. как развивался процесс Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем в прошедшем – «будущее находится в зависимости от прошедшего только через настоящее»)

Пусть имеется физическая система Х, которая может находиться в состояниях Х1, Х2, … , Хn, при этом переходы( перескоки) системы из состояния в состояние вероятны исключительно в моменты времени , которые именуются шагами либо шагами процесса

СП, происходящий в Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем системе, заключается в том, что в поочередные моменты времени система Х оказывается в тех либо других состояниях.

Обозначим через событие, состоящее в том, что после k – шагов система находится в состоянии . При любом k действия , образуют полную группу и несовместны.

Процесс, происходящий в системе, можно представить, как последовательность (цепочку) событий Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем, к примеру: . Такая случайная последовательность событий именуется марковской цепью, если для каждого шага возможность перехода из хоть какого состояния в хоть какое не находится в зависимости от того, когда и как система пришла в состояние .

Пример 1 марковского случайного процесса с дискретным временем

По оси ОХ случайным образом перемещается точка х Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем. В момент при t=0 т.х находится сначала координат ( х(0)=0) и остается там в течение одной секунды.

Через секунду кидается монета:

· Если выпал герб - т. х перемещается на одну единицу длины на право;

· Если цифра – на лево

Через секунду опять кидается монета и делается такое же случайное перемещение и т.д Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем.

-3 -2 -1 0 1 2 3 t


Процесс конфигурации положения точки представляет собой СП с дискретным временем(t=0, 1, 2, 3…) и счетным обилием состояний

Схема вероятных переходов для этого процесса имеет вид:

- граф состояний


Процесс – марковский.

Вправду пусть в момент времени система, находится, к примеру, в состоянии

Вероятные положения точки через единицу времени будут с вероятностями Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем ½ и ½ , а через 2 единицы времени вероятные положения точки: с вероятностями ¼, ½, ¼ и т.д.

Разумеется, все эти вероятности зависят только от того, где находится точка на этот момент и совсем не находится в зависимости от того, как она туда пришла.

Будем обрисовывать марковскую цепь при помощи Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем вероятностей состояний:

вероятности

состояний после …..

1-го шага и т.д.

-

- вероятности состояний после K-ого шага, при этом для каждого номера шага K производится равенство:

, потому что это вероятности несопоставимых событий, образующих полную группу.

Поставим задачку: отыскать вероятности состояний системы для хоть какого k.

Вероятности перехода системы из хоть какого состояния Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем в хоть какое другое именуют переходными вероятностями

Марковская цепь именуется однородной, если переходные вероятности не зависят от номера шага, по другому марковская цепь назыв. неоднородной.

Переходные вероятности записываются в виде прямоугольной матрицы:

Система состоит из n вероятных состояний

При рассмотрении марковских цепей пользуются графом состояний, на котором Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем у стрелок проставлены соотв. переходные вероятности, к примеру


Таковой граф именуют размеченным графом состояний.

Представляются не все переходные вероятности, а только те из их, которые не равны 0 и меняют состояния системы.

Вероятности «задержки" на графы также не проставляют, потому что любая из их дополняет до единицы сумму переходных вероятностей, соответственных всем Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем стрелкам, исходящим из данного состояния:

Если из состояния не исходит ни одной стрелки (переход неосуществим), то

Имея размеченный граф состояний (т.е. матрицу и зная изначальное состояние системы), можно отыскать вероятности состояний после хоть какого K-ого шага.

Пусть в исходный момент система находится в состоянии , тогда

Найдем Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем вероятности состояний после первого шага


Найдем вероятности состояний после второго шага по формуле полной вероятности (формуле гипотез). Имеем:

После 3-го шага:

После k-го шага:

Замечание: если марковская я цепь неоднородна и вероятности перехода изменяются от шага к шагу, то матрицы вероятностей перехода задают на каждом шаге, а формула воспринимает Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем вид:

Лекция 2. Пример

По цели ведется стрельба 4мя выстрелами в моменты времени ,

Вероятное состояние цели:

цель не поражена;

цель слабо повреждена;

цель очень повреждена;

цель уничтожена;

0,4
0,1
Размеченный граф состояний имеет вид:

В исходный момент цель находится в состоянии

Найти вероятности состояния цели после 4х выстрелов.

Из графа состояний получаем матрицу переходных состояний

Исходные условия Лекция 1. Марковский случайный процесс (СП) с дискретными состояниями и дискретным временем:

После первого обстрела вероятности состояний будут равны:

После второго обстрела:




После третьего обстрела:




После 4-ого обстрела:




Т. О. после 4 обстрелов:

- цель не повреждена с вероятностью

-цель слабо повреждена с вероятностью

- цель очень повреждена с вероятностью

-цель уничтожена с вероятностью .

Вероятности состояний – это функции времени !!!


lekciya-10-mirovaya-valyutnaya-sistema-kafedra-mezhdunarodnih-ekonomicheskih-otnoshenij.html
lekciya-10-organizaciya-vnutriaptechnogo-izgotovleniya-lekarstvennih-sredstv-predmetno-kolichestvennij-uchet-lekarstvennih-sredstv.html
lekciya-10-politravma-sovremennaya-transfuziologiya-v-usloviyah-politravmi-i-medicini-katastrof.html