Introducción a las cadenas de Markov: II Tiempo continuo

Introducción a las cadenas de Markov: II Tiempo continuo
Introducción a las cadenas de Markov: II
Tiempo continuo
Vı́ctor RIVERO
Centro de Investigación en Matemáticas A. C.
XI Escuela de Probabilidad y Estadı́stica, 29 de Febrero a 2 de Marzo,
2012, CIMAT
1/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Tiempos exponenciales
Una variable aleatoria exponencial, T ∼ Exp(λ), si
P(T ≤ t) = 1 − e −λt ,
E(T ) = λ1 ,
Var (T ) =
t ≥ 0.
1
λ2 .
2/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Tiempos exponenciales
Una variable aleatoria exponencial, T ∼ Exp(λ), si
P(T ≤ t) = 1 − e −λt ,
E(T ) = λ1 , Var (T ) =
Perdida de memoria,
t ≥ 0.
1
λ2 .
P(T > t + s|T > t) = e −λs ,
s ≥ 0.
Dicho de otro modo, distribución de T − t condicionalmente a
T > t, es Exp(λ).
2/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Tiempos exponenciales
Una variable aleatoria exponencial, T ∼ Exp(λ), si
P(T ≤ t) = 1 − e −λt ,
E(T ) = λ1 , Var (T ) =
Perdida de memoria,
t ≥ 0.
1
λ2 .
P(T > t + s|T > t) = e −λs ,
s ≥ 0.
Dicho de otro modo, distribución de T − t condicionalmente a
T > t, es Exp(λ).
Si T1 , . . . , Tn son variables aleatorias independientes, tales que
Ti ∼ Exp(λi ), i = 1, . . . , n; λi > 0.
T = min{T1 , . . . , Tn } ∼ Exp(λ1 + λ2 + · · · + λn ).
2/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Tiempos exponenciales
Una variable aleatoria exponencial, T ∼ Exp(λ), si
P(T ≤ t) = 1 − e −λt ,
E(T ) = λ1 , Var (T ) =
Perdida de memoria,
t ≥ 0.
1
λ2 .
P(T > t + s|T > t) = e −λs ,
s ≥ 0.
Dicho de otro modo, distribución de T − t condicionalmente a
T > t, es Exp(λ).
Si T1 , . . . , Tn son variables aleatorias independientes, tales que
Ti ∼ Exp(λi ), i = 1, . . . , n; λi > 0.
T = min{T1 , . . . , Tn } ∼ Exp(λ1 + λ2 + · · · + λn ).
P(Ti = T ) =
λi
,
λ1 + · · · + λn
i + 1, . . . , n.
2/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Tiempos exponenciales
Distribución Gamma Γ(λ, r ), λ, r > 0
Z t
λr
P(Sr ≤ t) =
s r −1 e −λs ds,
Γ(r ) 0
R∞
donde Γ(r ) = 0 s r −1 e −s ds, r > 0.
t ≥ 0;
3/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Tiempos exponenciales
Distribución Gamma Γ(λ, r ), λ, r > 0
Z t
λr
P(Sr ≤ t) =
s r −1 e −λs ds,
Γ(r ) 0
R∞
donde Γ(r ) = 0 s r −1 e −s ds, r > 0.
t ≥ 0;
Si R1 , P
. . . , Rn son v.a.i.i.d. con distribución Exp(λ) entonces
n
Sn := i=1 Ri ∼ Γ(λ, n).
3/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Procesos de Poisson
Procesos de Poisson
Modelan fenómenos que se repiten, entre dos ocurrencias del fenómeno
transcurre un tiempo aleatorio de distribución exponencial (λ). El
proceso N (0) = 0, N (t) = #ocurrencias del fenómeno en el intervalo
(0, t], para t ≥ 0, recibe el nombre de Proceso de Poisson.
4/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Procesos de Poisson
Procesos de Poisson
Modelan fenómenos que se repiten, entre dos ocurrencias del fenómeno
transcurre un tiempo aleatorio de distribución exponencial (λ). El
proceso N (0) = 0, N (t) = #ocurrencias del fenómeno en el intervalo
(0, t], para t ≥ 0, recibe el nombre de Proceso de Poisson.
Supongamos Tn denota el tiempo de la n-ésima ocurrencia del fenómeno
de intéres, n ≥ 1. Tn − Tn−1 ∼ Exp(λ), n ≥ 1 v.a.i.i.d. Entonces
X
N (t) = #{k ≥ 1 : Tk ≤ t} =
1{Tn ≤t} ,
t ≥ 0,
n≥1
4/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Procesos de Poisson
Procesos de Poisson
Modelan fenómenos que se repiten, entre dos ocurrencias del fenómeno
transcurre un tiempo aleatorio de distribución exponencial (λ). El
proceso N (0) = 0, N (t) = #ocurrencias del fenómeno en el intervalo
(0, t], para t ≥ 0, recibe el nombre de Proceso de Poisson.
Supongamos Tn denota el tiempo de la n-ésima ocurrencia del fenómeno
de intéres, n ≥ 1. Tn − Tn−1 ∼ Exp(λ), n ≥ 1 v.a.i.i.d. Entonces
X
N (t) = #{k ≥ 1 : Tk ≤ t} =
1{Tn ≤t} ,
t ≥ 0,
n≥1
satisface
N (0) = 0, N (t) ∈ Z+ .
Incrementos independientes:
(N (t1 ) − N (t0 ), N (t2 ) − N (t1 ), . . . , N (tk ) − N (tk −1 )), son variables
aleatorias independientes, para todo
0 ≤ t0 ≤ t1 ≤ t2 ≤ · · · ≤ tk < ∞, k ≥ 1.
Incrementos estacionarios
e −λs (λs)k
P(N (t + s) − N (t) = k ) =
,
k ∈ Z+ ,
∀t, s ≥ 0.
k!
4/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Procesos de Poisson
La propiedad de incrementos independientes y estacionarios es
equivalente a decir que para todo t ≥ 0 la ley del proceso
e (s) := N (t + s) − N (t),
N
s ≥ 0,
e tiene
es independiente de la ley del proceso (N (u), u ≤ t), y además N
las mismas propiedades que N , es una copia aleatoria de N .
5/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Procesos de Poisson
Definición alternativa
Definición
Diremos que un proceso estocástico {N (t), t ≥ 0} que toma valores en
{0, 1, 2, . . .} es un proceso de Poisson de parámetro λ si
N (0) = 0; si s < t, entonces N (s) ≤ N (t),


m=1
λh + o(h),
P(N (t + h) = n + m|N (t) = n) = o(h)
m>1


1 − λh + o(h), m = 0
para s, t ≥ 0, las variables aleatorias N (t + s) − N (t) y N (t) son
independientes.
6/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Procesos de Poisson
• [Sobreposición] Si (NA (t), t ≥ 0) y (NR (t), t ≥ 0) son procesos de
Poisson independientes con intensidades λA , λR > 0,
respectivamente, entonces (NA (t) + NB (t), t ≥ 0) es un proceso de
Poisson de parámetro λA + λR .
7/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Procesos de Poisson
• [Sobreposición] Si (NA (t), t ≥ 0) y (NR (t), t ≥ 0) son procesos de
Poisson independientes con intensidades λA , λR > 0,
respectivamente, entonces (NA (t) + NB (t), t ≥ 0) es un proceso de
Poisson de parámetro λA + λR .
• [Enrarecimiento] Si N es un proceso de Poisson con parámetro
λ > 0, formado por ocurrencias de fenómenos del tipo A ó R, y tal
que la probabilidad de que un fenómeno es del tipo A es pA , y del
tipo R es pR , pA + pR = 1, entonces los procesos de conteo de
fenómenos del tipo A, respectivamente del tipo R, son procesos de
Poisson independientes con parámetros λpA y λpR , respectivamente.
7/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Procesos de Poisson
Procesos de Poisson Compuesto
Ejemplo (Proceso de Poisson Compuesto)
Sea {Sn , n ≥ 0} una caminata aleatoria en R, y {N (t), t ≥ 0} un
proceso de Poisson de parámetro λ > 0; los procesos son independientes.
El proceso (Z (t) = SN (t) , t ≥ 0), recibe el nombre de proceso de Poisson
(λ, F ) con F (x ) = P(S1 − S0 ≤ x ), x ∈ R .
Muy utilizado en teorı́a de la ruina.
8/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov subordinadas
Una manera de construir procesos que tienen la propiedad de Markov a
tiempo continuo es utilizando una cadena de Markov {Yn , n ≥ 0}, con
matriz de transición {Px ,y , x , y ∈ E }, y un proceso de Poisson de
parámetro λ > 0, y supondremos que ambos procesos son independientes.
Sea {X (t), t ≥ 0} el proceso definido mediante la relación
X (t) = YN (t) ,
t ≥ 0.
Es decir, que X (t) = Yn si Tn ≤ t < Tn+1 , con
Tk = inf{t > 0 : N (t) = k }.
9/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov subordinadas
Una manera de construir procesos que tienen la propiedad de Markov a
tiempo continuo es utilizando una cadena de Markov {Yn , n ≥ 0}, con
matriz de transición {Px ,y , x , y ∈ E }, y un proceso de Poisson de
parámetro λ > 0, y supondremos que ambos procesos son independientes.
Sea {X (t), t ≥ 0} el proceso definido mediante la relación
X (t) = YN (t) ,
t ≥ 0.
Es decir, que X (t) = Yn si Tn ≤ t < Tn+1 , con
Tk = inf{t > 0 : N (t) = k }.
Tiene la propiedad de Markov: El estado del proceso al tiempo t + s
solamente depende del estado al tiempo t y no de lo ocurrido en tiempos
anteriores.
P(Xt+s = y | Xt = x , (Xu , u < t))
= P(Xt+s = y | Xt = x )
= P(Xs = y | X0 = x ),
x, y ∈ E,
t, s ≥ 0.
9/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov subordinadas
Utilizando una cadena de Markov {Yn , n ≥ 0}, con matriz de transición
{Px ,y , x , y ∈ E }, y un proceso de Poisson de parámetro λ > 0, se tiene
que
∞
X
e −λs (λs)k (k )
Px ,y ,
P(Xt+s = y | Xt = x ) =
k!
k =0
para todo s, t ≥ 0, x , y ∈ E .
10/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov subordinadas
Utilizando una cadena de Markov {Yn , n ≥ 0}, con matriz de transición
{Px ,y , x , y ∈ E }, y un proceso de Poisson de parámetro λ > 0, se tiene
que
∞
X
e −λs (λs)k (k )
Px ,y ,
P(Xt+s = y | Xt = x ) =
k!
k =0
para todo s, t ≥ 0, x , y ∈ E .
Para observar verdaderas transiciones supondremos que Px ,x = 0, para
todo x ∈ E .
10/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov subordinadas
Probabilidades de transición infinitesimales
Para h > 0 pequeño, se tiene
P(Xh = y | X0 = x )
= P(Xh = y, N (h) = 0| X0 = x ) + P(Xh = y, N (h) = 1| X0 = x )
+ P(Xh = y, N (h) ≥ 2| X0 = x )
= P(Y0 = y|Y0 = x ) P(N (h) = 0) + P(Y1 = y|Y0 = x ) P(N (h) = 1)
+ P(Xh = y, N (h) ≥ 2| X0 = x )
Tenemos que
11/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov subordinadas
Probabilidades de transición infinitesimales
Para h > 0 pequeño, se tiene
P(Xh = y | X0 = x )
= P(Xh = y, N (h) = 0| X0 = x ) + P(Xh = y, N (h) = 1| X0 = x )
+ P(Xh = y, N (h) ≥ 2| X0 = x )
= P(Y0 = y|Y0 = x ) P(N (h) = 0) + P(Y1 = y|Y0 = x ) P(N (h) = 1)
+ P(Xh = y, N (h) ≥ 2| X0 = x )
Tenemos que
P(Y0 = y|Y0 = x ) P(N (h) = 0) = δx (y)(1−λh+o(h)) = δx (y)(1−λh)+o(h),
11/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov subordinadas
Probabilidades de transición infinitesimales
Para h > 0 pequeño, se tiene
P(Xh = y | X0 = x )
= P(Xh = y, N (h) = 0| X0 = x ) + P(Xh = y, N (h) = 1| X0 = x )
+ P(Xh = y, N (h) ≥ 2| X0 = x )
= P(Y0 = y|Y0 = x ) P(N (h) = 0) + P(Y1 = y|Y0 = x ) P(N (h) = 1)
+ P(Xh = y, N (h) ≥ 2| X0 = x )
Tenemos que
P(Y0 = y|Y0 = x ) P(N (h) = 0) = δx (y)(1−λh+o(h)) = δx (y)(1−λh)+o(h),
P(Y1 = y|Y0 = x ) P(N (h) = 1) = Px ,y (λh + o(h)) = Px ,y λh + o(h),
11/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov subordinadas
Probabilidades de transición infinitesimales
Para h > 0 pequeño, se tiene
P(Xh = y | X0 = x )
= P(Xh = y, N (h) = 0| X0 = x ) + P(Xh = y, N (h) = 1| X0 = x )
+ P(Xh = y, N (h) ≥ 2| X0 = x )
= P(Y0 = y|Y0 = x ) P(N (h) = 0) + P(Y1 = y|Y0 = x ) P(N (h) = 1)
+ P(Xh = y, N (h) ≥ 2| X0 = x )
Tenemos que
P(Y0 = y|Y0 = x ) P(N (h) = 0) = δx (y)(1−λh+o(h)) = δx (y)(1−λh)+o(h),
P(Y1 = y|Y0 = x ) P(N (h) = 1) = Px ,y (λh + o(h)) = Px ,y λh + o(h),
P(Xh = y, N (h) ≥ 2| X0 = x ) ≤ P(N (h) ≥ 2) = o(h).
11/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov subordinadas
Se sigue que para x , y ∈ E y h > 0 pequeño
P(Xh = y | X0 = x ) − δx (y)
o(h)
= −λδx (y) + λPx ,y +
,
h
h
12/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov subordinadas
Se sigue que para x , y ∈ E y h > 0 pequeño
P(Xh = y | X0 = x ) − δx (y)
o(h)
= −λδx (y) + λPx ,y +
,
h
h
P(Xh = y | X0 = x ) − δx (y)
= λ(Px ,y − δx (y))
Qx ,y : = lim
h→0+
h


si x 6= y
λPx ,y ,
P
= −λ(1 − Px ,x ) = −λ z ∈E \{x } Px ,z , si x = y.

|{z}

=0
12/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov subordinadas
Se sigue que para x , y ∈ E y h > 0 pequeño
P(Xh = y | X0 = x ) − δx (y)
o(h)
= −λδx (y) + λPx ,y +
,
h
h
P(Xh = y | X0 = x ) − δx (y)
= λ(Px ,y − δx (y))
Qx ,y : = lim
h→0+
h


si x 6= y
λPx ,y ,
P
= −λ(1 − Px ,x ) = −λ z ∈E \{x } Px ,z , si x = y.

|{z}

=0
La matriz Q = {Qx ,y , x , y ∈ E } puede ser representada como
Q = λ(P − I ),
con λ > 0 el parametro del proceso de Poisson, P la matriz de transición
de Y , I la matriz identidad en E . Q contiene toda la información
necesaria para describir a la cadena de Markov {Xt , t ≥ 0}.
12/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov subordinadas
Se sigue que para x , y ∈ E y h > 0 pequeño
P(Xh = y | X0 = x ) − δx (y)
o(h)
= −λδx (y) + λPx ,y +
,
h
h
P(Xh = y | X0 = x ) − δx (y)
= λ(Px ,y − δx (y))
Qx ,y : = lim
h→0+
h


si x 6= y
λPx ,y ,
P
= −λ(1 − Px ,x ) = −λ z ∈E \{x } Px ,z , si x = y.

|{z}

=0
La matriz Q = {Qx ,y , x , y ∈ E } puede ser representada como
Q = λ(P − I ),
con λ > 0 el parametro del proceso de Poisson, P la matriz de transición
de Y , I la matriz identidad en E . Q contiene toda la información
necesaria para describir a la cadena de Markov {Xt , t ≥ 0}.
Q tiene la propiedad de Qx ,y ≥ 0 si x 6= y ∈ E , y
X
X
X
Qx ,y = λ(
Px ,y − 1) ⇒ λ =
Qx ,y = −Qx ,x ,
x ∈ E.
0=
y∈E
y∈E
y6=x
12/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov subordinadas
Una cadena de Markov subordinada tiene la propiedad de Markov, el
tiempo de permanencia en un estado sigue una distribución exponencial
con parámetro λ, independiente del estado, y las transiciones se dan
siguiendo a la cadena de Markov subyacente {Yn , n ≥ 0} si el proceso se
encuentra en el estado x y ocurre un salto este será al estado y ∈ E con
probabilidad Px ,y .
13/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Un modelo más general permitirı́a que el tiempo de permanencia siga una
distribución exponencial con un paramétro que dependa de la posición en
la que se encuentra el proceso.
14/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Un modelo más general permitirı́a que el tiempo de permanencia siga una
distribución exponencial con un paramétro que dependa de la posición en
la que se encuentra el proceso.
Para x ∈ E ,
P(Xh = y | X0 = x ) − δx (y)
o(h)
= −λx δx (y) + λx Px ,y +
,
h
h
14/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Un modelo más general permitirı́a que el tiempo de permanencia siga una
distribución exponencial con un paramétro que dependa de la posición en
la que se encuentra el proceso.
Para x ∈ E ,
P(Xh = y | X0 = x ) − δx (y)
o(h)
= −λx δx (y) + λx Px ,y +
,
h
h
P(Xh = y | X0 = x ) − δx (y)
Qx ,y : = lim
= λx (Px ,y − δx (y))
h→0+
h


si x 6= y
λx Px ,y ,
P
= −λx (1 − Px ,x ) = −λx z ∈E \{x } Px ,z , si x = y.

|{z}

=0
14/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Un modelo más general permitirı́a que el tiempo de permanencia siga una
distribución exponencial con un paramétro que dependa de la posición en
la que se encuentra el proceso.
Para x ∈ E ,
P(Xh = y | X0 = x ) − δx (y)
o(h)
= −λx δx (y) + λx Px ,y +
,
h
h
P(Xh = y | X0 = x ) − δx (y)
Qx ,y : = lim
= λx (Px ,y − δx (y))
h→0+
h


si x 6= y
λx Px ,y ,
P
= −λx (1 − Px ,x ) = −λx z ∈E \{x } Px ,z , si x = y.

|{z}

=0
La matriz P
Q = {Qx ,y , x , y ∈ E } satisface Qx ,y ≥ 0 si x 6= y;
Qx ,x = − z ∈E \{x } Qx ,z = −λx .
14/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Un modelo más general permitirı́a que el tiempo de permanencia siga una
distribución exponencial con un paramétro que dependa de la posición en
la que se encuentra el proceso.
Para x ∈ E ,
P(Xh = y | X0 = x ) − δx (y)
o(h)
= −λx δx (y) + λx Px ,y +
,
h
h
P(Xh = y | X0 = x ) − δx (y)
Qx ,y : = lim
= λx (Px ,y − δx (y))
h→0+
h


si x 6= y
λx Px ,y ,
P
= −λx (1 − Px ,x ) = −λx z ∈E \{x } Px ,z , si x = y.

|{z}

=0
La matriz P
Q = {Qx ,y , x , y ∈ E } satisface Qx ,y ≥ 0 si x 6= y;
Qx ,x = − z ∈E \{x } Qx ,z = −λx . Además, conociendo Q se obtiene P :
para x 6= y, Px ,y =
Qx ,y
−Qx ,x
, y ∈ E \ {x }, Px ,x = 0.
14/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Sea {Πx ,y , x , y ∈ E } una matriz de transición y (Zt , t ≥ 0) un proceso
estocástico que toma valores en E y tiene la siguiente dinámica:
15/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Sea {Πx ,y , x , y ∈ E } una matriz de transición y (Zt , t ≥ 0) un proceso
estocástico que toma valores en E y tiene la siguiente dinámica:
Iniciando en Z0 = x , permanece en esa posición por un tiempo
exponencial de parámetro λx , digamos T1 ;
15/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Sea {Πx ,y , x , y ∈ E } una matriz de transición y (Zt , t ≥ 0) un proceso
estocástico que toma valores en E y tiene la siguiente dinámica:
Iniciando en Z0 = x , permanece en esa posición por un tiempo
exponencial de parámetro λx , digamos T1 ;
al tiempo T1 el proceso se desplaza por un salto a alguna posición
en E \ {x }, digamos y, con probabilidad Πx ,y ,
15/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Sea {Πx ,y , x , y ∈ E } una matriz de transición y (Zt , t ≥ 0) un proceso
estocástico que toma valores en E y tiene la siguiente dinámica:
Iniciando en Z0 = x , permanece en esa posición por un tiempo
exponencial de parámetro λx , digamos T1 ;
al tiempo T1 el proceso se desplaza por un salto a alguna posición
en E \ {x }, digamos y, con probabilidad Πx ,y ,
a partir del tiempo T1 el proceso se comporta como si su estado
inicial fuera y, es decir, permanece en y un tiempo exponencial de
parámetro λy , digamos T2 − T1 , independiente del tiempo T1 y de
las posiciones anteriores, al tiempo T2 se mueve a alguna posición
z ∈ E \ {y}, con probabilidad Πy,z ....
15/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
El proceso (Zt , t ≥ 0) tiene la propiedad de Markov: el estado del
proceso al tiempo t + s solamente depende del estado al tiempo t y no
de lo ocurrido en tiempos anteriores.
P(Zt+s = y | Zt = x , (Zu , u < t))
= P(Zt+s = y | Zt = x )
= P(Zs = y | Z0 = x ),
x, y ∈ E,
t, s ≥ 0.
16/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Las probabilidades de transición de (Zt , t ≥ 0) satisfacen para
t ≥ 0, x , y ∈ E .
P(Zt = y|Z0 = x ) =: Px ,y (t)

Z t
X
= δx (y)e −λx t +
λx e −λx s 
0
= δx (y)e −λx t + e −λx t

Πx ,z Pz ,y (t − s) ds
z ∈E \{x }
Z
0
t

λx e λx u 

X
Πx ,z Pz ,y (u) du
z ∈E \{x }
17/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Entonces, para t pequeño
P(Zt = y|Z0 = x ) − δx (y)
t
= −δx (y)
(1 − e
t
−λx t
)
+
e
−λx t
t
X
= −δx (y)λx + o(1) + λx
t
Z

λx e λx u 
0

X
Πx ,z Pz ,y (u) du
z ∈E \{x }
Πx ,z Pz ,y (0) + o(1)
z ∈E \{x }
= −δx (y)λx + λx Πx ,y + o(1)
De donde que para x , y ∈ E ,
P(Zt = y|Z0 = x ) − δx (y)
t
= −δx (y)λx + λx Πx ,y
(
λx Πx ,y , si x 6= y
=
−λx ,
si x = y.
Qx ,y = lim
t→0
18/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Receta
En una cadena de Markov a tiempo continuo, las entradas de la Q-matriz
son:
para x =
6 y, Qx ,y es el parámetro del tiempo exponencial al cual se
realiza una transición del estado x al estado y,
−Qx ,x es el parámetro del tiempo exponencial alPcual del estado x
se realiza una transición, por lo tanto −Qx ,x = z ∈E \{x } Qx ,z .
19/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo (Sistema de espera M /M /1)
Imaginemos un banco con un solo cajero que da servicio a clientes, estos
se forman en una única fila en espera de ser atendidos si el cajero está
ocupado. Los clientes llegan según un proceso de Poisson de parámetro
λ, y los tiempos de servicio son independientes entre si y del número de
clientes en espera, y siguen una ley exponencial de parámetro µ. Sea
X (t) el numero de clientes en el banco al tiempo t. {X (t), t ≥ 0} es una
cadena de Markov con espacio de estados E = Z+ y Q-matriz
20/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo (Sistema de espera M /M /1)
Imaginemos un banco con un solo cajero que da servicio a clientes, estos
se forman en una única fila en espera de ser atendidos si el cajero está
ocupado. Los clientes llegan según un proceso de Poisson de parámetro
λ, y los tiempos de servicio son independientes entre si y del número de
clientes en espera, y siguen una ley exponencial de parámetro µ. Sea
X (t) el numero de clientes en el banco al tiempo t. {X (t), t ≥ 0} es una
cadena de Markov con espacio de estados E = Z+ y Q-matriz


si y = x + 1
λ,
Qx ,y = µ,
si y = x − 1, x , y ∈ Z+ ;


−(λ + µ), si y = x ,

λ

 λ+µ , si y = x + 1
µ
Πx ,y = λ+µ
, si y = x − 1, , x , y ∈ Z+


0,
en otro caso,
20/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo (Sistema de espera M /M /∞)
Un sistema de servicio tiene una infinidad de servidores, ası́ que no se
forma una fila de espera. Clientes llegan al sistema según un proceso de
Poisson de parámetro λ > 0. Los tiempos de servicio (inician
inmediatamente al integrarse al sistema) son independientes y tienen una
duración exponencial(µ). Sea Xt el número de servidores ocupados al
tiempo t, t ≥ 0.
21/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo (Sistema de espera M /M /∞)
Un sistema de servicio tiene una infinidad de servidores, ası́ que no se
forma una fila de espera. Clientes llegan al sistema según un proceso de
Poisson de parámetro λ > 0. Los tiempos de servicio (inician
inmediatamente al integrarse al sistema) son independientes y tienen una
duración exponencial(µ). Sea Xt el número de servidores ocupados al
tiempo t, t ≥ 0. X = {Xt , t ≥ 0} es una cadena de Markov con espacio
de estados E = Z+ , y Q matriz,


si y = x + 1
λ,
Qx ,y = x µ,
si y = x − 1, x , y ∈ Z+ ;


−(λ + µx ), si y = x ,
Πx ,y

λ

 λ+x µ , si y = x + 1
xµ
= λ+x µ , si y = x − 1, ,


0,
en otro caso,
x , y ∈ Z+
21/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo (Sistema de espera M /M /k /s,)
Ocurren llegadas de agentes al sistema según un proceso de Poisson de
parámetro λ, hay k servidores cuyos respectivos tiempos de atención se
distribuyen exponencialmente con parametro µ, los servicios inician
inmediatamente al ingresar un agente al sistema y que un servidor está
libre, en caso contrario el agente espera su turno en una fila de espera; el
sistema solamente puede recibir s ≥ k clientes, incluyendo los que están
en servicio. El proceso estocástico {X (t), t ≥ 0}, donde X (t) denota el
número de clientes en el sistema al tiempo t es una Cadena de Markov
con espacio de estados E = {0, 1, . . . , k , . . . , s}.
22/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo (Sistema de espera M /M /k /s,)
Ocurren llegadas de agentes al sistema según un proceso de Poisson de
parámetro λ, hay k servidores cuyos respectivos tiempos de atención se
distribuyen exponencialmente con parametro µ, los servicios inician
inmediatamente al ingresar un agente al sistema y que un servidor está
libre, en caso contrario el agente espera su turno en una fila de espera; el
sistema solamente puede recibir s ≥ k clientes, incluyendo los que están
en servicio. El proceso estocástico {X (t), t ≥ 0}, donde X (t) denota el
número de clientes en el sistema al tiempo t es una Cadena de Markov
con espacio de estados E = {0, 1, . . . , k , . . . , s}.

λ,
si 0 ≤ x < s, y = x + 1,





si 0 < x ≤ s, y = x − 1,
(x ∧ k )µ,


−(µ(x ∧ k ) + λ), si 0 < x = y < s
Qx ,y =

−µk ,
si x = s = y,





−λ,
si
x = 0 = y,



0,
en otro caso.
donde a ∧ b = min{a, b}, para a, b ∈ R .
22/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo
Después de reparar una máquina esta funciona durante un tiempo
exponencial de parámetro λ y falla de nuevo. Cuando esto ocurre un
proceso de reparación inicia. Este consiste en una sucesión de k distintas
etapas. Primero viene la etapa 1, luego la 2, y ası́ sucesivamente. Los
tiempos necesarios para concluir estas etapas son independientes, y la
i -ésima etapa dura un tiempo exponencial de parámetro µi , para
i ∈ {1, . . . , k }. Estos tiempos son también independientes del tiempo de
funcionamiento de la maquina. Sea X (t) la etapa en la que se encuentra
la máquina, entendiendo al estado 0 como en funcionamiento,
E = {0, 1, . . . , k }. X es una cadena de Markov con Q-matriz


−λ
λ
0
0
0
0
 0 −µ1 µ1
0
0
0 


 0
0
−µ
µ
0
0 
2
2



.. ..
Q =
 0
.
.
0
0
0 



..
.. 
 0

.
.
0
0
0
µk
0
0
0
0 −µk
23/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo
La superficie de una bacteria consiste de varios sitios que moléculas
extranjeras, malignas y benignas, ocupan durante cierto tiempo.
Consideramos un sitio y suponemos que las moléculas llegan a este
según un proceso de Poisson de parámetro λ, de entre la cuales una
proporción 0 < α < 1 es benigna.
24/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo
La superficie de una bacteria consiste de varios sitios que moléculas
extranjeras, malignas y benignas, ocupan durante cierto tiempo.
Consideramos un sitio y suponemos que las moléculas llegan a este
según un proceso de Poisson de parámetro λ, de entre la cuales una
proporción 0 < α < 1 es benigna.
Las moléculas malignas se quedan en el sitio durante un tiempo
exponencial de parámetro µ1 , mientras que las benignas lo hacen
durante un tiempo exponencial de parámetro µ2 .
24/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo
La superficie de una bacteria consiste de varios sitios que moléculas
extranjeras, malignas y benignas, ocupan durante cierto tiempo.
Consideramos un sitio y suponemos que las moléculas llegan a este
según un proceso de Poisson de parámetro λ, de entre la cuales una
proporción 0 < α < 1 es benigna.
Las moléculas malignas se quedan en el sitio durante un tiempo
exponencial de parámetro µ1 , mientras que las benignas lo hacen
durante un tiempo exponencial de parámetro µ2 .
Una molécula que llega al sitio lo ocupa solamente si el sitio se
encuentra libre de moléculas.
24/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo
La superficie de una bacteria consiste de varios sitios que moléculas
extranjeras, malignas y benignas, ocupan durante cierto tiempo.
Consideramos un sitio y suponemos que las moléculas llegan a este
según un proceso de Poisson de parámetro λ, de entre la cuales una
proporción 0 < α < 1 es benigna.
Las moléculas malignas se quedan en el sitio durante un tiempo
exponencial de parámetro µ1 , mientras que las benignas lo hacen
durante un tiempo exponencial de parámetro µ2 .
Una molécula que llega al sitio lo ocupa solamente si el sitio se
encuentra libre de moléculas.
¿Se puede usar una Cadena de Markov a tiempo continuo para modelar
el estado de la bacteria?
24/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo
La superficie de una bacteria consiste de varios sitios que moléculas
extranjeras, malignas y benignas, ocupan durante cierto tiempo.
Consideramos un sitio y suponemos que las moléculas llegan a este
según un proceso de Poisson de parámetro λ, de entre la cuales una
proporción 0 < α < 1 es benigna.
Las moléculas malignas se quedan en el sitio durante un tiempo
exponencial de parámetro µ1 , mientras que las benignas lo hacen
durante un tiempo exponencial de parámetro µ2 .
Una molécula que llega al sitio lo ocupa solamente si el sitio se
encuentra libre de moléculas.
¿Se puede usar una Cadena de Markov a tiempo continuo para modelar
el estado de la bacteria? Suponiendo que el sitio ha sido observado
durante un periodo de tiempo suficientemente prolongado ¿cuál es la
proporción de tiempo que el sitio se encuentra ocupado por con una
molécula benigna (maligna)?
24/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
En cualquier tiempo el sitio puede estar desocupado {0} u ocupado por
una molécula maligna {1} u ocupado por una molécula benigna {2}. Sea
{X (t), t ≥ 0} el estado de la cadena al tiempo t.


−λ λ(1 − α) λα
−µ1
0 .
Q =  µ1
µ2
0
−µ2
25/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo (Open Jackson Netwoks)
Consideremos una red que consiste de N estaciones de servicio
inter-conectadas.
La estación “p”, 1 ≤ p ≤ N , recibe clientes procedentes del exterior
y aquellos enviados de otras estaciones.
26/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo (Open Jackson Netwoks)
Consideremos una red que consiste de N estaciones de servicio
inter-conectadas.
La estación “p”, 1 ≤ p ≤ N , recibe clientes procedentes del exterior
y aquellos enviados de otras estaciones.
Las llegadas a la estación p constituyen un proceso de Poisson de
parámetro λ0p .
26/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo (Open Jackson Netwoks)
Consideremos una red que consiste de N estaciones de servicio
inter-conectadas.
La estación “p”, 1 ≤ p ≤ N , recibe clientes procedentes del exterior
y aquellos enviados de otras estaciones.
Las llegadas a la estación p constituyen un proceso de Poisson de
parámetro λ0p .
Cada estación tiene su fila de espera. La tasa a la cual los clientes
dejan la estación p es µp (n), si n es el número de clientes presentes
en la estación p. Por ejemplo,
(
µp 1{n>0} ,
si la fila es M /M /1
µp (n) =
.
(n ∧ sp )µp , si la fila es M /M /sp
26/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo (Open Jackson Netwoks)
Consideremos una red que consiste de N estaciones de servicio
inter-conectadas.
La estación “p”, 1 ≤ p ≤ N , recibe clientes procedentes del exterior
y aquellos enviados de otras estaciones.
Las llegadas a la estación p constituyen un proceso de Poisson de
parámetro λ0p .
Cada estación tiene su fila de espera. La tasa a la cual los clientes
dejan la estación p es µp (n), si n es el número de clientes presentes
en la estación p. Por ejemplo,
(
µp 1{n>0} ,
si la fila es M /M /1
µp (n) =
.
(n ∧ sp )µp , si la fila es M /M /sp
Un cliente que deja la estación “p” va a la estación “q” con
probabilidad rp,q , 1 ≤ q ≤ N . Y deja el sistema con proba rp,0 .
rp,p = 0.
26/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo (Open Jackson Netwoks (continuación))
El proceso Xt = (Xt1 , Xt2 , . . . , XtN ) del número de clientes presentes
en las N estaciones al tiempo t es una cadena de Markov a tiempo
continuo con espacio de estados E = (Z+ )N .
27/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo (Open Jackson Netwoks (continuación))
El proceso Xt = (Xt1 , Xt2 , . . . , XtN ) del número de clientes presentes
en las N estaciones al tiempo t es una cadena de Markov a tiempo
continuo con espacio de estados E = (Z+ )N .
Sea ep = (0, . . . , 0, 1, 0, . . . , 0) el p-ésimo vector canónico.
27/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ejemplo (Open Jackson Netwoks (continuación))
El proceso Xt = (Xt1 , Xt2 , . . . , XtN ) del número de clientes presentes
en las N estaciones al tiempo t es una cadena de Markov a tiempo
continuo con espacio de estados E = (Z+ )N .
Sea ep = (0, . . . , 0, 1, 0, . . . , 0) el p-ésimo vector canónico.
Las entradas fuera de la diagonal de la Q-matriz que no son cero
son:
Qx ,x +ep = λ0p ,
x ∈ E, 1 ≤ p ≤ N ,
Qx +ep ,x = µp (xp + 1)rp,0 ,
Qx +ep ,x +eq = µp (xp + 1)rp,q ,
x ∈ E, 1 ≤ p ≤ N ,
1 ≤ p 6= q ≤ N , x ∈ E .
27/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ecuación Backward
Derivando en t la igualdad
P(Zt = y|Z0 = x ) =: Px ,y (t)

Z t
X
= δx (y)e −λx t + e −λx t
λx e λx u 
0

Πx ,z Pz ,y (u) du
z ∈E \{x }
se tiene
Px0 ,y (t) = −λx Px0 ,y (t) +
X
λx Πx ,z Pz ,t (t)
z ∈E \{x }
=
X
Qx ,z Pz ,t (t) = (QP (t))x ,y .
z ∈E
Equivalentemente, P 0 (t) = QP (t), t ≥ 0.
28/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Si E es finito se puede verificar que la solución a la ecuación backward se
escribe
∞
X
t n (n)
tQ
Q ,
t ≥ 0,
P (t) = e :=
n!
n=0
es decir
Px ,y (t) = e tQ |x ,y :=
∞
X
t n (n)
Q ,
n! x ,y
n=0
t ≥ 0, x , y ∈ E .
29/ 30
Introducción a las cadenas de Markov: II Tiempo continuo
Cadenas de Markov
Ecuación Forward
P 0 (t) = P (t)Q,
Px0 ,y (t) =
X
Px ,z (t)Qz ,y ,
t ≥ 0.
t ≥ 0, x , y ∈ E .
z ∈E
30/ 30