Cadenas de Markov en Tiempo Continuo - Claroline

Cadenas de Markov en Tiempo Continuo
Prof. Vı́quez
CA406
Universidad de Costa Rica
[email protected]
8 y 22 de Abril
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
1 / 69
Definición y Construcción
Preliminares
Tiempos de Saltos
Suponga que se cuenta con un espacio de estados S que puede ser finito o
infinito.
Consideren un sistema comenzando en x0 en el tiempo 0.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
2 / 69
Definición y Construcción
Preliminares
Tiempos de Saltos
Suponga que se cuenta con un espacio de estados S que puede ser finito o
infinito.
Consideren un sistema comenzando en x0 en el tiempo 0.
Supongan que el sistema se mantiene en x0 hasta un tiempo positivo
τ1 , momento en el que salta a un estado x1 6= x0 ; o se mantiene por
siempre en x0 , en cuyo caso tomamos τ1 = ∞.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
2 / 69
Definición y Construcción
Preliminares
Tiempos de Saltos
Suponga que se cuenta con un espacio de estados S que puede ser finito o
infinito.
Consideren un sistema comenzando en x0 en el tiempo 0.
Supongan que el sistema se mantiene en x0 hasta un tiempo positivo
τ1 , momento en el que salta a un estado x1 6= x0 ; o se mantiene por
siempre en x0 , en cuyo caso tomamos τ1 = ∞.
Si τ < ∞, una vez alcanzado el estado x1 , el sistema se mantiene
ahı́ hasta un tiempo τ2 > τ1 , cuando salta a un nuevo estado x2 6= x1 ;
o se mantiene en x1 por siempre, y definimos τ2 = ∞.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
2 / 69
Definición y Construcción
Preliminares
Tiempos de Saltos
Suponga que se cuenta con un espacio de estados S que puede ser finito o
infinito.
Consideren un sistema comenzando en x0 en el tiempo 0.
Supongan que el sistema se mantiene en x0 hasta un tiempo positivo
τ1 , momento en el que salta a un estado x1 6= x0 ; o se mantiene por
siempre en x0 , en cuyo caso tomamos τ1 = ∞.
Si τ < ∞, una vez alcanzado el estado x1 , el sistema se mantiene
ahı́ hasta un tiempo τ2 > τ1 , cuando salta a un nuevo estado x2 6= x1 ;
o se mantiene en x1 por siempre, y definimos τ2 = ∞.
Se continúa este proceso indefinidamente. Si para algún m ≥ 1 se
tiene que τm = ∞, entonces se toma τn = ∞ para todo n ≥ m.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
2 / 69
Definición y Construcción
Preliminares
Proceso de Saltos
Sea Xt el estado del sistema en el tiempo t, definido por


x0 0 ≤ t < τ1 ,



x1 τ1 ≤ t < τ2 ,
Xt =
x2 τ2 ≤ t < τ3 ,




..
.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
3 / 69
Definición y Construcción
Preliminares
Proceso de Saltos
Sea Xt el estado del sistema en el tiempo t, definido por


x0 0 ≤ t < τ1 ,



x1 τ1 ≤ t < τ2 ,
Xt =
x2 τ2 ≤ t < τ3 ,




..
.
El proceso Xt se llama “Proceso de Saltos”.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
3 / 69
Definición y Construcción
Preliminares
Proceso de Saltos
Noten que la definición anterior no es exhaustiva, en el sentido de que Xt
no necesariamente está definido para todo t ≥ 0.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
4 / 69
Definición y Construcción
Preliminares
Proceso de Saltos
Noten que la definición anterior no es exhaustiva, en el sentido de que Xt
no necesariamente está definido para todo t ≥ 0.
Ejemplo:
Considere una bola picando en el piso. Tome Xt como el número de
rebotes que la bola hace, y suponga que el tiempo transcurrido entre el
n-ésimo y el (n + 1)-ésimo rebote, en segundos, es de 2−n . Entonces
xn = n y
1
1
1
τn = 1 + + · · · + n−1 = 2 − n−1 −−−→ 2 < ∞.
n→∞
2
2
2
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
4 / 69
Definición y Construcción
Preliminares
Proceso de Saltos
Noten que la definición anterior no es exhaustiva, en el sentido de que Xt
no necesariamente está definido para todo t ≥ 0.
Ejemplo:
Considere una bola picando en el piso. Tome Xt como el número de
rebotes que la bola hace, y suponga que el tiempo transcurrido entre el
n-ésimo y el (n + 1)-ésimo rebote, en segundos, es de 2−n . Entonces
xn = n y
1
1
1
τn = 1 + + · · · + n−1 = 2 − n−1 −−−→ 2 < ∞.
n→∞
2
2
2
Entonces, la definición de Xt dice lo que pasa con el proceso en 0 ≤ t < 2,
y para el tiempo t = 2, la bola ha rebotado un número infinito de veces.
En este caso, tiene sentido definir Xt = ∞ para todo t ≥ 2.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
4 / 69
Definición y Construcción
Preliminares
Proceso de Saltos
Noten que la definición anterior no es exhaustiva, en el sentido de que Xt
no necesariamente está definido para todo t ≥ 0.
Ejemplo:
Considere una bola picando en el piso. Tome Xt como el número de
rebotes que la bola hace, y suponga que el tiempo transcurrido entre el
n-ésimo y el (n + 1)-ésimo rebote, en segundos, es de 2−n . Entonces
xn = n y
1
1
1
τn = 1 + + · · · + n−1 = 2 − n−1 −−−→ 2 < ∞.
n→∞
2
2
2
Entonces, la definición de Xt dice lo que pasa con el proceso en 0 ≤ t < 2,
y para el tiempo t = 2, la bola ha rebotado un número infinito de veces.
En este caso, tiene sentido definir Xt = ∞ para todo t ≥ 2.
En general, si lı́mn→∞ τn < ∞, se dice que el proceso explota. Si Xt no
explota, i.e., si lı́mn→∞ τn = ∞, entonces Xt está definida para todo
t ≥ 0. Si se cumple que lı́mn→∞ τn = ∞ para cualquier estado inicial,
entonces se dice que X es un proceso de puros saltos (o no-explosivo).
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
4 / 69
Definición y Construcción
Preliminares
Estados Absorbentes y No-Absorbentes
Se supone que todos los estados son de dos tipos:
Absorbentes: Una vez que el proceso llega a un estado absorbente,
se queda ahı́ por siempre. Con cada estado absorbente x, se tiene:
“Probabilidades de Transición” Qxy ≥ 0, y ∈ S: estas probabilidades
son tal que Qxx = 1 y Qxy = 0 para todo x 6= y .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
5 / 69
Definición y Construcción
Preliminares
Estados Absorbentes y No-Absorbentes
Se supone que todos los estados son de dos tipos:
Absorbentes: Una vez que el proceso llega a un estado absorbente,
se queda ahı́ por siempre. Con cada estado absorbente x, se tiene:
“Probabilidades de Transición” Qxy ≥ 0, y ∈ S: estas probabilidades
son tal que Qxx = 1 y Qxy = 0 para todo x 6= y .
No-Absorbentes: Con cada estado no-absorbente x, se tiene:
Distribución de tiempos de salto Fx (t), 0 ≤ t < ∞: el tiempo τ que
pasa el proceso en x es aleatorio con distribución Fx .
“Probabilidades de Transición”
Qxy ≥ 0, y ∈ S: estas probabilidades
P
son tal que Qxx = 0 y y ∈S Qxy = 1. Una vez que pasa el tiempo τ , el
proceso salta al estado Xτ = y con probabilidad Qxy .
Se asume que τ y Xτ son independientes, es decir,
Px [τ ≤ t, Xτ = y ] = Fx (t)Qxy .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
5 / 69
Definición y Construcción
Preliminares
Estados Absorbentes y No-Absorbentes
Se supone que todos los estados son de dos tipos:
Absorbentes: Una vez que el proceso llega a un estado absorbente,
se queda ahı́ por siempre. Con cada estado absorbente x, se tiene:
“Probabilidades de Transición” Qxy ≥ 0, y ∈ S: estas probabilidades
son tal que Qxx = 1 y Qxy = 0 para todo x 6= y .
No-Absorbentes: Con cada estado no-absorbente x, se tiene:
Distribución de tiempos de salto Fx (t), 0 ≤ t < ∞: el tiempo τ que
pasa el proceso en x es aleatorio con distribución Fx .
“Probabilidades de Transición”
Qxy ≥ 0, y ∈ S: estas probabilidades
P
son tal que Qxx = 0 y y ∈S Qxy = 1. Una vez que pasa el tiempo τ , el
proceso salta al estado Xτ = y con probabilidad Qxy .
Se asume que τ y Xτ son independientes, es decir,
Px [τ ≤ t, Xτ = y ] = Fx (t)Qxy .
Una vez que el proceso salta a y , se comporta como si iniciara en y , por
ejemplo, para dos estados x y y no-absorbentes,
Px [τ1 ≤ s, Xτ1 = y , τ2 − τ1 ≤ t, Xτ2 = z] = Fx (s)Qxy Fy (t)Qyz .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
5 / 69
Definición y Construcción
Preliminares
Estructura de Probabilidad
Función de Transición Pxy (t)
Sea Pxy (t) la probabilidad de que un proceso empezando en el estado x,
se encuentre en el estado y en el tiempo t. Entonces,
X
Pxy (t) = Px [Xt = y ] y
Pxy (t) = 1.
y ∈S
En particular, Pxy (0) = δxy .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
6 / 69
Definición y Construcción
Preliminares
Estructura de Probabilidad
Función de Transición Pxy (t)
Sea Pxy (t) la probabilidad de que un proceso empezando en el estado x,
se encuentre en el estado y en el tiempo t. Entonces,
X
Pxy (t) = Px [Xt = y ] y
Pxy (t) = 1.
y ∈S
En particular, Pxy (0) = δxy .
Distribución Inicial
P
La distribución inicial π0 (x) ≥ 0, x ∈ S, es tal que x∈S π0 (x) = 1.
Noten que
P[Xt = y ] =
X
π0 (x)Pxy (t).
x∈S
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
6 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Proceso de Markov de Puros Saltos
Propiedad de Markov
Para unos tiempos 0 ≤ s1 ≤ · · · ≤ sn ≤ s ≤ t y unos estados
x1 , . . . , xn , x, y ∈ S,
P[Xt = y | Xs1 = x1 , . . . , Xsn = xn , Xs = x] = Pxy (t − s).
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
7 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Proceso de Markov de Puros Saltos
Propiedad de Markov
Para unos tiempos 0 ≤ s1 ≤ · · · ≤ sn ≤ s ≤ t y unos estados
x1 , . . . , xn , x, y ∈ S,
P[Xt = y | Xs1 = x1 , . . . , Xsn = xn , Xs = x] = Pxy (t − s).
Proceso de Markov de Puros Saltos
Un proceso de puros saltos se dice “Proceso de Markov de Puros Saltos”
si satisface la propiedad de Markov.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
7 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Condiciones Suficientes y Necesarias
Equivalencia
Las siguientes afirmaciones son equivalentes:
Xt es un proceso de Markov de puros saltos,
Los tiempos de salto satisfacen, para todo estado no-absorbente:
Px [τ1 > t + s | τ1 > s] = Px [τ1 > t],
La distribución de saltos satisface, para todo estado no-absorbente:
1 − Fx (t + s)
= 1 − Fx (t),
1 − Fx (s)
Fx es una distribución exponencial, para todo estado no-absorbente.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
8 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Densidad de Saltos
Si Xt es un proceso de Markov de puros saltos, y x es un estado
no-absorbente, entonces Fx es exponencial. De manera que se escoge el
parámetro de la densidad, qx , de la siguiente forma:
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
9 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Densidad de Saltos
Si Xt es un proceso de Markov de puros saltos, y x es un estado
no-absorbente, entonces Fx es exponencial. De manera que se escoge el
parámetro de la densidad, qx , de la siguiente forma:
x No-Absorbente: qx =
1
E[τ1 ]
> 0 (parámetro de la densidad), i.e.,
(
qx e −qx t
fx (t) =
0
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
t≥0
t<0
8 y 22 de Abril
9 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Densidad de Saltos
Si Xt es un proceso de Markov de puros saltos, y x es un estado
no-absorbente, entonces Fx es exponencial. De manera que se escoge el
parámetro de la densidad, qx , de la siguiente forma:
x No-Absorbente: qx =
1
E[τ1 ]
> 0 (parámetro de la densidad), i.e.,
(
qx e −qx t
fx (t) =
0
t≥0
t<0
x Absorbente: En este caso defina qx = 0.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
9 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Densidad de Saltos
Si Xt es un proceso de Markov de puros saltos, y x es un estado
no-absorbente, entonces Fx es exponencial. De manera que se escoge el
parámetro de la densidad, qx , de la siguiente forma:
x No-Absorbente: qx =
1
E[τ1 ]
> 0 (parámetro de la densidad), i.e.,
(
qx e −qx t
fx (t) =
0
t≥0
t<0
x Absorbente: En este caso defina qx = 0.
En ambos casos se cumple que:
Px [τ1 ≥ t] = e −qx t ,
Prof. Vı́quez (UCR)
t ≥ 0.
Proceso de Markov de Puros Saltos
8 y 22 de Abril
9 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Ecuación Chapman-Kolmogorov
Teorema
Para un proceso de Markov de puros saltos, con función de transición
Pxy (t), se cumple que
X
Pxy (t + s) =
Pxz (t)Pzy (s), s ≥ 0, t ≥ 0.
z∈S
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
10 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Ecuación Chapman-Kolmogorov
Teorema
Para un proceso de Markov de puros saltos, con función de transición
Pxy (t), se cumple que
X
Pxy (t + s) =
Pxz (t)Pzy (s), s ≥ 0, t ≥ 0.
z∈S
Prueba: Por la propiedad de Markov se sabe que para 0 ≤ t1 ≤ · · · ≤ tn y
x1 , . . . , xn ∈ S,
P[Xt1 = x1 , . . . , Xtn = xn ] = P[Xt1 = x1 ]Px1 x2 (t2 − t1 ) · · · Pxn−1 xn (tn − tn−1 ).
En particular, para s, t ≥ 0, Px [Xt = z, , Xt+s = y ] = Pxz (t)Pzy (s).
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
10 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Ecuación Chapman-Kolmogorov
Teorema
Para un proceso de Markov de puros saltos, con función de transición
Pxy (t), se cumple que
X
Pxy (t + s) =
Pxz (t)Pzy (s), s ≥ 0, t ≥ 0.
z∈S
Prueba: Por la propiedad de Markov se sabe que para 0 ≤ t1 ≤ · · · ≤ tn y
x1 , . . . , xn ∈ S,
P[Xt1 = x1 , . . . , Xtn = xn ] = P[Xt1 = x1 ]Px1 x2 (t2 − t1 ) · · · Pxn−1 xn (tn − tn−1 ).
En particular, para s, t ≥ 0, Px [Xt = z, , Xt+s = y ] = Pxz (t)Pzy (s).
Finalmente,
X
X
Pxy (t + s) =
Px [Xt = z, Xt+s = y ] =
Pxz (t)Pzy (s).
z∈S
Prof. Vı́quez (UCR)
z∈S
Proceso de Markov de Puros Saltos
8 y 22 de Abril
10 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Lemma
Ecuación de Pxy (t)
La función de transición Pxy (t) satisface la ecuación integral


Z t
X
Pxy (t) = δxy e −qx t +
Qxz Pzy (t − s) ds,
qx e −qx s 
0
Prof. Vı́quez (UCR)
t ≥ 0.
z∈S,z6=x
Proceso de Markov de Puros Saltos
8 y 22 de Abril
11 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Lemma
Ecuación de Pxy (t)
La función de transición Pxy (t) satisface la ecuación integral


Z t
X
Pxy (t) = δxy e −qx t +
Qxz Pzy (t − s) ds,
qx e −qx s 
0
t ≥ 0.
z∈S,z6=x
La fórmula es trivial si x es absorbente.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
11 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Prueba
Suponga x no-absorbente. El evento {τ1 ≤ t, Xτ1 = z y Xt = y } ocurre si
y solo si, X salta a z en un tiempo s ≤ t y luego salta de z a y en el
tiempo restante t − s, i.e.,
Z t
Px [τ1 ≤ t, Xτ1 = z y Xt = y ] =
qx e −qx s Qxz Pzy (t − s)ds.
0
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
12 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Prueba
Suponga x no-absorbente. El evento {τ1 ≤ t, Xτ1 = z y Xt = y } ocurre si
y solo si, X salta a z en un tiempo s ≤ t y luego salta de z a y en el
tiempo restante t − s, i.e.,
Z t
Px [τ1 ≤ t, Xτ1 = z y Xt = y ] =
qx e −qx s Qxz Pzy (t − s)ds.
0
La segunda parte de laPfórmula surge al notar que
Px [τ1 ≤ t, Xt = y ] = z∈S,z6=x Px [τ1 ≤ t, Xτ1 = z y Xt = y ].
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
12 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Prueba
Suponga x no-absorbente. El evento {τ1 ≤ t, Xτ1 = z y Xt = y } ocurre si
y solo si, X salta a z en un tiempo s ≤ t y luego salta de z a y en el
tiempo restante t − s, i.e.,
Z t
Px [τ1 ≤ t, Xτ1 = z y Xt = y ] =
qx e −qx s Qxz Pzy (t − s)ds.
0
La segunda parte de laPfórmula surge al notar que
Px [τ1 ≤ t, Xt = y ] = z∈S,z6=x Px [τ1 ≤ t, Xτ1 = z y Xt = y ].
La primera parte de la fórmula sale del hecho de que
Px [τ1 > t, Xt = y ] = δxy Px [τ1 > t] = δxy e −qx t .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
12 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Prueba
Suponga x no-absorbente. El evento {τ1 ≤ t, Xτ1 = z y Xt = y } ocurre si
y solo si, X salta a z en un tiempo s ≤ t y luego salta de z a y en el
tiempo restante t − s, i.e.,
Z t
Px [τ1 ≤ t, Xτ1 = z y Xt = y ] =
qx e −qx s Qxz Pzy (t − s)ds.
0
La segunda parte de laPfórmula surge al notar que
Px [τ1 ≤ t, Xt = y ] = z∈S,z6=x Px [τ1 ≤ t, Xτ1 = z y Xt = y ].
La primera parte de la fórmula sale del hecho de que
Px [τ1 > t, Xt = y ] = δxy Px [τ1 > t] = δxy e −qx t .
Finalmente,
Pxy (t) = Px [Xt = y ] = Px [τ1 > t, Xt = y ] + Px [τ1 ≤ t, Xt = y ].
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
12 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Diferenciabilidad de Pxy (t)
Utilizando la fórmula anterior, reemplazando t − s por s, se tiene


Z t
X
Pxy (t) = δxy e −qx t + qx e −qx t
e qx s 
Qxz Pzy (s) ds,
0
z∈S,z6=x
lo que muestra que Pxy (t) es continua en t, por lo tanto el integrando es
diferenciable.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
13 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Diferenciabilidad de Pxy (t)
Utilizando la fórmula anterior, reemplazando t − s por s, se tiene


Z t
X
Pxy (t) = δxy e −qx t + qx e −qx t
e qx s 
Qxz Pzy (s) ds,
0
z∈S,z6=x
lo que muestra que Pxy (t) es continua en t, por lo tanto el integrando es
diferenciable.
P
0 (t) = −q P (t) + q
Se obtiene Pxy
x xy
x
z∈S,z6=x Qxz Pzy (t), t ≥ 0. En
particular,
X
X
0
Pxy
(0) = −qx Pxy (0) + qx
Qxz Pzy (0) = −qx δxy + qx
Qxz δzy
z∈S,z6=x
z∈S,z6=x
= −qx δxy + qx Qxy .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
13 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Parámetros Infinitesimales del Proceso
0 (0), x, y ∈ S. Entonces, q
Defina qxy := Pxy
xx = −qx , y qxy = qx Qxy si
x 6= y .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
14 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Parámetros Infinitesimales del Proceso
0 (0), x, y ∈ S. Entonces, q
Defina qxy := Pxy
xx = −qx , y qxy = qx Qxy si
x 6= y .
Esto implica que
X
qxy = qx = −qxx .
y ∈S,y 6=x
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
14 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Parámetros Infinitesimales del Proceso
0 (0), x, y ∈ S. Entonces, q
Defina qxy := Pxy
xx = −qx , y qxy = qx Qxy si
x 6= y .
Esto implica que
X
qxy = qx = −qxx .
y ∈S,y 6=x
Parámetros Infinitesimales
Las cantidades qxy , x, y ∈ S, se llaman los parámetros infinitesimales del
proceso. Estos parámetros determinan de manera única las cantidades qx y
Qxy , y a su vez definen de manera única el proceso de Markov de puros
saltos.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
14 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Ecuación Regresiva de Kolmogorov
Teorema
Para un proceso de Markov de puros saltos, con función de transición
Pxy (t), se cumple que
X
0
Pxy
(t) =
qxz Pzy (t), t ≥ 0.
z∈S
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
15 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Ecuación Regresiva de Kolmogorov
Teorema
Para un proceso de Markov de puros saltos, con función de transición
Pxy (t), se cumple que
X
0
Pxy
(t) =
qxz Pzy (t), t ≥ 0.
z∈S
Esta ecuación surge directamente al diferenciar la ecuación integral que
resuelve Pxy (t).
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
15 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Ecuación Progresiva de Kolmogorov
Teorema
Para un proceso de Markov de puros saltos, con función de transición
Pxy (t), se cumple que
X
0
Pxy
(t) =
Pxz (t)qzy , t ≥ 0.
z∈S
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
16 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Ecuación Progresiva de Kolmogorov
Teorema
Para un proceso de Markov de puros saltos, con función de transición
Pxy (t), se cumple que
X
0
Pxy
(t) =
Pxz (t)qzy , t ≥ 0.
z∈S
Prueba caso S finito: Tomando la ecuación de Chapman-Kolmogorov, y
diferenciandola respecto a s y evaluandola en 0, se obtiene,
X
X
0
0
Pxy
(t) =
Pxz (t)Pzy
(0) =
Pxz (t)qzy .
z∈S
Prof. Vı́quez (UCR)
z∈S
Proceso de Markov de Puros Saltos
8 y 22 de Abril
16 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Caso S Finito
Cuando S es finito, solo debemos resolver un sistema linea de ecuaciones
diferenciales de primer orden para obtener la matriz de transición


P0,0 (t) · · · P0,d (t)

.. 
..
P(t) :=  ...
.
. 
Pd,0 (t) · · ·
Prof. Vı́quez (UCR)
Pd,d (t)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
17 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Caso S Finito
Cuando S es finito, solo debemos resolver un sistema linea de ecuaciones
diferenciales de primer orden para obtener la matriz de transición


P0,0 (t) · · · P0,d (t)

.. 
..
P(t) :=  ...
.
. 
Pd,0 (t) · · ·
Pd,d (t)
Se define la matriz generadora infinitesimal como


q0,0 · · · q0,d

.. 
..
G :=  ...
.
. 
qd,0 · · · qd,d .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
17 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Caso S Finito
Cuando S es finito, solo debemos resolver un sistema linea de ecuaciones
diferenciales de primer orden para obtener la matriz de transición


P0,0 (t) · · · P0,d (t)

.. 
..
P(t) :=  ...
.
. 
Pd,0 (t) · · ·
Pd,d (t)
Se define la matriz generadora infinitesimal como


q0,0 · · · q0,d

.. 
..
G :=  ...
.
. 
qd,0 · · · qd,d .
Con esta notación, las ecuaciones de Kolmogorov se convierten en un
sistema de ecuaciones diferenciales lineales de primer orden, con condición
inical P(0) = I , descritas por:
Ecuación Progresiva: P 0 (t) = GP(t)
Ecuación Regresiva: P 0 (t) = P(t)G .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
17 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Esquema Para Resolver el Sistema P 0 (t) = GP(t)
Asumiendo que la matriz G es diagonalizable,
alguna matriz diagonal

d1 0 · · ·
 0 d2 · · ·

D :=  .
.. . .
 ..
.
.
0
Prof. Vı́quez (UCR)
0
···
i.e., G = QDQ −1 para
0
0
..
.





dn .
Proceso de Markov de Puros Saltos
8 y 22 de Abril
18 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Esquema Para Resolver el Sistema P 0 (t) = GP(t)
Asumiendo que la matriz G es diagonalizable,
alguna matriz diagonal

d1 0 · · ·
 0 d2 · · ·

D :=  .
.. . .
 ..
.
.
0
0
···
i.e., G = QDQ −1 para
0
0
..
.





dn .
La solución al sistema de ecuaciones diferenciales lineales de primer orden
P 0 (t) = GP(t), está dado por P(t) = P(0)e Gt .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
18 / 69
Definición y Construcción
Proceso de Markov de Puros Saltos
Esquema Para Resolver el Sistema P 0 (t) = GP(t)
Asumiendo que la matriz G es diagonalizable,
alguna matriz diagonal

d1 0 · · ·
 0 d2 · · ·

D :=  .
.. . .
 ..
.
.
0
0
···
i.e., G = QDQ −1 para
0
0
..
.





dn .
La solución al sistema de ecuaciones diferenciales lineales de primer orden
P 0 (t) = GP(t), está dado por P(t) = P(0)e Gt .
P
P∞ (tQDQ −1 )k
(tG )k
Como, por definición, e Gt := ∞
=
k=0 k! =
k=0
k!
P∞ Q(tD)k Q −1
P∞ (tD)k
−1
Dt
−1
=Q
Q = Qe Q , y como P(0) = I ,
k=0
k=0 k!
k!
 dt

entonces
e 1
0 ···
0
 0 e d2 t · · ·
0 

 −1
Gt
Dt −1
P(t) = P(0)e = Qe Q = Q  .
.
..  Q
.
.
.
.
 .
.
.
. 
d
0
0 · · · e nt .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
18 / 69
Propiedades
Analogı́a con Cadenas de Markov
Definiciones
Tiempo de Ingreso Ty
Sea Xt un proceso de Markov de puros saltos. Para y ∈ S y X0 6= y , la
primera visita a y se da en el tiempo Ty . Si X0 = y , el primer tiempo en
que se regresa a y después de dejarlo es Ty . Es decir,
Ty := mı́n{t ≥ τ1 / Xt = y },
donde τ1 es el momento del primer salto. Si τ1 = ∞ o si Xt 6= y para todo
t ≥ τ1 , entonces se define Ty = ∞.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
19 / 69
Propiedades
Analogı́a con Cadenas de Markov
Definiciones
Tiempo de Ingreso Ty
Sea Xt un proceso de Markov de puros saltos. Para y ∈ S y X0 6= y , la
primera visita a y se da en el tiempo Ty . Si X0 = y , el primer tiempo en
que se regresa a y después de dejarlo es Ty . Es decir,
Ty := mı́n{t ≥ τ1 / Xt = y },
donde τ1 es el momento del primer salto. Si τ1 = ∞ o si Xt 6= y para todo
t ≥ τ1 , entonces se define Ty = ∞.
Probabilidad de Arribo ρxy
Si x es un estado absorbente, se define ρxy = δxy . Si x es no-absorbente,
se define
ρxy := Px [Ty < ∞].
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
19 / 69
Propiedades
Analogı́a con Cadenas de Markov
Definiciones
Estados Recurrentes y Transientes
Un estado y ∈ S se dice recurrente si ρyy = 1, y se dice transiente si
ρyy < 1. El proceso se dice que es un “proceso recurrente” si todos sus
estados son recurrentes, y se dice “proceso transiente” si todos sus estados
son transientes.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
20 / 69
Propiedades
Analogı́a con Cadenas de Markov
Definiciones
Estados Recurrentes y Transientes
Un estado y ∈ S se dice recurrente si ρyy = 1, y se dice transiente si
ρyy < 1. El proceso se dice que es un “proceso recurrente” si todos sus
estados son recurrentes, y se dice “proceso transiente” si todos sus estados
son transientes.
Irreducibilidad
Se dice que x conduce a y si ρxy > 0. El proceso se dice ser irreducible si
ρxy > 0 para todos los estados x, y ∈ S.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
20 / 69
Propiedades
Analogı́a con Cadenas de Markov
Cadena de Markov Inmersa
Función de Transición de la Cadena de Markov Inmersa
La función P(x, y ) = Qxy es la función de transición de una cadena de
Markov, llamada cadena inmersa.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
21 / 69
Propiedades
Analogı́a con Cadenas de Markov
Cadena de Markov Inmersa
Función de Transición de la Cadena de Markov Inmersa
La función P(x, y ) = Qxy es la función de transición de una cadena de
Markov, llamada cadena inmersa.
Recurrencia y Transiencia
Un proceso de Markov de puros saltos es irreducible si y solo si la cadena
inmersa es irreducible. Aún más, un proceso de Markov de puros saltos
irreducible es recurrente si y solo si la cadena inmersa es recurrente.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
21 / 69
Propiedades
Analogı́a con Cadenas de Markov
Cadena de Markov Inmersa
Función de Transición de la Cadena de Markov Inmersa
La función P(x, y ) = Qxy es la función de transición de una cadena de
Markov, llamada cadena inmersa.
Recurrencia y Transiencia
Un proceso de Markov de puros saltos es irreducible si y solo si la cadena
inmersa es irreducible. Aún más, un proceso de Markov de puros saltos
irreducible es recurrente si y solo si la cadena inmersa es recurrente.
Esto se cumple por el hecho de que las cantidades ρxy del proceso de
saltos coinciden con las respectivas cantidades de la cadena inmersa. En
particular, un proceso irreducible solo puede ser recurrente o transiente,
entonces se concluye.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
21 / 69
Propiedades
Analogı́a con Cadenas de Markov
Distribución Estacionaria
Distribución Estacionaria
Si π(x), x ∈ S, son números no-negativos tales que
X
X
π(x) = 1 y
π(x)Pxy (t) = π(y ),
x∈S
x∈S
con y ∈ S y t ≥ 0, entonces π se llama distribución estacionaria.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
22 / 69
Propiedades
Analogı́a con Cadenas de Markov
Distribución Estacionaria
Distribución Estacionaria
Si π(x), x ∈ S, son números no-negativos tales que
X
X
π(x) = 1 y
π(x)Pxy (t) = π(y ),
x∈S
x∈S
con y ∈ S y t ≥ 0, entonces π se llama distribución estacionaria.
En particular, si X0 tiene distribución inicial π, entonces Xt tiene
distribución π para todo t ≥ 0, i.e.,
X
P[Xt = y ] =
π(x)Pxy (t) = π(y ).
x∈S
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
22 / 69
Propiedades
Analogı́a con Cadenas de Markov
Distribución Estacionaria
Condición Suficiente y Necesaria
π(x) es una distribución estacionaria si y solo
X
π(x)qxy = 0, ∀ y ∈ S.
(1)
x∈S
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
23 / 69
Propiedades
Analogı́a con Cadenas de Markov
Distribución Estacionaria
Condición Suficiente y Necesaria
π(x) es una distribución estacionaria si y solo
X
π(x)qxy = 0, ∀ y ∈ S.
(1)
x∈S
Prueba: Si π es estacionaria, entonces al derivar respecto a t se obtiene
P
0
x∈S π(x)Pxy (t) = 0, y al evaluar en t = 0 se obtiene (1).
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
23 / 69
Propiedades
Analogı́a con Cadenas de Markov
Distribución Estacionaria
Condición Suficiente y Necesaria
π(x) es una distribución estacionaria si y solo
X
π(x)qxy = 0, ∀ y ∈ S.
(1)
x∈S
Prueba: Si π es estacionaria, entonces al derivar respecto a t se obtiene
P
0
x∈S π(x)Pxy (t) = 0, y al evaluar en t = 0 se obtiene (1).
Para la otra dirección, asuma (1). Se probará solo para el caso de S finito,
pero el resultado se cumplePen general. Utilizando
regresiva de
P la ecuación
∂
0
Kolmogorov
se obtiene ∂t x∈S π(x)P
(t) = x∈S π(x)P
xy (t) =
P
P
P xyP
P
(t) = 0. Esto
π(x)
q
P
(t)
=
π(x)q
xz
zy
xz
zy
x∈S
z∈S
x∈S
P z∈S
implica que x∈S π(x)Pxy (t) es constante e igual a
X
X
X
π(x)Pxy (t) =
π(x)Pxy (0) =
π(x)δxy = π(y ).
x∈S
Prof. Vı́quez (UCR)
x∈S
x∈S
Proceso de Markov de Puros Saltos
8 y 22 de Abril
23 / 69
Propiedades
Analogı́a con Cadenas de Markov
Recurrencia Positiva y Recurrencia Nula
Recurrecia Positiva y Recurrencia Nula
Un estado recurrente x no-absorbente, se llama recurrente positivo si el
tiempo medio de retorno mx := Ex [Tx ] es finito, y se dice recurrente nulo
si mx = ∞. Un estado absorbente se considera recurrente positivo.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
24 / 69
Propiedades
Analogı́a con Cadenas de Markov
Recurrencia Positiva y Recurrencia Nula
Recurrecia Positiva y Recurrencia Nula
Un estado recurrente x no-absorbente, se llama recurrente positivo si el
tiempo medio de retorno mx := Ex [Tx ] es finito, y se dice recurrente nulo
si mx = ∞. Un estado absorbente se considera recurrente positivo.
Proceso Recurrente Positivo y Recurrente Nulo
Un proceso de Markov de puros saltos se dice proceso recurrente positivo
si todos sus estados son recurrentes positivos, y se dice proceso recurrente
nulo si todos sus estados son recurrentes nulos.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
24 / 69
Propiedades
Analogı́a con Cadenas de Markov
Recurrencia Positiva y Recurrencia Nula
Recurrecia Positiva y Recurrencia Nula
Un estado recurrente x no-absorbente, se llama recurrente positivo si el
tiempo medio de retorno mx := Ex [Tx ] es finito, y se dice recurrente nulo
si mx = ∞. Un estado absorbente se considera recurrente positivo.
Proceso Recurrente Positivo y Recurrente Nulo
Un proceso de Markov de puros saltos se dice proceso recurrente positivo
si todos sus estados son recurrentes positivos, y se dice proceso recurrente
nulo si todos sus estados son recurrentes nulos.
NOTA: Un proceso irreducible que sea recurrente, debe ser recurrente nulo
o recurrente positivo.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
24 / 69
Propiedades
Analogı́a con Cadenas de Markov
Distribución Estacionaria
Existencia Distribución Estacionaria
Un proceso de Markov de puros saltos, que no posea estados
recurrentes positivos, no tiene ninguna distribución estacionaria.
Un proceso irreducible y recurrente positivo, tiene una única
distribución estacionaria dada por
π(x) =
Prof. Vı́quez (UCR)
1
,
qx mx
x ∈S
Proceso de Markov de Puros Saltos
8 y 22 de Abril
25 / 69
Propiedades
Analogı́a con Cadenas de Markov
Distribución Estacionaria
Existencia Distribución Estacionaria
Un proceso de Markov de puros saltos, que no posea estados
recurrentes positivos, no tiene ninguna distribución estacionaria.
Un proceso irreducible y recurrente positivo, tiene una única
distribución estacionaria dada por
π(x) =
1
,
qx mx
x ∈S
La fórmula de la distribución estacionaria se interpreta de la siguiente
forma: en un intervalo [0, t], el proceso hace alrededor de mtx visitas al
estado x, y el tiempo promedio que pasa en x en cada visita es q1x . Por lo
tanto, el tiempo total que pasa en el estado x durante un periodo de
tiempo [0, t] deberı́a ser aproximadamente qx tmx . Esta cantidad representa
una proporción
1
qx mx
Prof. Vı́quez (UCR)
=
t
q x mx
t−0
del total del tiempo [0, t].
Proceso de Markov de Puros Saltos
8 y 22 de Abril
25 / 69
Propiedades
Analogı́a con Cadenas de Markov
Resumen de Resultados
Conclusiones
Sea SP el conjunto de estados recurrentes positivos del proceso de Markov
de puros saltos.
1
Si SP es vacı́o, la cadena no tiene distribución estacionaria.
2
Si SP es no vacı́o e irreducible, la cadena tiene una única distribución
estacionaria.
3
Si SP es no vacı́o pero no irreducible, la cadena tiene un número
infinito de distribuciones estacionarias.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
26 / 69
Propiedades
Analogı́a con Cadenas de Markov
Convergencia a la Distribución Estacionaria
Periodicidad
Un proceso de Markov de puros saltos no posee periodicidades (por qué?).
En particular, un proceso irreducible recurrente positivo posee una única
distribución estacionaria π para la cual
lı́m Pxy (t) = π(y ),
t→∞
Prof. Vı́quez (UCR)
x, y ∈ S.
Proceso de Markov de Puros Saltos
8 y 22 de Abril
27 / 69
Propiedades
Analogı́a con Cadenas de Markov
Convergencia a la Distribución Estacionaria
Periodicidad
Un proceso de Markov de puros saltos no posee periodicidades (por qué?).
En particular, un proceso irreducible recurrente positivo posee una única
distribución estacionaria π para la cual
lı́m Pxy (t) = π(y ),
t→∞
x, y ∈ S.
Si X0 tiene distribución inicial π0 (x), entonces (por el teorema de
convergencia acotada)
X
X
P[Xt = y ] =
π0 (x)Pxy (t) −−−→
π0 (x)π(y ) = π(y ).
x∈S
t→∞
x∈S
Es decir, la distribución de Xt converge a la distribución estacionaria π, sin
importar la distribución inicial del proceso!
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
27 / 69
Procesos de Nacimiento y Muerte
Definición
Procesos de Nacimiento y Muerte
Considere un proceso de Markov de puros saltos con espacio de estados
S = {0, 1, 2, . . . } o S = {0, 1, 2, . . . , d}, y de manera que si está en x,
solo se puede ir a x − 1, x o x + 1 en un salto, i.e., con parámetros
infinitesimales qxy tales que


µx ,
y = x − 1,



−(λ + µ ),
y = x,
x
x
qxy =

λx ,
y = x + 1,



0,
de otro modo,
donde λx = qx,x+1 y µx = qx,x−1 se llaman las tasas de Nacimiento y
Muerte respectivamente.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
28 / 69
Procesos de Nacimiento y Muerte
Definición
Observaciones
Parámetro Infinitesimal: El P
término qxx = −(λx + µx ) se obtiene de
la fórmula qx,x+1 + qx,x−1 = y ∈S,y 6=x qxy = −qxx , recordando que
qxy = 0 para todo |y − x| > 1.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
29 / 69
Procesos de Nacimiento y Muerte
Definición
Observaciones
Parámetro Infinitesimal: El P
término qxx = −(λx + µx ) se obtiene de
la fórmula qx,x+1 + qx,x−1 = y ∈S,y 6=x qxy = −qxx , recordando que
qxy = 0 para todo |y − x| > 1.
Parámetro de la Densidad y Probabilidades de Transición: El
término qx = λx + µx se obtiene de la fórmula qx = −qxx . Si x es
absorbente, qx = 0, entonces λx = µx = 0. Si qx 6= 0, entonces de la
fórmula qx Qxy = qxy se deducen las probabilidades de transición Qxy .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
29 / 69
Procesos de Nacimiento y Muerte
Definición
Observaciones
Parámetro Infinitesimal: El P
término qxx = −(λx + µx ) se obtiene de
la fórmula qx,x+1 + qx,x−1 = y ∈S,y 6=x qxy = −qxx , recordando que
qxy = 0 para todo |y − x| > 1.
Parámetro de la Densidad y Probabilidades de Transición: El
término qx = λx + µx se obtiene de la fórmula qx = −qxx . Si x es
absorbente, qx = 0, entonces λx = µx = 0. Si qx 6= 0, entonces de la
fórmula qx Qxy = qxy se deducen las probabilidades de transición Qxy .
Condiciones Necesarias para Proceso de Nacimiento y Muerte:
Como S = {0, 1, 2, . . . }, una condición necesaria para los procesos de
Nacimiento y Muerte es que µ0 = 0. Si S = {0, 1, . . . , d}, con
d < ∞, entonces se requiere que λd = 0.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
29 / 69
Procesos de Nacimiento y Muerte
Definición
Observaciones
Parámetro Infinitesimal: El P
término qxx = −(λx + µx ) se obtiene de
la fórmula qx,x+1 + qx,x−1 = y ∈S,y 6=x qxy = −qxx , recordando que
qxy = 0 para todo |y − x| > 1.
Parámetro de la Densidad y Probabilidades de Transición: El
término qx = λx + µx se obtiene de la fórmula qx = −qxx . Si x es
absorbente, qx = 0, entonces λx = µx = 0. Si qx 6= 0, entonces de la
fórmula qx Qxy = qxy se deducen las probabilidades de transición Qxy .
Condiciones Necesarias para Proceso de Nacimiento y Muerte:
Como S = {0, 1, 2, . . . }, una condición necesaria para los procesos de
Nacimiento y Muerte es que µ0 = 0. Si S = {0, 1, . . . , d}, con
d < ∞, entonces se requiere que λd = 0.
Condición para No-Explosividad: Si S es finito, entonces Xt no
puede explotar en un tiempo finito. Si S es infinito, entonces
necesitamos condiciones sobre λx para evitar la explosión. Una
condición suficiente para la no-explosividad serı́a:
λx ≤ A + Bx, x ≥ 0; A, B > 0.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
29 / 69
Procesos de Nacimiento y Muerte
Definición
Cadena Inmersa y Distribución de Tiempos de Saltos
Probabilidades de Transición y Función de Distribución de Saltos
El parámetro de la densidad es qx = λx + µx , y la función de distribución
de los saltos es
Z t
Fx (t) =
(λx + µx )e −(λx +µx )s ds = 1 − e−(λx + µx )t, t ≥ 0.
0
Las probabilidades de transición de un estado x no-absorbente son
 µ
x
y = x − 1,

 λx +µx
λ
x
Qxy = λx +µ
y = x + 1,
x


0
de otro modo.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
30 / 69
Procesos de Nacimiento y Muerte
Definición
Procesos de Puros Nacimientos y de Puras Muertes
En un estado x no-absorbente, si µx = 0, entonces Qx,x−1 = 0, i.e., el
estado x no conduce al estado x − 1. Igualmente, si λx = 0, entonces
Qx,x+1 = 0, i.e., el estado x no conduce al estado x + 1.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
31 / 69
Procesos de Nacimiento y Muerte
Definición
Procesos de Puros Nacimientos y de Puras Muertes
En un estado x no-absorbente, si µx = 0, entonces Qx,x−1 = 0, i.e., el
estado x no conduce al estado x − 1. Igualmente, si λx = 0, entonces
Qx,x+1 = 0, i.e., el estado x no conduce al estado x + 1.
Definición
Si µx = 0, para todo x ∈ S, el proceso de Nacimiento y Muerte se llama
proceso de puros nacimientos.
Si λx = 0, para todo x ∈ S, el proceso de Nacimiento y Muerte se llama
proceso de puras muertes.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
31 / 69
Procesos de Nacimiento y Muerte
Definición
Ecuación Progresiva y Regresiva de Kolmogorov
Utilizando las definiciones de qxy , en términos de λx y µx , para el proceso
de Nacimiento y Muerte, se obtienen las siguientes ecuaciones (progresiva
y regresiva) de Kolmogorov:
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
32 / 69
Procesos de Nacimiento y Muerte
Definición
Ecuación Progresiva y Regresiva de Kolmogorov
Utilizando las definiciones de qxy , en términos de λx y µx , para el proceso
de Nacimiento y Muerte, se obtienen las siguientes ecuaciones (progresiva
y regresiva) de Kolmogorov:
Ecuación Regresiva de Kolmogorov
0
Pxy
(t) = µx Px−1,y (t) − (λx + µx )Pxy (t) + λx Px+1,y (t).
Ecuación Progresiva de Kolmogorov
0
Pxy
(t) = λy −1 Px,y −1 (t) − (λy + µy )Pxy (t) + µy +1 Px,y +1 (t).
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
32 / 69
Procesos de Nacimiento y Muerte
Definición
Ecuación Progresiva y Regresiva de Kolmogorov
Utilizando las definiciones de qxy , en términos de λx y µx , para el proceso
de Nacimiento y Muerte, se obtienen las siguientes ecuaciones (progresiva
y regresiva) de Kolmogorov:
Ecuación Regresiva de Kolmogorov
0
Pxy
(t) = µx Px−1,y (t) − (λx + µx )Pxy (t) + λx Px+1,y (t).
Ecuación Progresiva de Kolmogorov
0
Pxy
(t) = λy −1 Px,y −1 (t) − (λy + µy )Pxy (t) + µy +1 Px,y +1 (t).
NOTA: En las ecuaciones anteriores, se entiende que λ−1 = 0, y si
S = {0, 1, . . . , d}, con d < ∞, se toma entonces µd+1 = 0.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
32 / 69
Procesos de Nacimiento y Muerte
Propiedades
Irreducibilidad
La cadena de Markov inmersa en un proceso de Nacimiento y Muerte es
una cadena de Nacimiento y Muerte con función de transición
P(x, y ) = Qxy . En particular, utilizando la notación de las cadenas de
x
, rx = Qx,x = 0, y
Nacimiento y Muerte, px = Qx,x+1 = λxλ+µ
x
µx
qx = Qx,x−1 = λx +µx
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
33 / 69
Procesos de Nacimiento y Muerte
Propiedades
Irreducibilidad
La cadena de Markov inmersa en un proceso de Nacimiento y Muerte es
una cadena de Nacimiento y Muerte con función de transición
P(x, y ) = Qxy . En particular, utilizando la notación de las cadenas de
x
, rx = Qx,x = 0, y
Nacimiento y Muerte, px = Qx,x+1 = λxλ+µ
x
µx
qx = Qx,x−1 = λx +µx
Condiciones Suficientes y Necesarias para Irreducibilidad
Las siguientes afirmaciones son equivalentes:
El proceso de Nacimiento y Muerte es irreducible,
La cadena inmersa de Nacimiento y Muerte es irreducible,
∀ x ∈ S, Qx,x+1 6= 0 (si x < d < ∞) y Qx,x−1 6= 0 (si x > 0).
∀ x ∈ S, λx 6= 0 (si x < d < ∞) y µx 6= 0 (si x > 0).
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
33 / 69
Procesos de Nacimiento y Muerte
Propiedades
Proceso Irreducible Transiente
Condiciones Suficientes y Necesarias
Las siguientes afirmaciones son equivalentes:
El proceso de Nacimiento y Muerte irreducible es transiente,
La cadena inmersa de Nacimiento y Muerte irreducible tiene infinitos
estados y es transiente,
Los parámetros infinitesimales cumplen que
∞
X
µ1 · · · µx
x=1
Prof. Vı́quez (UCR)
λ1 · · · λx
< ∞.
Proceso de Markov de Puros Saltos
8 y 22 de Abril
34 / 69
Procesos de Nacimiento y Muerte
Propiedades
Proceso Irreducible Transiente
Condiciones Suficientes y Necesarias
Las siguientes afirmaciones son equivalentes:
El proceso de Nacimiento y Muerte irreducible es transiente,
La cadena inmersa de Nacimiento y Muerte irreducible tiene infinitos
estados y es transiente,
Los parámetros infinitesimales cumplen que
∞
X
µ1 · · · µx
x=1
λ1 · · · λx
< ∞.
Prueba: Se demostró que una cadena de Nacimiento y Muerte, con
parámetros (px , rx , qx ), es irreducible si y solo si
∞
X
q1 · · · qx
x=1
p1 · · · px
Prof. Vı́quez (UCR)
=
µ1
λ1 +µ1
λ1
x=1 λ1 +µ1
∞
X
x
· · · λxµ+µ
x
x
· · · λxλ+µ
x
=
∞
X
µ1 · · · µx
x=1
Proceso de Markov de Puros Saltos
λ1 · · · λx
< ∞.
8 y 22 de Abril
34 / 69
Procesos de Nacimiento y Muerte
Propiedades
Proceso Irreducible Recurrente Positivo
Condiciones Suficientes y Necesarias
Las siguientes afirmaciones son equivalentes:
El proceso de Nacimiento y Muerte irreducible es recurrente positivo,
El proceso de Nacimiento y Muerte tiene una única distribución
estacionaria, dada por
πx
π(x) = Pd
, x ∈ S,
y =0 πy
donde d ≤ ∞, πx :=
λ0 ···λx−1
µ1 ···µx
y π0 := 1,
Los parámetros infinitesimales cumplen que
d
X
λ0 · · · λx−1
x=1
Prof. Vı́quez (UCR)
µ 1 · · · µx
< ∞,
Proceso de Markov de Puros Saltos
d ≤ ∞.
8 y 22 de Abril
35 / 69
Procesos de Nacimiento y Muerte
Propiedades
Proceso Irreducible Recurrente Positivo
Condiciones Suficientes y Necesarias
Las siguientes afirmaciones son equivalentes:
El proceso de Nacimiento y Muerte irreducible es recurrente positivo,
El proceso de Nacimiento y Muerte tiene una única distribución
estacionaria, dada por
πx
π(x) = Pd
, x ∈ S,
y =0 πy
donde d ≤ ∞, πx :=
λ0 ···λx−1
µ1 ···µx
y π0 := 1,
Los parámetros infinitesimales cumplen que
d
X
λ0 · · · λx−1
x=1
µ 1 · · · µx
< ∞,
d ≤ ∞.
NOTA: No se puede utilizar el hecho de que la cadena inmersa sea
recurrente positiva.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
35 / 69
Procesos de Nacimiento y Muerte
Propiedades
Prueba
El sistema de ecuaciones
P
x∈S
π(x)qxy = 0 se vuelve
−π(0)λ0 + π(1)µ1 = 0
π(y − 1)λy −1 − π(y )(λy + µy ) + π(y + 1)µy +1 = 0
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
36 / 69
Procesos de Nacimiento y Muerte
Propiedades
Prueba
El sistema de ecuaciones
P
x∈S
π(x)qxy = 0 se vuelve
−π(0)λ0 + π(1)µ1 = 0
π(y − 1)λy −1 − π(y )(λy + µy ) + π(y + 1)µy +1 = 0
Reacomodando se obtiene,
π(1)µ1 − π(0)λ0 = 0
π(y + 1)µy +1 − π(y )λy = π(y )µy − π(y − 1)λy −1
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
y ≥ 1.
8 y 22 de Abril
36 / 69
Procesos de Nacimiento y Muerte
Propiedades
Prueba
El sistema de ecuaciones
P
x∈S
π(x)qxy = 0 se vuelve
−π(0)λ0 + π(1)µ1 = 0
π(y − 1)λy −1 − π(y )(λy + µy ) + π(y + 1)µy +1 = 0
Reacomodando se obtiene,
π(1)µ1 − π(0)λ0 = 0
π(y + 1)µy +1 − π(y )λy = π(y )µy − π(y − 1)λy −1
y ≥ 1.
Entonces, µy +1 π(y + 1) − λy π(y ) = 0, es decir,
π(x) =
λx−1
λ0 · · · λx−1
π(x − 1) = · · · =
π(0) = πx π(0).
µx
µ1 · · · µx
P
Si dx=0 πx < ∞, claramente
(al sumar) se tiene la fórmula para π(x). De
P
lo contrario π ≡ 0 o x∈S π(x) = ∞, i.e., no hay distribución estacionaria.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
36 / 69
Procesos de Nacimiento y Muerte
Propiedades
Resumen
Condiciones Suficientes y Necesarias
Transiente: El proceso irreducible es transiente si y solo si d = ∞ y
∞
X
µ1 · · · µx
x=1
Prof. Vı́quez (UCR)
λ1 · · · λx
< ∞.
Proceso de Markov de Puros Saltos
8 y 22 de Abril
37 / 69
Procesos de Nacimiento y Muerte
Propiedades
Resumen
Condiciones Suficientes y Necesarias
Transiente: El proceso irreducible es transiente si y solo si d = ∞ y
∞
X
µ1 · · · µx
x=1
λ1 · · · λx
< ∞.
Recurrente Positivo: El proceso irreducible es recurrente positivo si y
solo si existe una única distribución estacionaria si y solo si
d
X
λ0 · · · λx−1
x=1
Prof. Vı́quez (UCR)
µ1 · · · µx
< ∞,
d ≤ ∞.
Proceso de Markov de Puros Saltos
8 y 22 de Abril
37 / 69
Procesos de Nacimiento y Muerte
Propiedades
Resumen
Condiciones Suficientes y Necesarias
Transiente: El proceso irreducible es transiente si y solo si d = ∞ y
∞
X
µ1 · · · µx
x=1
λ1 · · · λx
< ∞.
Recurrente Positivo: El proceso irreducible es recurrente positivo si y
solo si existe una única distribución estacionaria si y solo si
d
X
λ0 · · · λx−1
x=1
µ1 · · · µx
< ∞,
d ≤ ∞.
Recurrente Nula: El proceso irreducible es recurrente nulo si ninguna de
las otras dos posibles opciones se cumple, i.e., d = ∞ y
∞
X
λ0 · · · λx−1
x=1
Prof. Vı́quez (UCR)
µ1 · · · µx
=∞
y
∞
X
µ1 · · · µx
x=1
λ1 · · · λx
Proceso de Markov de Puros Saltos
= ∞.
8 y 22 de Abril
37 / 69
Proceso de Puros Nacimientos
Función de Transición
Función de Transición
Fórmula Recursiva
Sea Xt un proceso de puros nacimientos en S = {0, 1, 2, . . . }. Entonces,

R t −λ (t−s)
y

Px,y −1 (s)ds,
y > x,
λy −1 0 e
−λ
t
x
Pxy (t) = e
,
y = x,


0,
y < x.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
38 / 69
Proceso de Puros Nacimientos
Función de Transición
Función de Transición
Fórmula Recursiva
Sea Xt un proceso de puros nacimientos en S = {0, 1, 2, . . . }. Entonces,

R t −λ (t−s)
y

Px,y −1 (s)ds,
y > x,
λy −1 0 e
−λ
t
x
Pxy (t) = e
,
y = x,


0,
y < x.
En particular,
Z
Px,x+1 (t) = λx
(
=
Prof. Vı́quez (UCR)
t
e
−λx+1 (t−s)
0
λx
−λx t
λx+1 −λx e
λx te −λx t ,
Z
Pxx (s)ds = λx
t
e −λx+1 (t−s) e −λx s ds
0
− e −λx+1 t
Proceso de Markov de Puros Saltos
λx+1 6= λx
λx+1 = λx .
.
8 y 22 de Abril
38 / 69
Proceso de Puros Nacimientos
Función de Transición
Prueba
Como x no conduce a x − 1, lo que a su vez implica que x no conduce a y
para todo y < x, entonces Pxy (t) = 0 para todo y < x y t ≥ 0.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
39 / 69
Proceso de Puros Nacimientos
Función de Transición
Prueba
Como x no conduce a x − 1, lo que a su vez implica que x no conduce a y
para todo y < x, entonces Pxy (t) = 0 para todo y < x y t ≥ 0.
En este caso, con µx = 0 para todo x ∈ S, la ecuación progresiva de
Kolmogorov se vuelve
0
Pxy
(t) = λy −1 Px,y −1 (t) − λy Pxy (t),
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
t ≥ 0.
8 y 22 de Abril
(2)
39 / 69
Proceso de Puros Nacimientos
Función de Transición
Prueba
Como x no conduce a x − 1, lo que a su vez implica que x no conduce a y
para todo y < x, entonces Pxy (t) = 0 para todo y < x y t ≥ 0.
En este caso, con µx = 0 para todo x ∈ S, la ecuación progresiva de
Kolmogorov se vuelve
0
Pxy
(t) = λy −1 Px,y −1 (t) − λy Pxy (t),
t ≥ 0.
(2)
Tomando y = x y recordando lo anterior, se obtiene que
0
Pxx
(t) = λx−1 Px,x−1 (t) − λx Pxx (t) = −λx Pxx (t)
=⇒ Pxx = e −λx t ,
pues Pxx (0) = 1.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
39 / 69
Proceso de Puros Nacimientos
Función de Transición
Prueba
Como x no conduce a x − 1, lo que a su vez implica que x no conduce a y
para todo y < x, entonces Pxy (t) = 0 para todo y < x y t ≥ 0.
En este caso, con µx = 0 para todo x ∈ S, la ecuación progresiva de
Kolmogorov se vuelve
0
Pxy
(t) = λy −1 Px,y −1 (t) − λy Pxy (t),
t ≥ 0.
(2)
Tomando y = x y recordando lo anterior, se obtiene que
0
Pxx
(t) = λx−1 Px,x−1 (t) − λx Pxx (t) = −λx Pxx (t)
=⇒ Pxx = e −λx t ,
pues Pxx (0) = 1.
Asumiendo que conocemos Px,y −1 (t), para y > x, se puede resolver la
ecuación diferencial ordinaria (2), obteniendo
Z t
Pxy (t) = λy −1
e −λy (t−s) Px,y −1 (s)ds,
0
pues Pxy (0) = 0 para todo y 6= x.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
39 / 69
Proceso de Puros Nacimientos
Proceso de Poisson
Definición
Proceso de Poisson
Un proceso estocástico X se llama proceso de Poisson si las siguientes
condiciones se cumplen:
1
X0 = 0.
2
El proceso X tiene incrementos independientes, i.e. si r < s ≤ t < u,
entonces Xu − Xt y Xs − Xr son variables aleatorias independientes.
3
para s < t, la variable aleatoria Xt − Xs tienen distribución de Poisson
con parámetro λ (t − s)
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
40 / 69
Proceso de Puros Nacimientos
Proceso de Poisson
Definición
Proceso de Poisson
Un proceso estocástico X se llama proceso de Poisson si las siguientes
condiciones se cumplen:
1
X0 = 0.
2
El proceso X tiene incrementos independientes, i.e. si r < s ≤ t < u,
entonces Xu − Xt y Xs − Xr son variables aleatorias independientes.
3
para s < t, la variable aleatoria Xt − Xs tienen distribución de Poisson
con parámetro λ (t − s)
NOTA: Cabe resaltar la similitud entre la definición de movimiento
Browniano y de proceso de Poisson! Ambos pertenecen a la familia de
Procesos de Levy, que forman una colección enorme de procesos, los cuales
se pueden utilizar para construir otros procesos más complicados a través
de la apropiada definición de una “integral” respecto a un proceso de Levy.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
40 / 69
Proceso de Puros Nacimientos
Proceso de Poisson
Caracterı́sticas del Proceso de Poisson
El proceso de Poisson se utiliza para modelar eventos dinámicos,
como entradas de llamadas, clientes llegando a una fila y
desintegraciones radioactivas.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
41 / 69
Proceso de Puros Nacimientos
Proceso de Poisson
Caracterı́sticas del Proceso de Poisson
El proceso de Poisson se utiliza para modelar eventos dinámicos,
como entradas de llamadas, clientes llegando a una fila y
desintegraciones radioactivas.
Xt denota el número de eventos ocurridos en el intervalo de tiempo
(0, t]. La variable Xt − Xs denota el número de eventos ocurridos en
el intervalo de tiempo (s, t].
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
41 / 69
Proceso de Puros Nacimientos
Proceso de Poisson
Caracterı́sticas del Proceso de Poisson
El proceso de Poisson se utiliza para modelar eventos dinámicos,
como entradas de llamadas, clientes llegando a una fila y
desintegraciones radioactivas.
Xt denota el número de eventos ocurridos en el intervalo de tiempo
(0, t]. La variable Xt − Xs denota el número de eventos ocurridos en
el intervalo de tiempo (s, t].
Xt es un proceso de Poisson si y solo si los tiempos de espera entre
saltos τi − τi−1 son i.i.d. con distribución exponencial de parámetro
λ.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
41 / 69
Proceso de Puros Nacimientos
Proceso de Poisson
Caracterı́sticas del Proceso de Poisson
El proceso de Poisson se utiliza para modelar eventos dinámicos,
como entradas de llamadas, clientes llegando a una fila y
desintegraciones radioactivas.
Xt denota el número de eventos ocurridos en el intervalo de tiempo
(0, t]. La variable Xt − Xs denota el número de eventos ocurridos en
el intervalo de tiempo (s, t].
Xt es un proceso de Poisson si y solo si los tiempos de espera entre
saltos τi − τi−1 son i.i.d. con distribución exponencial de parámetro
λ.
Xt es un proceso de Puros Nacimientos con tasa de nacimiento
constante λ y comenzando en 0. En particular, de la fórmula recursiva
para la función de transición tenemos que Pxx (t) = e −λt ,
0
Px,x+1
(t) = λte −λt ,
Rt
Rt
2 −λt
0
Px,x+2
(t) = λ 0 e −λ(t−s) Px,x+1 (s)ds = λ2 e −λt 0 sds = (λt) 2e .
En general, se obtiene que Pxy (t) =
Prof. Vı́quez (UCR)
(λt)y −x e −λt
(y −x)!
Proceso de Markov de Puros Saltos
8 y 22 de Abril
41 / 69
Proceso de Puros Nacimientos
Proceso de Poisson
Proceso de Poisson como Proceso de Puros Nacimientos
Tome un proceso de Puros Nacimientos Xt tal que λx = λ para todo
x ≥ 0. Nóte que Pxy (t) = P0,y −x (t)
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
42 / 69
Proceso de Puros Nacimientos
Proceso de Poisson
Proceso de Poisson como Proceso de Puros Nacimientos
Tome un proceso de Puros Nacimientos Xt tal que λx = λ para todo
x ≥ 0. Nóte que Pxy (t) = P0,y −x (t)
Distribución X
de Poisson:
X
P[Xs = x, Xt = x + y ] =
P[Xs = x]Px,x+y (t − s)
P[Xt − Xs = y ] =
x∈S
=
X
x∈S
x∈S
y
λ(t − s) e −λ(t−s)
P[Xs = x]P0,y (t − s) = P0,y (t − s) =
y!
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
42 / 69
Proceso de Puros Nacimientos
Proceso de Poisson
Proceso de Poisson como Proceso de Puros Nacimientos
Tome un proceso de Puros Nacimientos Xt tal que λx = λ para todo
x ≥ 0. Nóte que Pxy (t) = P0,y −x (t)
Distribución X
de Poisson:
X
P[Xs = x, Xt = x + y ] =
P[Xs = x]Px,x+y (t − s)
P[Xt − Xs = y ] =
x∈S
=
X
x∈S
x∈S
y
λ(t − s) e −λ(t−s)
P[Xs = x]P0,y (t − s) = P0,y (t − s) =
y!
Incrementos Independientes:
P[Xt − Xu = y , Xs − Xr = z]
X
=
P[Xr = x]Px,x+z (s − r )Px+z,x+z+w (u − s)Px+z+w ,x+z+w +y (t − u)
x,w ∈S
=
X
P[Xr = x]P0,z (s − r )P0,w (u − s)P0,y (t − u)
x,w ∈S
= P0,z (s − r )P0,y (t − u) = P[Xs − Xr = z]P[Xt − Xu = y ].
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
42 / 69
Ejemplos y Ejercicios
Proceso de Nacimiento y Muerte con 2 Estados
Ejercicio: Proceso de Nacimiento y Muerte con 2 Estados
Considere un proceso de Nacimiento y Muerte con S = {0, 1}. Suponga
que 0 y 1 son estados no-absorbentes. Como µ0 = λ1 = 0, por simplicidad
se denotará λ = λ0 y µ = µ1 . Este proceso describe un sistema en que se
está “activo” o “ocupado” (maquinas o teléfonos). Suponga que el
sistema se mantiene en el estado 0 por un tiempo exponencialmente
distribuido con parámetro λ, y en el estado 1 durante un tiempo
exponencialmente distribuido con parámetro µ.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
43 / 69
Ejemplos y Ejercicios
Proceso de Nacimiento y Muerte con 2 Estados
Ejercicio: Proceso de Nacimiento y Muerte con 2 Estados
Considere un proceso de Nacimiento y Muerte con S = {0, 1}. Suponga
que 0 y 1 son estados no-absorbentes. Como µ0 = λ1 = 0, por simplicidad
se denotará λ = λ0 y µ = µ1 . Este proceso describe un sistema en que se
está “activo” o “ocupado” (maquinas o teléfonos). Suponga que el
sistema se mantiene en el estado 0 por un tiempo exponencialmente
distribuido con parámetro λ, y en el estado 1 durante un tiempo
exponencialmente distribuido con parámetro µ.
Ejercicio: Pruebe que existe una única distribución estacionaria y que la
función de transición del proceso converge a esta distribución estacionaria.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
43 / 69
Ejemplos y Ejercicios
Proceso de Nacimiento y Muerte con 2 Estados
Distribución Estacionaria
Claramente, como
y µ > 0, el proceso es irreducible. Como S es
Pdλ >λ00 ···λ
finito, entonces x=1 µ1 ···µx−1
= µλ < ∞, por lo que se concluye que el
x
proceso es recurrente positivo.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
44 / 69
Ejemplos y Ejercicios
Proceso de Nacimiento y Muerte con 2 Estados
Distribución Estacionaria
Claramente, como
y µ > 0, el proceso es irreducible. Como S es
Pdλ >λ00 ···λ
finito, entonces x=1 µ1 ···µx−1
= µλ < ∞, por lo que se concluye que el
x
proceso es recurrente positivo.
Utilizando las fórmulas para obtener la distribución estacionaria, se tiene
que π0 = 1 y π1 = µλ . Entonces,
π(0) =
1
π0
=
π0 + π1
1+
π(1) =
π1
µ
=
π0 + π1
1+
λ
µ
=
µ
λ+µ
=
λ
.
λ+µ
y
λ
Prof. Vı́quez (UCR)
λ
µ
Proceso de Markov de Puros Saltos
8 y 22 de Abril
44 / 69
Ejemplos y Ejercicios
Proceso de Nacimiento y Muerte con 2 Estados
Función de Transición
De la ecuación regresiva de Kolmogorov para y = 0 se tiene
0
P00
(t) = −λP00 (t) + λP10 (t)
Prof. Vı́quez (UCR)
0
P10
(t) = µP00 (t) − µP10 (t).
Proceso de Markov de Puros Saltos
8 y 22 de Abril
(3)
45 / 69
Ejemplos y Ejercicios
Proceso de Nacimiento y Muerte con 2 Estados
Función de Transición
De la ecuación regresiva de Kolmogorov para y = 0 se tiene
0
P00
(t) = −λP00 (t) + λP10 (t)
0
P10
(t) = µP00 (t) − µP10 (t).
(3)
Restando estas ecuaciones se obtiene,
d
P00 (t) − P10 (t) = −(λ + µ) P00 (t) − P10 (t)
dt
=⇒ P00 (t) − P10 (t) = P00 (0) − P10 (0) e −(λ+µ)t = e −(λ+µ)t .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
45 / 69
Ejemplos y Ejercicios
Proceso de Nacimiento y Muerte con 2 Estados
Función de Transición
De la ecuación regresiva de Kolmogorov para y = 0 se tiene
0
P00
(t) = −λP00 (t) + λP10 (t)
0
P10
(t) = µP00 (t) − µP10 (t).
(3)
Restando estas ecuaciones se obtiene,
d
P00 (t) − P10 (t) = −(λ + µ) P00 (t) − P10 (t)
dt
=⇒ P00 (t) − P10 (t) = P00 (0) − P10 (0) e −(λ+µ)t = e −(λ+µ)t .
Introduciendo esto en (3) se tiene
0
P00
(t) = −λ P00 (t) − P10 (t) = −λe −(λ+µ)t
Z t
=⇒ P00 (t) = P00 (t) −
λe −(λ+µ)s ds = 1 −
0
λ
(1 − e −(λ+µ)t )
λ+µ
µ
λ
=
+
e −(λ+µ)t
λ+µ λ+µ
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
45 / 69
Ejemplos y Ejercicios
Proceso de Nacimiento y Muerte con 2 Estados
Conclusión
De la solución P00 (t) − P10 (t) = e −(λ+µ)t se obtiene el valor para P10 (t).
Los demás valores se obtienen de la siguiente manera: P11 (t) = 1 − P10 (t)
y P01 (t) = 1 − P00 (t).
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
46 / 69
Ejemplos y Ejercicios
Proceso de Nacimiento y Muerte con 2 Estados
Conclusión
De la solución P00 (t) − P10 (t) = e −(λ+µ)t se obtiene el valor para P10 (t).
Los demás valores se obtienen de la siguiente manera: P11 (t) = 1 − P10 (t)
y P01 (t) = 1 − P00 (t). En conclusión:
P00 (t) =
µ
µ
λ
+
e −(λ+µ)t −−−→
= π(0)
t→∞ λ + µ
λ+µ λ+µ
P10 (t) =
µ
µ
µ
−
e −(λ+µ)t −−−→
= π(0)
t→∞ λ + µ
λ+µ λ+µ
P01 (t) =
λ
λ
λ
−
e −(λ+µ)t −−−→
= π(1)
t→∞ λ + µ
λ+µ λ+µ
P11 (t) =
λ
µ
λ
+
e −(λ+µ)t −−−→
= π(1).
t→∞ λ + µ
λ+µ λ+µ
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
46 / 69
Ejemplos y Ejercicios
Proceso de Nacimiento y Muerte con 2 Estados
Pxy (t): Método Alternativo
Nótese que como estamos lidiando con un sistema de ecuaciones
diferenciales lineales de primer orden, entonces podemos utilizar el método
de valores propios. En particular
!
µ
λ
−λ λ
1 λ
0
0
λ+µ
λ+µ
G=
=
= Q −1 DQ.
−1
1
µ −µ
1 −µ
0 −(λ + µ)
λ+µ
λ+µ
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
47 / 69
Ejemplos y Ejercicios
Proceso de Nacimiento y Muerte con 2 Estados
Pxy (t): Método Alternativo
Nótese que como estamos lidiando con un sistema de ecuaciones
diferenciales lineales de primer orden, entonces podemos utilizar el método
de valores propios. En particular
!
µ
λ
−λ λ
1 λ
0
0
λ+µ
λ+µ
G=
=
= Q −1 DQ.
−1
1
µ −µ
1 −µ
0 −(λ + µ)
λ+µ
λ+µ
La teorı́a nos dice que la solución a P 0 (t) = GP(t), con condición inicial
P(0) = I , es
1
0
tG
tD −1
P(t) = e = Qe Q = Q
Q −1
0 e −(λ+µ)t
!
!
=
Prof. Vı́quez (UCR)
µ
λ+µ
µ
λ+µ
λ
λ+µ
λ
λ+µ
+
λ
λ+µ
−µ
λ+µ
−λ
λ+µ
µ
λ+µ
Proceso de Markov de Puros Saltos
e −(λ+µ)t
8 y 22 de Abril
47 / 69
Ejemplos y Ejercicios
Tasas de Nacimiento y Muerte
Procesos de Ramificación
Proceso de Ramificación
Considere una colección de partı́culas que generan nuevas partı́culas
independientemente. Suponga que cada partı́cula, desde que es generada,
espera un tiempo aleatorio distribuido exponencialmente con parámetro q
y luego, se divide en dos partı́cula indénticas con probabilidad p o
desaparece con probabilidad 1 − p. Xt denota el número de partı́culas
existentes en el momento t. Este proceso de Ramificación es un proceso de
Nacimiento y Muerte.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
48 / 69
Ejemplos y Ejercicios
Tasas de Nacimiento y Muerte
Procesos de Ramificación
Proceso de Ramificación
Considere una colección de partı́culas que generan nuevas partı́culas
independientemente. Suponga que cada partı́cula, desde que es generada,
espera un tiempo aleatorio distribuido exponencialmente con parámetro q
y luego, se divide en dos partı́cula indénticas con probabilidad p o
desaparece con probabilidad 1 − p. Xt denota el número de partı́culas
existentes en el momento t. Este proceso de Ramificación es un proceso de
Nacimiento y Muerte.
Proceso de Ramificación con Inmigración
Considere el proceso de Ramificación aterior. Suponga que hay ingreso de
nuevas partı́culas al sistema en tiempos aleatorios que forman un proceso
de Poisson con parámetro λ y una vez en el sistema se dividen bajo el
modelo de ramificación explicado anteriormente.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
48 / 69
Ejemplos y Ejercicios
Tasas de Nacimiento y Muerte
Procesos de Ramificación
Proceso de Ramificación
Considere una colección de partı́culas que generan nuevas partı́culas
independientemente. Suponga que cada partı́cula, desde que es generada,
espera un tiempo aleatorio distribuido exponencialmente con parámetro q
y luego, se divide en dos partı́cula indénticas con probabilidad p o
desaparece con probabilidad 1 − p. Xt denota el número de partı́culas
existentes en el momento t. Este proceso de Ramificación es un proceso de
Nacimiento y Muerte.
Proceso de Ramificación con Inmigración
Considere el proceso de Ramificación aterior. Suponga que hay ingreso de
nuevas partı́culas al sistema en tiempos aleatorios que forman un proceso
de Poisson con parámetro λ y una vez en el sistema se dividen bajo el
modelo de ramificación explicado anteriormente.
Ejercicio: Encuentre las tasas de nacimiento y muerte de ambos procesos.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
48 / 69
Ejemplos y Ejercicios
Tasas de Nacimiento y Muerte
Lemma
Mı́nimo de Variables Aleatorias Exponenciales
Sean ξ1 , . . . , ξn variables i.i.d. exponencialmente distribuidas con
respectivos parámetros α1 , . . . , αn . Entonces τ := mı́n{ξ1 , . . . , ξn } tiene
distribución exponencial con parámetro α1 + · · · + αn y
P[ξi = τ ] =
αi
,
α1 + · · · + αn
i = 1, . . . , n.
Aún más, con probabilidad 1, los ξi son todas distintas entre sı́.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
49 / 69
Ejemplos y Ejercicios
Tasas de Nacimiento y Muerte
Prueba Lemma
La primera afirmación surge de la independencia, i.e.
P[τ > t] = P[ξ1 > t, . . . , ξn > t] = P[ξ1 > t] · · · P[ξn > t] = e −α1 t · · · e −αn t
= e −(α1 +···+αn )t
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
50 / 69
Ejemplos y Ejercicios
Tasas de Nacimiento y Muerte
Prueba Lemma
La primera afirmación surge de la independencia, i.e.
P[τ > t] = P[ξ1 > t, . . . , ξn > t] = P[ξ1 > t] · · · P[ξn > t] = e −α1 t · · · e −αn t
= e −(α1 +···+αn )t
Para la segunda afirmación, defina τ̃k := mı́n{ξi / i 6= k}. Por el
Ppunto
anterior, τ̃k tiene distribución exponencial con parámetro βk = i6=k αi , a
la vez que ξk y τ̃k son independientes. Entonces,
Z ∞ Z ∞
−αk t
−βk s
P[ξk = τ ] = P[ξk ≤ τ̃k ] =
αk e
βk e
ds dt
0
t
Z ∞
αk
αk
=
=
αk e −(αk +βk )t dy =
α
+
β
α
+
·
· · + αn
1
k
k
0
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
50 / 69
Ejemplos y Ejercicios
Tasas de Nacimiento y Muerte
Prueba Lemma
La primera afirmación surge de la independencia, i.e.
P[τ > t] = P[ξ1 > t, . . . , ξn > t] = P[ξ1 > t] · · · P[ξn > t] = e −α1 t · · · e −αn t
= e −(α1 +···+αn )t
Para la segunda afirmación, defina τ̃k := mı́n{ξi / i 6= k}. Por el
Ppunto
anterior, τ̃k tiene distribución exponencial con parámetro βk = i6=k αi , a
la vez que ξk y τ̃k son independientes. Entonces,
Z ∞ Z ∞
−αk t
−βk s
P[ξk = τ ] = P[ξk ≤ τ̃k ] =
αk e
βk e
ds dt
0
t
Z ∞
αk
αk
=
=
αk e −(αk +βk )t dy =
α
+
β
α
+
·
· · + αn
1
k
k
0
Para la última afirmación, basta con
R notar que
P[ξi 6= ξj ] = 1 − P[ξi = ξj ] = 1 − {t=s} f (s, t)dsdt = 1.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
50 / 69
Ejemplos y Ejercicios
Tasas de Nacimiento y Muerte
Tasas para Proceso de Ramificación
Suponga que el sistema cuenta inicialmente con x partı́culas. Sean
ξ1 , . . . , ξx los tiempos que pasan hasta que las partı́culas se dividen o
desaparecen. Cada ξi se distribuye exponencialmente con parámetro q, por
lo que τ = mı́n{ξ1 , . . . , ξx } tiene distribución exponencial con parámetro
qx = q + · · · + q = xq.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
51 / 69
Ejemplos y Ejercicios
Tasas de Nacimiento y Muerte
Tasas para Proceso de Ramificación
Suponga que el sistema cuenta inicialmente con x partı́culas. Sean
ξ1 , . . . , ξx los tiempos que pasan hasta que las partı́culas se dividen o
desaparecen. Cada ξi se distribuye exponencialmente con parámetro q, por
lo que τ = mı́n{ξ1 , . . . , ξx } tiene distribución exponencial con parámetro
qx = q + · · · + q = xq.
La partı́cula que haya actuado en el momento τ , tiene probabilidad p de
dividirse en dos partı́culas y probabilidad 1 − p de desaparecer. Entonces,
Qx,x+1 = p
Prof. Vı́quez (UCR)
y
Qx,x−1 = 1 − p.
Proceso de Markov de Puros Saltos
8 y 22 de Abril
51 / 69
Ejemplos y Ejercicios
Tasas de Nacimiento y Muerte
Tasas para Proceso de Ramificación
Suponga que el sistema cuenta inicialmente con x partı́culas. Sean
ξ1 , . . . , ξx los tiempos que pasan hasta que las partı́culas se dividen o
desaparecen. Cada ξi se distribuye exponencialmente con parámetro q, por
lo que τ = mı́n{ξ1 , . . . , ξx } tiene distribución exponencial con parámetro
qx = q + · · · + q = xq.
La partı́cula que haya actuado en el momento τ , tiene probabilidad p de
dividirse en dos partı́culas y probabilidad 1 − p de desaparecer. Entonces,
Qx,x+1 = p
y
Qx,x−1 = 1 − p.
El estado 0 es un estado absorbente. Para los demás estados, utilizando las
fórmulas λx = qx Qx,x+1 y µx = qx Qx,x−1 , se obtiene que
λx = xqp
Prof. Vı́quez (UCR)
y
µx = xq(1 − p).
Proceso de Markov de Puros Saltos
8 y 22 de Abril
51 / 69
Ejemplos y Ejercicios
Tasas de Nacimiento y Muerte
Tasas para Proceso de Ramificación con Inmigración
Suponga que el sistema cuenta inicialmente con x partı́culas. Sean
ξ1 , . . . , ξx los tiempos que pasan hasta que las partı́culas se dividen o
desaparecen, y sea η el primer instante en que una nueva partı́cula ingresa
al sistema. η es independiente de ξi para todo i. Entonces,
τ = mı́n{ξ1 , . . . , ξx , η} tiene distribución exponencial con parámetro
qx = q + · · · + q + λ = xq + λ.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
52 / 69
Ejemplos y Ejercicios
Tasas de Nacimiento y Muerte
Tasas para Proceso de Ramificación con Inmigración
Suponga que el sistema cuenta inicialmente con x partı́culas. Sean
ξ1 , . . . , ξx los tiempos que pasan hasta que las partı́culas se dividen o
desaparecen, y sea η el primer instante en que una nueva partı́cula ingresa
al sistema. η es independiente de ξi para todo i. Entonces,
τ = mı́n{ξ1 , . . . , ξx , η} tiene distribución exponencial con parámetro
qx = q + · · · + q + λ = xq + λ.
El evento {Xτ = x + 1} sucede si una partı́cula en el sistema se divide
(τ = ξi para algún i) o si ingresa una nueva partı́cula al sistema (τ = η).
λ
Como P[τ = η] = xq+λ
, entonces,
Qx,x+1 =
λ
xq
+
p
xq + λ xq + λ
Prof. Vı́quez (UCR)
y
Qx,x−1 =
Proceso de Markov de Puros Saltos
xq
(1 − p).
xq + λ
8 y 22 de Abril
52 / 69
Ejemplos y Ejercicios
Tasas de Nacimiento y Muerte
Tasas para Proceso de Ramificación con Inmigración
Suponga que el sistema cuenta inicialmente con x partı́culas. Sean
ξ1 , . . . , ξx los tiempos que pasan hasta que las partı́culas se dividen o
desaparecen, y sea η el primer instante en que una nueva partı́cula ingresa
al sistema. η es independiente de ξi para todo i. Entonces,
τ = mı́n{ξ1 , . . . , ξx , η} tiene distribución exponencial con parámetro
qx = q + · · · + q + λ = xq + λ.
El evento {Xτ = x + 1} sucede si una partı́cula en el sistema se divide
(τ = ξi para algún i) o si ingresa una nueva partı́cula al sistema (τ = η).
λ
Como P[τ = η] = xq+λ
, entonces,
Qx,x+1 =
λ
xq
+
p
xq + λ xq + λ
y
Qx,x−1 =
xq
(1 − p).
xq + λ
Se concluye que,
λx = qx Qx,x+1 = xqp + λ
Prof. Vı́quez (UCR)
y
µx = xq(1 − p).
Proceso de Markov de Puros Saltos
8 y 22 de Abril
52 / 69
Ejemplos y Ejercicios
Función de Transición
Cadena de Cuatro Estados
Considere una cadena de cuatro estados con
infinitesimal

−1 1
0
 1 −3 1
G =
0
1 −2
0
1
1
matriz generadora

0
1
.
1
−2
Calcule la función de transición y la distribución estacionaria.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
53 / 69
Ejemplos y Ejercicios
Función de Transición
Solución: Diagonalización
Al diagonalizar se obtiene que G = QDQ −1 , donde


0 0
0
0
0 −1 0
0

D=
0 0 −3 0  ,
0 0
0 −4


1
1
0
−1/3
1
0
0
1 

Q=
1 −1/2 −1/2 −1/3 ,
1 −1/2 1/2 −1/3

Q −1
Prof. Vı́quez (UCR)

1/4 1/4 1/4
1/4
 2/3
0 −1/3 −1/3
.
=
 0
0
−1
1 
−1/4 3/4 −1/4 −1/4
Proceso de Markov de Puros Saltos
8 y 22 de Abril
54 / 69
Ejemplos y Ejercicios
Función de Transición
Solución: P(t)
P(t) =Qe tD Q −1

 
1/4 1/4 1/4 1/4
2/3 0
1/4 1/4 1/4 1/4  0
0
 
=
1/4 1/4 1/4 1/4 + −1/3 0
1/4 1/4 1/4 1/4
−1/3 0



0 0
0
0
1/12
0 0
 −3t −1/4
0
0

+
+
0 0 1/2 −1/2 e
 1/12
0 0 −1/2 1/2
1/12


1/4 1/4 1/4 1/4

1/4 1/4 1/4 1/4
t→∞

−−−→ 
1/4 1/4 1/4 1/4 = π
1/4 1/4 1/4 1/4
Prof. Vı́quez (UCR)

−1/3 −1/3
0
0 
 e −t
1/6
1/6 
1/6
1/6
Proceso de Markov de Puros Saltos

−1/4 1/12 1/12
3/4 −1/4 −1/4
 e −4t
−1/4 1/12 1/12 
−1/4 1/12 1/12
8 y 22 de Abril
55 / 69
Ejemplos y Ejercicios
Función de Transición
Proceso Lineal de Puros Nacimientos
Considere un proceso de Puros Nacimientos en {0, 1, 2, . . . } con tasas de
nacimiento λx = λx. Encuentre la función de transición para este proceso.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
56 / 69
Ejemplos y Ejercicios
Función de Transición
Proceso Lineal de Puros Nacimientos
Considere un proceso de Puros Nacimientos en {0, 1, 2, . . . } con tasas de
nacimiento λx = λx. Encuentre la función de transición para este proceso.
Utilizando la fórmula recursiva para los procesos de Puros Nacimientos, se
tiene que Pxx (t) = e −λxt , Px,x+1 = xe −λxt 1 − e λt ,
Z t
Px,x+2 (t) = (x + 1)xλ
e −(x+2)λ(t−s) e −λxs (1 − e −λs )ds
0
Z t
−(x+2)λt
= (x + 1)xλe
e 2λs (1 − e −λs )ds
0
Z t
−(x+2)λt
= (x + 1)xλe
e λs (e λs − 1)ds
0
λt − 1)2
x + 1 −λxt
(e
−(x+2)λt
=
e
(1 − e −λt )2
= (x + 1)xλe
2λ
2
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
56 / 69
Ejemplos y Ejercicios
Función de Transición
Proceso Lineal de Puros Nacimientos
Considere un proceso de Puros Nacimientos en {0, 1, 2, . . . } con tasas de
nacimiento λx = λx. Encuentre la función de transición para este proceso.
Utilizando la fórmula recursiva para los procesos de Puros Nacimientos, se
tiene que Pxx (t) = e −λxt , Px,x+1 = xe −λxt 1 − e λt ,
Z t
Px,x+2 (t) = (x + 1)xλ
e −(x+2)λ(t−s) e −λxs (1 − e −λs )ds
0
Z t
−(x+2)λt
= (x + 1)xλe
e 2λs (1 − e −λs )ds
0
Z t
−(x+2)λt
= (x + 1)xλe
e λs (e λs − 1)ds
0
λt − 1)2
x + 1 −λxt
(e
−(x+2)λt
=
e
(1 − e −λt )2
= (x + 1)xλe
2λ
2
La fórmula general (probada por inducción) serı́a
y − 1 −λxt
Pxy (t) =
e
(1 − e −λt )y −x .
y −x
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
56 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Proceso de Colas con Infinitos Servidores
Descripción del Modelo
Suponga que los clientes arriban de acuerdo a un proceso de Poisson con
parámetro λ, y cada cliente es atendido en el momento en que llega (i.e.,
hay una cantidad infinita de servidores). Suponga que los tiempos de
servicio son independientes y exponencialmente distribuidos con parámetro
µ. Xt denota el número de clientes que están siendo servidos en el tiempo
t.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
57 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Proceso de Colas con Infinitos Servidores
Descripción del Modelo
Suponga que los clientes arriban de acuerdo a un proceso de Poisson con
parámetro λ, y cada cliente es atendido en el momento en que llega (i.e.,
hay una cantidad infinita de servidores). Suponga que los tiempos de
servicio son independientes y exponencialmente distribuidos con parámetro
µ. Xt denota el número de clientes que están siendo servidos en el tiempo
t.
Noten que el proceso de Colas con Infinitos Servidores es un caso especial
del proceso de Ramificación con Inmigración, donde q = µ y p = 0 (no
hay probabilidad de división, solo de morir). En particular, y por lo
calculado anteriormente,
Qx,x+1
Prof. Vı́quez (UCR)
λx = λ
λ
=
λ + xµ
y
µx = xµ
y
Qx,x−1 =
Proceso de Markov de Puros Saltos
xµ
λ + xµ
8 y 22 de Abril
57 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Función de Transición
Función de Transición Pxy (t)
La función de transición para el proceso de Colas con Infinitos Servidores es
mı́n{x,y } Pxy (t) =
X
k=0
Prof. Vı́quez (UCR)
x−k
x −kµt
e
1 − e −µt
k
λ
µ
1 − e −µt
Proceso de Markov de Puros Saltos
y −k
(y − k)!
e
λ
−µ
(1−e −µt )
8 y 22 de Abril
58 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Función de Transición
Función de Transición Pxy (t)
La función de transición para el proceso de Colas con Infinitos Servidores es
mı́n{x,y } Pxy (t) =
X
k=0
x−k
x −kµt
e
1 − e −µt
k
λ
µ
1 − e −µt
y −k
(y − k)!
e
λ
−µ
(1−e −µt )
Esta función de transición es difı́cil de ser obtenida a través de las
ecuaciones de Kolmogorov, y será deducida a través de argumentos
probabilı́sticos.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
58 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Variables
Sea Yt el número de clientes que llegan en el tiempo (0, t]. Por hipótesis,
las llegadas en (0, t] son una Poisson con parámetro λt.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
59 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Variables
Sea Yt el número de clientes que llegan en el tiempo (0, t]. Por hipótesis,
las llegadas en (0, t] son una Poisson con parámetro λt.
τi es el tiempo en que es atendido el cliente que llegó en el i-ésimo arribo.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
59 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Variables
Sea Yt el número de clientes que llegan en el tiempo (0, t]. Por hipótesis,
las llegadas en (0, t] son una Poisson con parámetro λt.
τi es el tiempo en que es atendido el cliente que llegó en el i-ésimo arribo.
(1)
Sea Xt el número de clientes que llegan en (0, t] y que todavı́a están
siendo atendidos. Sea x el número de clientes que están presentes
(2)
inicialmente, y Xt la cantidad de esos clientes que aún están siendo
(1)
(2)
atendidos. Xt y Xt son independientes.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
59 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Variables
Sea Yt el número de clientes que llegan en el tiempo (0, t]. Por hipótesis,
las llegadas en (0, t] son una Poisson con parámetro λt.
τi es el tiempo en que es atendido el cliente que llegó en el i-ésimo arribo.
(1)
Sea Xt el número de clientes que llegan en (0, t] y que todavı́a están
siendo atendidos. Sea x el número de clientes que están presentes
(2)
inicialmente, y Xt la cantidad de esos clientes que aún están siendo
(1)
(2)
atendidos. Xt y Xt son independientes.
µt
Defina pt = 1−e
µt .
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
59 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Variables
Sea Yt el número de clientes que llegan en el tiempo (0, t]. Por hipótesis,
las llegadas en (0, t] son una Poisson con parámetro λt.
τi es el tiempo en que es atendido el cliente que llegó en el i-ésimo arribo.
(1)
Sea Xt el número de clientes que llegan en (0, t] y que todavı́a están
siendo atendidos. Sea x el número de clientes que están presentes
(2)
inicialmente, y Xt la cantidad de esos clientes que aún están siendo
(1)
(2)
atendidos. Xt y Xt son independientes.
µt
Defina pt = 1−e
µt .
Dado Yt = k, los tiempos de las primeras k llegadas se distribuyen como k
variables aleatorias (Ui ) i.i.d con distribución uniforme en (0, t]. Además,
si un cliente que llega en un tiempo s ∈ (0, t], tiene probabilidad
Z ∞
P[τ > t | U = s] =
µe −µu du = e −µ(t−s) ,
t−s
de estar aún siendo atendido.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
59 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Distribución de X (1) Dado Yt , y de X (2)
h
i
(1)
P Xt = n | Yt = k
k =
P Ui ∈ (0, t], 0 ≤ i ≤ k, τj > t, 0 ≤ j ≤ n, τl < t, n + 1 ≤ l ≤ k
n
n k−n
k
P U ∈ (0, t], τ > t
P U ∈ (0, t], τ < t
=
n
|
{z
}
k−n
=
1−P U∈(0,t],τ >t
n k−n
Z t
Z t
k
ds
ds
1−
P[τ > t | U = s]
=
P[τ > t | U = s]
t
t
n
0
0
Z t
n k−n
Z t
k
ds
ds
=
e −µ(t−s)
1−
e −µ(t−s)
n
t
t
0
0
n k−n µt
µt
k
1−e
1−e
k n
=
=
1−
p (1 − pt )k−n
n
µt
µt
n t
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
60 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Distribución de X (1) Dado Yt , y de X (2)
h
i
(1)
P Xt = n | Yt = k
k =
P Ui ∈ (0, t], 0 ≤ i ≤ k, τj > t, 0 ≤ j ≤ n, τl < t, n + 1 ≤ l ≤ k
n
n k−n
k
P U ∈ (0, t], τ > t
P U ∈ (0, t], τ < t
=
n
|
{z
}
k−n
=
1−P U∈(0,t],τ >t
n k−n
Z t
Z t
k
ds
ds
1−
P[τ > t | U = s]
=
P[τ > t | U = s]
t
t
n
0
0
Z t
n k−n
Z t
k
ds
ds
=
e −µ(t−s)
1−
e −µ(t−s)
n
t
t
0
0
n k−n µt
µt
k
1−e
1−e
k n
=
=
1−
p (1 − pt )k−n
n
µt
µt
n t
h
i
(2)
x−k
Igualmente se deduce que P Xt = n = kx e −µtx (1 − e −µt )
.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
60 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Distribución de X (1)
∞
h
i X
h
i
(1)
(1)
P Xt = n =
P Xt = n, Yt = k
=
k=n
∞
X
h
i
(1)
P [Yt = k] P Xt = n | Yt = k
k=n
∞
X
k!
(λt)k e −λt
·
p n (1 − pt )k−n
k!
n!(k − n)! t
k=n
k−n
∞
(λtpt )n e −λt X λt(1 − pt )
=
n!
(k − n)!
k=n
m
∞
(λtpt )n e −λt X λt(1 − pt )
(λtpt )n e −λt λt(1−pt )
=
=
e
n!
m!
n!
m=0
n
λ
−µt
1
−
e
n
−λtp
t
µ
(λtpt ) e
− λ (1−e −µt )
=
=
e µ
n!
n!
=
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
61 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Pxy (t)
(1)
La fórmula final surge de notar que Xt = Xt
(2)
+ Xt , y que
mı́n{x,y }
Pxy (t) = Px [Xt = y ] =
X
(2)
= k]P[Xt
(2)
= k]P[Xt
Px [Xt
(1)
= y − k | Xt
(2)
(1)
= y − k]
= k]
k=0
mı́n{x,y }
=
X
Px [Xt
k=0
mı́n{x,y } =
X
k=0
Prof. Vı́quez (UCR)
x−k
x −kµt
e
1 − e −µt
k
y −k
λ
−µt
1
−
e
µ
− λ (1−e −µt )
×
e µ
.
(y − k)!
Proceso de Markov de Puros Saltos
8 y 22 de Abril
62 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Pxy (t)
(1)
La fórmula final surge de notar que Xt = Xt
(2)
+ Xt , y que
mı́n{x,y }
Pxy (t) = Px [Xt = y ] =
X
(2)
= k]P[Xt
(2)
= k]P[Xt
Px [Xt
(1)
= y − k | Xt
(2)
(1)
= y − k]
= k]
k=0
mı́n{x,y }
=
X
Px [Xt
k=0
mı́n{x,y } =
X
k=0
Nótese que lı́mt→∞ Pxy (t) =
Prof. Vı́quez (UCR)
x−k
x −kµt
e
1 − e −µt
k
y −k
λ
−µt
1
−
e
µ
− λ (1−e −µt )
×
e µ
.
(y − k)!
(λ/µ)y e −λ/µ
y!
?
z}|{
= π(y ).
Proceso de Markov de Puros Saltos
8 y 22 de Abril
62 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Distribución Estacionaria
Irreducibilidad: El proceso de Colas con Infinitos Servidores es un
proceso de Nacimiento y Muerte que es claramente irreducible
(λx = λ > 0 y µx = xµ > 0).
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
63 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Distribución Estacionaria
Irreducibilidad: El proceso de Colas con Infinitos Servidores es un
proceso de Nacimiento y Muerte que es claramente irreducible
(λx = λ > 0 y µx = xµ > 0).
Recurrencia Positiva: Utilizando la fórmula para verificar si el
proceso es recurrente positivo, se tiene que
∞
∞
∞
X
X
λ0 · · · λx−1 X λx
(λ/µ)x
=
= e λ/µ − 1 < ∞.
=
µ1 · · · µx
x!µx
x!
x=1
x=1
x=1
Por lo tanto, el proceso de Colas con Infinitos Servidores es
Irreducible y Recurrente Positivo.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
63 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Distribución Estacionaria
Irreducibilidad: El proceso de Colas con Infinitos Servidores es un
proceso de Nacimiento y Muerte que es claramente irreducible
(λx = λ > 0 y µx = xµ > 0).
Recurrencia Positiva: Utilizando la fórmula para verificar si el
proceso es recurrente positivo, se tiene que
∞
∞
∞
X
X
λ0 · · · λx−1 X λx
(λ/µ)x
=
= e λ/µ − 1 < ∞.
=
µ1 · · · µx
x!µx
x!
x=1
x=1
x=1
Por lo tanto, el proceso de Colas con Infinitos Servidores es
Irreducible y Recurrente Positivo.
x
Distribución Estacionaria: Sabiendo que πx = (λ/µ)
se obtiene,
x!
πx
π(x) = P∞
y =0 πy
Prof. Vı́quez (UCR)
=
(λ/µ)x
x!
P∞ (λ/µ)y
y =0
y!
Proceso de Markov de Puros Saltos
=
(λ/µ)x −λ/µ
e
.
x!
8 y 22 de Abril
63 / 69
Ejemplos y Ejercicios
Proceso de Colas con Infinitos Servidores
Prueba: Distribución Estacionaria
Irreducibilidad: El proceso de Colas con Infinitos Servidores es un
proceso de Nacimiento y Muerte que es claramente irreducible
(λx = λ > 0 y µx = xµ > 0).
Recurrencia Positiva: Utilizando la fórmula para verificar si el
proceso es recurrente positivo, se tiene que
∞
∞
∞
X
X
λ0 · · · λx−1 X λx
(λ/µ)x
=
= e λ/µ − 1 < ∞.
=
µ1 · · · µx
x!µx
x!
x=1
x=1
x=1
Por lo tanto, el proceso de Colas con Infinitos Servidores es
Irreducible y Recurrente Positivo.
x
Distribución Estacionaria: Sabiendo que πx = (λ/µ)
se obtiene,
x!
πx
π(x) = P∞
y =0 πy
=
(λ/µ)x
x!
P∞ (λ/µ)y
y =0
y!
=
(λ/µ)x −λ/µ
e
.
x!
Se comprueba que la distribución estacionaria es una distribución de
Poisson con parámetro λ/µ, y que lı́mt→∞ Pxy (t) = π(y ).
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
63 / 69
Ejemplos y Ejercicios
Proceso de Colas con N Servidores
Proceso de Colas con N Servidores
Descripción del Modelo
Suponga que los clientes arriban de acuerdo a un proceso de Poisson con
parámetro λ. Existen N servidores, donde N es positivo. Suponga que los
tiempos de servicio son independientes y exponencialmente distribuidos
con parámetro µ, y cuando hay más de N clientes buscando ser atendidos,
el excedente de clientes forman una cola y esperan hasta que llegue su
turno en uno de los N servidores. Xt denota el número de clientes que
están en el sistema en el tiempo t, ya sea siendo atendidos o esperando a
ser atendidos.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
64 / 69
Ejemplos y Ejercicios
Proceso de Colas con N Servidores
Proceso de Colas con N Servidores
Descripción del Modelo
Suponga que los clientes arriban de acuerdo a un proceso de Poisson con
parámetro λ. Existen N servidores, donde N es positivo. Suponga que los
tiempos de servicio son independientes y exponencialmente distribuidos
con parámetro µ, y cuando hay más de N clientes buscando ser atendidos,
el excedente de clientes forman una cola y esperan hasta que llegue su
turno en uno de los N servidores. Xt denota el número de clientes que
están en el sistema en el tiempo t, ya sea siendo atendidos o esperando a
ser atendidos.
Encuentre los parámetos infinitesimales de este proceso, determine si es
irreducible, y cuando es transiente, recurrente nulo o recurrente positivo; y
encuentre la distribución estacionaria en el caso en el que el proceso es
irreducible y recurrente positivo.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
64 / 69
Ejemplos y Ejercicios
Proceso de Colas con N Servidores
Tasas de Nacimiento y Muerte, e Irreducibilidad
Noten que el proceso de Colas con N Servidores es un proceso de
Nacimiento y Muerte en {0, 1, 2, . . . }, con tasas de nacimiento λx = λ, y
tasas de muerte
(
xµ
0≤x <N
µx =
Nµ
N ≤ x.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
65 / 69
Ejemplos y Ejercicios
Proceso de Colas con N Servidores
Tasas de Nacimiento y Muerte, e Irreducibilidad
Noten que el proceso de Colas con N Servidores es un proceso de
Nacimiento y Muerte en {0, 1, 2, . . . }, con tasas de nacimiento λx = λ, y
tasas de muerte
(
xµ
0≤x <N
µx =
Nµ
N ≤ x.
Como λx > 0 y µx > 0, el proceso es irreducible.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
65 / 69
Ejemplos y Ejercicios
Proceso de Colas con N Servidores
Transiente, Recurrente Nulo o Recurrente Positivo
Transiente: El proceso es transiente si y solo si
∞
X
µ1 · · · µx
x=1
λ1 · · · λx
=
N−1
X
x!(µ/λ)x + N!(Nµ/λ)N
x=1
(Nµ/λ)x−N < ∞.
x=N
P
x
Esto sucede si y solo si ∞
x=0 (Nµ/λ) =
decir, si y solo si λ > Nµ.
Prof. Vı́quez (UCR)
∞
X
1−lı́mx→∞ (Nµ/λ)x
1−(Nµ/λ)
Proceso de Markov de Puros Saltos
< ∞, es
8 y 22 de Abril
66 / 69
Ejemplos y Ejercicios
Proceso de Colas con N Servidores
Transiente, Recurrente Nulo o Recurrente Positivo
Transiente: El proceso es transiente si y solo si
∞
X
µ1 · · · µx
x=1
λ1 · · · λx
=
N−1
X
x!(µ/λ)x + N!(Nµ/λ)N
x=1
∞
X
(Nµ/λ)x−N < ∞.
x=N
P
1−lı́mx→∞ (Nµ/λ)x
x
< ∞, es
Esto sucede si y solo si ∞
x=0 (Nµ/λ) =
1−(Nµ/λ)
decir, si y solo si λ > Nµ.
Recurernte Positivo: El proceso es recurrente positivo si y solo si
∞
X
λ0 · · · λx−1
x=1
µ 1 · · · µx
=
N−1
X
x=1
∞
(λ/µ)x
(λ/Nµ)N X
+
(λ/Nµ)x−N < ∞.
x!
N!
P∞
Esto sucede si y solo si x=0 (λ/Nµ)x =
decir, si y solo si λ < Nµ.
Prof. Vı́quez (UCR)
x=N
1−lı́mx→∞ (λ/Nµ)x
1−(λ/Nµ)
Proceso de Markov de Puros Saltos
< ∞, es
8 y 22 de Abril
66 / 69
Ejemplos y Ejercicios
Proceso de Colas con N Servidores
Transiente, Recurrente Nulo o Recurrente Positivo
Transiente: El proceso es transiente si y solo si
∞
X
µ1 · · · µx
x=1
λ1 · · · λx
=
N−1
X
x!(µ/λ)x + N!(Nµ/λ)N
x=1
∞
X
(Nµ/λ)x−N < ∞.
x=N
P
1−lı́mx→∞ (Nµ/λ)x
x
< ∞, es
Esto sucede si y solo si ∞
x=0 (Nµ/λ) =
1−(Nµ/λ)
decir, si y solo si λ > Nµ.
Recurernte Positivo: El proceso es recurrente positivo si y solo si
∞
X
λ0 · · · λx−1
x=1
µ 1 · · · µx
=
N−1
X
x=1
∞
(λ/µ)x
(λ/Nµ)N X
+
(λ/Nµ)x−N < ∞.
x!
N!
P∞
x=N
x
x→∞ (λ/Nµ)
Esto sucede si y solo si x=0 (λ/Nµ)x = 1−lı́m1−(λ/Nµ)
< ∞, es
decir, si y solo si λ < Nµ.
Recurrente Nulo: El proceso es recurrente nulo si y solo si λ = Nµ.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
66 / 69
Ejemplos y Ejercicios
Proceso de Colas con N Servidores
Distribución Estacionaria
De la fórmula πx =
λ0 ···λx−1
µ1 ···µx ,
πx =
Prof. Vı́quez (UCR)
se obtiene que
( (λ/µ)x
0 ≤ x < N,
x!
(λ/µ)x
N!N x−N
N ≤ x.
Proceso de Markov de Puros Saltos
8 y 22 de Abril
67 / 69
Ejemplos y Ejercicios
Proceso de Colas con N Servidores
Distribución Estacionaria
De la fórmula πx =
λ0 ···λx−1
µ1 ···µx ,
πx =
se obtiene que
( (λ/µ)x
0 ≤ x < N,
x!
(λ/µ)x
N!N x−N
N ≤ x.
Fijando
K=
∞
X
πx =
x=0
=
N−1
X
x=0
N−1
X
x=0
(λ/µ)x
x!
∞
(λ/Nµ)N X
(λ/µ)x
+
(λ/Nµ)x−N
x!
N!
+
x=N
(λ/Nµ)N
N! 1 − (Nµ/λ)
,
se concluye que si λ < Nµ, la distribución estacionaria es
( 1 (λ/µ)x
0 ≤ x < N,
x!
π(x) = K (λ/µ)
x
1
N ≤ x.
K N!N x−N
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
67 / 69
Ejemplos y Ejercicios
Proceso de Colas con N Servidores
References
Hoel, P., Port, S., Stone, C (1987)
Introduction to Stocastic Processes.
Waveland Press, USA.
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
68 / 69
Ejemplos y Ejercicios
Proceso de Colas con N Servidores
Final de clase
Prof. Vı́quez (UCR)
Proceso de Markov de Puros Saltos
8 y 22 de Abril
69 / 69