CADENAS DE MARKOV DE PARAMETRO CONTINUO Rosario

CADENAS DE MARKOV DE PARÁMETRO
CONTINUO
Rosario Romera
Febrero 2009
1.
Nociones básicas
Para las cadenas de Markov con parámetro de tiempo discreto hemos visto que la matriz de transición en n etapas puede ser expresada en términos de la matriz de transición
en una etapa P . En el caso continuo el papel homólogo a la matriz de transición P lo
juega, considerando unidades in…nitesimales de tiempo entre transiciones, dt, una matriz
Q llamada de tasas de transición, to generador in…nitesimal de la cadena.
De…nición
El proceso estocástico fXt gt 0 , con conjunto de estados numerable S Z+ es una Cadena
de Markov con parámetro de tiempo continuo si 8s; t 0, y 8i; j, tales que Xk 2 Z+ se
cumple que:
P (Xt+s = j=Xs = i; Xk = xk
De…nición
El proceso estocástico fXt gt
0
;
0
k < s) = P (Xt+s = j=Xs = i)
es una Cadena de Markov homogénea. Si:
P (Xt+s = j=Xs = i) = P (Xt = j=X0 = i)
8s
0
Observación
Si i = variable aleatoria “tiempo en el estado i hasta transición al estado j, con j 2 S,
y j 6= i”, entonces:
P(
esto es,
i
i
> s + t=
i
> s)
P(
es Markoviana lo cual implica que
i
i
> t)
8s; t
0
es Exponencial.
Observación: Caracterización de una Cadena de Markov con parámetro
continuo
Toda Cadena de Markov con parámetro continuo cada vez que entra en un estado
i 2 S veri…ca
1
1.
exp(vi ), esto es, la distribución del tiempo que permanece antes de transitar a
i
otro estado es exponencial.
2. cuando abandona
P el estado i, si pij = P (transitar a j/ el proceso está en i), entonces
veri…ca que:
pij = 1
j6=i
Para realizar el estudio distribucional de la cadena, vamos a introducir el concepto de
transición instantánea (en un intervalo in…nitesimal) y la probabilidad de que ello suceda.
De…nición: Tasas de Transición
Probabilidad instantánea con la que el proceso realiza una transición de los estados i ! j,
dada por:
qij = i pij
8i 6= j
P
Observación: i = qij 8i
j
De…nicion: Un estado i 2 S se llama absorbente si i = 0, estable si 0 <
instantáneo si i =
P1.
Si i < 1 y i = j6=i qij entonces el estado i se llama estable o regular.
i
< 1,
Comentario
1. La tasa de Permanencia en el estado i viene representada por qij que será un valor negativo porque la probabilidad de permanecer en el mismo estado decrece al
aumentar t.
2. Se impone 0
i
< 1, esto es, se excluyen estados instantáneos con
i
= 1.
3. Se dice que fXt gt 0 es Cadena Markov regular si el número de transiciones en tiempo
…nito es una cantidad …nita.
Contraejemplo: pi , i + 1 = 1 con
i
= i2
Para realizar el estudio distribucional de la cadena, vamos a introducir el concepto de
transición instantánea (en un intervalo in…nitesimal) y la probabilidad de que ello suceda.
De…nición: Probabilidades de transición en tiempo t
Denotaremos la probabilidad de transición del estado i al estado j en un intervalo de
longitud t, donde s; t 0, por
pij (t) = P fXt+s = j=Xs = ig;
Pij = jjpij (t)jj matriz de transición
Lema
1. l mt!0
1 pii (t)
t
2. l mt!0
pij (t)
t
=
= qij
(
i
;
qii )
i 6= j
2
3. Ecuación de Chapman-Kolmogorov en tiempo continuo. Para todos i; j 2 S
y para cualquier s; t 0:
X
pij (t + s) =
pik (t) pkj (s)
k2S
Teorema: Ecuaciones Diferenciales de Kolmogorov
Supongamos que i < 1 para cada i 2 S entonces las probabilidades de transición pij (t)
son diferenciables para todo t 0 y todos i; j 2 S. Es más:
P
qik pkj (t)
(Backward equation)
1. p0ij (t) =
i pij (t)
k6=i
2. Pij0 (t) =
P
qkj pik (t)
(Forward equation)
j pij (t)
k6=j
Demostración
A partir del apartado 3 del Lema:
X
pik (u)pkj (t)
pij (t + u) pij (t) =
[1
pii (u)]:pij (t)
k6=i
formando el límite del cociente incremental
pij (t + u)
u!0
u
lm
pij (t)
= :::: =
X
pik (u)
u!0
u
pkj (t): l m
k6=i
Lema: (1) )
X
X
qik pkj (t)
qik pkj (t) + qii pij (t) =
p0ij (t) =
k6=i
)
k
Análogamente
Lema: (3) )
pij (t + u)
pij (t) =
X
pik (t)pkj (u)
pij (t):
i
(1) BACKWARD
[1
pjj (u)]:pij (t)
k6=j
de donde
pij (t + u)
u!0
u
lm
Lema: (1) )
p0ij (t) =
X
pij (t)
= ::: =
k6=j
pik (t)qkj + pij (t)qjj =
k6=j
X
X
k
pkj (u)
u!0
u
pik (t) l m
pik (t)qkj
)
En términos matriciales
P 0 (t) = Q:P (t) (Backward)
3
pij (t)
j
(2)FORWARD
P 0 (t) = P (t):Q (Forward)
Las condiciones iniciales para ambos conjuntos de ecuaciones son P (0) = I
Formalmente, la solución de los conjuntos de ecuaciones diferenciales de Kolmogorov
puede ser dada como:
1 i i
X
tQ
P (t) = eQ:t =
i!
i=0
Cuando Q es una matriz de dimensión …nita, la serie anterior es convergente y es
la única solución para los dos sistemas de ecuaciones. Si Q es de dimensión in…nita no
podemos a…rmar nada.
Supongamos que Q es un matriz de dimensión …nita y diagonalizable. Supongamos además
que 0 ; 1 ; : : : ; n son los valores propios de Q. Entonces existe una matriz A tal que
0
B
Q = A: @
y en tal caso
0
B
P (t) = A @
0
..
C
A :A
.
0
n
0t
e
1
0
0
..
.
0
e
nt
Probabilidades Límite:
1
1
C
A :A
1
Una Cadena de Markov con tiempo continuo es un Proceso Semi-Markoviano con
exponencial ( i ) para todo i.
Entonces
Si P = jjpij
que
i
jj es irreducible, aperiódica y recurrente positiva ( ergódica) se deduce
)
j
pj = l m pij (t) = P
t!1
=
j
i= i
i
siendo f j g la solución de:
= P
j = 1
Proceso de Nacimiento y Muerte
Es una Cadena de Markov en tiempo continuo con S = Z+ tal que qij = 0, si ji jj > 1.
i
i
Sean:
= qi;i+1 , con i
= qi;i 1 , con i
0
1
4
Observación: Como
i
=
X
)
qij
j
siendo qij =
[
i
=
i
+
i]
i 6= j, entonces:
i pij ;
i
pi;i+1 =
=1
i+
pi;i
1
i
Distribución límite:
Ecuaciones de balance
0 p0
=
p
n n =
)
1 p1
n 1 pn 1
+
n+1 pn+1
n pn
ya que:
ESTADO TASA ABANDONO
0
0 p0
n>0
( n + n )pn
TASA INGRESO
1 p1
p
+
n 1 pn 1
n+1 n+1
Resolviendo las ecuaciones de balance:
0
p1 =
p0
1
::: = :::
n n
si
X
pj = 1
j
)
Ejemplos:
:::
1:::
n 1 n 2
pn =
8
>
>
<
)
1 0
:p0
2 1
1 = p0 + p0
1
X
:::
n:::
n 1
1
p0 =
1
P
1
nQ1
>
>
: pn =
con
1 2 ::: n
i=0
i
i=0
con
p0
1. Cola M/M/1
n
=
,
n
=
si = < 1 su distribución límite es Geom
2. Cola M/M/s
Proceso de Nacimiento y Muerte con
n
=
n
n
s
5
=
1
1
P
1
Qn
Es Proceso de Nacimiento y Muerte con
1
1
0 1 ::: n 1
i=
0
con n > 0
n s
n>s
<1
n>1
3. Cola M/M/1/N
Sean
n
=
con n
1
n
=
(N
n) n N
0
n>N
Ejemplo
Una máquina puede fallar a causa de dos situaciones diferentes. La probabilidad de que
la máquina falle en el intervalo de tiempo (t; t + h) a causa de cualquiera de las dos
situaciones es en cada caso h + o(h).
Luego de la falla la máquina es reparada. El tiempo que dura la reparación es una variable
aleatoria con distribución exponencial con parámetro . Calcular la probabilidad de que
en el tiempo t la máquina se encuentre funcionando.
Solución
Xt = .estado de la máquina en el tiempo t".
(Xt )t es una cadena de Markov con conjunto de estados S = f0; 1; 2g donde
estado 0: "máquina funciona"
estado 1: "máquina fuera de servicio a causa de la primera situación"
estado 2: "máquina fuera de servicio a causa de la segunda situación"
En este caso tenemos como generador in…nitesimal de la cadena a la matriz:
0
1
2
0 A
Q=@
0
De donde
p00 (t) =
1
+2 e
t
6
con
=2 +