Cadenas de Nacimiento y Muerte, Colas y Ramificación

Cadenas de Nacimiento y Muerte, Colas y Ramificación
Prof. Vı́quez
CA406
Universidad de Costa Rica
[email protected]
Martes 1 y Viernes 4 de Abril
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
1 / 49
Cadenas de Nacimiento y Muerte
Definición y Ejemplos
Cadenas de Nacimiento y Muerte
Considere una cadena de Markov con espacio de estados S = {0, 1, 2, . . . }
o S = {0, 1, 2, . . . , d}, y de manera que si está en x, la cadena solo se
puede ir a x − 1, x o x + 1 en un paso. La función de transición está dada
por


qx ,
y = x − 1,



r ,
y = x,
x
P(x, y ) =
px ,
y = x + 1,



0,
de otro modo,
donde px , qx y rx son no-negativos tal que px + rx + qx = 1.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
2 / 49
Cadenas de Nacimiento y Muerte
Definición y Ejemplos
Cadenas de Nacimiento y Muerte
Considere una cadena de Markov con espacio de estados S = {0, 1, 2, . . . }
o S = {0, 1, 2, . . . , d}, y de manera que si está en x, la cadena solo se
puede ir a x − 1, x o x + 1 en un paso. La función de transición está dada
por


qx ,
y = x − 1,



r ,
y = x,
x
P(x, y ) =
px ,
y = x + 1,



0,
de otro modo,
donde px , qx y rx son no-negativos tal que px + rx + qx = 1.
Se conoce ası́ por que se aplica a ejemplos en los que los estados
representa una población, y pasar de x a x + 1 significa un nacimiento,
ası́ como ir de x a x − 1 es una muerte.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
2 / 49
Cadenas de Nacimiento y Muerte
Definición y Ejemplos
Cadenas de Nacimiento y Muerte
Considere una cadena de Markov con espacio de estados S = {0, 1, 2, . . . }
o S = {0, 1, 2, . . . , d}, y de manera que si está en x, la cadena solo se
puede ir a x − 1, x o x + 1 en un paso. La función de transición está dada
por


qx ,
y = x − 1,



r ,
y = x,
x
P(x, y ) =
px ,
y = x + 1,



0,
de otro modo,
donde px , qx y rx son no-negativos tal que px + rx + qx = 1.
Se conoce ası́ por que se aplica a ejemplos en los que los estados
representa una población, y pasar de x a x + 1 significa un nacimiento,
ası́ como ir de x a x − 1 es una muerte.
PRECAUCIÓN: Noten que p0 puede ser positivo, aún cuando no hay
“población”, por lo que el nombre puede desviar de la idea real.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
2 / 49
Cadenas de Nacimiento y Muerte
Definición y Ejemplos
Ejemplo 1: Caminata Aleatoria
Sean ξ1 , ξ2 , . . . , variables aleatorias iid, con densidad común f . Sea X0
una variable aleatoria independiente de los ξ 0 s, y defina
Xn := X0 + ξ1 + · · · + ξn . La secuencia Xn , con valores en los enteros, se
conoce como Caminata Aleatoria y es una cadena de Markov con función
de transición dada por P(x, y ) = f (y − x).
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
3 / 49
Cadenas de Nacimiento y Muerte
Definición y Ejemplos
Ejemplo 1: Caminata Aleatoria
Sean ξ1 , ξ2 , . . . , variables aleatorias iid, con densidad común f . Sea X0
una variable aleatoria independiente de los ξ 0 s, y defina
Xn := X0 + ξ1 + · · · + ξn . La secuencia Xn , con valores en los enteros, se
conoce como Caminata Aleatoria y es una cadena de Markov con función
de transición dada por P(x, y ) = f (y − x).
Para que una caminata aleatoria sea una cadena de nacimiento y muerte,
es necesario de que no pueda pasar del estado x al estado y > x + 1 en un
paso, i.e., f (1) = p, f (0) = r y f (−1) = q. La función de transición serı́a:


q
if y = x − 1,



r
if y = x,
P(x, y ) =

p
if y = x + 1,



0
de lo contrario.
Además se requiere que el espacio de estados sea S = {0, 1, . . . }, por lo
que se necesita imponer la condición de que P(0, x) = 0 para todo x < 0.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
3 / 49
Cadenas de Nacimiento y Muerte
Definición y Ejemplos
Ejemplo 2: Cadena de Ehrenfest
Suponga que se tienen dos cajas, etiquetadas 1 y 2; y d bolas etiquetadas
1, . . . , d. Inicialmente algunas bolas están en la caja 1 y las restantes están
en la caja 2. Se selecciona un entero aleatoriamente, y se pasa la bola
etiquetada con ese entero a la otra caja. Se repite este proceso
indefinidamente con selecciones independientes. Sea Xn el número de bolas
en la caja 1 después de n experimentos. Xn es una cadena de Markov en
S = {0, 1, . . . , d} con función de transición dada por

x

if y = x − 1,
d
P(x, y ) = 1 − dx
if y = x + 1,


0
de lo contrario.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
4 / 49
Cadenas de Nacimiento y Muerte
Definición y Ejemplos
Ejemplo 2: Cadena de Ehrenfest
Suponga que se tienen dos cajas, etiquetadas 1 y 2; y d bolas etiquetadas
1, . . . , d. Inicialmente algunas bolas están en la caja 1 y las restantes están
en la caja 2. Se selecciona un entero aleatoriamente, y se pasa la bola
etiquetada con ese entero a la otra caja. Se repite este proceso
indefinidamente con selecciones independientes. Sea Xn el número de bolas
en la caja 1 después de n experimentos. Xn es una cadena de Markov en
S = {0, 1, . . . , d} con función de transición dada por

x

if y = x − 1,
d
P(x, y ) = 1 − dx
if y = x + 1,


0
de lo contrario.
Aquı́ rx = 0 y p0 = 1 > 0.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
4 / 49
Cadenas de Nacimiento y Muerte
Definición y Ejemplos
Ejemplo 3: Cadena de Ehrenfest Modificada
Suponga que se tienen dos cajas, etiquetadas 1 y 2; y d bolas etiquetadas
1, . . . , d. Inicialmente algunas bolas están en la caja 1 y las restantes están
en la caja 2. Se selecciona un entero en {1, . . . , d} aleatoriamente, y se
remueve la bola etiquetada con ese entero de su caja. Luego se selecciona,
aleatoriamente, una de las dos cajas y se mete ahı́ la bola. Se repite este
proceso indefinidamente con selecciones independientes. Sea Xn el número
de bolas en la caja 1 después de n experimentos. Xn es una cadena de
Markov en S = {0, 1, . . . , d} con función de transición dada por
P(x, y ) =
Prof. Vı́quez (UCR)

1x


2d


1
2
1


2 1−


0
x
d
Cadenas de Markov
if y = x − 1,
if y = x,
if y = x + 1,
de lo contrario.
Martes 1 y Viernes 4 de Abril
5 / 49
Cadenas de Nacimiento y Muerte
Definición y Ejemplos
Ejemplo 3: Cadena de Ehrenfest Modificada
Suponga que se tienen dos cajas, etiquetadas 1 y 2; y d bolas etiquetadas
1, . . . , d. Inicialmente algunas bolas están en la caja 1 y las restantes están
en la caja 2. Se selecciona un entero en {1, . . . , d} aleatoriamente, y se
remueve la bola etiquetada con ese entero de su caja. Luego se selecciona,
aleatoriamente, una de las dos cajas y se mete ahı́ la bola. Se repite este
proceso indefinidamente con selecciones independientes. Sea Xn el número
de bolas en la caja 1 después de n experimentos. Xn es una cadena de
Markov en S = {0, 1, . . . , d} con función de transición dada por
P(x, y ) =
Aquı́ rx =
1
2

1x


2d


1
2
1


2 1−


0
x
d
if y = x − 1,
if y = x,
if y = x + 1,
de lo contrario.
> 0.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
5 / 49
Cadenas de Nacimiento y Muerte
Definición y Ejemplos
Ejemplo 4: Cadena de la Ruina del Jugador
Supongan que un jugador empieza con un capital inicial en dólares, y hace
una serie de apuestas contra la casa de $1. Asuman que tiene probabilidad
p de ganar y probabilidad q = 1 − p de perder cada apuesta, y si su capital
llega a $0, el jugador queda arruinado y su capital sigue siendo $0. Sea Xn
el capital del apostador en el tiempo n. Esta es una cadena de Markov en
el cual 0 es un estado absorbente, y para x ≥ 1:


if y = x − 1,
q
P(x, y ) = p
if y = x + 1,


0
de lo contrario.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
6 / 49
Cadenas de Nacimiento y Muerte
Definición y Ejemplos
Ejemplo 4: Cadena de la Ruina del Jugador
Supongan que un jugador empieza con un capital inicial en dólares, y hace
una serie de apuestas contra la casa de $1. Asuman que tiene probabilidad
p de ganar y probabilidad q = 1 − p de perder cada apuesta, y si su capital
llega a $0, el jugador queda arruinado y su capital sigue siendo $0. Sea Xn
el capital del apostador en el tiempo n. Esta es una cadena de Markov en
el cual 0 es un estado absorbente, y para x ≥ 1:


if y = x − 1,
q
P(x, y ) = p
if y = x + 1,


0
de lo contrario.
Esta cadena está en S = {0, 1, . . . }, aunque puede modificarse para que si
el jugador alcanza un nivel de d dólares, entonces él decide dejar de jugar,
i.e., S = {0, 1, . . . , d}, con 0 y d siendo estados absorbentes.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
6 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Cadenas con Infinitos Estados
Sabemos que para una cadena de Markov irreducible, todo estado es
transiente o todo estado es recurrente, i.e., una cadena de Markov
irreducible es recurrente o transiente.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
7 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Cadenas con Infinitos Estados
Sabemos que para una cadena de Markov irreducible, todo estado es
transiente o todo estado es recurrente, i.e., una cadena de Markov
irreducible es recurrente o transiente.
Si la cadena tiene un número finito de estados, entonces debe ser una
cadena recurrente.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
7 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Cadenas con Infinitos Estados
Sabemos que para una cadena de Markov irreducible, todo estado es
transiente o todo estado es recurrente, i.e., una cadena de Markov
irreducible es recurrente o transiente.
Si la cadena tiene un número finito de estados, entonces debe ser una
cadena recurrente.
Pero...
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
7 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Cadenas con Infinitos Estados
Sabemos que para una cadena de Markov irreducible, todo estado es
transiente o todo estado es recurrente, i.e., una cadena de Markov
irreducible es recurrente o transiente.
Si la cadena tiene un número finito de estados, entonces debe ser una
cadena recurrente.
Pero... qué pasa cuando la cadena tiene un número infinito de estados?
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
7 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Probabilidad de Arribo
Px [Ta < Tb ]
Para probar recurrencia es necesario conocer la probabilidad de que
partiendo de x llegue al estado a antes de llegar al estado b. Esta
probabilidad está dada por:
Pb−1
y =x
Px [Ta < Tb ] = Pb−1
γy
y =a γy
,
a < x < b,
donde
1 ···qy
p1 ···py
0<y <d
1
0 = y.
(q
γy :=
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
8 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Probabilidad de Arribo
Px [Ta < Tb ]
Para probar recurrencia es necesario conocer la probabilidad de que
partiendo de x llegue al estado a antes de llegar al estado b. Esta
probabilidad está dada por:
Pb−1
y =x
Px [Ta < Tb ] = Pb−1
γy
y =a γy
,
a < x < b,
donde
1 ···qy
p1 ···py
0<y <d
1
0 = y.
(q
γy :=
Por irreducibilidad, se está asumiendo que pi > 0 para todo 0 < i < d.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
8 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Probabilidad de Arribo
Px [Ta < Tb ]
Para probar recurrencia es necesario conocer la probabilidad de que
partiendo de x llegue al estado a antes de llegar al estado b. Esta
probabilidad está dada por:
Pb−1
y =x
Px [Ta < Tb ] = Pb−1
γy
y =a γy
,
a < x < b,
donde
1 ···qy
p1 ···py
0<y <d
1
0 = y.
(q
γy :=
Por irreducibilidad, se está asumiendo
que pi > 0 para todo 0 < i < d.
P
Igualmente, Px [Tb < Ta ] =
x−1
y =a
γy
Pb−1
γy
y =a
Prof. Vı́quez (UCR)
, para a < x < b.
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
8 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Prueba
Sea u(x) = Px [Ta < Tb ]. Entonces,
u(y ) = qy u(y − 1) + ry u(y ) + py u(y + 1).
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
9 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Prueba
Sea u(x) = Px [Ta < Tb ]. Entonces,
u(y ) = qy u(y − 1) + ry u(y ) + py u(y + 1).
Como ry = 1 − py − qy , se puede reescribir la expresión anterior de la
siguiente forma:
qy qy −1
qy
u(y ) − u(y − 1) =
u(y − 1) − u(y − 2)
py
py py −1
γy
= ··· =
u(a + 1) − u(a) .
(1)
γa
u(y + 1) − u(y ) =
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
9 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Prueba
Sea u(x) = Px [Ta < Tb ]. Entonces,
u(y ) = qy u(y − 1) + ry u(y ) + py u(y + 1).
Como ry = 1 − py − qy , se puede reescribir la expresión anterior de la
siguiente forma:
qy qy −1
qy
u(y ) − u(y − 1) =
u(y − 1) − u(y − 2)
py
py py −1
γy
= ··· =
u(a + 1) − u(a) .
(1)
γa
u(y + 1) − u(y ) =
Sumando sobre y = a, . . . b −1 y recordando que u(a) = 1 y u(b) = 0, se
γa
obtiene que u(a + 1) − u(a) = − Pb−1
. Sustituyendo en (1) se obtiene
que u(y ) − u(y + 1) =
γy
Pb−1
y =a
y =a
γy
γy
. Sumando sobre y = x, . . . , b − 1 se
obtiene la fórmula final.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
9 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Aplicación
Suponga que un apostador juega ruleta con una serie de apuestas de 1
9
dolar. Él tiene probabilidades de ganar y perder, respectivamente, de 19
y
10
.
El
jugador
renuncia
tan
pronto
su
ganancia
neta
llegue
a
25
dólares
o
19
su pérdida neta llegue a 10 dólares.
1
2
Encuentre la Probabilidad de que cuando él deje de jugar, haya
ganado $25.
Encuentre su pérdida esperada.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
10 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Aplicación
Suponga que un apostador juega ruleta con una serie de apuestas de 1
9
dolar. Él tiene probabilidades de ganar y perder, respectivamente, de 19
y
10
.
El
jugador
renuncia
tan
pronto
su
ganancia
neta
llegue
a
25
dólares
o
19
su pérdida neta llegue a 10 dólares.
1
2
Encuentre la Probabilidad de que cuando él deje de jugar, haya
ganado $25.
Encuentre su pérdida esperada.
Xn , siendo el capital del jugador, es una cadena de markov irreducible, de
10
9
y qx = 19
.
nacimiento y muerte en S = {0, 1, . . . 35}, con px = 19
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
10 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Aplicación
Suponga que un apostador juega ruleta con una serie de apuestas de 1
9
dolar. Él tiene probabilidades de ganar y perder, respectivamente, de 19
y
10
.
El
jugador
renuncia
tan
pronto
su
ganancia
neta
llegue
a
25
dólares
o
19
su pérdida neta llegue a 10 dólares.
1
2
Encuentre la Probabilidad de que cuando él deje de jugar, haya
ganado $25.
Encuentre su pérdida esperada.
Xn , siendo el capital del jugador, es una cadena de markov irreducible, de
10
9
y qx = 19
.
nacimiento y muerte en S = {0, 1, . . . 35}, con px = 19
0 y 35 son estados absorbentes. Aplicando
la
fórmula
para
a
=
0,
x = 10,
10 y
b = 35, concluimos que γy = 9 , 0 ≤ y ≤ 34, i.e.,
P9
10 y
y =0
P10 [T35 < T0 ] = P34
y =0
Prof. Vı́quez (UCR)
Cadenas de Markov
9
10 y
9
= 0,047.
Martes 1 y Viernes 4 de Abril
10 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Aplicación
Suponga que un apostador juega ruleta con una serie de apuestas de 1
9
dolar. Él tiene probabilidades de ganar y perder, respectivamente, de 19
y
10
.
El
jugador
renuncia
tan
pronto
su
ganancia
neta
llegue
a
25
dólares
o
19
su pérdida neta llegue a 10 dólares.
1
2
Encuentre la Probabilidad de que cuando él deje de jugar, haya
ganado $25.
Encuentre su pérdida esperada.
Xn , siendo el capital del jugador, es una cadena de markov irreducible, de
10
9
y qx = 19
.
nacimiento y muerte en S = {0, 1, . . . 35}, con px = 19
0 y 35 son estados absorbentes. Aplicando
la
fórmula
para
a
=
0,
x = 10,
10 y
b = 35, concluimos que γy = 9 , 0 ≤ y ≤ 34, i.e.,
P9
10 y
y =0
P10 [T35 < T0 ] = P34
y =0
9
10 y
9
= 0,047.
La pérdida esperada es E[P] = 10 − 0,953 · 0 − 0,047 · 35 = $8,36
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
10 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Cadena Irreducible con Infinitos Estados
En este caso d = ∞, y por irreducibilidad, px > 0 para x ≥ 0, y qx > 0
para x ≥ 1. Cuándo es Transiente y cuándo es Recurrente?
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
11 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Cadena Irreducible con Infinitos Estados
En este caso d = ∞, y por irreducibilidad, px > 0 para x ≥ 0, y qx > 0
para x ≥ 1. Cuándo es Transiente y cuándo es Recurrente?
Condición suficiente y necesaria
Una cadena irreducible de Nacimiento y Muerte en S = {0, 1, 2, . . . }, es
recurrente si y solo si
∞
X
q1 · · · qx
= ∞.
p1 · · · px
x=1
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
11 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Prueba
Utilizando la fórmula de arribo, tenemos que P1 [T0 < Tn ] = 1 −
1
Pn−1
y =0
γy
,
n > 1.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
12 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Prueba
Utilizando la fórmula de arribo, tenemos que P1 [T0 < Tn ] = 1 −
1
Pn−1
y =0
γy
,
n > 1.
Como la cadena solo puede hacer saltos de 1 paso, sabemos que
1 ≤ T2 < T3 < · · · . Esto quiere decir que Tn → ∞ y
1
P1 [T0 < ∞] = lı́m P1 [T0 < Tn ] = lı́m 1 − Pn−1
n→∞
Prof. Vı́quez (UCR)
n→∞
Cadenas de Markov
y =0 γy
1
= 1 − P∞
y =0 γy
Martes 1 y Viernes 4 de Abril
.
12 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Prueba
Utilizando la fórmula de arribo, tenemos que P1 [T0 < Tn ] = 1 −
1
Pn−1
y =0
γy
,
n > 1.
Como la cadena solo puede hacer saltos de 1 paso, sabemos que
1 ≤ T2 < T3 < · · · . Esto quiere decir que Tn → ∞ y
1
P1 [T0 < ∞] = lı́m P1 [T0 < Tn ] = lı́m 1 − Pn−1
n→∞
n→∞
y =0 γy
1
= 1 − P∞
y =0 γy
.
Si laP
cadena es recurrente, entonces P1 [T0 < ∞] = ρ1 0 = 1 lo que implica
que ∞
y =0 γy = ∞.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
12 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Prueba
Utilizando la fórmula de arribo, tenemos que P1 [T0 < Tn ] = 1 −
1
Pn−1
y =0
γy
,
n > 1.
Como la cadena solo puede hacer saltos de 1 paso, sabemos que
1 ≤ T2 < T3 < · · · . Esto quiere decir que Tn → ∞ y
1
P1 [T0 < ∞] = lı́m P1 [T0 < Tn ] = lı́m 1 − Pn−1
n→∞
n→∞
y =0 γy
1
= 1 − P∞
y =0 γy
.
Si laP
cadena es recurrente, entonces P1 [T0 < ∞] = ρ1 0 = 1 lo que implica
que ∞
y =0 γy = ∞.
P
Para la otra dirección, asuma que ∞
y =0 γy = ∞ y por ende que
P1 [T0 < ∞] = 1. Como P(0, y ) = 0, para y ≥ 2, se tiene que
ρ0 0 = P0 [T0 < ∞] = P(0, 0)+P(0, 1)P1 [T0 < ∞] = P(0, 0)+P(0, 1) = 1,
por lo tanto, 0 es recurrente. La irreducibilidad hace el resto.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
12 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Ejemplo
Considere la cadena de nacimiento y muerte en S = {0, 1, 2, . . . }, con
probabilidades definidas por
px =
x +2
2(x + 1)
qx =
x
.
2(x + 1)
Determine si esta cadena es transiente o recurrente.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
13 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Ejemplo
Considere la cadena de nacimiento y muerte en S = {0, 1, 2, . . . }, con
probabilidades definidas por
px =
x +2
2(x + 1)
qx =
x
.
2(x + 1)
Determine si esta cadena es transiente o recurrente.
x
Solución: como qpxx = x+2
, se sigue que
1 · 2···x
q1 · · · qx
2
=
γx =
=
=2
p1 · · · px
3 · 4 · · · (x + 2)
(x + 1)(x + 2)
Prof. Vı́quez (UCR)
Cadenas de Markov
1
1
−
x +1 x +2
Martes 1 y Viernes 4 de Abril
.
13 / 49
Cadenas de Nacimiento y Muerte
Cadenas Recurrentes y Cadenas Transientes
Ejemplo
Considere la cadena de nacimiento y muerte en S = {0, 1, 2, . . . }, con
probabilidades definidas por
px =
x +2
2(x + 1)
qx =
x
.
2(x + 1)
Determine si esta cadena es transiente o recurrente.
x
Solución: como qpxx = x+2
, se sigue que
1 · 2···x
q1 · · · qx
2
=
γx =
=
=2
p1 · · · px
3 · 4 · · · (x + 2)
(x + 1)(x + 2)
1
1
−
x +1 x +2
.
Es una telescópica que converge, i.e.,
∞
∞ X
X
1
1
1
γx = 2
−
= 2 · = 1 < ∞,
x +1 x +2
2
x=1
x=1
por lo tanto, la cadena es transiente.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
13 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Distribución Estacionaria
Considere una cadena irreducible de Nacimiento y Muerte, i.e., px > 0,
para 0 ≤ x < d, y qx > 0, para 0 < x ≤ d (d puede ser infinito).
Existencia y Unicidad de la Distribución Estacionaria
Una cadena irreducible de Nacimiento y Muerte tiene una única
distribución estacionaria, dada por
πx
π(x) = Pd
y =0 πy
donde πx :=
p0 ···px−1
q1 ···qx ,
para 1 ≤ x ≤ d, y π0 := 1; si y solo si
∞
X
p0 · · · px−1
x=1
Prof. Vı́quez (UCR)
x ≥ 0,
,
q1 · · · qx
< ∞.
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
14 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Prueba
El sistema de ecuaciones
P
x∈S
π(x)P(x, y ) = π(y ) se vuelve
π(0)r0 + π(1)q1 = π(0)
π(y − 1)py −1 + π(y )ry + π(y + 1)qy +1 = π(y )
Prof. Vı́quez (UCR)
Cadenas de Markov
y ≥ 1.
Martes 1 y Viernes 4 de Abril
15 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Prueba
El sistema de ecuaciones
P
x∈S
π(x)P(x, y ) = π(y ) se vuelve
π(0)r0 + π(1)q1 = π(0)
π(y − 1)py −1 + π(y )ry + π(y + 1)qy +1 = π(y )
y ≥ 1.
Utilizando la identidad py + qy + ry = 1 (y q0 = 0), se obtiene que
π(1)q1 − π(0)p0 = 0
π(y + 1)qy +1 − π(y )py = π(y )qy − π(y − 1)py −1
Prof. Vı́quez (UCR)
Cadenas de Markov
y ≥ 1.
Martes 1 y Viernes 4 de Abril
15 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Prueba
El sistema de ecuaciones
P
x∈S
π(x)P(x, y ) = π(y ) se vuelve
π(0)r0 + π(1)q1 = π(0)
π(y − 1)py −1 + π(y )ry + π(y + 1)qy +1 = π(y )
y ≥ 1.
Utilizando la identidad py + qy + ry = 1 (y q0 = 0), se obtiene que
π(1)q1 − π(0)p0 = 0
π(y + 1)qy +1 − π(y )py = π(y )qy − π(y − 1)py −1
y ≥ 1.
Entonces, qy +1 π(y + 1) − py π(y ) = 0, es decir,
π(x) =
px−1
p0 · · · px−1
π(x − 1) = · · · =
π(0) = πx π(0).
qx
q1 · · · qx
P
Si dx=0 πx < ∞, claramente
(al sumar) se tiene la fórmula para π(x). De
P
lo contrario π ≡ 0 o x∈S π(x) = ∞, i.e., no hay distribución estacionaria.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
15 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio
Considere una cadena irreducible (infinita) de Nacimiento y Muerte.
Encuentre las condiciones suficientes y necesarias para que la cadena sea
recurrente positiva, recurrente nula y transiente.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
16 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio
Considere una cadena irreducible (infinita) de Nacimiento y Muerte.
Encuentre las condiciones suficientes y necesarias para que la cadena sea
recurrente positiva, recurrente nula y transiente.
Recurrente Positiva: La cadena es recurrente positiva si y solo si existe
una única distribución estacionaria si y solo si
∞
X
p0 · · · px−1
< ∞.
(2)
q1 · · · qx
x=1
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
16 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio
Considere una cadena irreducible (infinita) de Nacimiento y Muerte.
Encuentre las condiciones suficientes y necesarias para que la cadena sea
recurrente positiva, recurrente nula y transiente.
Recurrente Positiva: La cadena es recurrente positiva si y solo si existe
una única distribución estacionaria si y solo si
∞
X
p0 · · · px−1
< ∞.
(2)
q1 · · · qx
x=1
Transiente: La cadena irreducible es transiente si y solo si
∞
X
q1 · · · qx
< ∞.
p1 · · · px
(3)
x=1
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
16 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio
Considere una cadena irreducible (infinita) de Nacimiento y Muerte.
Encuentre las condiciones suficientes y necesarias para que la cadena sea
recurrente positiva, recurrente nula y transiente.
Recurrente Positiva: La cadena es recurrente positiva si y solo si existe
una única distribución estacionaria si y solo si
∞
X
p0 · · · px−1
< ∞.
(2)
q1 · · · qx
x=1
Transiente: La cadena irreducible es transiente si y solo si
∞
X
q1 · · · qx
< ∞.
p1 · · · px
(3)
x=1
Recurrente Nula: Es recurrente nula si ninguna de las otras dos posibles
opciones, (2) y (3), se cumple, i.e.,
∞
X
p0 · · · px−1
x=1
Prof. Vı́quez (UCR)
q1 · · · qx
=∞
y
∞
X
q1 · · · qx
x=1
Cadenas de Markov
p1 · · · px
= ∞.
Martes 1 y Viernes 4 de Abril
16 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio
Establezca la periodicidad de una cadena irreducible de nacimiento y
muerte, y determine la convergencia a la distribución estacionaria para el
caso recurrente positiva.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
17 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio
Establezca la periodicidad de una cadena irreducible de nacimiento y
muerte, y determine la convergencia a la distribución estacionaria para el
caso recurrente positiva.
Si rx > 0 para algún x: Entonces P(x, x) = rx > 0 y la cadena es
aperiódica. Esto implica que,
lı́m P n (x, y ) = π(y ),
n→∞
Prof. Vı́quez (UCR)
Cadenas de Markov
x, y ∈ S.
Martes 1 y Viernes 4 de Abril
17 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio
Establezca la periodicidad de una cadena irreducible de nacimiento y
muerte, y determine la convergencia a la distribución estacionaria para el
caso recurrente positiva.
Si rx > 0 para algún x: Entonces P(x, x) = rx > 0 y la cadena es
aperiódica. Esto implica que,
lı́m P n (x, y ) = π(y ),
n→∞
x, y ∈ S.
Si rx = 0 para todo x: Entonces solo podrı́a regresar a x en un número
par de pasos. Como P 2 (0, 0) = p0 q1 > 0, entonces el periodo es 2.
Si y − x es par, entonces P 2m+1 (x, y ) = 0, para todo m ≥ 0, y
lı́m P 2m (x, y ) = 2π(y ).
m→∞
Si y − x es impar, entonces P 2m (x, y ) = 0, para todo m ≥ 0, y
lı́m P 2m+1 (x, y ) = 2π(y ).
m→∞
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
17 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio
Calcule la distribución estacionaria de la cadena de Ehrenfest y de la
cadena de Ehrenfest modificada para d = 3, y determine el
comportamiento asintótico de la matriz P n en cada caso.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
18 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio: Distribución Estacionaria Cadena Ehrenfest
La matriz de transición serı́a
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
19 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio: Distribución Estacionaria Cadena Ehrenfest
La matriz de transición serı́a
Usando la fórmula para la distribución estacionaria en cadenas irreducibles
de Nacimiento y Muerte:
π0 = 1; π1 =
Prof. Vı́quez (UCR)
1
1
3
= 3; π2 =
1 · 23
1 · 32 · 13
=
3;
π
=
=1
3
1 2
1 2
·
·
·
1
3 3
3 3
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
19 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio: Distribución Estacionaria Cadena Ehrenfest
La matriz de transición serı́a
Usando la fórmula para la distribución estacionaria en cadenas irreducibles
de Nacimiento y Muerte:
π0 = 1; π1 =
1
1
3
= 3; π2 =
1 · 23
1 · 32 · 13
=
3;
π
=
=1
3
1 2
1 2
·
·
·
1
3 3
3 3
La única distribución estacionaria serı́a
1
3
3
1
π(0) = ; π(1) = ; π(2) = ; π(3) =
8
8
8
8
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
19 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio: Convergencia Distribución Estacionaria Cadena
Ehrenfest
En este caso rx = 0 para todo 0 ≤ x ≤ 3, por lo que es una cadena con
periodo 2. Es decir, si x − y es par, entonces P 2m+1 (x, y ) = 0 para todo
m, y lı́mm→∞ P 2m (x, y ) = 2π(y ); y si x − y es impar, entonces
P 2m (x, y ) = 0 para todo m, y lı́mm→∞ P 2m+1 (x, y ) = 2π(y ).
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
20 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio: Convergencia Distribución Estacionaria Cadena
Ehrenfest
En este caso rx = 0 para todo 0 ≤ x ≤ 3, por lo que es una cadena con
periodo 2. Es decir, si x − y es par, entonces P 2m+1 (x, y ) = 0 para todo
m, y lı́mm→∞ P 2m (x, y ) = 2π(y ); y si x − y es impar, entonces
P 2m (x, y ) = 0 para todo m, y lı́mm→∞ P 2m+1 (x, y ) = 2π(y ).
Conclusión:
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
20 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio: Convergencia Distribución Estacionaria Cadena
Ehrenfest
En este caso rx = 0 para todo 0 ≤ x ≤ 3, por lo que es una cadena con
periodo 2. Es decir, si x − y es par, entonces P 2m+1 (x, y ) = 0 para todo
m, y lı́mm→∞ P 2m (x, y ) = 2π(y ); y si x − y es impar, entonces
P 2m (x, y ) = 0 para todo m, y lı́mm→∞ P 2m+1 (x, y ) = 2π(y ).
Conclusión:
1

3
Si n es par:
4 0 4 0
0 3 0 1 
4
4
Pn ≈ 
 1 0 3 0
4
4
0 34 0 41
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
20 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio: Convergencia Distribución Estacionaria Cadena
Ehrenfest
En este caso rx = 0 para todo 0 ≤ x ≤ 3, por lo que es una cadena con
periodo 2. Es decir, si x − y es par, entonces P 2m+1 (x, y ) = 0 para todo
m, y lı́mm→∞ P 2m (x, y ) = 2π(y ); y si x − y es impar, entonces
P 2m (x, y ) = 0 para todo m, y lı́mm→∞ P 2m+1 (x, y ) = 2π(y ).
Conclusión:
1

3
Si n es par:
4 0 4 0
0 3 0 1 
4
4
Pn ≈ 
 1 0 3 0
4
4
0 34 0 41
Si n es impar:

0
1
4
Pn ≈ 
0
1
4
Prof. Vı́quez (UCR)
3
4
0
3
4
0
Cadenas de Markov
0
3
4
0
3
4
1
4
0

1
4
0
Martes 1 y Viernes 4 de Abril
20 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio: Distribución Estacionaria Cadena Ehrenfest
Modificada
La matriz de transición serı́a
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
21 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio: Distribución Estacionaria Cadena Ehrenfest
Modificada
La matriz de transición serı́a
Usando la fórmula para la distribución estacionaria en cadenas irreducibles
de Nacimiento y Muerte:
π0 = 1; π1 =
Prof. Vı́quez (UCR)
1
2
1
6
= 3; π2 =
1
2
1
6
·
·
1
3
1
3
= 3; π3 =
Cadenas de Markov
1
2
1
6
·
·
1
3
1
3
·
·
1
6
1
2
=1
Martes 1 y Viernes 4 de Abril
21 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio: Distribución Estacionaria Cadena Ehrenfest
Modificada
La matriz de transición serı́a
Usando la fórmula para la distribución estacionaria en cadenas irreducibles
de Nacimiento y Muerte:
π0 = 1; π1 =
1
2
1
6
= 3; π2 =
1
2
1
6
·
·
1
3
1
3
= 3; π3 =
1
2
1
6
·
·
1
3
1
3
·
·
1
6
1
2
=1
La única distribución estacionaria serı́a
1
3
3
1
π(0) = ; π(1) = ; π(2) = ; π(3) =
8
8
8
8
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
21 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio: Convergencia Distribución Estacionaria Cadena
Ehrenfest Modificada
En este caso rx > 0 para todo 0 ≤ x ≤ 3, por lo que es una cadena
aperiódica. Es decir, para todo x, y ∈ S, lı́mn→∞ P n (x, y ) = π(y )
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
22 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio: Convergencia Distribución Estacionaria Cadena
Ehrenfest Modificada
En este caso rx > 0 para todo 0 ≤ x ≤ 3, por lo que es una cadena
aperiódica. Es decir, para todo x, y ∈ S, lı́mn→∞ P n (x, y ) = π(y )
Conclusión:
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
22 / 49
Cadenas de Nacimiento y Muerte
Distribuciones Estacionarias
Ejercicio: Convergencia Distribución Estacionaria Cadena
Ehrenfest Modificada
En este caso rx > 0 para todo 0 ≤ x ≤ 3, por lo que es una cadena
aperiódica. Es decir, para todo x, y ∈ S, lı́mn→∞ P n (x, y ) = π(y )
Conclusión:
1
8
1
8
n
P ≈
1
8
1
8
Prof. Vı́quez (UCR)
3
8
3
8
3
8
3
8
3
8
3
8
3
8
3
8
Cadenas de Markov
3
8
1
8

1
8
1
8

Martes 1 y Viernes 4 de Abril
22 / 49
Cadenas de Colas
Definición
Definición
Consideren un escenario como la caja de un supermercado o de un banco,
donde la gente llega en distintos momentos y son eventualmente
atendidos. Los que no han sido atendidos, forman una cola.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
23 / 49
Cadenas de Colas
Definición
Definición
Consideren un escenario como la caja de un supermercado o de un banco,
donde la gente llega en distintos momentos y son eventualmente
atendidos. Los que no han sido atendidos, forman una cola.
Cadena de Colas
Suponga que el tiempo se mide en periodos convenientes (como minutos).
Asuma que que exactamente una persona es atendida en cada
periodo. Si no hay clientes esperando, ninguna persona será atendida
en ese periodo.
Sea ξn el número de nuevos clientes llegando en el periodo n. Asuma
que ξ1 , ξ2 , . . . son variables aleatorias no-negativas i.i.d., con densidad
f . µ será el número esperado de clientes llegando en cada periodo.
Sea X0 el número de clientes presentes inicialmente. Xn serı́a el
número de clientes presentes al final de periodo n.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
23 / 49
Cadenas de Colas
Definición
Formalización del Modelo
De la información se deduce que
Si Xn = 0, entonces Xn+1 = ξn+1 ,
Si Xn > 0, entonces Xn+1 = Xn + ξn+1 − 1.
Claramente Xn es una cadena de Markov en S = {0, 1, . . . } con función de
transición dada por:
P(0, y ) = f (y ),
y
P(x, y ) = f (y − x + 1),
Prof. Vı́quez (UCR)
Cadenas de Markov
x ≥ 1.
Martes 1 y Viernes 4 de Abril
24 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Condición Suficiente y Necesaria para Irreduibilidad
Irreducibilidad en Cadena de Colas
Una cadena de colas es irreducible si y solo si
f (0) > 0
Prof. Vı́quez (UCR)
f (0) + f (1) < 1.
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
25 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba
P(x, x − 1) = f (0) > 0, lo que implica que
P x−y (x, y ) > P(x, x − 1) · · · P(y + 1, y ) > 0. Entonces ρxy > 0, para todo
0 ≤ y < x.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
26 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba
P(x, x − 1) = f (0) > 0, lo que implica que
P x−y (x, y ) > P(x, x − 1) · · · P(y + 1, y ) > 0. Entonces ρxy > 0, para todo
0 ≤ y < x.
Como f (0) + f (1) < 1, existe x0 > 1 tal que P(0, x0 ) = f (x0 ) > 0. Aún
más P n+1 (0, x0 + n(x0 − 1)) ≥ (f (x0 ))n+1 > 0. Para todo y > x existe un
n ≥ 0 tal que x0 + n(x0 − 1) > y , por lo que
P x+(n+1)+(x0 +n(x0 −1)−y ) (x, y ) ≥
P x (x, 0)P n+1 (0, x0 + n(x0 − 1))P x0 +n(x0 −1)−y (x0 + n(x0 − 1), y ) > 0, i.e.,
ρxy > 0.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
26 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba
P(x, x − 1) = f (0) > 0, lo que implica que
P x−y (x, y ) > P(x, x − 1) · · · P(y + 1, y ) > 0. Entonces ρxy > 0, para todo
0 ≤ y < x.
Como f (0) + f (1) < 1, existe x0 > 1 tal que P(0, x0 ) = f (x0 ) > 0. Aún
más P n+1 (0, x0 + n(x0 − 1)) ≥ (f (x0 ))n+1 > 0. Para todo y > x existe un
n ≥ 0 tal que x0 + n(x0 − 1) > y , por lo que
P x+(n+1)+(x0 +n(x0 −1)−y ) (x, y ) ≥
P x (x, 0)P n+1 (0, x0 + n(x0 − 1))P x0 +n(x0 −1)−y (x0 + n(x0 − 1), y ) > 0, i.e.,
ρxy > 0.
La cadena es irreducible!
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
26 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba
P(x, x − 1) = f (0) > 0, lo que implica que
P x−y (x, y ) > P(x, x − 1) · · · P(y + 1, y ) > 0. Entonces ρxy > 0, para todo
0 ≤ y < x.
Como f (0) + f (1) < 1, existe x0 > 1 tal que P(0, x0 ) = f (x0 ) > 0. Aún
más P n+1 (0, x0 + n(x0 − 1)) ≥ (f (x0 ))n+1 > 0. Para todo y > x existe un
n ≥ 0 tal que x0 + n(x0 − 1) > y , por lo que
P x+(n+1)+(x0 +n(x0 −1)−y ) (x, y ) ≥
P x (x, 0)P n+1 (0, x0 + n(x0 − 1))P x0 +n(x0 −1)−y (x0 + n(x0 − 1), y ) > 0, i.e.,
ρxy > 0.
La cadena es irreducible!
Por otro lado, si f (0) = 0, siempre llegarán (en cada periodo) al menos
una persona, por lo que la cadena nunca alcanzará estados menores a x,
i.e., ρxy = 0 para todo y < x.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
26 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba
P(x, x − 1) = f (0) > 0, lo que implica que
P x−y (x, y ) > P(x, x − 1) · · · P(y + 1, y ) > 0. Entonces ρxy > 0, para todo
0 ≤ y < x.
Como f (0) + f (1) < 1, existe x0 > 1 tal que P(0, x0 ) = f (x0 ) > 0. Aún
más P n+1 (0, x0 + n(x0 − 1)) ≥ (f (x0 ))n+1 > 0. Para todo y > x existe un
n ≥ 0 tal que x0 + n(x0 − 1) > y , por lo que
P x+(n+1)+(x0 +n(x0 −1)−y ) (x, y ) ≥
P x (x, 0)P n+1 (0, x0 + n(x0 − 1))P x0 +n(x0 −1)−y (x0 + n(x0 − 1), y ) > 0, i.e.,
ρxy > 0.
La cadena es irreducible!
Por otro lado, si f (0) = 0, siempre llegarán (en cada periodo) al menos
una persona, por lo que la cadena nunca alcanzará estados menores a x,
i.e., ρxy = 0 para todo y < x.
Y si f (0) + f (1) = 1, siempre llegará una persona o ninguna, pero siempre
se atiende a una en cada periodo (si hay clientes), por lo que la cadena
nunca alcanzará estados mayores, i.e., ρxy = 0 para todo 1 ≤ x < y .
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
26 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Ejercicio
En una cadena no irreducible, cuáles estados son absorbentes, cuales son
recurrentes, y cuales son transientes? Considere los siguientes cuatro
casos:
1
f (1) = 1.
2
f (0) > 0, f (1) > 0, y f (0) + f (1) = 1.
3
f (0) = 1.
4
f (0) = 0 y f (1) < 1.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
27 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Solución
Si f (1) = 1, entonces siempre entra 1 persona a la fila, y con certeza
(por el modelo), sale una persona de la fila, es decir, si se está en el
estado x > 0, entonces se estará en ese estado siempre. x > 0 es un
estado absorbente. Sin embargo, si no hubiera nadie en la fila, con
certeza entra una persona a la fila pero no se atiende a ninguna, por
lo que de 0 se pasarı́a al estado 1, el cual es absorbente, i.e., 0 es
transiente.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
28 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Solución
Si f (1) = 1, entonces siempre entra 1 persona a la fila, y con certeza
(por el modelo), sale una persona de la fila, es decir, si se está en el
estado x > 0, entonces se estará en ese estado siempre. x > 0 es un
estado absorbente. Sin embargo, si no hubiera nadie en la fila, con
certeza entra una persona a la fila pero no se atiende a ninguna, por
lo que de 0 se pasarı́a al estado 1, el cual es absorbente, i.e., 0 es
transiente.
Si f (0) > 0, f (1) > 0, y f (0) + f (1) = 1, quiere decir que con certeza
entra una persona a la fila o ninguna persona llega. Si se está en el
estado 0, se puede quedar en 0 (al no entrar nadie) o se puede pasar
al estado 1 (entrando 1 persona). Del estado 1, solo se puede
permanecer ahı́ (si entra 1 persona) o pasar al estado 0 (al no entrar
nadie), i.e., {0, 1} es cerrado e irreducible, por lo tanto,
x recurrente. Si
se está en el estado x > 1, entonces P x (x, 0) = f (0) > 0, i.e., x
conecta con 0. Como x conecta con 0 y 0 es recurrente pero no
conecta con x, entonces x es transiente, para todo x > 1.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
28 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Solución (cont.)
Si f (0) = 1, entonces nunca entra alguien a la fila, y con certeza (por
el modelo), sale una persona de la fila, es decir, si se está en el estado
x > 0, entonces se pasarı́a al estado x − 1 siempre. Esto continuarı́a
hasta llegar al estado 0. Una vez en el estado 0, no entrarı́a nadie a la
fila ni se atenderı́a a nadie, por lo tanto, se permanecerı́a ahı́ siempre,
i.e., 0 es absorbente.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
29 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Solución (cont.)
Si f (0) = 1, entonces nunca entra alguien a la fila, y con certeza (por
el modelo), sale una persona de la fila, es decir, si se está en el estado
x > 0, entonces se pasarı́a al estado x − 1 siempre. Esto continuarı́a
hasta llegar al estado 0. Una vez en el estado 0, no entrarı́a nadie a la
fila ni se atenderı́a a nadie, por lo tanto, se permanecerı́a ahı́ siempre,
i.e., 0 es absorbente.
Si f (0) = 0 y f (1) < 1, siempre entra al menos una persona a la fila.
Si se está en el estado x, se puede quedar en ahı́ (al entrar 1 persona)
o se puede pasar al estado x + 1 (entrando más de 1 persona), pero
nunca se llegará al estado x − 1. Por lo tanto, todos los estados son
transientes.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
29 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Cadenas Transientes y Recursivas de Colas
Recurrencia y Transiencia
Si µ ≤ 1 y la cadena de colas es irreducible, entonces la cadena es
recurrente.
Si µ > 1, la cadena de colas es transiente.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
30 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Cadenas Transientes y Recursivas de Colas
Recurrencia y Transiencia
Si µ ≤ 1 y la cadena de colas es irreducible, entonces la cadena es
recurrente.
Si µ > 1, la cadena de colas es transiente.
Interpretación:
Si µ > 1, el número esperado de personas que van a llegar será más
que una persona, pero solo será atendida una persona en cada
periodo. Es de esperar que la cola aumente en el largo plazo,
volviendo cada estado transiente.
Si µ ≤ 1, se espera que en promedio lleguen a lo más 1 persona, y
como se atiende una persona en cada periodo, entonces la fila deberı́a
desaparecer en el largo plazo, sin importar su longitud inicial. En
particular, 0 serı́a recurrente, y como la cadena es irreducible,
entonces todo estado serı́a recurrente.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
30 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Resultado Preliminar
Función Generatriz de Probabilidad
P
k
Sea φ = ∞
k=0 f (0)t , la función generatriz de probabilidad de una
variable aleatoria no-negativa ξ, y sea µ = E[ξ] (con µ = ∞ si ξ no tiene
esperanza finita). Si µ ≤ 1 y P[ξ = 1] < 1, la ecuación
φ(t) = t
(4)
no tiene raı́ces en [0, 1). Si µ > 1, entonces (4) tiene una única raı́z ρ0 en
[0, 1).
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
31 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba: φ(ρ) = ρ
Noten que P(0, z) ≡ P(1, z), entonces ρ := ρ00 = ρ10 .
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
32 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba: φ(ρ) = ρ
Noten que P(0, z) ≡ P(1, z), entonces ρ := ρ00 = ρ10 .
Por ejercicio 9(b) del libro (probarlo como práctica)
∞
∞
X
X
ρ = ρ00 = P(0, 0) +
P(0, y )ρy 0 = f (0) +
f (y )ρy 0 .
y =1
Prof. Vı́quez (UCR)
Cadenas de Markov
y =1
Martes 1 y Viernes 4 de Abril
32 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba: φ(ρ) = ρ
Noten que P(0, z) ≡ P(1, z), entonces ρ := ρ00 = ρ10 .
Por ejercicio 9(b) del libro (probarlo como práctica)
∞
∞
X
X
ρ = ρ00 = P(0, 0) +
P(0, y )ρy 0 = f (0) +
f (y )ρy 0 .
y =1
y =1
El evento {Ty −1 = n} ocurre si y solo si
m
m
X
X
n = mı́n{m > 0 / y +
(ξk −1) = y −1} = mı́n{m > 0 /
ξk = m−1}
k=1
Prof. Vı́quez (UCR)
k=1
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
32 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba: φ(ρ) = ρ
Noten que P(0, z) ≡ P(1, z), entonces ρ := ρ00 = ρ10 .
Por ejercicio 9(b) del libro (probarlo como práctica)
∞
∞
X
X
ρ = ρ00 = P(0, 0) +
P(0, y )ρy 0 = f (0) +
f (y )ρy 0 .
y =1
y =1
El evento {Ty −1 = n} ocurre si y solo si
m
m
X
X
n = mı́n{m > 0 / y +
(ξk −1) = y −1} = mı́n{m > 0 /
ξk = m−1}
k=1
k=1
Entonces, ρy ,y −1 = Py [Ty −1 < ∞] es independiente de y , para todo y > 0
i.e., ρy ,y −1 = ρy −1,y −2 = · · · = ρ10 = ρ00 = ρ.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
32 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba: φ(ρ) = ρ
Noten que P(0, z) ≡ P(1, z), entonces ρ := ρ00 = ρ10 .
Por ejercicio 9(b) del libro (probarlo como práctica)
∞
∞
X
X
ρ = ρ00 = P(0, 0) +
P(0, y )ρy 0 = f (0) +
f (y )ρy 0 .
y =1
y =1
El evento {Ty −1 = n} ocurre si y solo si
m
m
X
X
n = mı́n{m > 0 / y +
(ξk −1) = y −1} = mı́n{m > 0 /
ξk = m−1}
k=1
k=1
Entonces, ρy ,y −1 = Py [Ty −1 < ∞] es independiente de y , para todo y > 0
i.e., ρy ,y −1 = ρy −1,y −2 = · · · = ρ10 = ρ00 = ρ.
Como la cadena solo puede descender un estado, para ir de y a 0, debe
pasar por todos los estados intermedios (ejercicio 39 de libro), i.e.,
ρy 0 = ρy ,y −1 ρy −1,y −2 · · · ρ1,0 = ρy .
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
32 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba: φ(ρ) = ρ
Noten que P(0, z) ≡ P(1, z), entonces ρ := ρ00 = ρ10 .
Por ejercicio 9(b) del libro (probarlo como práctica)
∞
∞
X
X
ρ = ρ00 = P(0, 0) +
P(0, y )ρy 0 = f (0) +
f (y )ρy 0 .
y =1
y =1
El evento {Ty −1 = n} ocurre si y solo si
m
m
X
X
n = mı́n{m > 0 / y +
(ξk −1) = y −1} = mı́n{m > 0 /
ξk = m−1}
k=1
k=1
Entonces, ρy ,y −1 = Py [Ty −1 < ∞] es independiente de y , para todo y > 0
i.e., ρy ,y −1 = ρy −1,y −2 = · · · = ρ10 = ρ00 = ρ.
Como la cadena solo puede descender un estado, para ir de y a 0, debe
pasar por todos los estados intermedios (ejercicio 39 de libro), i.e.,
ρy 0 = ρy ,y −1 ρy −1,y −2 · · · ρ1,0 = ρy . Finalmente,
ρ = f (0) +
∞
X
f (y )ρy = φ(ρ)
y =1
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
32 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba: µ ≤ 1 e irreducible
La cadena es irreducible, entonces P[ξ = 1] = f (1) < 1, y µ ≤ 1, entonces
ρ = φ(ρ) no tiene soluciones en [0, 1), y como 1 = φ(1), entonces
ρ00 = ρ = 1, i.e., 0 es un estado recurrente. Por irreducibilidad, la cadena
es recurrente.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
33 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba: µ > 1
Tome ρn := P1 [T0 ≤ n]. Por el hecho de que Py [Ty −1 ≤ n] es
independiente de n (misma argumentación que antes), y que
Py [T0 ≤ n] ≤ Py [Ty −1 ≤ n] · · · P1 [T0 ≤ n] (ejercicio 39 del libro), se
concluye que Py [T0 ≤ n] ≤ (P1 [T0 ≤ n])y .
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
34 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba: µ > 1
Tome ρn := P1 [T0 ≤ n]. Por el hecho de que Py [Ty −1 ≤ n] es
independiente de n (misma argumentación que antes), y que
Py [T0 ≤ n] ≤ Py [Ty −1 ≤ n] · · · P1 [T0 ≤ n] (ejercicio 39 del libro), se
concluye que Py [T0 ≤ n] ≤ (P1 [T0 ≤ n])y .Por ejercicio 9 del libro,
ρn+1 =
∞
X
y =0
Prof. Vı́quez (UCR)
P(1, y )Py [T0 ≤ n] ≤
∞
X
f (y ) (ρn )y = φ (ρn ) .
y =0
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
34 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba: µ > 1
Tome ρn := P1 [T0 ≤ n]. Por el hecho de que Py [Ty −1 ≤ n] es
independiente de n (misma argumentación que antes), y que
Py [T0 ≤ n] ≤ Py [Ty −1 ≤ n] · · · P1 [T0 ≤ n] (ejercicio 39 del libro), se
concluye que Py [T0 ≤ n] ≤ (P1 [T0 ≤ n])y .Por ejercicio 9 del libro,
ρn+1 =
∞
X
P(1, y )Py [T0 ≤ n] ≤
y =0
∞
X
f (y ) (ρn )y = φ (ρn ) .
y =0
Como ρ0 := P1 [T0 ≤ 0] = 0 ≤ ρ, por inducción, si se cumple que ρn ≤ ρ,
y como φ es creciente,
ρ10 ←−−− ρn+1 = φ (ρn ) ≤ φ(ρ) = ρ.
n→∞
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
34 / 49
Cadenas de Colas
Cadenas Irreducibles, Recurrentes y Transientes
Prueba: µ > 1
Tome ρn := P1 [T0 ≤ n]. Por el hecho de que Py [Ty −1 ≤ n] es
independiente de n (misma argumentación que antes), y que
Py [T0 ≤ n] ≤ Py [Ty −1 ≤ n] · · · P1 [T0 ≤ n] (ejercicio 39 del libro), se
concluye que Py [T0 ≤ n] ≤ (P1 [T0 ≤ n])y .Por ejercicio 9 del libro,
ρn+1 =
∞
X
P(1, y )Py [T0 ≤ n] ≤
y =0
∞
X
f (y ) (ρn )y = φ (ρn ) .
y =0
Como ρ0 := P1 [T0 ≤ 0] = 0 ≤ ρ, por inducción, si se cumple que ρn ≤ ρ,
y como φ es creciente,
ρ10 ←−−− ρn+1 = φ (ρn ) ≤ φ(ρ) = ρ.
n→∞
Concluimos que como µ > 1, existe una solución de ρ = φ(ρ) en [0, 1), y
por lo anterior ρ00 = ρ10 = ρ < 1, y 0 es transiente. Si la cadena es
irreducible, todos sus estados son transientes, y si no es irreducible,
entonces se debe cumplir que f (0) = 0 y f (1) < 1; y todos los estados son
transientes.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
34 / 49
Cadenas de Colas
Distribución Estacionaria
Existencia y Unicidad
Condiciones Suficientes y Necesarias
Considere una cadena de colas irreducible recurrente. Entonces
1
, y se cumple que,
m0 = 1−µ
Si µ < 1, la cadena es recurrente positiva.
Si µ = 1, la cadena es recurrente nula.
En particular, existe una distribución estacionaria si y solo si µ < 1.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
35 / 49
Cadenas de Colas
Distribución Estacionaria
Prueba: G (t) = tφ G (t)
Por la propiedad de Markov, y el hecho de que solo puede descender un
estado en cada periodo, implica que si estamos en el estado x, los tiempos
Tx , Tx−2 − Tx−1 , . . . , T0 − T1 son i.i.d. Si G (t) := G10 (t) es la función
generatriz de T0 partiendo del estado 1, y como
T0 = Tx + (Tx−2 − Tx−1 ) + · · · + (T0 − T1 ) si partimos de x, entonces,
∞
X
x
0
G (t) = Gx (t) :=
t n Px [T0 = n].
n=1
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
36 / 49
Cadenas de Colas
Distribución Estacionaria
Prueba: G (t) = tφ G (t)
Por la propiedad de Markov, y el hecho de que solo puede descender un
estado en cada periodo, implica que si estamos en el estado x, los tiempos
Tx , Tx−2 − Tx−1 , . . . , T0 − T1 son i.i.d. Si G (t) := G10 (t) es la función
generatriz de T0 partiendo del estado 1, y como
T0 = Tx + (Tx−2 − Tx−1 ) + · · · + (T0 − T1 ) si partimos de x, entonces,
∞
X
x
0
G (t) = Gx (t) :=
t n Px [T0 = n].
n=1
Entonces
∞
∞
∞
X
X
X
n+1
n
G (t) :=
t
P1 [T0 = n + 1] = tP(0, 1) + t
t
P(1, y )Py [T0 = n]
n=0
= tf (0) + t
n=1
∞
X
y =1
f (y )
∞
X
y =1
t n Py [T0 = n] = tf (0) + t
n=1
∞
X
y
f (y ) G (t)
y =1
= tφ G (t) .
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
36 / 49
Cadenas de Colas
Prueba: m0 =
Distribución Estacionaria
1
1−µ
Diferenciando ambos lados y despejando para G 0 (t)
φ G (t)
0
, 0 ≤ t < 1.
G (t) =
1 − tφ0 G (t)
Cuando t → 1,G (t) → 1, y φ G (t) → 1, y por definición de φ,
lı́mt→1 φ0 G (t) = φ0 (1) = µ.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
37 / 49
Cadenas de Colas
Prueba: m0 =
Distribución Estacionaria
1
1−µ
Diferenciando ambos lados y despejando para G 0 (t)
φ G (t)
0
, 0 ≤ t < 1.
G (t) =
1 − tφ0 G (t)
Cuando t → 1,G (t) → 1, y φ G (t) → 1, y por definición de φ,
lı́mt→1 φ0 G (t) = φ0 (1) = µ.
Como P(1, x) = P(0, x), para todo x, entonces la distribución de T0 es la
misma empezando
en 0 que empezando en 1, es decir,
P
n P [T = n]. Entonces,
G (t) := ∞
t
0
0
n=1
lı́m G 0 (t) = lı́m
t→1
t→1
Prof. Vı́quez (UCR)
∞
X
n=1
nt n−1 P0 [T0 = n] =
∞
X
nP0 [T0 = n] = E0 [T0 ] = m0 .
n=1
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
37 / 49
Cadenas de Colas
Prueba: m0 =
Distribución Estacionaria
1
1−µ
Diferenciando ambos lados y despejando para G 0 (t)
φ G (t)
0
, 0 ≤ t < 1.
G (t) =
1 − tφ0 G (t)
Cuando t → 1,G (t) → 1, y φ G (t) → 1, y por definición de φ,
lı́mt→1 φ0 G (t) = φ0 (1) = µ.
Como P(1, x) = P(0, x), para todo x, entonces la distribución de T0 es la
misma empezando
en 0 que empezando en 1, es decir,
P
n P [T = n]. Entonces,
G (t) := ∞
t
0
0
n=1
lı́m G 0 (t) = lı́m
t→1
t→1
Entonces m0 =
∞
X
n=1
1
1−µ ,
Prof. Vı́quez (UCR)
nt n−1 P0 [T0 = n] =
∞
X
nP0 [T0 = n] = E0 [T0 ] = m0 .
n=1
y las conclusiones se siguen inmediatamente.
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
37 / 49
Cadenas de Colas
Distribución Estacionaria
Resumen de Resultados
Si µ > 1: La cadena de colas es transiente, i.e., todos sus estados
son transientes y no existe ninguna distribución estacionaria.
Si µ ≤ 1:
Cadena Irreducible f (0) > 0, y f (0) + f (1) < 1 : La cadena de colas
es recurrente, i.e., todos sus estados son recurrentes.
Si µ = 1: Todos sus estados son recurrentes nulos y no existe ninguna
distribución estacionaria.
Si µ < 1: Todos sus estados son recurrentes positivos y existe una
única distribución estacionaria.
Cadena No-Irreducible:
Si µ = 1 f (1) = 1 : Todos los estados son absorbentes (recurrentes)
excepto el 0 que es transiente, y existen infinitas distribuciones
estacionarias.
Si 0 < µ < 1 f (0) > 0, f (1) > 0, y f (0) + f (1) = 1 : Todos los
estados son transientes excepto el 0 y el 1, que forman un conjunto
cerrado irreducible de estados recurrentes (C = {0, 1}), y existe una
única distribución estacionaria.
Si µ = 0 f (0) = 1 : Todos los estados son transientes excepto el 0
que es absorbente (recurrente) y existe una única distribución
estacionaria..
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
38 / 49
Ramificaciones
Definición
Cadenas de Ramificaciones
Considere particulas como neutrones o bacterias, que pueden generar
nuevas particulas del mismo tipo. La cantidad inicial de estos objetos se
llama la generación 0, y cada objeto serı́a un miembro de esta genración 0.
Las particulas generadas por la generación n, se llaman miembros de la
generación n + 1. Xn cuenta el número de particulas en la generación n.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
39 / 49
Ramificaciones
Definición
Cadenas de Ramificaciones
Considere particulas como neutrones o bacterias, que pueden generar
nuevas particulas del mismo tipo. La cantidad inicial de estos objetos se
llama la generación 0, y cada objeto serı́a un miembro de esta genración 0.
Las particulas generadas por la generación n, se llaman miembros de la
generación n + 1. Xn cuenta el número de particulas en la generación n.
PRECAUCIÓN: No se exige que las particulas tengan descendencia en
cada periodo, por lo que particulas de varias generaciones pueden coexistir
simultaneamente.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
39 / 49
Ramificaciones
Definición
Ejemplo: Cadenas de Ramificaciones
Ejemplo: una partı́cula genera dos particulas. X0 = 1 y X1 = 2. Una de
estas partı́culas genera 3 partı́culas, mientras que la otra solo genera 1
partı́cula. Entonces X2 = 4. Y ası́ sucesivamente.
Figura: Representación gráfica del ejemplo de ramificación
Noten que X4 = 0, por lo que Xn = 0 para todo n ≥ 4.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
40 / 49
Ramificaciones
Definición
Formalización del Modelo
.
La particula i genera ξi particulas en la siguiente generación,
ξ1 , ξ2 , . . . , ξx son i.i.d. y no-negativas, con densidad f . µ serı́a el
número esperado de partı́culas generadas por una partı́cula.
Claramente Xn es una cadena de Markov en S = {0, 1, . . . }, con 0 como
un estado absorbente, y con función de transición dada por:
P(x, y ) = P[ξ1 + ξ2 + · · · + ξx = y ]
Prof. Vı́quez (UCR)
Cadenas de Markov
si x > 0.
Martes 1 y Viernes 4 de Abril
41 / 49
Ramificaciones
Definición
Formalización del Modelo
.
La particula i genera ξi particulas en la siguiente generación,
ξ1 , ξ2 , . . . , ξx son i.i.d. y no-negativas, con densidad f . µ serı́a el
número esperado de partı́culas generadas por una partı́cula.
Claramente Xn es una cadena de Markov en S = {0, 1, . . . }, con 0 como
un estado absorbente, y con función de transición dada por:
P(x, y ) = P[ξ1 + ξ2 + · · · + ξx = y ]
si x > 0.
Si los descendientes de una partı́cula mueren (o desaparecen), se dice que
se extinguieron. Lo interesante de esta cadena consiste en averiguar la
probabilidad de una eventual extinción, es decir, determinar ρ := ρ10 ya
que una vez que se sabe esto, se puede utilizar la independencia para
estimar ρx0 = ρx .
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
41 / 49
Ramificaciones
Estados Recurrentes y Transientes
Ejercicio
Determine cuales estados son recurrentes y cuales son transientes. Divida
los casos:
f (1) = 1,
f (1) < 1.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
42 / 49
Ramificaciones
Estados Recurrentes y Transientes
Ejercicio
Determine cuales estados son recurrentes y cuales son transientes. Divida
los casos:
f (1) = 1,
f (1) < 1.
Solución:
Si f (1) = 1, todo estado es absorbente.
Si f (1) < 1, 0 es absorbente y el resto de estados son transientes.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
42 / 49
Ramificaciones
Estados Recurrentes y Transientes
Caracterización
Condiciones para la Extinción Total
Si f (1) = 1, la cadena se mantiene en su estado siempre.
Si f (1) < 1 y µ ≤ 1, la extinción total se da con certeza.
Si f (1) < 1 y µ > 1, la probabilidad de que ocurra la extinción total
es menor que 1.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
43 / 49
Ramificaciones
Estados Recurrentes y Transientes
Caracterización
Condiciones para la Extinción Total
Si f (1) = 1, la cadena se mantiene en su estado siempre.
Si f (1) < 1 y µ ≤ 1, la extinción total se da con certeza.
Si f (1) < 1 y µ > 1, la probabilidad de que ocurra la extinción total
es menor que 1.
Prueba: Como ρx0 = ρx , entonces
∞
∞
X
X
ρ = ρ10 =
P(1, y )ρy 0 =
f (y )ρy = φ(ρ).
y =0
Prof. Vı́quez (UCR)
y =0
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
43 / 49
Ramificaciones
Estados Recurrentes y Transientes
Caracterización
Condiciones para la Extinción Total
Si f (1) = 1, la cadena se mantiene en su estado siempre.
Si f (1) < 1 y µ ≤ 1, la extinción total se da con certeza.
Si f (1) < 1 y µ > 1, la probabilidad de que ocurra la extinción total
es menor que 1.
Prueba: Como ρx0 = ρx , entonces
∞
∞
X
X
ρ = ρ10 =
P(1, y )ρy 0 =
f (y )ρy = φ(ρ).
y =0
y =0
Por el Lema anterior, si µ ≤ 1, esta ecuación no tiene raı́ces en [0,1), y
como 1 = φ(1), se tiene que la probabilidad de extinción total es ρx0 = 1.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
43 / 49
Ramificaciones
Estados Recurrentes y Transientes
Caracterización
Condiciones para la Extinción Total
Si f (1) = 1, la cadena se mantiene en su estado siempre.
Si f (1) < 1 y µ ≤ 1, la extinción total se da con certeza.
Si f (1) < 1 y µ > 1, la probabilidad de que ocurra la extinción total
es menor que 1.
Prueba: Como ρx0 = ρx , entonces
∞
∞
X
X
ρ = ρ10 =
P(1, y )ρy 0 =
f (y )ρy = φ(ρ).
y =0
y =0
Por el Lema anterior, si µ ≤ 1, esta ecuación no tiene raı́ces en [0,1), y
como 1 = φ(1), se tiene que la probabilidad de extinción total es ρx0 = 1.
Por ese mismo Lema, si µ > 1, existe una solución ρ0 < 1 para la
ecuación. Utilizando los mismos argumentos anteriores, se demuestra que
ρ ≤ ρ0 < 1, por lo que se concluye que la probabilidad de extinción total
es menor que 1.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
43 / 49
Ramificaciones
Estados Recurrentes y Transientes
Ejercicio
Suponga que todo hombre tiene exactamente 3 descendientes, con
probabilidad 0.5 de ser hombre o mujer. Suponga que el número de
hombres en la generación n forma una cadena de ramificación. Encuentrae
la probabilidad de que el linage de hombres se extinga.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
44 / 49
Ramificaciones
Estados Recurrentes y Transientes
Ejercicio
Suponga que todo hombre tiene exactamente 3 descendientes, con
probabilidad 0.5 de ser hombre o mujer. Suponga que el número de
hombres en la generación n forma una cadena de ramificación. Encuentrae
la probabilidad de que el linage de hombres se extinga.
La densidad de hijos de un hombre es una binomial con parámetros (3, 12 ).
Entonces f (0) = 18 , f (1) = 38 , f (2) = 83 , f (3) = 18 , y f (x) = 0 para x ≥ 4.
µ=0·
Prof. Vı́quez (UCR)
1
3
3
1
3
+ 1 · + 2 · + 3 · = > 1.
8
8
8
8
2
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
44 / 49
Ramificaciones
Estados Recurrentes y Transientes
Ejercicio
Suponga que todo hombre tiene exactamente 3 descendientes, con
probabilidad 0.5 de ser hombre o mujer. Suponga que el número de
hombres en la generación n forma una cadena de ramificación. Encuentrae
la probabilidad de que el linage de hombres se extinga.
La densidad de hijos de un hombre es una binomial con parámetros (3, 12 ).
Entonces f (0) = 18 , f (1) = 38 , f (2) = 83 , f (3) = 18 , y f (x) = 0 para x ≥ 4.
1
3
3
1
3
+ 1 · + 2 · + 3 · = > 1.
8
8
8
8
2
La probabilidad de exinción es la menor raı́z positiva de la ecuación
1 3
3
1
+ t + t 2 + t 3 = t.
8 8
8
8
µ=0·
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
44 / 49
Ramificaciones
Estados Recurrentes y Transientes
Ejercicio
Suponga que todo hombre tiene exactamente 3 descendientes, con
probabilidad 0.5 de ser hombre o mujer. Suponga que el número de
hombres en la generación n forma una cadena de ramificación. Encuentrae
la probabilidad de que el linage de hombres se extinga.
La densidad de hijos de un hombre es una binomial con parámetros (3, 12 ).
Entonces f (0) = 18 , f (1) = 38 , f (2) = 83 , f (3) = 18 , y f (x) = 0 para x ≥ 4.
1
3
3
1
3
+ 1 · + 2 · + 3 · = > 1.
8
8
8
8
2
La probabilidad de exinción es la menor raı́z positiva de la ecuación
1 3
3
1
+ t + t 2 + t 3 = t.
8 8
8
8
Sabiendo que 1 es una raı́z, se hace división sintética y se obtienen que
µ=0·
(t − 1)(t 2 + 4t − 1) = 0,
√
√
√
con raı́ces 1, − 5 − 2 y 5 − 2, por lo que ρ = 5 − 2.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
44 / 49
Martingalas
Definición
Una Martingala es la escencia de un “juego justo”, es decir, cuando el
valor esperado de Xn+1 , dado el pasado X0 , X1 , . . . , Xn , es igual al valor
presente Xn , i.e.,
E[Xn+1 |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x] = x.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
45 / 49
Martingalas
Definición
Una Martingala es la escencia de un “juego justo”, es decir, cuando el
valor esperado de Xn+1 , dado el pasado X0 , X1 , . . . , Xn , es igual al valor
presente Xn , i.e.,
E[Xn+1 |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x] = x.
Si Xn es el capital de un apostador después del tiempo n, y si todas las
apuestas son “justas”, esto es, la ganancia esperada del apostador es 0;
entonces Xn es una martingala.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
45 / 49
Martingalas
Martingalas en Cadenas de Markov
Cadena de Markov Martingala
Considere una cadena de Markov, S = {0, . . . , d}, tal que
d
X
yP(x, y ) = x.
y =0
Entonces Xn es una martingala, con 0 y d como estados absorbentes. Si
no existen otros estados absorbentes, entonces todos los estados restantes
son transientes, y ρ{0} (x) = ρx0 = 1 − dx , ası́ como ρ{d} (x) = ρxd = dx .
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
46 / 49
Martingalas
Martingalas en Cadenas de Markov
Cadena de Markov Martingala
Considere una cadena de Markov, S = {0, . . . , d}, tal que
d
X
yP(x, y ) = x.
y =0
Entonces Xn es una martingala, con 0 y d como estados absorbentes. Si
no existen otros estados absorbentes, entonces todos los estados restantes
son transientes, y ρ{0} (x) = ρx0 = 1 − dx , ası́ como ρ{d} (x) = ρxd = dx .
NOTA: La cadena de la ruina del jugador, si p = q = 12 , es una
martingala. El apostador tendrá probabilidad dx de salir ganancioso y 1 −
de quebrar, si inicia con x dólares.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
x
d
46 / 49
Martingalas
Prueba
Claramente (y por la propiedad de Markov), Xn es una martingala,
E[Xn+1 |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x]
=
d
X
y P[Xn+1 = y |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x] =
y =0
Prof. Vı́quez (UCR)
d
X
yP(x, y ) = x
y =0
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
47 / 49
Martingalas
Prueba
Claramente (y por la propiedad de Markov), Xn es una martingala,
E[Xn+1 |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x]
=
d
X
y P[Xn+1 = y |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x] =
y =0
d
X
yP(x, y ) = x
y =0
Pd
También, y =0 yP(0, y ) = 0, o sea, P(0, i) = 0, para todo i 6= 0. 0 es un
estado absorbente. Analogamente se demuestra que d es absorbente.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
47 / 49
Martingalas
Prueba
Claramente (y por la propiedad de Markov), Xn es una martingala,
E[Xn+1 |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x]
=
d
X
y P[Xn+1 = y |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x] =
y =0
d
X
yP(x, y ) = x
y =0
Pd
También, y =0 yP(0, y ) = 0, o sea, P(0, i) = 0, para todo i 6= 0. 0 es un
estado absorbente. Analogamente se demuestra que d es absorbente.
x conecta con algún yP< x, de lo contrario
Pd P(x, y ) = 0 para todo y < x.
d
Eso implica que x = y =0 yP(x, y ) = y =x yP(x, y ) > x, lo cual es
imposible. Entonces todo x conecta con 0 pero 0 no conecta con x, por lo
tanto, x es transiente.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
47 / 49
Martingalas
Prueba
Claramente (y por la propiedad de Markov), Xn es una martingala,
E[Xn+1 |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x]
=
d
X
y P[Xn+1 = y |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x] =
y =0
d
X
yP(x, y ) = x
y =0
Pd
También, y =0 yP(0, y ) = 0, o sea, P(0, i) = 0, para todo i 6= 0. 0 es un
estado absorbente. Analogamente se demuestra que d es absorbente.
x conecta con algún yP< x, de lo contrario
Pd P(x, y ) = 0 para todo y < x.
d
Eso implica que x = y =0 yP(x, y ) = y =x yP(x, y ) > x, lo cual es
imposible. Entonces todo x conecta con 0 pero 0 no conecta con x, por lo
tanto, x es transiente.
Finalmente (por la propiedad de la torre)
x = Ex [Xn+1 ] =
d−1
X
y =1
Prof. Vı́quez (UCR)
n→∞
yP n (x, y ) + d P n (x, d) −−−→ dρxd .
| {z }
= Px [Td ≤n]
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
47 / 49
Martingalas
References
Hoel, P., Port, S., Stone, C (1987)
Introduction to Stocastic Processes.
Waveland Press, USA.
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
48 / 49
Martingalas
Final de clase
Prof. Vı́quez (UCR)
Cadenas de Markov
Martes 1 y Viernes 4 de Abril
49 / 49