Universidad de Costa Rica Escuela de Matemática

Universidad de Costa Rica
Escuela de Matemática
Departamento de Actuariado
CA-406 Procesos Estocásticos y Series Temporales
I Ciclo del 2014
Tarea#1
Primera Parte: Descomposición del Espacio de Estados
1. Suponga que ξ0 , ξ1 , . . . son variables aleatorias independientes e idénticamente distribuidas tal
que Zi = 1 con probabilidad p y Zi = 0 con probabilidad 1 − p. Sea S0 = 0, Sn = Z1 + · · · + Zn .
En cada uno de los siguientes casos determine si Xn es una cadena de Markov:
a) Xn = Zn ,
b) Xn = Sn ,
c) Xn = S0 + · · · + Sn .
En los casos donde Xn es una cadena de Markov encuentre su espacio de estados y función de
transición; y en los casos donde no es una cadena de Markov dé un ejemplo donde
P (Xn+1 = i | Xn = j, Xn−1 = k)
no es independiente de k.
2. Dé un ejemplo de una cadena de Markov para el cual algunos estados son recurrentes positivos,
algunos estados recurrentes nulos y otros estados transientes.
3. Una cadena de Markov tiene las siguientes probabilidades de transición:
P (0, 1) = 1
y
P (i, i + 1) = αi = 1 − P (i, 0),
con αi > 0 para i = 1, 2, 3, . . . .
a) Muestre que todos los estados son recurrentes sii
lı́m
n→∞
n
Y
αk = 0.
k=1
b) Muestre que si la cadena es recurrente, entonces todos los estados son recurrentes positivos
sii
∞ Y
n
X
αk = 0.
n=1 k=1
Sugerencia: utilice el hecho de que E1 [T1 ] =
P∞
n=1
P1 [T1 ≥ n].
4. Suponga que (Xn )n≥0 es Markov con distribución inicial π0 y función de transición P . Si
Yn = Xkn , muestre que (Yn )n≥0 es Markov con distribución inicial π0 y función de transición
P k.
5. Las probabilidades de transición de una cadena de Markov irreducible están dadas por
P (0, 1) = 1,
P (k, 0) =
1
k+1
para k = 1, 2, . . . .
1
y
P (k, k + 1) =
k
,
k+1
a) Calcule P k (0, k), para k = 1, 2, . . . .
b) Calcule P k (0, 0), para k = 2, 3. Cuál es el perı́odo de la cadena?
c) Es la cadena de Markov transiente, recurrente nula o recurrente positiva? Justifique.
6. Sea r ∈ [0, 1] y sea X una cadena de Markov sobre N con matriz de transición

1



r
P (x, y) =

1−r



0
si x = 0, y = 1,
si y = x + 1 ≥ 2,
si y = x − 1,
en otro caso.
Calcule la medida invariante (distribución estacionaria) y muestre lo siguiente:
a) Si r ∈ 0, 12 , entonces X es recurrente positiva.
b) Si r = 12 , entonces X es recurrente nula.
c) Si r ∈ {0} ∪ 12 , 1 , entonces X es transiente.
7. En el caso especial donde tenemos una cadena de Nacimiento y Muerte con p0 = r0 = 12 y para
x ≥ 1, rx = 31 , qx = 31 + ax y px = 13 − ax , con ax = xλα para x grande. Encuentre condiciones
sobre α positivo y λ real para que la cadena sea transiente, recurrente nula y recurrente positiva.
8. Considere la simple cadena sobre los enteros
P∞ no negativos con las siguientes probabilidades de
transición: P (0, x) = px , para x ≥ 0 con x=0 px = 1. Para x > 0, P (x, x−1) = 1 y P (x, y) = 0
para todos los otros y. Determine condiciones sobre {px } de tal manera que la cadena pueda
ser transiente, recurrente nula o recurrente positiva. Determine la distribución estacionaria en
el caso recurrente positivo.
Segunda Parte: Distribución Estacionaria
1. Dé un ejemplo de una cadena de Markov sobre un espacio de estados finito, tal que tres de los
estados tiene un perı́odo distinto.
2. Considere la cadena de Markov con probabilidad de transición


1 0 0
P =  0 1 0 .
a b c
a) Calcule P n , para n ≥ 2.
b) Calcule lı́mn→∞ P n .
c) Existe una distribución estacionaria π? Se cumple que lı́mn→∞ P n (x, y) = π(y)? Que
falla?
3. Considere la cadena de Markov con espacio de estados S = {1, 2, 3} y probabilidades de transición dadas por


0 23 13
1
3
P = 4 0 4
4
1
0
5
5
a) Para cada n ∈ N, encuentre una fórmula explı́cita para P1 [T1 = n], donde Ty es el tiempo
de ingreso a {y}.
b) Calcule el tiempo promedio de regreso m1 = E1 [T1 ].
c) Pruebe que esta cadena de Markov tiene una única distribución estacionaria.
2
d ) Calcule esta distribución estacionaria.
4. Sea

q
q

P =
0
0
0
p 0
0 p
q 0
0 q
0 0

0 0
0 0

p 0

0 p
q p
donde p + q = 1 y 0 < p < 1, la matriz de transición de una cadena de Markov cuyo espacio
de estados es {0, 1, 2, 3, 4}.
a) Es la cadena periódica o aperiódica? Justifique.
b) Calcule, si existe, las probabilidades lı́mite.
5. Las probabilidades de transición de una cadena de Markov, cuyo espacio de estados es {−3, −2, −1, 0, 1, 2, 3}
son dadas por
2
parai = −3, −2, −1, 0, 1, 2
3
2
P (i, i − 1) =
parai = −2, −1, 0, 1, 2, 3
3
1
P (−3, 3) = = 1 − P (3, −3)
3
P (i, i + 1) =
a) Muestre que la cadena de Markov es irreducible.
b) Determine el perı́odo de la cadena.
c) Determine el comportamiento asintótico de la matriz P n .
6. Consideramos una cadena de Markov irreducible con espacio de estados S = {0, 1, 2, 3, 4} y
cuya matriz de transición P está dada por


0 13 32 0 0


0 0 0 14 34 


1
3
P =
0 0 0 4 4 


1 0 0 0 0 
1 0 0 0 0
a) Cuál es el perı́odo de la cadena?
b) Calcule la fracción de tiempo π(j) , que la cadena permanece sobre un perı́odo largo en
el estado j, para j = 0, 1, 2, 3, 4.
7. Consideramos una cadena de Markov con probabilidades de transición dadas por
P (k, 0) =
k+1
k+2
y
P (k, k + 1) =
1
,
k+2
para k = 0, 1, 2, . . . .
a) Muestre que la cadena es irreducible, recurrente positiva y aperiódica.
b) Calcule las probabilidades lı́mite π(k), para k = 0, 1, 2, . . . .
8. Consideramos una cadena de Markov definida por la matriz de transición P dada por
1
1
1 
2
4
P = α
0
1−α
α
4
0 
1−α
donde α ∈ [0, 1] y el espacio de estados es S = {0, 1, 2}.
3
a) Para qué valores de α es la cadena de Markov irreducible, recurrente positiva y aperiódica?
Justifique.
b) Calcule las probabilidades lı́mite para los valores de α encontrados en la parte 8a.
9. Una cadena de Markov cuyo espacio de estados
transición

0
P = 1 − p
0
es S = {0, 1, 2} tiene la siguiente matriz de

1 0
0 p
1 0
donde p ∈ (0, 1).
a) Calcule P n para n ≥ 2.
b) Encuentre el perı́odo de cada estado de la cadena.
c) Calcule la proporción del tiempo que la cadena permanece en el estado 0, en un largo
perı́odo. Es esta proporción igual al lı́mite limn→∞ P n (i, 0)? Justifique.
Tercera Parte: Cadenas de Nacimiento y Muerte, Colas, Ramificación, Etc
1. En el problema de la ruina del jugador, sea Yi el número de jugadas necesarias para finalizar
el juego (con el jugador arruinado o alcanzado el objetivo de k unidades), dado que la fortuna
inicial es igual a i unidades, para i = 0, 1, . . . , N . Muestre que Mi = E[Yi ] satisface que
M0 = MN = 0;
i = 1, . . . , N − 1.
Mi = 1 + pMi+1 + qMi−1 ,
Resuelva esta ecuación para obtener que
h
i
(
1−(q/p)i
1
q−p i − N 1−(q/p)N
E[Yi ] =
i(N − i)
si p 6=
si p =
1
2
1
2.
Sugerencia: Demuestre que P[Yi = k] = pP[Yi+1 = k − 1] + qP[Yi−1 = k − 1].
2. En la cadena de Ehrenfest, suponga que X0 = 1. Sea Mn
bolas en la caja 1 después de n ensayos. Muestre que
n 2
d
1−
E[Xn ] = − 1 −
2
d
Sugerencia: Muestre primero que Mn+1 = 1 +
= E[Xn ] (el número promedio de
d
2
.
d−2
d Mn .
3. Consideremos un proceso de ramificación {Xn / n = 0, 1, . . . } para el cual X0 = 1 y densidad
i
f (i) = eλ λi! , para i = 0, 1, . . . . Es decir, el número de descendientes de un individuo arbitrario
sigue una distribución de Poisson con parámetro λ. Determine la probabilidad ρ de extinción
de la población si (a) λ = ln 2 y (b) λ = ln 4.
Cuarta Parte: Procesos de Saltos
1. Sean Xt y Yt dos procesos de Poisson independientes con parámetros λ1 y λ2 , respectivamente,
que miden el númuero de llamadas que entran a dos teléfonos diferentes. Sea Zt = Xt + Yt .
Muestre que Zt es un proceso de Poisson. Cuál es el parámero de tasa para Z?
2. Suponga que usted arriba a una oficina postal que tiene dos empleados en un momento en que
ambos están ocupados, pero no hay nadie (algún cliente) en la de espera. Usted será atendido
una vez que alguno de los empleados esté desocupado. Si el tiempo de atención que utiliza
el empleado i es exponencial con tasa λi , i ∈ {1, 2}. Encuentre E[T ], donde T es el total de
tiempo que usted permanece en la oficina postal.
4
3. Suponga que personas inmigran a un territorio a una tasa de Poisson λ = 1 por dı́a.
a) Cuál es el tiempo esperado hasta que el décimo inmigrante arribe?
b) Cuál es la probabilidad de que el tiempo transcurrido entre el décimo y undécimo arribo
exceda dos dı́as?
4. Suponga que el númuero de llamadas por hora que entran a un centro de llamados sigue un
proceso de Poisson con λ = 4.
a) Cuál es la probabilidad que menos de dos llamadas entren en la primera hora? Cuál es la
probabilidad de que al menos dos llamadas entren en la segunda hora?
b) Suponga que 6 llamadas entran en la primera hora. Cuál es la probabilidad de que al
menos dos llamadas arribarán en la segunda hora?
c) La persona que responde los teléfonos espera hasta 15 llamadas antes de ir a almorzar.
Cuál es el tiempo esperado que la persona aguardará?
d ) Suponga que se conoce que exactamente 8 llamadas entraron en las primeras dos horas.
Cuál es la probabilidad de que exactamente 5 llamadas de éstas entraron en la primera
hora?
e) Suponga que se conoce que exactamente k llamadas entraron en las primeras 4 horas.
Cuál es la probabilidad de que exactamente j de éstas entraron en la primera hora?
5. Sea Xt una cadena de Markov con espacio de estados S = {1, 2, 3} y parámetros infinitesimales
q1,2 = 1, q2,1 = 4, q2,3 = 1, q3,2 = 4, q1,3 = 0, q3,1 = 0. Encuentre Pt .
6. Considere la cadena de Markov en tiempo continuo con espacio de estados S = {1, 2, 3, 4} y
generador infinitesimal


−3 1
1
1
 0 −3 2
1
.
G=
1
2 −4 1 
0
0
1 −1
Encuentre la distribución de equilibrio (estacionaria) π.
7. Considere la cadena de Markov en tiempo continuo con espacio de estados S = {1, 2, 3, 4} y
generador infinitesimal


−2 1
1
0
 0 −1 1
0
.
G=
1
1 −3 1 
0
0
1 −1
Encuentre la distribución de equilibrio (estacionaria) π.
1
y tasa de
8. Sea Xt un proceso de Nacimiento y Muerte con tasa de nacimiento λx = 1 + x+1
muerte µx = 1. Es este proceso recurrente positivo, recurrente nulo o transiente? Qué pasa en
1
?
el caso en que λx = 1 − x+2
9. Un proceso estocástico {Xt / t ≥ 0} se le llama un proceso de Poisson compuesto si puede ser
representado como
Nt
X
Xt =
Yi ,
t≥0
i=1
donde {Nt / t ≥ 0} es un proceso de Poisson(λ) y {Yi / i ≥ 1} es una familia de variables
aleatorias independientes e idénticamente distribuidas, que son independientes también de Nt .
a) Verifique que E[Xt ] = λtE[Y1 ].
b) Verifique que Var[Xt ] = λtE[Y2 ].
5
c) Suponga que familias inmigran a un área a una tasa de Poisson λ = 2 por semana. Si
el número de personas en cada familia es independiente y toma valores {1, 2, 3, 4} con
probabilidades respectivas de 16 , 31 , 13 , 16 . Cuál es el valor esperado y la varianza del
número de individuos que inmigran a esta área durante un perı́odo fijo de 5 semanas?
Quinta Parte: Ejercicios Extra
1. Llamamos una cadena
P de Markov “doubly stochastic” si su matriz de transicón P (i, j) tiene
la propiedad de que i∈S P (i, j) = 1 para cada j ∈ S. Pruebe que, para este tipo de cadena
de Markov sobre un espacio de estados finito, la distribución uniforme es una distribución
estacionaria.
2. Sea X una cadena de Markov con espacio de estados S y suponga que h : S → T es una función
inyectiva. Muestre que h(Xn ) define una cadena de Markov sobre T . Lo anterior es válido si h
no es inyectiva?
3. Sea X una cadena de Markov. Muestre que para 1 < r < n,
P [Xr = k | Xi = xi ; i = 1, 2, . . . , r − 1, r + 1, . . . , n ] = P [Xr = k | Xr−1 = xr−1 , Xr+1 = xr+1 ] .
6