Práctico 2 - parte 1 1. ([2], p.8) Sea {X n}n≥0 una cadena de Markov

Universidad de la República
Introducción a los Procesos Estocásticos – Curso 2016
Licenciatura en Estadı́stica
Profesores: A. Estramil, M. Scavino
Práctico 2 - parte 1
Cadenas de Markov en tiempo discreto:
propiedad de Markov, matriz de transición.
Fecha de entrega: viernes 2 de septiembre
1. ([2], p.8)
Sea {Xn }n≥0 una cadena de Markov homogénea con distribución
inicial π y matriz de transición P.
Notación: {Xn }n≥0 ∼ CMH(π, P) .
Se define Yn := Xkn , n = 0, 1, . . . para un entero positivo k fijo.
Demostrar que {Yn }n≥0 es una cadena de Markov homogénea con
distribución inicial π y hallar su matriz de transición.
2. Considere una sucesión de lanzamientos independientes de un
dado de seis caras no cargado, y sea Xi la variable aleatoria que
corresponde al número que aparece en la cara superior del dado
en el i-ésimo lanzamiento, con Xi ∈ {1, 2, 3, 4, 5, 6} .
Se define Yn := máx Xi .
1≤i≤n
Mostrar que {Yn }n≥1 es una cadena de Markov y hallar su matriz
de transición P.
3. Considere el problema de la ruina del jugador. Suponga que el
capital inicial del jugador A es $5 y que el capital total S es $9.
En cada etapa del juego el jugador A gana $1 con probabilidad
0.45, o pierde $1 con probabilidad 0.55.
Hallar el capital esperado del jugador A al cabo de tres etapas
del juego, y al cabo de cuatro etapas del juego.
4. Considere un paseo al azar sin restricciones en Z en el cual la
probabilidad de una transición del entero k al entero k − 1 es p, la
probabilidad de una transición del entero k al entero k + 1 es q, y
la probabilidad de quedarse en el entero k es r, con p + q + r = 1 .
Hallar la matriz de transición de orden dos de dicho paseo al azar.
1
Universidad de la República
Introducción a los Procesos Estocásticos – Curso 2016
Licenciatura en Estadı́stica
Profesores: A. Estramil, M. Scavino
5. ([2], p.8)
Sea X0 una variable aleatoria que toma valores en el conjunto
numerable S. Sea {Yn }n≥1 una sucesión de variables aleatorias
independientes y uniformemente distribuidas en [0, 1], con
{Yn }n≥1 independiente de X0 .
Considere una función g : S × [0, 1] −→ S y la recurrencia
Xn+1 := g(Xn , Yn+1 ).
(a) Demostrar que {Xn }n≥0 es una cadena de Markov y expresar
su matriz de transición en términos de la función g.
(b) Argumentar si todas las cadenas de Markov pueden generarse
empleando el procedimiento anterior.
6. ([2], p.9)
Sea {Zn }n≥0 una sucesión de variables aleatorias independientes e
idénticamente distribuidas, Zi ∼ Ber(p).
Se define S0 = 0, Sn := Z1 + · · · + Zn .
Determinar en cada uno de los siguientes casos si {Xn }n≥0 es una
cadena de Markov:
(a)
(b)
(c)
(d)
Xn
Xn
Xn
Xn
= Zn ;
= Sn ;
= S0 + · · · + Sn ;
= (Sn , S0 + · · · + Sn ) .
En los casos en que {Xn }n≥0 es una cadena de Markov, hallar su
espacio de estados S y su matrix de transición P.
En los casos en que {Xn }n≥0 no es una cadena de Markov,
proveer un ejemplo en el cual
Pr(Xn+1 = i|Xn = j, Xn−1 = k) no es independiente de k.
7. Escribir un programa en el lenguaje R mediante el cual simular y
visualizar la evolución de las trayectorias de una cadena de
Markov homogénea con espacio de
estados S = {A, B, C, D} ,
1 2 1 4
distribución inicial π = 8 , 8 , 8 , 8 y matriz de transición P
arbitraria, exceptuando la presencia de estados de absorción.
Desarrollar el programa anterior a los efectos de:
2
Universidad de la República
Introducción a los Procesos Estocásticos – Curso 2016
Licenciatura en Estadı́stica
Profesores: A. Estramil, M. Scavino
(a) chequear que la distribución inicial ingresada por el usuario es
una distribución de probabilidad;
(b) chequear que la matrix de transición ingresada por el usuario
cumpla las propiedades que definen dicha matriz;
(c) calcular el número de veces que la cadena visita cada estado
al cabo de N transiciones de paso uno.
Práctico 2 - parte 2
Cadenas de Markov en tiempo discreto:
aplicaciones del método del análisis del primer paso.
Fecha de entrega: martes 13 de septiembre
1. ([1], p.112)
Sea {Xn }n≥0 una cadena de Markov homogénea que toma valores
en el espacio de estados S = {0, 1, . . . , M }, con matriz de
transición P = (Pi,j )i,j∈S .
(a) Considere los tiempos de primera entrada
T0 := inf{n ≥ 0 : Xn = 0} ,
TM := inf{n ≥ 0 : Xn = M } ,
y
g(k) = Pr(T0 < TM |X0 = k) , k = 0, 1, . . . , M .
¿Cuáles son los valores de g(0) y g(M )?
(b) Demostrar, a través del análisis del primer paso, que la
función g cumple la relación
g(k) =
M
X
j = 1, . . . , M − 1 .
Pk,j g(j) ,
(1)
j=0
(c) En esta pregunta, y en las siguientes preguntas de este
ejercicio, considere el modelo estocástico de Sewall G. Wright
y Ronald A. Fisher (un modelo básico en genética de
poblaciones), donde el estado Xn indica el número de
individuos en la población al tiempo n, y
j M −j
M
k
M −k
Pk,j := Pr(Xn+1 = j|Xn = k) =
, k, j ∈ S .
j
M
M
3
Universidad de la República
Introducción a los Procesos Estocásticos – Curso 2016
Licenciatura en Estadı́stica
Profesores: A. Estramil, M. Scavino
Escribir la matrix de transición P en el caso M = 3.
(d) Demostrar, a partir de la pregunta (b), que dado que la
solución de (1) es única, se cumple que
Pr(T0 < TM |X0 = k) =
M −k
, k = 0, 1, . . . , M .
M
(e) Sea T0,M := inf{n ≥ 0 : Xn = 0 o Xn = M }, y
h(k) = E[T0,M |X0 = k] , k = 0, 1, . . . , M .
¿Cuáles son los valores de h(0) y h(M )?
(f) Demostrar, a través del análisis del primer paso, que la
función h cumple la relación
h(k) = 1 +
M
X
Pk,j h(j) ,
j = 1, . . . , M − 1 .
j=0
(g) Dado M = 3, calcular
h(k) = E[T0,3 |X0 = k] , k = 0, 1, 2, 3 .
2. ([1], p.114)
Un ratón de laboratorio se encuentra atrapado en un laberinto y,
inicialmente, tiene que elegir entre dos posibles direcciones. Si
elige ir a la derecha, entonces se paseará en el laberinto durante
los siguientes tres minutos y luego volverá a su posición inicial. Si
elige ir a la izquierda, entonces con probabilidad 1/3 saldrá del
laberinto después de dos minutos, y con probabilidad 2/3 volverá
a su posición inicial al cabo de cinco minutos.
Asumiendo que el ratón, en todo momento, elige con la misma
probabilidad ir a la izquierda o a la derecha, ¿cuál es el número
esperado de minutos que permanecerá atrapado en el laberinto?
3. ([2], p.18)
Suponga que el capital inicial de un jugador es $2 y que el
jugador necesite aumentar rápidamente su capital hasta $10. El
jugador participa de un juego con las siguientes reglas: se lanza
4
Universidad de la República
Introducción a los Procesos Estocásticos – Curso 2016
Licenciatura en Estadı́stica
Profesores: A. Estramil, M. Scavino
una moneda no cargada; si el jugador apuesta a la cara de la
moneda que coincide con el resultado del lanzamiento, entonces
gana una suma igual a su apuesta, y su apuesta es devuelta; de lo
contrario, el jugador pierde lo apostado. El jugador decide
adoptar una estrategia en la cual apuesta todo su dinero si tiene
$5 o menos, y en otro caso apuesta justo lo suficiente para
aumentar su capital, si gana, a $10.
(a) Sea X0 = 2, y se indica con Xn el capital del jugador luego de
n lanzamientos de la moneda. Demostrar que el jugador
logrará su objetivo con probabilidad 1/5.
(b) ¿Cuál es el número esperado de lanzamientos hasta que el
jugador logre su objetivo o pierda su capital?
4. ([2], pp.18-19, serpientes y escaleras)
Considere la siguiente versión del juego de mesa serpientes y
escaleras basada en un tablero con nueve cuadrados (imagen
extraı́da de ([2], p.18)):
En cada turno un jugador lanza una moneda no cargada y mueve
su pieza en el tablero uno o dos lugares adelante según el
resultado del lanzamiento de la moneda, cara o número,
respectivamente. Si la pieza cae en un cuadrado con los pies de
una escalera entonces sube hasta lo alto de esta, pero si cae en un
5
Universidad de la República
Introducción a los Procesos Estocásticos – Curso 2016
Licenciatura en Estadı́stica
Profesores: A. Estramil, M. Scavino
cuadrado con la cabeza de una serpiente entonces retrocede al
cuadrado con la cola de la serpiente.
¿Cuántos turnos en promedio son necesarios para terminar el
juego?
¿Cuál es la probabilidad de que un jugador que ha alcanzado el
cuadrado del medio complete el juego sin volver a la casilla 1?
5. ([2], p.19)
Sea {Xn }n≥0 una cadena de Markov homogénea que toma valores
en el espacio de estados S = {0, 1, . . .}, con probabilidades de
transición dadas por
2
i+1
P0,1 = 1, Pi,i+1 + Pi,i−1 = 1, Pi,i+1 =
Pi,i−1 , i ≥ 1 .
i
Demostrar que, si X0 = 0, entonces la probabilidad de que
Xn ≥ 1 para todos n ≥ 1 es π62 .
Bibliografı́a
[1] Nicolas Privault (2013). Understanding Markov Chains. Examples and
Applications, Springer Undergraduate Mathematics Series, Springer.
[2] James R. Norris (1997). Markov Chains, Cambridge Series on Statistical and
Probabilistic Mathematics, Cambridge University Press.
6