Práctico 3

Universidad de la República
Licenciatura en Estadı́stica
Profesores: A. Estramil, M. Scavino
Introducción a los Procesos Estocásticos – Curso 2016
Práctico 3 - parte 1
Cadenas de Markov en tiempo discreto:
clasificación de estados.
Fecha de entrega: martes 20 de septiembre
1. Considere la siguiente definición de conjunto de estados cerrado
de una CMH:
Definición Un conjunto de estados C es cerrado si ningún estado
afuera de C es accesible desde un cualquier estado de C.
Se observa que si C es cerrado, entonces Pi,j = 0, ∀i ∈ C, j ∈
/ C.
Demostrar que una clase de comunicación es cerrada si todos sus
estados son recurrentes.
Concluir que el espacio de estados S de una cadena de Markov
finita se particiona como
S = T ∪ R1 ∪ · · · ∪ Rm ,
donde T es el conjunto de estados transitorios y R1 , . . . , Rm son
clases de comunicación cerradas de estados recurrentes.
Dicha partición es llamada descomposición canónica de S.
Los elementos de S se reordenan de manera convencional, de
modo que la matriz de transición P quede expresada como una
matriz por bloques:
T
T
∗
R1 
0
P = ..  ..
. .
Rm 0

R1
∗
P1
..
.
0
···
···
···
...
···
Rm

∗
0 

..  ,
. 
Pm
donde cada submatriz P1 , . . . , Pm es una matriz estocástica
cuadrada que corresponde a una clase de comunicación recurrente
cerrada.
2. ([1], p.11)
Sea {Zn }n≥0 una CMH con espacio de estados S = {0, 1, 2, 3, 4} y
1
Universidad de la República
Licenciatura en Estadı́stica
Profesores: A. Estramil, M. Scavino
Introducción a los Procesos Estocásticos – Curso 2016
matriz de transición:
0
1
0 2
1
0

P = 2 0

3 0
4 12
1
0
3
0
4
1
2
0
2
0
0
1
1
4
1
4
1
4
0


0.
1
4
0
0
0
1
2
1
2
0

1
2
(a) Identificar las clases de comunicación de la cadena y
representarlas a través del correspondiente grafo dirigido.
(b) ¿Cuáles de las clases son cerradas?
3. Sea {Zn }n≥0 una CMH con espacio de estados S = {0, 1, 2, 3, 4} y
matriz de transición:
0
0 0
1
0

P = 2 0

3 1
4 1
1
2
3
4
1
4
3
0
0
0
0
0
0
0
0
0
0
0
4
0
2
3
2
.
3
0
0
1
3
1
3
(a) Demostrar que la cadena es irreducible.
(b) Hallar el perı́odo de la cadena.
4. ([2], p.128)
Sea {Zn }n≥0 una CMH con espacio de estados S = {0, 1, 2, 3, 4, 5}
y matriz de transición:
0
1
0 2

1 13

2 0
P= 1
3 6

4 0
5 0
1
0
1
3
0
1
2
0
0
2 3
1
0
4
1
0
3
0 0
1
0
6
1 0
0 0
2
4
0
0
1
0
0
0
5
1
4


0

0
.
1

6
0
1
Universidad de la República
Introducción a los Procesos Estocásticos – Curso 2016
Licenciatura en Estadı́stica
Profesores: A. Estramil, M. Scavino
(a) ¿Es la cadena reducible? En caso afirmativo, hallar sus clase
de comunicación.
(b) Identificar los estados recurrentes y transitorios de la cadena.
(c) Hallar el perı́odo de cada estado de la cadena.
5. (fecha de entrega: 11 de octubre)
Escribir una función en el lenguaje R, cuyo argumento es una
matriz cuadrada de orden N + 1, a través de la cual:
(a) chequear que la matriz ingresada por el usuario cumple las
propiedades que definen una matriz de transición de una
CMH con espacio de estados finito S = {0, 1, . . . , N };
(b) obtener una lista con todas las clases de comunicación de la
cadena y determinar si son cerradas o menos;
(c) clasificar cada estado de la cadena como recurrente o
transitorio;
(d) expresar la matriz de transición de la cadena en la forma
canónica por bloques.
Práctico 3 - parte 2
Cadenas de Markov en tiempo discreto:
comportamiento a largo plazo y estacionariedad.
Fecha de entrega: lunes 26 de septiembre
1. Considere la CMH definida en el ejercicio 3 de la parte 1 del
presente práctico. Hallar la distribución estacionaria de la
cadena.
2. ([2], p.143)
Considere una CMH con matriz de transición
 A B C D E 
A 0.6 0.4 0
0
0

B 0.3 0.7 0
0
0 



P = C 0.2 0 0.4 0 0.4  .


D 0.2 0.2 0.2 0.2 0.2 
E 0
0
0
0
1
3
Universidad de la República
Licenciatura en Estadı́stica
Profesores: A. Estramil, M. Scavino
Introducción a los Procesos Estocásticos – Curso 2016
Hallar
lim Pr(Xn = A|X0 = C) .
n→∞
3. Considere una CMH con espacio de estados S y con dos distintas
distribuciones estacionarias π 1 = (π 1, i )i∈S y π 2 = (π 2, i )i∈S .
Demostrar que
π α, i := (1 − α)π 1, i + απ 2, i , i ∈ S
es una distribución estacionaria para cada 0 ≤ α ≤ 1, y que a
valores distintos de α corresponden distintas distribuciones
estacionarias.
4. ([2], p.145)
Considere una CMH con matriz de transición
A B
A 1 0

P = B 0 1
C a b
C
0
0
,
c
con a + b + c = 1.
(a) Calcular la potencia Pn para todos n ≥ 2.
(b) Averiguar si existe una distribución lı́mite de la cadena. En
caso afirmativo, calcular dicha distribución.
(c) Hallar el conjunto de las distribuciones estacionarias de la
cadena.
5. Considere una CMH con matriz de transición
B
C
 A
A
0
0.75 0

B 0.5
0
0

P = C 0
0
1

D 0
0
0
E 0.25 0.75 0
4
D
0
0
0
1
0
E 
0.25
0.5 


0 .

0 
0
Universidad de la República
Introducción a los Procesos Estocásticos – Curso 2016
Licenciatura en Estadı́stica
Profesores: A. Estramil, M. Scavino
(a) Calcular el lı́mite de Pn cuando n → ∞ a través del entorno
de programación R, y describir el comportamiento a largo
plazo de la cadena.
(b) Hallar el conjunto de las distribuciones estacionarias de la
cadena.
6. Sea {Zn }n≥0 una CMH irreducible con espacio de estados finito
S, matriz de transición P tal que Pi, i = 0 , i ∈ S, y distribución
estacionaria π.
Se define la matriz Q = ((Qi, j ))i,j∈S como:
Qi, i = 1 − ri ,
Qi, j = ri Pi, j , j 6= i ,
donde 0 < ri < 1 , i ∈ S.
Mostrar que Q es la matriz de transición de una cadena de
Markov irreducible con espacio de estados S y distribución
invariante π 0 , definida por
πi0
ri−1 πi
=P
, i∈S.
−1
r
π
j
j∈S j
Se observa que la cadena con matriz de transición Q tiene
probabilidad 1 − ri de quedarse en el estado i, y probabilidad ri
de no quedarse en i y de acceder a otro estado j según la matriz
de transición P.
Bibliografı́a
[1] James R. Norris (1997). Markov Chains, Cambridge Series on Statistical and
Probabilistic Mathematics, Cambridge University Press.
[2] Nicolas Privault (2013). Understanding Markov Chains. Examples and
Applications, Springer Undergraduate Mathematics Series, Springer.
5