2 CADENAS DE MARKOV HOMOG´ENEAS DE PAR´AMETRO

Cadenas de Markov ∣ 10
2
CADENAS DE MARKOV HOMOGÉNEAS
DE PARÁMETRO DISCRETO
En la primera parte del capı́tulo se estudian las probabilidades condicionales de
transición -definidas en (l.5) y (1.6) - e incondicionales de estado - definida en
(1.1) - en las cadenas de Markov homogéneas, y se desarrollan las ecuaciones que
rigen su comportamiento, las que luego se aplican al estudio del comportamiento
de dichas cadenas en los regı́menes transitorio y permanente.
2.1
Estudio de las probabilidades en las cadenas de markov homogéneas
2.1.1) Probabilidad condicional de transición
a) Definición general
Tal como se ha expresado en (1.6), la probabilidad condicional de
transición del estado i al estado j en un intervalo Δ𝑡: 𝑝𝑖𝑗 (Δ𝑡) en una
cadena de Markov homogénea de parámetro discreto es la probabilidad
condicional de que el sistema se encuentre en estado j en el instante
𝑡 + Δ𝑡, habiéndose encontrado en el estado i en el instante t, con t y
Δ𝑡 enteros. Matemáticamente es:
⎧

⎨ 𝑡 = 0, 1, 2, . . .
Δ𝑡 = 𝑛 = 0, 1, 2, . . .
𝑝𝑖𝑗 (Δ𝑡) = 𝑃 {𝑋(𝑡+Δ𝑡) = 𝑗/𝑋(𝑡) = 𝑖}; con:
(2.1)
𝑖
= 0, 1, 2, . . . , 𝑚

⎩
𝑗
= 0, 1, 2, . . . , 𝑚
El intervalo Δ𝑡= n = entero se denomina número de pasos o transiciones o avances de la cadena sobre el parámetro t. El conjunto de
probabilidades de transición 𝑝𝑖𝑗 (Δ𝑡) ,∀i,j definen la matriz de probabilidades de transición 𝑃 (Δ𝑡):
𝑖/
0
1
𝑃 (Δ𝑡) = ..
.
..
.
𝑚
𝑗
0
𝑝00 (Δ𝑡)
𝑝10 (Δ𝑡)
..
.
..
.
𝑝𝑚0 (Δ𝑡)
1
𝑝01 (Δ𝑡)
𝑝11 (Δ𝑡)
..
.
..
.
𝑝𝑚1 (Δ𝑡)
......
......
......
......
𝑚
𝑝0𝑚 (Δ𝑡)
𝑝1𝑚 (Δ𝑡)
..
.
..
.
𝑝𝑚𝑚 (Δ𝑡)
(2.2)
Cadenas de Markov ∣ 11
matriz en la que se cumplen las siguientes condiciones:
⎧
0 ≤ 𝑝𝑖𝑗 (Δ𝑡) ≤ 1 ;
∀𝑖, 𝑗
(2.3)







𝑚
⎨ ∑
𝑝𝑖𝑗 (Δ𝑡) = 1 ; 𝑖 = 0, 1, . . . , 𝑚
(2.4)


𝑗=0





⎩
con Δ𝑡 = 𝑛 = 1, 2, 3, . . .
b) Probabilidad de transición de 1 paso
Es un caso particular de la (2.1) y representa la probabilidad condicional de transición del estado i al estado j, en un intervalo Δ𝑡= 1.
{
𝑝𝑖𝑗 (1) = 𝑃 {𝑋(𝑡 + 1) = 𝑗/𝑋(𝑡) = 𝑖}; con:
𝑡 = 0, 1, 2, . . .
𝑖 = 0, 1, 2, . . . , 𝑚
𝑗 = 0, 1, 2, . . . , 𝑚
(2.5)
Análogamente el conjunto de probabilidades de transición de 1 paso
𝑝𝑖𝑗 ,∀i,j definen la matriz de probabilidades de transición de 1 paso P:
𝑖/
0
1
𝑃 (Δ𝑡) = ..
.
..
.
𝑚
𝑗
0
𝑝00
𝑝10
..
.
..
.
𝑝𝑚0
1
𝑝01
𝑝11
..
.
..
.
𝑝𝑚1
......
......
......
......
𝑚
𝑝0𝑚
𝑝1𝑚
..
.
..
.
𝑝𝑚𝑚
(2.6)
Ejemplo 2.a
Si en la cadena de Markov descripta en la experiencia b) del ejemplo
l.b se denominan:
estado 0 = no
estado 1 = si
el grafo y la matriz de transición de 1 paso son respectivamente:
Cadenas de Markov ∣ 12
𝑖/
𝑗
𝑃 = 0
1
0
0
1/3
7654
0123
0^
1
1
2/3
0
1/3
1
0123
7654
1S
2/3
Ejemplo 2.b
Si bien la experiencia a) del ejemplo l.b corresponde a 1 proceso de
ensayos independientes, se lo puede tratar dentro de la teorı́a de las
cadenas de Markov, siendo sus estados, el grafo y la matriz de transición de 1 paso las siguientes:
estado 0 = no
estado 1 = si
0123
7654
0^
2/3
1/3
1/3
𝑃 =
0123
7654
1S
1/3
1/3
2/3
2/3
2/3
c) Probabilidad de transición de 2 pasos
En forma análoga se define:
{
𝑝𝑖𝑗 (2) = 𝑃 {𝑋(𝑡 + 2) = 𝑗/𝑋(𝑡) = 𝑖}; con:
𝑡 = 0, 1, 2, . . .
𝑖 = 0, 1, 2, . . . , 𝑚
𝑗 = 0, 1, 2, . . . , 𝑚
(2.7)
Esta probabilidad, en una cadena de Markov, se puede calcular en
función de las probabilidades de 1 paso, mediante la ecuación de
Chapman-Kolmogorov, cuya expresión, para este caso es:
𝑝𝑖𝑗 (2) =
𝑚
∑
𝑘=0
{
𝑝𝑖𝑘 .𝑝𝑘𝑗 ; ∀
𝑖 = 0, 1, . . . , 𝑚
𝑗 = 0, 1, . . . , 𝑚
(2.8)
la cual establece que para todo par de estados i y j separados por un
avance Δ𝑡= 2 pasos, la probabilidad de transición se puede expresar
Cadenas de Markov ∣ 13
en función de las probabilidades de transición de 1 paso del estado i a
un conjunto exhaustivo de estados k (todos los estados posibles) y de
las probabilidades de transición de 1 paso de cada uno de los estados
k al estado j.
Para su demostración se definen los conjuntos A, 𝐵𝑘 y C cuyos elementos son ternas ordenadas de eventos: la primera componente es el
estado del sistema en t, la segunda en t+1 y la tercera en t+2
⎧
𝐴 : conjunto de ternas cuya primera componente es el estado i en t




⎨ 𝐵𝑘 : cada conjunto de ternas cuya segunda componente es uno de los
estados k en t+1



𝐶 : conjunto de ternas cuya tercera componente es el estado j en t+2

⎩
además se cumple que: 𝑃 (𝐶 ∩ 𝐴) = 𝑃 (𝐶/𝐴).𝑃 (𝐴)
𝑚
∑
𝐿𝑖𝑗 (2) = 𝑃 (𝐶/𝐴) =
𝑘=0
𝑚
∑
𝑃 (𝐶 ∩ 𝐵𝑘 ∩ 𝐴)
𝑃 (𝐴)
=
𝑃 (𝐶/𝐵𝑘 ∩ 𝐴).𝑃 (𝐵𝑘 ∩ 𝐴)
𝑘=0
𝑃 (𝐴)
y por ser una cadena de Markov se cumple la (1.4), luego es:
𝑃 (𝐶/𝐵𝑘 ∩ 𝐴) = 𝑃 (𝐶/𝐵𝑘 )
con lo cual queda demostrada la (2.8) pues:
Cadenas de Markov ∣ 14
𝑚
∑
𝐿𝑖𝑗 (2) = 𝑃 (𝐶/𝐴) =
𝑘=0
𝑃 (𝐶 ∩ 𝐵𝑘 ).𝑃 (𝐵𝑘 /𝐴).
𝑃
(𝐴)
=
𝑃
(𝐴)
𝑚
∑
𝑝𝑘𝑗 .𝑝𝑖𝑘
𝑘=0
Como antes, el conjunto de probabilidades de transición de 2 pasos:
𝑝𝑖𝑗 (2), ∀ i,j definen la matriz de probabilidades de transición de 2 pasos:
𝑝00 (2)
𝑝10 (2)
..
.
𝑃 (2) =
..
.
𝑝𝑚0 (2)
𝑝01 (2) . . . . . .
𝑝11 (2) . . . . . .
..
.
..
.
𝑝𝑚1 (2) . . . . . .
𝑝0𝑚 (2)
𝑝1𝑚 (2)
..
.
..
.
𝑝𝑚𝑚 (2)
(2.9)
y aplicando la ecuación de Chapman (2.8) a cada uno de los elementos de la matriz (2.9) queda la expresión matricial de la ecuación de
Chapman-Kolmogorov:
𝑝00 (2) . . .
..
.
𝑃 (2) =
..
.
𝑝𝑚0 (2) . . .
P(2)=P.P=𝑃 2
𝑝0𝑚 (2)
𝑝00 𝑝01 . . .
.
..
...
= ..
.
..
..
..
.
.
.
𝑝𝑚𝑚 (2)
𝑝𝑚0 𝑝𝑚1 . . .
𝑝0𝑚
𝑝00 . . .
...
x 𝑝10
..
..
.
.
𝑝𝑚𝑚
𝑝𝑚0 . . .
𝑝0𝑚
𝑝1𝑚
..
.
𝑝𝑚𝑚
(2.10)
Ejemplo 2.c
La matriz de transición de 2 pasos de la cadena del Ejemplo n∘ 2.a,
aplicando la ecuación (2.10) es:
Cadenas de Markov ∣ 15
0123
7654
0^
𝑃 (2) =
0
1
0, 33 0, 67
0
1
0, 33 0, 67
=
0, 33 0, 67
0, 22 0, 78
0,67
=⇒
0,33
0,22
7654
0123
1S
0,78
La ecuación de Chapman-Kolmogorov (2.10) es una condición necesaria, pero no suficiente para que una cadena sea Markoviana.
d) Expresión qeneral de la ecuación de Chapman-Kolmogorov
En forma genérica la probabilidad de transición de n pasos es:
⎧

⎨ 𝑡 = 0, 1, 2, . . .
𝑛 = 1, 2, . . .
𝑝𝑖𝑗 (𝑛) = 𝑃 {𝑋(𝑡 + 𝑛) = 𝑗/𝑋(𝑡) = 𝑖}; con:
(2.11)
𝑖
= 0, 1, 2, . . . , 𝑚

⎩
𝑗 = 0, 1, 2, . . . , 𝑚
Repitiendo el proceso descripto en el punto anterior para deducir la
ecuación (2.8) se llega a las expresiones algebraicas generales de la
ecuación de Chapman-Kolmogorov:
⎧ 𝑚
⎫
∑



𝑝𝑖𝑘 .𝑝𝑘𝑗 (𝑛 − 1) : forma a) 






{


𝑘=0
⎨
⎬
𝑛 = 1, 2, . . .
; con: 𝑖 = 0, 1, 2, . . . , 𝑚 (2.12)
𝑝𝑖𝑗 (𝑛) =


𝑗 = 0, 1, 2, . . . , 𝑚


𝑚


∑





𝑝𝑖𝑘 (𝑛 − 1).𝑝𝑘𝑗 : forma b) 
⎩
⎭
𝑘=0
Como antes, el conjunto de probabilidades de transición de n pasos
𝑝𝑖𝑗 (𝑛), ∀ij definen la matriz de probabilidades de transición de n casos:
Cadenas de Markov ∣ 16
𝑝00 (𝑛)
𝑝10 (𝑛)
𝑃 (𝑛) =
..
.
𝑝𝑚0 (𝑛)
𝑝01 (𝑛) . . . . . .
𝑝11 (𝑛) . . . . . .
𝑝0𝑚 (𝑛)
𝑝1𝑚 (𝑛)
𝑝𝑚1 (𝑛) . . . . . .
𝑝𝑚𝑚 (𝑛)
(2.13)
y la expresión matricial general de la ecuación de Chapman-Kolmogorov,
tomando por ejemplo la forma a), queda:
𝑃 (𝑛) =
𝑝00 (𝑛) . . .
..
.
..
.
𝑝𝑚0 (𝑛) . . .
𝑝0𝑚 (𝑛)
𝑝00 𝑝01 . . .
.
..
..
= ..
.
.
..
..
..
.
.
.
𝑝𝑚𝑚 (𝑛)
𝑝𝑚0 𝑝𝑚1 . . .
𝑝0𝑚
𝑝00 (𝑛 − 1) . . .
..
x 𝑝10 (𝑛 − 1)
.
..
..
.
.
𝑝𝑚𝑚
𝑝𝑚0 (𝑛 − 1) . . .
𝑝0𝑚 (𝑛 − 1)
𝑝1𝑚 (𝑛 − 1)
..
.
𝑝𝑚𝑚 (𝑛 − 1)
P(n)=P.P(n-1)
extendiendo la ecuación anterior en forma recursiva se obtiene:
P(n)= P . P(n-l) = P . P . P(n-2) = P . P . P . P(n-3)= . . .
𝑃 (𝑛) = 𝑃 𝑛
(2.14)
que es la expresión genérica matricial de la ecuación de ChapmanKolmogorov.
Ejemplo 2.d
Las matrices de transición de 3, 4 y 5 pasos de la cadena del ejemplo
Cadenas de Markov ∣ 17
2.a son, aplicando la ecuación (2.14):
3
𝑃 (2) = 𝑃 = 𝑃.𝑃 =
4
3
𝑃 (4) = 𝑃 = 𝑃.𝑃 =
5
0
2
4
𝑃 (5) = 𝑃 = 𝑃.𝑃 =
1
0, 33 0, 67
0
1
0, 33 0, 67
0
1
0, 33 0, 67
0, 33 0, 67
x
x
x
0, 22 0, 78
0, 222 0, 778
0, 259 0, 741
0, 259 0, 741
0, 247 0, 753
=
0, 222 0, 778
0, 259 0, 741
=
=
0, 259 0, 741
0, 247 0, 753
0, 247 0, 753
0, 251 0, 749
2.1.2) Probabilidad incondicional de estado
(a) Definición general
Tal como se ha expresado en (1.1), la probabilidad incondicional de
estado p(t) en una cadena de Markov homogénea de paramétro discreto, es la probabilidad de que el sistema se encuentre en el estado i
en el instante t:
{
𝑡 = 0, 1, 2, . . .
𝑝𝑖 (𝑡) = 𝑝𝑥=𝑖 (𝑡) ; con:
(2.15)
𝑖 = 0, 1, 2, . . . , 𝑚
y el conjunto de probabilidades incondicionales de estado 𝑝𝑖 (𝑡) ∀i, definen el vector de probabilidades de estado p(t):
𝑝(𝑡) = 𝑝0 (𝑡) 𝑝1 (𝑡) 𝑝2 (𝑡) . . . 𝑝𝑚 (𝑡)
vector en el cual se cumplen las siguientes condiciones:
(2.16)
Cadenas de Markov ∣ 18
⎧
𝑝𝑖 (𝑡) ≤ 1 ; ∀𝑖

⎨ 0𝑚 ≤
∑
𝑝𝑖 (𝑡)
= 1 ; con 𝑖 = 0, 1, 2, . . .

⎩
(2.17)
(2.18)
𝑖=0
(b) Probabilidad de estado inicial
Es un caso particular de la (2.15) para t=0 :
𝑝𝑗 (0) = 𝑃𝑥=𝑖 (𝑡 = 0) ; con 𝑖 = 0, 1, . . . , 𝑚
(2.19)
y el conjunto de probabilidades de estado iniciales 𝑝𝑖 (0) ,∀i definen
el vector de probabilidades de estado inicial:
𝑝(0) = 𝑝0 (0) 𝑝1 (0) 𝑝2 (0) . . . 𝑝𝑚 (0)
(2.20)
(c) Probabilidad de estado luego de 1 paso
En forma análoga se define:
𝑝𝑖 (1) = 𝑃𝑥=𝑗 (𝑡 = 1) ; con 𝑗 = 0, 1, . . . , 𝑚
(2.21)
Esta probabilidad se puede expresar en función de las probabilidades
de estado iniciales aplicando el Teorema de la Probabilidad Total,
quedando expresada la llamada ecuación de estado:
𝑝𝑗 (1) =
𝑚
∑
𝑝𝑖 (0).𝑝𝑘𝑗 ; con 𝑗 = 0, 1, . . . , 𝑚
(2.22)
𝑖=0
Como antes, el conjunto de probabilidades de estado luego de 1 paso 𝑝𝑗 (1), ∀j, definen el vector de
probabilidades de estado luego de 1 paso:
𝑝(1) = 𝑝0 (1) 𝑝1 (1) 𝑝2 (1) . . . 𝑝𝑚 (1)
(2.23)
Cadenas de Markov ∣ 19
y aplicando la ecuación de estado (2.22) a cada uno de los elementos
del vector (2.23) queda la expresión matricial de la ecuación de estado:
𝑝(1) = 𝑝0 (1) 𝑝1 (1) . . . 𝑝𝑚 (1) = 𝑝0 (0) 𝑝1 (0) . . . 𝑝𝑚 (0)
p(1)= p(0) . P
𝑝00 . . . 𝑝0𝑚
𝑝
𝑝1𝑚
x ..10
..
.
.
𝑝𝑚0 . . . 𝑝𝑚𝑚
(2.24)
(d) Expresión general de la Ecuación de Estado
En forma genérica la probabilidad de estado luego de n pasos es:
{
𝑛 = 0, 1, 2, . . .
(2.25)
𝑝𝑗 (𝑛) = 𝑝𝑥=𝑗 (𝑡 = 𝑛) ; con:
𝑗 = 0, 1, 2, . . . , 𝑚
Con las mismas consideraciones hechas para deducir la ecuación (2.22)
se llega a las expresiones algebraicas generales de la ecuación de estado:
⎧ 𝑚
⎫
∑



𝑝𝑖 (0).𝑝𝑖𝑗 (𝑛) : forma a) 








{
𝑘=0
⎨
⎬
1, 2, . . .
𝑝𝑗 (𝑛) =
(2.26)
; con: 𝑛𝑗 =
= 0, 1, 2, . . . , 𝑚




𝑚


∑





𝑝𝑖 (𝑛 − 1).𝑝𝑖𝑗 : forma b) 
⎩
⎭
𝑘=0
Como antes, el conjunto de probabilidades de estado luego de n pasos
𝑝𝑗 (𝑛) definen el vector de probabilidades de estado:
𝑝(𝑛) = 𝑝0 (𝑛) 𝑝1 (𝑛) 𝑝2 (𝑛) . . . 𝑝𝑚 (𝑛)
(2.27)
y la expresión matricial general de la ecuación de estado (2.26), tomando
por ejemplo la forma a), queda:
Cadenas de Markov ∣ 20
𝑝(𝑛) = 𝑝0 (0) 𝑝1 (0) . . . 𝑝𝑚 (0)
𝑝00 (𝑛) . . . 𝑝0𝑚 (𝑛)
𝑝 (𝑛)
𝑝1𝑚 (𝑛)
x 10..
..
.
.
𝑝𝑚0 (𝑛) . . . 𝑝𝑚𝑚 (𝑛)
p(n)= p(0) . P(n)
(2.29)
Las ecuaciones (2.28) y (2.29) constituyen las expresiones genéricas
matriciales de la ecuación de estado, las cuales se resumen en la siguiente expresión:
𝑝(𝑛) =
⎧
⎨ 𝑝(0).𝑃 (𝑛)
⎩
𝑝(𝑛 − 1).𝑃
(2.30)
Las ecuaciones (2.14) y (2.30) permiten calcular la probabilidad de
cada uno de los estados de la cadena, luego de un número n cualquiera
de pasos, conocidas la probabilidad de estado para un instante dado y
la matriz de probabilidades de transición de 1 paso P.
Ejemplo 2.e
En la cadena del ejemplo 2.a, si se parte de un estado inicial con las
siguientes probabilidades:
⎧
⎨ 𝑝0 (0) = 0, 5
𝑝(0) = 0, 5 0, 5
⎩
𝑝1 (0) = 0, 5
las probabilidades de 1, 2, 3 y 4 pasos serán respectivamente:
𝑝(1) = 𝑝(0).𝑃 = 0, 5 0, 5 x
0
1
= 0, 167 0, 833
0, 333 0, 667
𝑝(2) = 𝑝(0).𝑃 2 = 0, 5 0, 5 x
0, 333 0, 667
= 0, 278 0, 722
0, 222 0, 778
Cadenas de Markov ∣ 21
2.2
𝑝(3) = 𝑝(0).𝑃 3 = 0, 5 0, 5 x
0, 222 0, 778
= 0, 241 0, 759
0, 259 0, 741
𝑝(4) = 𝑝(0).𝑃 4 = 0, 5 0, 5 x
0, 259 0, 741
= 0, 253 0, 747
0, 247 0, 753
Clasificación de las cadenas de Markov Homogéneas en ergódicas
y no ergódicas
A continuación se efectúa una clasificación de las cadenas de Markov homogéneas
según la posibilidad o no que tengan de ser reducibles o separables en cadenas
más chicas para el estudio de su comportamiento en los llamados regı́menes
transitorio y permanente. Esta clasificación dará lugar a la definición de las
cadenas ergódicas o irreductibles y las cadenas no ergódicas o separables. Previamente se requiere dar la definición de estados accesibles y comunicantes y
luego clasificar los estados en clases.
2.2.1) Definición de estados accesibles y comunicantes
Un estado j es accesible desde un estado i si se cumple que para algún paso
𝑛 ≥ 1 es 𝑝𝑖𝑗 (𝑛) > 0, lo cual significa que es posible pasar desde el estado i
al estado j luego de un número n de transecciones, y se escribe: 𝑖 → 𝑗.
La accesibilidad es una propiedad transitiva, es decir:
si 𝑖 → 𝑗
y 𝑗→𝑘
⇒
𝑖→𝑘
Ejemplo 2.f
En la cadena de la figura el estado 6 es accesible desde el 5 en un paso y
desde el 4 en dos pasos, a través del 5. El estado 1 no es accesible desde el 2.
Cadenas de Markov ∣ 22
Accesibilidad en una transición
0123
7654
0
70123
/ 654
1
7/ 654
0123
0123
7654
/3
2 ==
@
==
==
==
==
0123
7654
0123
7654
7 =^ =
4S
==
==
==
== 0123
7654
0123
7654
o
6K
5
𝑖/
0
1
2
3
4
5
6
7
𝑗
0 1 2 3 4 5 6 7
𝑥
𝑥
𝑥 𝑥 𝑥
𝑥 𝑥
𝑥 𝑥 𝑥
𝑥
𝑥 𝑥
𝑥 𝑥 𝑥
Dos estados i y j son comunicantes si j es accesible desde i, y viceversa, y
se escribe: 𝑖 ↔ 𝑗
La comunicación es también una propiedad transitiva, es decir:
si 𝑖 → 𝑗
y 𝑗→𝑘
⇒
𝑖→𝑘
En el ejemplo 2.f los estados 5 y 7 son comunicantes.
2.2.2) Clasificación de estados en clases comunicantes y estados sin retorno
Una clase comunicante es un conjunto de estados que se comunican todos
entre si. Como caso particular la clase puede consistir en un sólo estado.
En el ejemplo 2.f se pueden formar las siguientes clases comunicantes:
⎧
⎨ 𝐶1 = {2}
𝐶2 = {3, 4}
⎩
𝐶3 = {5, 6, 7}
Las clases comunicantes se pueden clasificar en recurrentes y transitorias.
(a) Clases recurrentes- Estados absorbentes
Una clase es recurrente cuando la probabilidad de que la cadena se
encuentre en un estado de dicha clase después de ∞ transiciónes es
positiva; esto significa que una vez que la cadena ha alcanzado dicha
Cadenas de Markov ∣ 23
clase, siempre regresará a ella.
En el ejemplo 2.f la clase 𝐶3 es recurrente.
Un caso especial de clases recurrentes lo constituyen los llamados estados absorbentes, que son aquellos estados que una vez que la cadena
los ha alcanzado, no puede abandonarlos; es decir, siendo accesibles
desde otros estados no absorbentes de la cadena, no se cumple la inversa. De lo anterior se deduce que un estado absorbente i tiene una
probabilidad 𝑝𝑖𝑖 = 1.
(b) Clases transitorias
Una clase es transitoria cuando la probabilidad de que la cadena se
encuentre en un estado de dicha clase después de ∞ transiciones es
nula; esto significa que una vez que la cadena ha alcanzado dicha
clase, existe una probabilidad de que no retorne nunca a ella.
En el ejemplo 2.f las clases 𝐶1 y 𝐶2 son transitorias.
Estados sin retorno son aquellos estados que no se comunican con
ningún otro estado, ni siquiera consigo mismo; esto significa que una
vez que la cadena ha alcanzado dicho estado la probabilidad de que
retorne a él es nula.
En el ejemplo 2.f los estados 0 y 1 son sin retorno. Resumiendo lo
anterior, los estados pueden clasificarse de la siguiente manera:
⎧
⎨ Estados sin retorno {
transitorias
{
⎩ Clases comunicantes
recurrentes
estados absorbentes
2.2.3) Clasificación de las cadenas de Markov homogéneas en ergódicas y no
ergódicas
Una cadena de Markov homogénea es ergódica o irreductible cuando todos
sus estados se comunican, es decir constituyen una única clase comunicante
recurrente.
Las cadenas ergódicas pueden ser clasificadas en regulares y periódicas.
Cadenas de Markov ∣ 24
(a) Cadenas regulares
Una cadena ergódica es regular o aperiódica cuando todos los estados
pueden comunicarse simultáneamente en una cantidad r de pasos; en
estas condiciones la potencia r de la matriz P : 𝑃 𝑟 es una matriz con
todos sus elementos no nulos. Un criterio para comprobar que una cadena es regular consiste en calcular las sucesivas potencias de P hasta
encontrar un número r de pasos tal que la matriz 𝑃 𝑟 tiene todos sus
elementos no nulos.
Ejemplo 2.g
Dada la siguiente cadena:
0,5
0,5
0,2
" 0123
7654
0123
7654
01X 1b
1
11
1 0,2 1 11 0,6
1 0123
7654
2
0, 5 0, 5
𝑃 = 0, 2 0, 2 0, 6
1
se cumple que para r = 3
0, 545 0, 245 0, 210
𝑃 = 0, 518 0, 398 0, 084
0, 350 0, 350 0, 300
3
todos sus elementos son no nulos, por lo tanto es una cadena ergódica
regular. Como ejemplo: desde el estado 3 se puede acceder al mismo
estado recién en 3 pasos.
(b) Cadenas periódicas
Una cadena ergódica es periódica cuando no se puede encontrar una
potencia r de P para la cual todos los elementos de 𝑃 𝑟 sean no nulos;
en estas condiciones las sucesivas potencias de la matriz 𝑃 𝑟 denotan
un patrón periódico que permite asegurar siempre la presencia de al
menos un cero en 𝑃 𝑟 .
Ejemplo 2.h
Dada la cadena siguiente:
Cadenas de Markov ∣ 25
1
1/2
7654
0123
0g
'
7654
0123
:1
1
z
7654
0123
2
0 1 0
𝑃 = 1/2 0 1/2
0 1 0
1/2
es ergódica periódica pues sus sucesivas potencias son:
1/2 0 1/2
𝑃 = 0 1 0 ;
1/2 0 1/2
2
0 1 0
𝑃 = 1/2 0 1/2 ;
0 1 0
3
1/2 0 1/2
𝑃 = 0 1 0
1/2 0 1/2
4
como puede observarse se cumple el patrón de repetición periódico:
{
𝑃 = 𝑃 3 = 𝑃 5 = . . . = 𝑃 𝑚 ; con m : impar
𝑃 2 = 𝑃 4 = 𝑃 6 = . . . = 𝑃 𝑛 ; con n : par
con la presencia siempre de ceros en las matrices.
Una cadena de Markov homogénea es no ergódica o reducible o separable cuando no todos sus estados se comunican, en esas condiciones la
cadena es separable en un conjunto de clases comunicantes y estados
sin retorno.
Ejemplo 2.i
Dada la siguiente cadena:
0,5
0,3
0123
7654
0f
7654
0123
2f
0,5
0,2
0,7
0,6
&
7654
0123
1S
0,8
&
7654
0123
3S
0,4
0, 5
0, 8
𝑃 =
0
0
0, 5
0, 2
0
0
0
0
0, 7
0, 6
0
0
0, 3
0, 4
es separable en dos clases comunicantes recurrentes 𝐶1 = {0, 1} y
𝐶2 = {2, 3}
La cadena del ejemplo 2.f es separable en:
Cadenas de Markov ∣ 26
⎧
⎨ 1 clase comunicante recurrente : 𝐶3 = {5, 6, 7}
2 clase comunicante transitoria : 𝐶1 = {2} y 𝐶2 = {3, 4}
⎩
2 estados sin retorno
:0 𝑦 1
Dentro de las cadenas no ergódicas merecen especial atención dos
tipos particulares de cadenas denominadas respectivamente cadenas
absorbentes y cadenas cı́clicas.
(a) Cadenas absorbentes
Una cadena absorbente es una cadena no ergódica separable en
∙ 1 o varios estados absorbentes y
∙ 1 o varios estados no absorbentes, constituı́dos por clases comunicantes transitorias o estados sin retorno, desde los cuales se puede
acceder a por lo menos un estado absorbente
Ejemplo 2.j
Dada la siguiente cadena:
0,3
0123
7654
0g
𝑖/
0,7
'
7654
0123
1
0,5 1
0,5
0123
7654
2
𝑃 =
𝑗
0
1
2
0
1
2
0, 7 0, 3
0, 5
0, 5
1
es una cadena absorbente separable en una clase comunicante transitoria C={ 0,1} y un estado absorbente 2, para el cual se cumple que
𝑝22 = 1
(b) Cadenas cı́clicas
Una cadena cı́clica es una cadena no ergódica en la cual el proceso
pasa de un estado a otro cı́clicamente según un cierto patrón de comportamiento. El ciclo es un camino cerrado entre estados de una clase
recurrente.
Para que una cadena sea cı́clica debe cumplirse que:
∙ tenga por lo menos un ciclo, y
Cadenas de Markov ∣ 27
∙ sea posible entrar en el ciclo
Ejemplo 2.k
Dada la siguiente cadena:
0,5
7654
0123
0
1
111
0,2 110,3
1 11
'
0123
7654
0123
7654
1g
2
1
𝑖/
𝑃 =
0
1
2
𝑗
0
1
2
0, 5 0, 2 0, 3
1
1
es una cadena cı́clica separable en una clase comunicante transitorı́a
𝐶1 ={ 0 } una clase comunicante recurrente 𝐶2 ={ 1, 2 } , que forma
un ciclo.
Muchas caracterı́sticas de comportamiento de las cadenas no ergódicas
después que se han producido un número elevado de transiciciones (en
lo que luego se definirá como régimen permanente), se estudian mediente el análisis de sus clases comunicantes recurrentes como si fueran
cadenas ergódicas independientes.
En resumen las cadenas de Markov homogéneas se pueden clasificar en:
{
⎧
regulares


Cadenas ergódicas: una clase comunicante recurrente


periódicas
⎨




⎩
Cadenas no ergódicas: separables en
clases comunicantes más estados sin retorno
{
absorbentes
cı́clicas
A partir de esta clasificación en los puntos siguientes se estudia el
comportamiento de las cadenas ergódicas y no ergódicas mencionadas.
2.3
Estudio del Comportamiento de las Cadenas Ergódicas en el
Régimen Permanente
Se define como régimen permanente o estado estacionario de una cadena de
Markov homogénea a la situación que el sistema alcanza luego de un periodo
relativamente largo de tiempo. En dicho régimen la cadena ya ha entrado en
una condición de equilibrio estocástico, lo cual significa que sus probabilidades
Cadenas de Markov ∣ 28
de estado devienen estables en el tiempo.
En cambio régimen transitorio es la situación en que el sistema se encuentra
luego de un perı́odo relativamente corto de tiempo. En dicho régimen la cadena
no ha encontrado todavı́a una condición particular de equilibrio estocástico, es
decir sus probabilidades de estado no son estables en el tiempo.
Dentro de las cadenas ergódicas regulares y periódicas interesa estudiar especı́ficamente sus comportamientos en el régimen permanente, y sus conclusiones, según se ha dicho más arriba, son extensibles a las clases recurrentes de
las cadenas no ergódicas.
2.3.1) Estudio del comportamiento de las cadenas regulares en el régimen permanente
Tal como se ha definido en 2.2.3, una cadena regular es una cadena ergódica
en la cual todos sus estados pueden comunicarse simultáneamente en una
cantidad r de pasos.
Para describir el comportamiento de una cadena regular en el régimen permanente o a lago plazo es preciso conocer las probabilidades de transición
y de estado cuando el número n de transiciones tiende a ∞. Se puede demostrar que si la cadena es regular, el lı́mite de la matriz de probabilidades
de transición P(n) cuando n tiende a ∞ es una matriz regular (todos sus
elementos son positivos), con todas sus filas iguales, es decir, de (2.14) es:
𝑝0 . . .
..
.
𝑛
lim 𝑃 (𝑛) = lim 𝑃 = 𝑝0 . . .
𝑛→∞
..
.
𝑝0 . . .
𝑝𝑗 . . .
..
.
𝑝𝑗 . . .
..
.
𝑝𝑗 . . .
𝑝𝑚
..
.
𝑝𝑚
..
.
𝑝𝑚
(2.31)
y el lı́mite del vector de probabilidades de estado queda, tomando la 1ra.
igualdad de la (2.30):
Cadenas de Markov ∣ 29
𝑝0 . . .
..
.
lim 𝑝(𝑛) = 𝑝(0). lim 𝑃 (𝑛) = 𝑝0 (0) . . . 𝑝𝑖 (0) . . . 𝑝𝑚 (0) x 𝑝0 . . .
𝑛→∞
𝑛→∞
..
.
𝑝0 . . .
y por cumplirse que:
𝑚
∑
𝑝𝑗 . . .
...
𝑝𝑗 . . .
..
.
𝑝𝑗 . . .
𝑝𝑚
...
𝑝𝑚
..
.
𝑝𝑚
𝑝𝑖 (0) = 1, queda:
𝑖=0
lim 𝑝(𝑛) = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
(2.32)
𝑛→∞
las (2.31) y (2.32) expresan que en una cadena de Markov regular, luego
de un número suficientemente grande de transiciones (𝑛 → ∞), sus probabilidades de transición 𝑝𝑖𝑗 (𝑛) y de estado 𝑃𝑗 (𝑛) se estabilizan en valores
lı́mites iguales para cada estado j, e independientes del estado inicial i. Este
estado se conoce como régimen permanente o estacionario, y sus probabilidades de estado 𝑝𝑗 representan los porcentajes de tiempo que la cadena
permanece en cada estado j luego de un perı́odo largo de tiempo.
Esta distribución de estados lı́mites se puede determinar mediante tres
caminos alternativos.
(a) mediante el lı́mite de la ecuación (2.31):lim 𝑃 (𝑛) = lim 𝑃 𝑛 ; 𝑛 → ∞
(b) mediante una ecuación que se deriva de la 2da. igualdad de la ecuación
de estado (2.30). Para 𝑛 → ∞, según lo expresado más arriba se
cumple que:
lim 𝑝(𝑛) = lim 𝑝(𝑛 − 1) = 𝑝
𝑛→∞
𝑛→∞
reemplazando en la 2da. igualdad de la (2.30) quedan:
𝑝
siendo:
𝑚
∑
𝑗=0
=
𝑝𝑗 = 1
𝑝 . 𝑃
(2.33)
(2.34)
Cadenas de Markov ∣ 30
luego con las ecuaciones (2.33) y (2.34), conocida la matriz de transición P de la cadena regular, se puede calcular el vector de probabilidades p del régimen permanente.
(c) mediante la llamada “ecuación de balance de flujos probabilı́sticos”,
que se deriva de la ecuación (2.33). En efecto, si se desarrolla ésta
última es:
𝑃 = 𝑝 0 . . . 𝑝𝑗 . . . 𝑝𝑚 = 𝑝 0 . . . 𝑝𝑖 . . . 𝑝𝑚
𝑝00 . . .
..
.
x 𝑝𝑖0 . . .
..
.
𝑝𝑚0 . . .
𝑝0𝑗 . . .
..
.
𝑝𝑖𝑗 . . .
..
.
𝑝𝑚𝑗 . . .
𝑝0𝑚
..
.
𝑝𝑖𝑚
..
.
𝑝𝑚𝑚
en la cual el elemento genérico 𝑝𝑗 es:
𝑚
𝑚
∑
∑
𝑝𝑖 .𝑝𝑖𝑗 =
𝑝𝑖 .𝑝𝑖𝑗 + 𝑝𝑗 .𝑝𝑗𝑗
𝑝𝑗 =
𝑖=0
∀𝑖∕=𝑗
agrupando queda:
𝑚
∑
𝑝𝑖 .𝑝𝑖𝑗 = 𝑝𝑗 (1 − 𝑝𝑗𝑗 )
∀𝑖∕=𝑗
y aplicando la ecuación (2.4) a las transiciones del estado j a un conjunto exhaustivo de estados k es:
∑
𝑝𝑗𝑘 = 1 ∴ 1 − 𝑝𝑗𝑗 =
∀𝑘
∑
∀𝑘∕=𝑗
reemplazando queda:
∑
∑
𝑝𝑖 .𝑝𝑖𝑗 = 𝑝𝑗 .
𝑝𝑗𝑘
∀𝑖∕=𝑗
𝑝𝑗𝑘
∀𝑘∕=𝑗
; 𝑗 = 0, . . . , 𝑛
(2.35)
Cadenas de Markov ∣ 31
que es la ecuación de balance de flujos ⎧


probabilı́sticos, la cual expresa que 



“para un nodo genérico j la suma de 
⎨
los flujos probabilı́sticos que concur- 𝑖


ren al nodo es igual a la suma de 



los flujos probabilı́sticos que salen del 
⎩
nodo”.
==
@
==
=
JJ ==
u:
JJ =
uuu
JJ ==
u
JJ uuu
$
WPQRS
/
/ VUT
𝑗 JJ
u: @
== JJ
u
== JJ
uu uu == JJ$
uu ==
==
⎫







⎬







⎭
𝑘
Ejemplo 2.l
Dada la siguiente cadena:
0,5
0,2
" 0123
7654
0123
7654
01X 1b
1
11
1 0,2 1 11 0,6
1 0123
7654
2
0,5
0, 5 0, 5 0
𝑃 = 0, 2 0, 2 0, 6
1
0
0
la cual es ergódica regular pues 𝑃 3 :
0, 35 0, 35 0, 30
𝑃 = 0, 74 0, 14 0, 12
0, 50 0, 50 0
2
∴
0, 545 0, 245 0, 210
𝑃 = 0, 518 0, 398 0, 084
0, 350 0, 350 0, 300
3
tiene todos sus elementos no nulos, se puede determinar el vector de
probabilidades p del régimen permanente mediante el cálculo de las
sucesivas potencias de 𝑃 𝑛 :
0, 5315 0, 3215 0, 1470
𝑃 = 0, 4226 0, 3386 0, 2388
0, 5450 0, 2450 0, 2100
4
𝑃
16
0, 4985 0, 3158 0, 1858
; 𝑃 = 0, 4979 0, 3090 0, 1931
0, 5077 0, 3096 0, 1827
8
0, 5 0, 3125 0, 1875
= 0, 5 0, 3125 0, 1875 = 𝑝17 = 𝑝18 = lim 𝑃 𝑛
𝑛→∞
0, 5 0, 3125 0, 1875