Cadenas de Markov Homogéneas - Facultad de Ciencias Económicas

Cadenas de Markov homogéneas
Leandro Gorno1
[email protected]
Facultad de Ciencias Económicas
Universidad de Buenos Aires
Mayo 2003
RESUMEN
El propósito de estas notas es presentar de forma básica ciertos conceptos generales relativos a la
teoría de las cadenas de Markov finitas, así como estudiar algunas clases particulares de este tipo de
procesos. En este último sentido más específico, se abordan las cadenas ergódicas, las cadenas
absorbentes y las cadenas cíclicas.
E
l propósito de estas notas es presentar de forma básica ciertos conceptos generales
relativos a la teoría de las cadenas de Markov, así como estudiar algunas clases
particulares de este tipo de procesos.
De esta forma, en la primera sección se introducen conceptos preliminares, en la segunda sección
trata el tema de las distribuciones invariantes, mientras que en la tercera sección se desarrollan
brevemente algunas nociones acerca de la estructura topológica que subyace a una cadena de
Markov.
Luego se aborda el sentido más específico mencionado arriba, tratándose en secciones separadas
las cadenas ergódicas, las cadenas absorbentes y las cadenas cíclicas.
Sobre la notación, se utilizan letras griegas mayúsculas para denotar conjuntos (salvo en los casos
de conjuntos habituales o cuando se indique explícitamente lo contrario). Además, se utilizan
negritas en la primera mención de un concepto y también para representar matrices y vectores.
Para explicitar algún objeto de estos últimos en función de sus componentes, en esta nota
utilizamos la convención de utilizar doble corchete, indexando las filas de una matriz con
subíndices y las columnas con supraíndices. De esta forma, por ejemplo, si I es un conjunto de
índices naturales, a j = [[aij ]]i ∈I es un vector columna mientras que A = [[aij ]]ij∈∈II es una matriz.
1
Se advierte al lector que estas notas aún presentan un estado bastante preliminar, por lo que cualquier
corrección es bienvenida. En particular agradezco las sugerencias y correcciones realizadas por Julio Fabris a un
borrador anterior de este trabajo. Obviamente, la responsabilidad sobre las deficiencias del material resultante es
exclusivamente mía.
I.
Conceptos preliminares
Un proceso estocástico es una familia de variables aleatorias indexadas por medio de un conjunto
ordenado. El conjunto ordenado suele denominarse dominio del tiempo, mientras que el
codominio de las variables aleatorias (que usualmente se supone idéntico para todas ellas) suele
denominarse espacio de estados2.
Una clase particular de procesos estocásticos es la formada por los llamados procesos de
Markov. A su vez, una clase particular de procesos de Markov es la formada por las cadenas de
Markov. En este trabajo se estudiará el concepto de cadena de Markov homogénea, un tipo
particular de cadena de Markov. Sin embargo, para definir una cadena de Markov es
conveniente definir previamente el concepto más general de proceso de Markov.
Si bien existen definiciones formalmente precisas, para los propósitos de estas notas bastará una
definición intuitiva. De esta forma, un proceso de Markov es un proceso estocástico tal que si
fijamos un instante cualquiera que divida el tiempo en pasado, presente y futuro, la estructura
probabilística del proceso futuro solamente puede depender del estado realizado en el presente.
En otras palabras, la historia pasada de un proceso de Markov es irrelevante para determinar las
características (estocásticas) de su futuro.
Como en todo proceso estocástico, en un proceso de Markov existen relaciones de dependencia
entre las distribuciones de sus componentes. Si el tipo de dependencia es invariante en el tiempo,
el proceso suele llamarse homogéneo.
En general, las cadenas de Markov son procesos de Markov discretos tanto en el espacio de
estados como en el dominio del tiempo. El hecho de que el dominio del tiempo sea discreto,
permite que podamos definir un mecanismo de transición estocástico entre el presente del
sistema y el futuro inmediatamente siguiente. Las cadenas de Markov homogéneas son aquellas
cadenas de Markov que presentan un mecanismo de transición independiente del tiempo
calendario. En los siguientes párrafos se desarrollan más formalmente sus principales
características.
Sea un número n ∈ ` . Por conveniencia en la notación, se asumirá que el espacio de estados es
Ω = { ω ∈ ` : ω ≤ n } y que el dominio del tiempo es ] . Si este no fuera el caso, siempre sería
posible encontrar una biyección que reduzca los conjuntos a los tratados aquí. Claramente, n
indica el número de estados del sistema3.
Sea entonces Y (t ) la variable aleatoria que representa el estado del sistema en el momento t y,
por ende, sea {Y (t ) }t ∈] el proceso estocástico de interés. Definamos la probabilidad de transición
(a un período) como
pij (t ) := prob  Y (t ) = i Y (t − 1) = j  = pij
Nótese que estamos suponiendo que pij (t ) = pij no depende de t . El supuesto de que estas
probabilidades condicionales son invariantes en el tiempo, es la propiedad que identifica las
cadenas de Markov homogéneas dentro de la clase más general de las cadenas de Markov.
De esta forma se puede definir una distribución a un período dado el estado j como un vector
∈Ω
[[ pij ]]i ∈Ω y una distribución condicional completa como una matriz P = [[ pij ]]ij∈Ω
. La matriz P se
denomina usualmente matriz de transición o matriz asociada a la cadena de Markov.
2
Debe señalarse que en una formalización probabilística más precisa, los verdaderos estados de un sistema son
los elementos del conjunto conformante de un espacio de probabilidad subyacente. Este conjunto constituye el
dominio de todas las variables aleatorias y es el verdadero espacio de estados.
3
Si hubiésemos fijado n = ∞ , tendríamos Ω = ` y podríamos desarrollar una teoría para un infinito
numerable de estados. Sin embargo, la extensión al caso infinito-dimensional no es siempre trivial y en estas
notas supondremos que n < ∞ .
El conjunto de distribuciones para una variable aleatoria discreta unidimensional con n estados
puede representarse entonces con un simplex unitario. Llamando
a la norma aditiva
habitual, definida como x = ∑ i ∈Ω x i donde x = [[x i ]]i ∈Ω , dicho simplex tiene dimensión n − 1 y
se define como:
S n −1 := { x ∈ [0,1]n : x = 1 }
Llamemos x(t ) ∈ S n −1 a la distribución incondicional de Y en un momento t , es decir la
distribución incondicional de la variable aleatoria Y (t ) .
Entonces es claro que, para todo t ∈ ] , la sucesión de distribuciones incondicionales { x(t ) }t ∈]
debe obedecer las ecuaciones
x i (t + 1) =
∑p
ij
.x j (t )
i ∈Ω
j ∈Ω
Matricialmente, este sistema de ecuaciones puede expresarse como
x(t + 1) = P. x(t )
(1)
La matriz P puede verse alternativamente como un elemento de S n −1 ×Ω o como una función
Ω → Ω que transforma probabilidades incondicionales con un período de separación. La
probabilidad de que estando el sistema en el estado j en el período t se halle en el estado i en el
período t + k es
pij(k ) := prob  Y (t + k ) = i Y (t ) = j 
(2)
Es evidente que pij(1) = pij . Iterando k veces la ecuación (1) obtenemos una relación entre la
distribución en el período t y la distribución en el período t + k
x(t + k ) = P k . x(t )
La matriz P k contiene entonces las probabilidades condicionales que transforman distribuciones
incondicionales que están separadas por k períodos. En otras palabras, considerando la definición
∈Ω
hecha en (2), se verifica P k = [[ pij(k ) ]]ij∈Ω
.
II. Distribuciones invariantes
En esta sección se estudian las distribuciones invariantes que puede presentar una cadena de
Markov. Antes de proseguir, parece conveniente definir que se entiende por distribución
invariante
DEFINICIÓN II.1 (distribución invariante)
Dada una cadena de Markov con una matriz de transición P , una distribución invariante es un vector
x ∗ ∈ S n −1 tal que x ∗ = P. x ∗ .
Este tipo de distribuciones son de interés debido a que, en una variedad importante de cadenas,
están estrechamente relacionadas con el comportamiento que el proceso estocástico presenta a
largo plazo. Uno de los principales resultados que sustentan este interés es que la sucesión de
vectores de distribución incondicional de la variable de estado en aquellas cadenas que presentan
una única distribución invariante x ∗ y no presentan ciclos, converge asintóticamente a x ∗ 4.
Como puede notarse en la definición dada arriba, una distribución invariante es un punto fijo del
operador P (que relaciona el espacio de distribuciones incondicionales del proceso estocástico,
S n −1 , consigo mismo). Como es claro, dada una matriz de transición P , el espacio de puntos fijos
fix( P ) es la intersección de S n −1 con la solución de la ecuación matricial
( I − P ). x ∗ = 0
O, a nivel de componentes,
∑ (δ
ij
− pij ).x j∗ = 0
i ∈Ω
j ∈Ω
donde δ es la delta de Kronecker5. El conjunto solución de esta ecuación se denota ker( I − P ) y es
un espacio vectorial. La matriz P es una matriz que contiene vectores de distribución condicional,
por lo que siempre tiene un número positivo de autovalores iguales a 16. Esta propiedad implica
directamente la existencia de autovalores nulos en la matriz I − P 7, lo que determina que su
rango no puede ser completo. Formalmente, rank( I − P ) < n , lo que implica dim[ker( I − P )] ≥ 1 8.
La normalización reduce la dimensión del espacio solución en uno, con lo que
dim[fix( P )] = dim[ker( P )] − 1 ≥ n − rank( I − P ) − 1
La diferencia entre n y el rango de la matriz I − P es igual a la cantidad de autovalores iguales
a 1 de la matriz P . Por ende, estudiar el espectro de la matriz de transición, sp( P ) , es esencial
para
caracterizar
fix( P ) .
Sin
embargo,
sin
supuestos
adicionales
sólo
sabemos
que
max { abs [ sp( P ) ] } = 1 (i.e. que sp( P ) tiene radio unitario en el plano complejo). En secciones
posteriores, se definirán clases más específicas de matrices estocásticas, lo que permitirá obtener
resultados más concretos acerca de esas clases.
4
La unicidad es necesaria para evitar que el límite de cada sucesión dependa de la distribución inicial. La
ausencia de ciclos es necesaria para garantizar la convergencia de cada sucesión.
5
La delta de Kronecker se define como δij = 1 si i = j , δij = 0 si i ≠ j .
6
Esto puede verse como una propiedad algebraica bastante general. Cualquier matriz cuadrada no negativa
cuyas columnas sumen una constante c tiene un autovalor real λ = c que, al menos débilmente, domina en
módulo al resto de sus autovalores (propiedad de Frobenius).
7
Es sencillo demostrar que si A es cualquier matriz cuadrada y λ A es uno de sus autovalores, k − λ A es un
autovalor de la matriz k .I − A .
8
Por el teorema de la dimensión, se tiene dim[ker( P )] = n − rank( I − P ) .
III. Algunos conceptos de comunicación entre estados
En esta sección se definirán algunos conceptos relacionados con la comunicación entre los estados
de una cadena de Markov. Adicionalmente, se ilustrará como, a partir de estos conceptos, es
posible construir una topología.
Se dice que un estado j ∈ Ω se comunica con un estado i ∈ Ω si existe k ∈ ` tal que pij(k ) > 0 (es
decir, si el estado i es estocásticamente accesible desde el estado j o está comunicado con el
estado j ). Este hecho suele notarse
j →i
Dos estados i, j ∈ Ω están mutuamente comunicados si j → i y también i → j . Esto se nota
j ↔ i . El conjunto de todos los estados que se comunican con un estado i se denomina clase
comunicante de i , y se puede definir como
Γi := { j ∈ Ω : ∃k ∈ ` / pij(k ) > 0 }
La clase comunicante de un conjunto de estados Ψ ⊂ Ω es la unión de las clases comunicantes de
los estados en Ψ . Nótese que la clase comunicante de ∅ es ∅ . Un conjunto de estados Ψ se
denomina irreducible si ningún subconjunto no vacío de Ψ tiene la misma clase comunicante.
Para entender esto, pensemos que si un conjunto de estados no es irreducible, existe algún estado
en él que puede eliminarse sin alterar la clase comunicante del conjunto resultante.
Sean dos conjuntos de estados Ψ, ϒ ⊂ Ω . Se dice que el conjunto Ψ se comunica con ϒ si existe
un j ∈ Ψ y un i ∈ ϒ tal que j → i . Este concepto es equivalente a la condición Γ ϒ ∩ Ψ ≠ ∅ . Se
dice que Ψ y ϒ están mutuamente comunicados si Ψ se comunica con ϒ y ϒ se comunica con
Ψ . El conjunto Ψ está completamente comunicado con el conjunto ϒ si j ∈ Ψ implica j → i
para algún i ∈ ϒ . Esto se expresa en términos de clases comunicantes como i ∈ ϒ ⇒ Ψ ⊆ Γi .
Además, dos conjuntos están mutua y completamente comunicados si todos los estados de Ψ
están mutuamente comunicados con todos los estados ϒ .
Dado un conjunto de estados Ψ ⊆ Ω , se dice que el conjunto es cerrado o aislado si Ψ no está
comunicado con el complemento de Ψ con respecto a Ω . En otras palabras, Ψ es cerrado si y sólo
si verifica Ψ ∩ ΓΩ / Ψ = ∅ . Nótese que tanto ∅ como Ω son cerrados. Conceptualmente, si Ψ es
cerrado, ningún estado de Ψ está comunicado con un estado externo a Ψ (i.e. los estados de
Ω / Ψ ). Si un conjunto no aislado de estados está completamente comunicado consigo mismo, no
puede contener subconjuntos aislados.
El complemento de un conjunto cerrado, se denomina abierto. De la definición de conjunto
cerrado se desprende que los abiertos son conjuntos de estados que no son accesibles desde
estados externos al conjunto. La definición formal es que Ψ es abierto si (Ω / Ψ ) ∩ Γ Ψ = ∅ .
Considerando esto, la clase de todos los conjuntos abiertos es
Π := { Ψ ⊆ Ω : (Ω / Ψ ) ∩ Γ Ψ = ∅ }
No es difícil comprobar que la intersección de dos conjuntos abiertos es abierta. En efecto, sean
Ψ 1 y Ψ 2 dos conjuntos abiertos y supóngase buscando una contradicción que Ψ 1 ∩ Ψ 2 no es
abierto. Luego, existe un estado i ∈ Ψ 1 ∩ Ψ 2 y un estado j ∈ Ω /(Ψ 1 ∩ Ψ 2 ) tal que j → i . Pero
j ∈ Ω /(Ψ 1 ∩ Ψ 2 ) implica que j ∉ Ψ 1 o j ∉ Ψ 2 , por lo que o Ψ 1 no es abierto o Ψ 1 no es abierto.
Esto prueba que Ψ 1 ∩ Ψ 2 es abierto.
De forma similar, es posible establecer que la unión de conjuntos abiertos es abierta. Para ver
esto, asúmase nuevamente que Ψ 1 y Ψ 2 son dos conjuntos abiertos y supóngase buscando una
contradicción que Ψ 1 ∪ Ψ 2 no lo es. Luego, existe un estado i ∈ Ψ 1 ∪ Ψ 2 y otro estado
j ∈ Ω /(Ψ 1 ∪ Ψ 2 ) = (Ω / Ψ 1 ) ∩ (Ω / Ψ 2 ) tal que
j → i . Pero i ∈ Ψ 1 ∪ Ψ 2 implica i ∈ Ψ 1 o i ∈ Ψ 2 ,
mientras que j ∈ (Ω / Ψ 1 ) ∩ (Ω / Ψ 2 ) implica j ∈ (Ω / Ψ 1 ) y j ∈ (Ω / Ψ 2 ) . Luego, Ψ 1 no es abierto o Ψ 2
no es abierto. Esto prueba que Ψ 1 ∪ Ψ 2 es abierto.
Como, además, ∅ y Ω son abiertos, la clase Π de todos los conjuntos abiertos conforma una
topología sobre Ω 9. Luego, la dupla (Ω, Π) es un espacio topológico finito. Esto fundamenta el uso
de los términos “abierto” y “cerrado” para los tipos de conjuntos definidos más arriba10.
9
Recuérdese que una topología sobre un conjunto Ω es una clase de subconjuntos tal que: i) el conjunto vacío y
el conjunto pertenecen a la clase, ii) la intersección finita de conjuntos de la clase pertenece a la clase, y iii) la
unión arbitraria de conjuntos de la clase pertenece a la clase. Obviamente, si Ω es finito, basta con comprobar
que la clase es invariante ante la unión e intersección de pares de conjuntos.
10
Recuérdese que el concepto de conjunto abierto es en verdad una primitiva topológica. Cualquier elemento de
una topología es, por definición, una conjunto abierto. De la misma forma, el complemento de un conjunto
abierto es, por definición, cerrado.
IV. Cadenas ergódicas
Como las cadenas de Markov presentan una gran variedad de comportamientos, resulta
beneficioso estudiarlas a partir de la construcción de clasificaciones. En este sentido, pueden
definirse tres categorías no exhaustivas y no excluyentes, pero particularmente representativas:
las cadenas ergódicas, las cadenas absorbentes y las cadenas cíclicas. En esta sección
estudiaremos las cadenas ergódicas, mientras que en las siguientes exploraremos las dos
categorías restantes. Antes de proseguir, definamos una cadena ergódica.
DEFINICIÓN IV.1 (cadena ergódica)
Una cadena de Markov es ergódica si para cualquier i, j ∈ Ω , i se comunica con j .
Como resulta claro de las definiciones, en una cadena ergódica, el conjunto de estados Ω está
completamente comunicado consigo mismo. Una clase particular de cadenas ergódicas son las
llamadas cadenas regulares.
DEFINICIÓN IV.2 (cadena regular)
Una cadena de Markov se dice regular si para todo i, j ∈ Ω , existe un k ∈ ` tal que pij(k ) > 0 .
Es decir, si una cadena es regular, existe algún período en el cual todos los estados tienen una
probabilidad de transición positiva hacia cualquier estado del sistema. Dicho de otra forma, existe
k ∈ ` tal que es posible acceder a cualquier estado del sistema en no más de k períodos, sin
importar de qué estado del que se parta. Es claro que la regularidad implica ergodicidad,
mientras que la proposición inversa no es cierta en general. Matricialmente, la condición de
∈Ω
. Por otro lado, no es
regularidad equivale a exigir que exista algún k ∈ ` tal que P k > [[0]]ij∈Ω
difícil ver que la no negatividad de las probabilidades implica que la condición de ergodicidad es
equivalente a la existencia de un número k ∈ ` tal que
k
∑P
s
∈Ω
> [[0]]ij∈Ω
(3)
s =1
Una cadena ergódica tiene propiedades interesantes, como la siguiente
TEOREMA IV.1
Una cadena de Markov ergódica tiene una única distribución invariante. En esa distribución, todos los
estados tienen probabilidad positiva.
Podemos construir una demostración de este teorema, basada puramente en los teoremas de
Perron y Frobenius. Antes que nada notemos que una distribución invariante de la cadena
definida por la matriz P , satisface P.v = v . En otras palabras es un autovector asociado a una
raíz 1.
Teniendo en cuenta que la condición (3) se verifica por hipótesis, consideremos conocido el número
k y definamos
k
∈Ω
S = ∑ P s > [[0]]ij∈Ω
s =1
Si λ es un autovalor de P con un autovector v , es sencillo demostrar por inducción que
P i .v = λ i .v . Sumando sobre i , vemos que esto implica que S.v = α(λ).v donde hemos definido una
función α(λ) = λ.(1 + λ + ... + λ k −1 ) que nos devuelve el autovalor de S correspondiente a cada
autovalor de P . Notemos que v es también autovector de S . El teorema de Frobenius afirma que
debido a que P es no negativa, existe un autovalor real λ ∗ (no necesariamente simple) que
domina débilmente en módulo a todos los demás autovalores. Además, este autovalor está
asociado con al menos un autovector v ∗ de norma unitaria cuyas componentes son no negativas.
Para toda matriz de Markov, λ ∗ = 1 , de donde se deduce que abs(λ) ≤ 1 para cualquier λ .
Claramente, α(λ ∗ ) = α(1) = k . Además, notemos que α(λ ∗ ) = k es real y que si λ ∗ = 1 fuera un
autovalor múltiple, necesariamente α(λ ∗ ) = k sería múltiple. A continuación, mostramos que
max α(λ) = k (i.e. que α(λ ∗ ) domina débilmente a todos lo demás autovalores de S )- Para esto,
abs(λ )≤1
probamos max α(λ) ≤ k
abs(λ )≤1
max α(λ) ≤ max abs[λ.(1 + λ + ... + λk −1 )]
abs(λ )≤1
abs(λ )≤1
≤ max abs(λ).[1 + abs(λ) + ... + abs(λk −1 )]
abs(λ )≤1
max abs(λ)  .  1 + max abs(λ) + ... + max abs(λk −1 ) 
=  abs(

abs(λ )≤1
abs(λ )≤1
 
 λ )≤1
=k
y utilizamos α(1) = k para establecer la igualdad. Finalmente, el teorema de Perron nos dice que
como S es positiva (aquí es donde entra la hipótesis de ergodicidad), tiene un autovalor real y
simple que domina estrictamente a todos los demás autovalores, y que tiene asociado
exactamente un autovector de norma unitaria con todos sus componentes positivos. Si un
autovalor es estrictamente dominante, es el único que domina débilmente a los demás. Como
hemos demostrado que α(λ ∗ ) = k es débilmente dominante entre los autovalores de S , el teorema
de Perron implica que α(λ ∗ ) = k debe ser simple y tener asociado un único autovector de norma
unitaria v ∗ con todos sus componentes positivos. Esto implica que λ ∗ = 1 es simple y basta para
probar que el único autovector de asociado con λ ∗ = 1 es v ∗ . Es decir, la distribución invariante
es única y tiene todos sus componentes positivos, lo que completa la demostración ,
V.
Cadenas absorbentes
Un estado absorbente es un estado que no está comunicado con ningún otro estado. Es decir, un
estado absorbente conforma un conjunto aislado compuesto por un solo elemento. Formalmente,
un estado absorbente es un j ∈ Ω tal que pij = δij para todo i ∈ Ω . Con este concepto, definimos
una cadena absorbente:
DEFINICIÓN V.1 (cadena absorbente)
Una cadena absorbente es una cadena de Markov donde hay al menos un estado absorbente y donde
todos los estados no absorbentes se comunican con algún estado absorbente.
Como es obvio, una cadena absorbente no es ergódica. A continuación emprendemos un análisis
breve de las cadenas absorbentes. Sea Θ el conjunto de estados absorbentes y Φ el conjunto de
estados no absorbentes, de forma tal que Θ ∩ Φ = ∅ y Θ ∪ Φ = Ω . Formalmente, una cadena
absorbente se caracteriza por Θ ≠ ∅ y ΓΘ = Φ .
Siempre podemos construir una biyección Ω → Ω (permutación) que disponga los estados no
absorbentes y los estados absorbentes en forma sucesiva, garantizando que la matriz de
transición presente la estructura
H
P = 
 G
N
I




(4)
∈Φ
∈Φ
∈Θ
∈Θ
∈Θ
∈Θ
, G := [[ pij ]]ij∈Θ
, N := [[ pij ]]ij∈Φ
= [[0]]ij∈Φ
y I := [[ pij ]]ij∈Θ
= [[δij ]]ij∈Θ
. Esto se justifica,
donde H := [[ pij ]]ij∈Φ
considerando que, por definición de estado absorbente, es obvio que Θ no se comunica con Φ .
Además, la definición dada implica que Φ debe comunicarse con Θ 11. El supuesto de que todos
los estados no absorbentes se comunican con algún estado absorbente significa que Φ no contiene
conjuntos cerrados. Esto permite evitar la consideración de ciclos, para cuya ocurrencia es
necesario que exista un subconjunto aislado en Φ . Además, el supuesto de que Φ no tiene
conjuntos cerrados y la ley de cierre para las probabilidades condicionales, permite probar que la
matriz H tiene sus autovalores dentro del círculo unidad12. No es difícil ver que la k − potencia
de la matriz particionada (4) es

Hk
N 
P k = 
−1
k

 G.( I − H ) .( I − H ) I 
(5)
cuyos elementos son las probabilidades de transición a k períodos, pij(k ) . Debe notarse que al
efectuar los k productos de P , resulta la suma matricial
k −1
∑H
s
= ( I − H )−1 .( I − H k )
s =0
Esta expresión ha sido utilizada en (5) y es válida debido a que ( I − H )−1 siempre existe si la
matriz H tiene sus autovalores dentro del círculo unidad.
Debemos notar que si Φ no estuviera comunicado con Θ , el sistema podría particionarse en dos subsistemas
autónomos que podrían estudiarse por separado.
12
La ausencia de conjuntos cerrados en Φ implica que ∑ i ∈Φ pij < ∑ i ∈Ω pij para todo j ∈ Φ . Como, la ley de
11
cierre implica
∑
i ∈Ω
abs[sp( H )] ⊂ [0,1) .
pij = 1 para todo j ∈ Φ , tenemos que
∑
i ∈Φ
pij < 1 , lo que basta para probar que
El comportamiento de largo plazo del sistema puede obtenerse a partir del comportamiento
asintótico de la matriz de transición a k períodos. De esta forma,
P
∞


lim H k

N  
N
k →∞
:= lim P = 
=

−1
−1
k
k →∞
 lim G.( I − H ) .( I − H )
  G.( I − H )
→∞
I
k


k
N 
I 
∈Φ
∈Φ
también implicada por la
donde hemos usado la propiedad lim H k = [[lim pij(k ) ]]ij∈Φ
= [[0]]ij∈Φ
k →∞
k →∞
restricciones en el espectro de H . La interpretación de esto es simplemente que el sistema
abandona el conjunto de estados no absorbentes casi con certeza si se dejan transcurrir
suficientes períodos. La matriz G.( I − H )−1 da las probabilidades asintóticas de transición entre
estados de Φ y estados de Θ .
Con respecto a las distribuciones invariantes, puede demostrarse que si la cadena es absorbente
dim(V ) = card(Θ) 13, con lo que
(6)
dim[fix( P )] = card(Θ) − 1
Esto significa que la cantidad de estados absorbentes determina completamente la dimensión del
espacio de distribuciones invariantes. De hecho, un corolario de (6) es que una cadena de Markov
absorbente presenta una única distribución invariante si y sólo si tiene un único estado
absorbente (como es obvio, si ese estado es el j , la distribución invariante es el vector [[δij ]]i ∈Ω ).
Una propiedad interesante es que la matriz ( I − H )−1 contiene en su diagonal la esperanza
matemática del tiempo que el sistema permanece en un estado de Φ si parte de ese estado. Más
en general, esta matriz contiene en la posición (i, j ) las esperanzas matemáticas del tiempo en el
que sistema se encontrará en el estado i , condicionales a que el sistema parta del estado j . Esto
puede demostrarse considerando que la probabilidad de que el sistema esté en el estado i en el
período t + k si está en el estado j en t está dada por pij(k ) . Esto nos permite construir una
variable aleatoria
∞
Ti = ∑ µi (t + k )
i ∈Φ
k =0
donde las variables aleatorias µi (t + k ) tienen distribuciones condicionales a µ(t ) dada por
prob  µi (t + k ) = 1 µj (t ) = 1  = pij(k )
prob  µi (t + k ) = 0 µj (t ) = 1  = 1 − pij(k )
k ∈`
Como nos interesa la esperanza condicional a Y (t ) = j , se supone que para todo s ∈ Ω , µs (t ) = δsj .
Intuitivamente, µ(t + k ) es un vector aleatorio que se utiliza instrumentalmente para poder
sumar el tiempo que el sistema permanece en cada estado (ya que su componente i vale 1 con
exactamente la probabilidad de que el sistema se encuentre en el estado i en el período t + k ,
dado que el sistema se encontraba en el estado j en t ). La variable Ti representa entonces el
tiempo total (aleatorio) que el sistema pasa en el estado i si parte del estado j .
13
La demostración se basa en que la cantidad de estados absorbentes, card(Θ) , será la cantidad de autovalores
iguales a 1 (lo cuál utiliza propiedades algebraicas acerca de ciertas matrices por bloques demostradas por
ejemplo en [Gorno 2003], junto con el supuesto de que abs[sp( H )] ⊂ [0,1) ). Dada esta proposición, es claro que
card(Θ) = dim[ker( I − P )] = dim(V ) .
La esperanza condicional de Ti es
∞
∞
k =0
k =0
E  Ti µj (t ) = 1  = ∑ E  µi (t + k ) µj (t ) = 1  = ∑  1.pij(k ) + 0.(1 − pij(k ) )  =
∞
∑p
(k )
ij
k =0
Por otro lado, podemos formar la matriz de esperanzas y sumar la expresión resultante
 ∞
  ∑ pij(k )
  k =0
j ∈Φ
∞

∈Φ

= ∑ [[ pij(k ) ]]ij∈Φ
=
  i ∈Φ
k =0
∞
∑H
k =0
k
= lim  ( I − H )−1 .( I − H k )  = ( I − H )−1
k →∞
donde la segunda igualdad surge de observar que las entradas de H k coinciden con las de P k en
el bloque de filas y columnas en Φ (basta con ver (5)). Esto nos lleva a concluir que
j ∈Φ
( I − H )−1 =   E  Ti µj (t ) = 1   
  i ∈Φ

lo que completa la demostración ,
Otro análisis interesante, es el estudio del tiempo que el sistema permanece en un estado de Φ
antes de abandonarlo. Para esto, definamos Κi como una variable aleatoria que representa la
cantidad de períodos que el sistema se mantiene en el estado i (habiendo comenzado allí). Es
claro que Κi sigue una distribución
prob(Κi = k ) = Fi (k ) = (pii )k
k ∈ `0
La permanencia esperada es
∞
E (Κi ) = ∑ k .(pii )k =
k =0
pii
(1 − pii )2
Finalmente, podemos estudiar el tiempo de salida τi del estado i si el sistema está en el estado i
en el período t . Esto no es tarea difícil, si consideramos que la probabilidad de abandonar un
estado i ∈ Φ exactamente en k períodos (habiendo permanecido en él hasta entonces) está dada
por la expresión Fi (k − 1).(1 − pii ) , con lo que el tiempo de salida sigue una distribución
prob(τi = k ) = Gi (k ) = (pii )k −1 .(1 − pii )
k ∈`
El tiempo esperado de salida será
E (τi ) =
∞
∑ k.(p
ii
k =1
)k −1 .(1 − pii ) =
1 − pii
1
.E (Κi ) =
1 − pii
pii
VI. Cadenas cíclicas
En esta sección estudiaremos aquellas cadenas de Markov que presentan una estructura cíclica.
Los ciclos están asociados a autovalores con módulo unitario (pero distintos de 1). Por ende,
debemos considerar como posibles generadores de ciclos autovalores iguales a −1 y pares
autovalores complejos. Antes de proseguir definamos precisamente que entendemos por una
cadena cíclica.
DEFINICIÓN (cadenas cíclicas)
Una cadena de Markov se denomina cíclica si existe un número s ∈ ` tal que P k = P k +s para todo
k ∈ `.
La interpretación de esta definición es clara. Si una cadena es cíclica la distribución a cierto
futuro coincide con la distribución de los estados en un futuro posterior, cualquiera sea la
distribución (incondicional) inicial. El número s se denomina período de la cadena.
A continuación estudiaremos la relación entre el período de la cadena y los autovalores de una
matriz P asociada a una cadena cíclica. Si P es cíclica, por definición, P k = P k +s . Si llamamos J
a la forma de Jordan de P y T al isomorfismo reductor, es claro que podemos escribir
T .J k .T −1 = T .J k +s .T −1 , lo que implica J k = J k +s para todo k ∈ ` . Si la matriz J no es diagonal,
esta ecuación es incompatible. Esto implica que sólo las matrices de transición diagonalizables
pueden representar cadenas cíclicas. Además, los elementos de la diagonal principal son los
autovalores de P y deben satisfacer λik = λik +s para todo k ∈ ` y para i ∈ Ω . Por lo tanto, λi = 0
ó λis = 1 . Para λi ≠ 0 , la ley de De Moivre determina que
λis = abs(λi )s . { cos[arg(λi ).s ] + i.sen[arg(λi ).s ] }
i ∈Ω
Por lo tanto, la condición λis = 1 implica abs(λi ) = 1 y sen[arg(λi ).s ] = 0 (nótese que la última
condición implica abs { cos[arg(λi ).s ] } = 1 ) . En ausencia de raíces nulas, la primera condición es
necesaria para que una cadena sea cíclica, mientras que la segunda nos permite determinar el
período. Para ver esto, podemos despejar si = π / arg(λi ) para i ∈ Ω , donde debemos definir
arg : ^ → [0, 2π) para que los si sean positivos como se requiere. El período queda entonces
determinado por la fórmula
s = lcm(si ) = lcm[π / arg(λi )]
i ∈Ω
i ∈Ω
REFERENCIAS
.
El
[Gorno 2003]
.
Gorno, L. “De los autovalores de las matrices
triangulares por bloques”. Notas no publicadas, 2003.
[Billingsley 1995]
.
Billingsley, P. Probability and Measure. Tercera
edición. Wiley & Sons, 1995.
[González-Landro 1997]
.
González, M. y Landro, A. Cuadernos de teoría de la
probabilidad y sus aplicaciones; el problema de la
predicción en el mercado financiero. Impresos Centro,
1997.
[Aiub 1985]
Aiub, A. Ecuaciones
Coloquio, 1985.
en
Diferencias
Finitas.
[Cramér 1946]
.
Cramér, H. Mathematical Methods of Statistics.
Princeton University Press, 1946.