cadena de Markov

Nuccelli Nadia Alejandra Leg. 17.514
Comisión E- Grupo 7
Probabilidad de transición aplicada al pronóstico del tiempo: cadenas de Markov
Algunas veces se está interesado en cómo cambia una variable aleatoria con el tiempo. El estudio
de una variable aleatoria con el tiempo incluye procesos estocásticos.
Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en
cualquier etapa contiene algún elemento que depende del azar se denomina proceso aleatorio o
proceso estocástico. Por ejemplo, la sucesión podría ser las condiciones del tiempo en un
determinado lugar en una serie de días consecutivos: el tiempo cambia día a día de una manera
que en apariencia es algo aleatoria. El meteorólogo seguramente consulta las imágenes satelitales;
pero también sabe que el clima en un día del año corresponde de alguna manera a un fenómeno
aleatorio, es así como hoy puede ser soleado, ser lluvioso o fresco sin lluvia, y que el clima estaría
en una y solo una de estas tres posibilidades y que la ocurrencia de una de ellas excluye a las
demás. También es fácil ver que la probabilidad de que en un día específico llueva, o sea soleado
o fresco sin lluvia, está muy relacionada con lo ocurrido al clima el día anterior.
En la mayoría de los procesos estocásticos, cada resultado depende de lo que sucedió en etapas
anteriores del proceso. Por ejemplo, el tiempo en un día determinado no es aleatorio por completo,
sino que es afectado en cierto grado por el tiempo de días previos.
Los procesos estocásticos se pueden clasificar atendiendo a dos aspectos: si el espacio de
estados posibles de la variable aleatoria contiene valores discretos o continuos y de si los valores
del tiempo son discretos o continuos.
El caso más simple de un proceso estocástico en que los resultados dependen de otros, ocurre
cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior y no de
cualquiera de los resultados previos. Tal proceso se denomina proceso de Markov o cadena de
Markov (una cadena de eventos, cada evento ligado al precedente) y reciben su nombre del
matemático ruso Andrei Andreevitch Markov (1856-1922).
La cadena de Markov se ha aplicado a áreas como educación, comercialización, servicios de
salud, finanzas, contabilidad y producción. Es un tipo especial de proceso discreto en el tiempo, es
decir, es un proceso estocástico en el que los valores del tiempo son discretos y los estados
posibles de la variable aleatoria contiene valores discretos.
Estas cadenas tienen memoria, recuerdan el último evento y eso condiciona las posibilidades de
los eventos futuros, es por ello que con las cadenas de Markov podremos hacer predicciones de
comportamientos futuros como las que se observaron en las situaciones anteriores.
Así, si llamamos estados a cada una de estas posibilidades que se pueden presentar en un
experimento o situación especifica, entonces podemos visualizar en las Cadenas de Markov una
herramienta que nos permitiría conocer a corto y largo plazo los estados en que se encontrarían en
periodos o tiempos futuros.
Definición
Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual
cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad
de cada resultado para un ensayo dado depende sólo del resultado del ensayo
inmediatamente precedente y no de cualquier resultado previo.
Propiedad de Markov: Dada una secuencia de variables aleatorias {Xn, n: 0,1, 2...}, tales que el
valor de Xn es el estado del proceso en el tiempo n, que cumplen la probabilidad de alcanzar
cualquier estado j de la variable que depende exclusivamente del estado i alcanzado en el instante
de tiempo anterior, entonces:
P(X n+1 = j / X n = i, X n-1= i1,...X0=in) = P( X n+1 = j / X n = i)
Esta identidad es la denominada propiedad de Markov.
1
Nuccelli Nadia Alejandra Leg. 17.514
Comisión E- Grupo 7
Si el sistema se mueve del estado i durante un período al estado j durante el siguiente período, se
dice que ocurrió una transición de i a j.
Se define para cada par de estados (i, j) que se alcanzan en dos pasos consecutivos de n y n+1
una probabilidad condicional denominada probabilidad de transición pij.
P (Xn+1 = j / Xn = i) = pij
(suposición estacionaria)
Supongamos que las probabilidades de transición de un paso son estacionarias, es decir, que no
cambian con el tiempo. Las probabilidades de transición del estado Xi al estado Xj estructuradas en
forma matricial da lugar a lo que se denomina matriz de transición:
Dicha matriz relaciona los estados de la variable en dos pasos consecutivos a través de sus
probabilidades de transición.
Una matriz de transición para una cadena de Markov de n estados es una matriz de n x n con
todos los registros no negativos y con la propiedad adicional de que la suma de los registros de
cada fila es 1.
Definición:
Consideremos un proceso de Markov en que el sistema posee n estados posibles, dados
por los números 1, 2, 3, …, n. Denotemos pij a la probabilidad de que el sistema pase al
estado j después de cualquier ensayo en donde su estado era i. Los números pij se
denominan probabilidades de transición y la matriz nxn P = (pij ) se conoce como matriz de
transición del sistema.
Observaciones:
Las probabilidades pij deben satisfacer las condiciones:
1)
La suma pi1 + pi2 + …+ pin = 1 . Esta suma representa la probabilidad de que el sistema
pase a uno de los estados 1, 2, …., n dado que empieza en el estado i. Ya que el sistema ha
de estar en uno de estos n estados, la suma de probabilidades debe ser igual a 1. Esto significa
que los elementos en cualquier renglón de la matriz de transición deben sumar 1.
2)
Cada elemento pij ≥ 0.
Ejemplos sencillos:
EJEMPLO 1: En un pueblo, al 90% de los días soleados le siguen días soleados, y al 80% de los
días nublados le siguen días nublados. Con esta información modelar el clima del pueblo como una
cadena de Markov.
Se trata de una cadena de Markov con dos estados {Soleado, Nublado} que para abreviar
representaremos por {S, N}, siendo la matriz de probabilidades de transición:
S
N
0,9 0,1 S
P=
0,2 0,8 N
2
Nuccelli Nadia Alejandra Leg. 17.514
Comisión E- Grupo 7
EJEMPLO 2: El clima en la Tierra de Oz. Según el cuento, en la Tierra de Oz nunca hay dos días
buenos en sucesión. Después de un día con buen tiempo, le sigue (con igual probabilidad) un día
con lluvia o nieve. Del mismo modo, si nieva (o llueve), el día siguiente nevará (o lloverá) con
probabilidad 1/2, pero si cambia el tiempo sólo la mitad de las veces será un lindo día.
Para estudiar este problema primeramente encontramos las probabilidades de transición, es
decir las probabilidades de que teniendo cierto clima un día, al día siguiente se tenga otro clima.
Así, si indicamos con b a un día bueno, con l a uno lluvioso y n si nieva, tendremos:
pbb = 0
pbl = ½
pbn = ½
pll = ½
plb = ¼
pln = ¼
pnn = ½
pnl = ¼
pnb = ¼
de un buen día a un buen día,
de un buen día a un día lluvioso,
de un buen día a un día con nieve,
de un día lluvioso a un día lluvioso,
de un día lluvioso a un buen día,
de un día lluvioso a un día con nieve,
de un día con nieve a un buen día,
de un día con nieve a un día con lluvia,
de un día con nieve a un buen día.
Es conveniente ordenar estos datos en una matriz:
P=
b
l
n
0
½
½
b
¼
½
¼
l
¼
¼
½
n
donde las filas indican el clima en el día, las columnas el clima en el día siguiente, y las entradas
son las probabilidades de cambio o transición. No es sorprendente que la matriz se llame matriz
de transición (o transiciones).
Observamos que en esta matriz no sólo los coeficientes son no-negativos, sino que al sumarlos por
filas obtenemos 1, indicando que alguna de las posibilidades, en este caso b, l o n, debe
necesariamente suceder.
En cambio, al sumar por columnas, a veces obtenemos menos de 1, a veces más, y habrá casos
donde dará 1.
El ejemplo del clima en la Tierra de Oz es un ejemplo típico de cadena de Markov:
1)
2)
3)
4)
5)
Tenemos ciertos estados, en este caso b, l y n.
En cada momento estamos en uno de estos estados.
En el próximo momento volveremos a estar en ese u otro estado.
Pasamos de un estado a otro con cierta probabilidad que sólo puede depender del estado
inmediatamente anterior.
Esta probabilidad no cambia con el transcurso del tiempo.
3