cadenas de markov

Cadenas de Markov
3.
1
Cadenas de Markov
Algunas veces nos interesa saber cómo cambia una variable aleatoria a través del tiempo. Por ejemplo,
desearíamos conocer cómo evoluciona el precio de las acciones de una empresa en el mercado a través del
tiempo. El estudio de cómo evoluciona una variable aleatoria incluye el concepto de procesos estocásticos. En
este capítulo explicaremos esos procesos, en especial uno que se conoce como cadena de Markov. Las cadenas
de Markov se han aplicado en áreas tales como educación, mercadotecnia, servicios de salud, contabilidad y
producción.
Qué es un Proceso Estocástico?
Supóngase que observamos alguna característica de un sistema en puntos discretos en el tiempo (que llamamos
0,1,2,...). Sea Xt el valor de la característica del sistema en el tiempo t. En la mayor parte de los casos no se
conoce Xt con certeza antes del tiempo t y se puede considerar como variable aleatoria. Un proceso estocástico
de tiempo discreto es simplemente una descripción de la relación entre las variables aleatorias X0, X1, X2,... A
continuación daremos algunos ejemplos de procesos estocásticos de tiempo discreto.
Ejemplo 1 La ruina del jugador: En el tiempo 0 tengo 2 dólares. En los tiempos 1,2,3... participo en un juego
en el que apuesto 1 dólar. Gano el juego con probabilidad p, y lo pierdo con probabilidad 1-p. Mi meta es
aumentar mi capital a 4 dólares, y tan pronto como lo logre se suspende el juego. El juego también se suspende si
mi capital se reduce a 0 dólares. Si definimos que X t es mi capital después del juego cuando el tiempo es t, si es
que lo hay, entonces se puede considerar que X0, X1, ..., Xt son procesos estocásticos de tiempo discreto. Nótese
que X0=2 es una constante conocida, pero que X1 y las demás Xt son aleatorias. Por ejemplo X1=3 con
probabilidad p y X1=1 con probabilidad 1-p. Nótese que si Xt=4, entonces Xt+1 y todas las demás Xt también
serán igual a 4. Igualmente, si Xt=0, entonces Xt+1 y todas las demás Xt serán 0 también.
Ejemplo 2: Sea X0 el precio de una acción de computadoras CSL al principio de este día hábil. También sea Xt
el precio de esa acción al principio del t-ésimo día hábil en el futuro. Es claro que si se conocen los valores de
X0, X1, ..., Xt nos dicen algo de la distribución de probabilidad de Xt+1; el asunto es: ¿Qué nos dice el pasado (los
precios de las acciones hasta el tiempo t) acerca de Xt+1? La respuesta de esta pregunta es de importancia crítica
en finanzas.
Un proceso estocástico de tiempo continuo es simplemente un proceso estocástico en el que el estado del
tiempo se puede examinar en cualquier tiempo y no sólo en instantes discretos. Por ejemplo, se puede considerar
que el número de personas en un supermercado a los t minutos después de abrir, es un proceso estocástico de
tiempo continuo. Así también, el precio de una acción se puede observar en cualquier tiempo, y no sólo al abrir
la bolsa, por lo que se puede considerar como proceso estocástico de tiempo continuo. Al considerarlo así, se ha
podido a importantes resultados en la teoría de finanzas, incluyendo la famosa fórmula de Black-Scholes para
opción de precio.
Ing. Efraín Murillo
Cadenas de Markov
2
Definición de Cadena de Markov
Cadenas de Markov es un modelo matemático que se basa en dos conceptos: estado y transición. El sistema
ocupa un estado i con probabilidad pi y, después de un periodo, procede a una transición para el estado j con
probabilidad de transición tij. Sean N los estados del sistema, entonces, para cualquier estado i:
N
t
ij
 1, con 0  tij  1
j1
En los modelos más simples de cadenas de Markov, los valores de las probabilidades de transición tij no
dependen ni de cómo el sistema llegó al estado i, ni del periodo n. Las probabilidades de ocupar un estado i
dependen del número de periodos o de transiciones efectuadas.
Por lo tanto una secuencia de intentos de un experimento es una cadena de Markov si:
a)
El resultado del m-ésimo intento depende sólo del resultado del intento (m-1)-ésimo y no de los resultados
en los intentos anteriores, y
b) La probabilidad de pasar del estado i al estado j en dos intentos sucesivos del experimento permanece
constante.
Aplicación 1:
Participaciones de mercado
Una investigación de mercados sobre el consumo de 3 marcas de cerveza: A, B y C por 1000 personas dará al
inicio (n=0) y después de un periodo (n=1) los siguientes resultados:
Se desea saber:
a)
El porcentaje de los clientes que consumen cada marca de cerveza después de un periodo.
b) El porcentaje de los clientes que consumen cada marca de cerveza después de 2 periodos.
c)
A la larga cómo se reparte el mercado de bebedores de cerveza entre las tres marcas?
Gráficamente se tiene:
Ing. Efraín Murillo
Cadenas de Markov
3
Observamos que estamos delante de un fenómeno dinámico, en el cual A aumentó su participación en el
mercado de 20% a 29%.
Siendo p la probabilidad de que un consumidor está demostrando preferencia por uno de los tres productos (osea
la participación de cada producto en el mercado) y observando que cada producto (o el hecho de estar
consumiendo un determinado producto) corresponde a un estado, resulta:
Xo = [pA(0) pB(0) pC(0)] = [0,2 0,3 0,5]
Donde X0 es el vector de distribución de estados al inicio. y
X1 = [0,29 0,27 0,44]
Donde X1 es el vector de distribución de estados después de un periodo (n=1).
Las probabilidades del vector X1 nos indican que después de un periodo, el comportamiento del mercado será:
29% consume el producto A, 27% el B y 44% el producto C.
Deseando analizar como ocurren estas alteraciones, y utilizando el cuadro correspondiente a las transiciones, se
tiene que:
La probabilidad de que un consumidor de A (o en A) permanece con A es:
tAA = 140  0,7.
200
La probabilidad de que un consumidor en A pase a C es t AC =
20
 0,1.
200
Entonces las probabilidades de transición resultan:
A
B C
A  0,7 0,2 0,1
T = B  0,1 0,5 0,4


C 0,24 0,16 0,6
Donde observamos que la suma de los elementos de cada fila siempre es 1.
Para visualizar mejor el fenómeno, diseñamos la siguiente cadena:
La probabilidad de ocupar estado j después de un periodo es:
N
pj(1)=
 p (0).t
i
ij
i 1
o en forma matricial: X1 = X0T
Ing. Efraín Murillo
Cadenas de Markov
4
Después de la segunda transición (n=2), resulta:
X2 = X 1 T
 0.7 0.2 0.1
X 2  0.29 0.27 0.44  0.1 0.5 0.4


0.24 0.16 0.6
X2 = [0,34 0,26 0,40]
Lo que significa que después de 2 periodos, el comportamiento del mercado será: 34% consume el producto A,
26% el B y 40% el producto C.
También X2= X0T T = X0T2
Después de la tercera transición (n=3), resulta:
X3 = X2 T = X0T2 T = X0T3
Después de n transiciones se tiene:
Xn=Xn-1T =X0Tn-1T =X0Tn
Donde Xn es el vector de distribución de probabilidad de estados en el periodo n.
Después de muchas transiciones, se llega a una situación estacionaria o de régimen de equilibrio dinámico (osea,
lo contrario de transitoria) en la cual las participaciones de mercado no se alteran más. En este caso:
Xn = Xn-1 = 
donde : Vector de distribución de estado estable).
Por lo tanto:  = .T
Deseando calcular los elementos de =[A B C], tenemos:
 0,7 0,2 0,1
[A B C] = [A B C]  0,1 0,5 0,4


0,24 0,16 0,6
además de:
A + B + C =1
El sistema de ecuaciones sería:
A + B + C =1
0,7A + 0,1B + 0,24C = A
0,2A + 0,5B + 0,16C = B
0,1A + 0,4B + 0,6C = C
Este sistema es redundante y, para resolverlo, eliminamos una de las tres últimas ecuaciones (por ejemplo la
última).
A + B + C =1
-0,3A + 0,1B + 0,24C = 0
0,2A - 0,5B + 0,16C = 0
y la solución es:  = [ 0,376 0,265 0,359]
Observamos el aumento en la participación de A, que pasa de 20% a 37.6%; principalmente a costa de C, que
cae de 50% a 35,9%. Entonces si C quiere promover una campaña publicitaria para quebrar el proceso, debería,
Ing. Efraín Murillo
Cadenas de Markov
5
principalmente, dirigirla hacia los actuales consumidores de A, ya que t AC=0,1 (muy pequeño). Se observa que
tBC es bastante grande.
La siguiente tabla muestra las distribuciones de estado para diferentes periodos de transición:
Se observa que a partir del periodo 7, las variaciones en los tres estados son casi despreciables.
ANÁLISIS ECONOMICO: Si la marca A, por cada cliente ganado aumenta sus ventas en
$40 ¿por cuántos períodos se debe realizar la campaña publicitaria, sabiendo que esta cuesta $500 por semana?
Para dar respuesta a esta inquietud realizamos el siguiente cuadro:
Periodo
Participación
de mercado
0
1
2
3
4
0.2
0.29
0.3356
0.3575
0.3676
número de
clientes
200
290
336
358
368
incremento Ingresos
de clientes adicionales
90
46
22
10
Costo
publicidad
$3600
1840
880
400
$500
500
500
500
Utilidad
$ 3100
340
380
-100
En consecuencia se deberá realizar la campaña durante 3 semanas, luego cambiar.
NOTA.- Para que exista un único vector de distribución estacionaria , se requiere que T sea regular.
T = [tij] es regular si tij > 0 en al menos una de sus potencias T m
Ejemplos:
a)
T=
b) T=
1 / 2 1 / 2 
1 / 3 2 / 3 es regular ya que tij > 0


1 / 2 1 / 2 2
,T =
 0
1 

T3=
1 / 4 3 / 4
,
 0
1 

1 / 8 7 / 8
,
 0
1 

entónces cualquier Tm no cumplirá la condición tij > 0 ya que siempre existirá el elemento t21= 0, por lo
tanto T no es regular.
Ing. Efraín Murillo
Cadenas de Markov
 0
c)
1 / 2 1 / 2
2
0 1 / 2 , T =


1 / 2 1 / 2 0 
T= 1 / 2
6
1 / 2 1 / 4 1 / 4
1 / 4 1 / 2 1 / 4 ,


1 / 4 1 / 4 1 / 2
por lo tanto T es regular.
Si T es matriz regular  existe un vector  único de tal forma que T =  donde  es llamado a menudo vector
de distribución de estado estable compuesto por probabilidades de estar en cada estado a largo plazo.
Aplicación 2:
Pronóstico del clima
Las probabilidades del estado del tiempo para la ciudad de Arequipa el mes de enero del presente año fueron
extraídas de la base de datos de SENAMHI Arequipa. Dichos valores han sido tomados de un dia anterior al dia
que irían a ser puestos a conocimiento de la población arequipeña. Estos datos se pueden expresar mediante la
siguiente matriz de transición:
La matriz P representa el modelo del clima, en donde dice que un dia es soleado es 90% posible de que sea
seguido por otro dia soleado y un dia lluvioso es 50% posible de que sea seguido por otro dia lluvioso. Las
columnas pueden ser nombradas como “soleado” y “lluvioso” respectivamente y las filas pueden ser nombradas
en el mismo orden.
(P) es la probabilidad que, dado un dia de tipo j, sea seguido por un dia i.
Nótese que las columnas de P suman 1, es así porque P es una matriz estocástica.
Pronosticando el clima.El clima en el dia 0 es conocido como soleado. Esto es representado por el vector en donde la entrada de
“soleado” es 100% y la de “lluvioso” es 0%
El clima en el día 1 puede ser pronosticado de la siguiente manera
Por eso, hay un 90% de posibilidad de que el dia 1sea tambien soleado
El clima para el día 2 puede ser pronosticado de la siguiente manera:
Ing. Efraín Murillo
Cadenas de Markov
7
Las reglas generales para el día n son:
Estado estacional del clima.Para este caso, las predicciones para el clima en días mas distantes son incrementalmente imprecisos y tienden a
tornarse en un vector de estado estacional. Este vector representa las probabilidades de condiciones soleadas y
lluviosas para todos los días y son independientes del clima inicial.
El vector del estado estacional se define como:
pero solo converge si P es una matriz de transición regular.
Desde que q es independiente desde condiciones iniciales, no debe ser alterada cuando transformada por P. Esto
genera un eigenvector (vocablo aleman que significa vector propio) y significa que puede ser derivado de P.
Par el caso que se venia tratando:
Asi que;
q1 − 5q2 = 0
Estableciendo s = q2 asi que s = q1. Se require s + 5s = 1 para lo cual s= 0.167. El vector estacional seria el
siguiente:
Repuesta.- En conclusión, a final de cuentas, 83% de los días fueron soleados en la cuidad de Arequipa
para el mes de Enero del presente año.
Ing. Efraín Murillo
Cadenas de Markov
8
CADENAS DE MARKOV ABSORBENTES
Muchas aplicaciones interesantes de las cadenas de Markov incluyen cadenas en las que algunos de los estados
son absorbentes y el resto son transitorios. A esas cadenas se les llaman cadenas absorbentes.
Un estado i de una cadena de Markov se dice que es absorbente si, una vez alcanzado el estado i en algún
intento, el sistema permanece en el estado i en todos los intentos futuros.
Una cadena de Markov es absorbente si tiene uno o más estados absorbentes y es posible llegar a un estado
absorbente a partir de cualquiera de los estados no absorbentes o transitorios.
Nota.- Puede ser necesario pasar por varios estados transitorios para llegar a un estado absorbente.
Si el estado i es absorbente, la probabilidad de transición de i a j es de 1. En otras palabras, el estado i es
absorbente sí y sólo sí tij=1. El número de estados absorbentes de una cadena de Markov es igual al número de
unos en la diagonal de su matriz de transición. La probabilidad de que el sistema esté en un estado transitorio
disminuye al aumentar el número de intentos
Aplicación 3:
Planificación de Personal
La empresa de abogados “Los Justicieros” emplea a tres categorías de abogados: principiantes, con experiencia y
s-m
m
columnas columnas
T=
s  m renglones Q
m renglones 
0
R
I

socios. Durante un año determinado hay una probabilidad 15% que un abogado principiante sea ascendido a
abogado con experiencia y una probabilidad 5% que deje la empresa. También hay una probabilidad 20% que un
abogado con experiencia sea ascendido a socio y una probabilidad 10% que deje la empresa. También hay una
probabilidad 5% que un socio deje la empresa. La empresa nunca degrada a un abogado.
Surgen muchas preguntas interesantes que la empresa podría contestar. Por ejemplo:
1. ¿Cuál es la duración promedio de un abogado joven recién contratado en la empresa?.
2. ¿Cuál es la probabilidad de que un abogado joven llegue a ser socio?.
3. ¿Cuál es la duración promedio que pasa un socio en el bufete? entre muchas otras.
Modelaremos la trayectoria de un abogado en “Los Justicieros” como cadena absorbente con la siguiente matriz
de probabilidad de transición:
Los dos últimos estados son estados absorbentes y los demás son transitorios. Por ejemplo, Experimentado es
estado transitorio, por que hay una trayectoria de Experimentado a Sale sin ser socio, pero no hay trayectoria que
Ing. Efraín Murillo
Cadenas de Markov
9
regrese de Sale sin ser socio a Experimentado. Suponemos que una vez que un abogado sale de la empresa nunca
regresa.
Para toda la cadena absorbente se desea conocer: (1) Si la cadena comienza en un determinado estado transitorio,
y antes de alcanzar un estado absorbente, ¿cuál es el número esperado de veces que se entrará en cada estado?
¿Cuántos periodos esperamos pasar en un estado transitorio dado antes que se efectúe la absorción?. (2) Si una
cadena inicia en un estado transitorio dado, ¿cuál es la probabilidad de terminar en cada uno de los estados
absorbentes?.
Para contestar estas preguntas necesitamos formular la matriz de transición con los estados en una lista con el
siguiente orden: primero los estados transitorios y después los absorbentes. Para precisar, se supondrá que hay sm estados transitorios (t1, t2, ..., ts-m) y m estados absorbentes (a1, a2, ..., am). Entonces la matriz de transición para
la cadena de absorción puede escribirse como sigue:
En este caso, I es una matriz identidad mxm, que refleja el hecho de que nunca podemos dejar un estado
absorbente; Q es una matriz (s-m)x(s-m) que representa las transiciones entre los estados transitorios; R es una
matriz (s-m)xm que representa las transiciones desde los estados transitorios a los estados absorbentes; 0 es una
matriz mx(s-m) que consta de ceros. Esto refleja de que es imposible ir de un estado absorbente a uno transitorio.
Aplicando esta notación a la aplicación, tenemos que:
t1= Principiante,
t2 = Experimentado,
t3= Socio,
a1= Sale sin ser socio y
a2 = Sale siendo socio.
y podemos escribir la matriz de probabilidad de transición como:
Entonces s=5, m=2, y
Q=
0 
0,80 0,15
 0 0,70 0,20 R =


0
0,95 3x 3
 0
0,05 0 
 0,10
0 


0,05 3x 2
 0
Para dar respuesta a las preguntas formuladas anteriormente, es necesario obtener las matrices: (I-Q)-1 y (I-Q)-1R,
la información contenida en estas matrices debidamente interpretadas, permite tomar decisiones.
Entonces,
0 
0,20  0,15

I-Q =
0
0,30  0,20


0
0,05 
 0
Con el método Gauss-Jordan o el método de la matriz adjunta, se encuentra que:
Ing. Efraín Murillo
Cadenas de Markov
t1
10
t2
t3
t1 5 2,5
10 


(I-Q) = t 2 0 10 / 3 40 / 3


t 3 0
0
20 
-1
Entonces,
a1
a2
t1 0,50 0,50


(I-Q)-1R = t 2 1 / 3 2 / 3


t 3  0
1 
Interpretación: (1) Si en este momento estamos en el estado transitorio ti, el número esperado de periodos que
pasarán en un estado transitorio tj antes de la absorción es el ij-ésimo elemento de la matriz (I-Q)-1. (2) Si en este
momento estamos es un estado transitorio ti, la probabilidad de ser absorbidos finalmente por un estado
absorbente aj es el ij-ésimo elemento de la matriz (I-Q)-1R.
Por lo tanto,
1. El tiempo esperado que un abogado principiante permanece en la empresa = (duración esperada del abogado
principiante en la empresa como principiante) + (tiempo esperado que el abogado principiante permanece en la
empresa como abogado con experiencia) + (tiempo esperado que el abogado principiante permanece en la
empresa como socio). Entonces
- Tiempo esperado como principiante = (I-Q)-111=5
- Tiempo esperado como con experiencia = (I-Q)-112=2,5
- Tiempo esperado como socio = (I-Q)-113 =10
Por lo tanto, el tiempo total esperado que un abogado principiante permanece en la empresa es 5 + 2,5 + 10 =
17,5 años.
2. La probabilidad de que un abogado principiante recién ingresado llegue a ser socio es tan sólo la probabilidad
de que salga de la empresa siendo socio. Como t1 = Principiante y a2 = Sale siendo socio, la respuesta es el
elemento 12 de (I-Q)-1R = 50.
3. Como t3 = Socio, buscamos el número esperado de años que pasa en t3, dado que comenzamos en t3. Este es
justamente el elemento 33 de (I-Q)-1 = 20 años. Es razonable, por que durante cada año hay una probabilidad
de 0,05 (1 en 20) que un socio deje el bufete y, por lo tanto, debe tardar un promedio de 20 años en dejar la
empresa.
Aplicación 4:
MODELOS DE PLANEACION DE PERSONAL
Muchas empresas, como por ejemplo “Los Justicieros” del ejemplo de planificación de personal, emplean varias
categorías de personal. Con fines de planeación a largo plazo, a menudo es útil poder predecir el número de
empleados de cada categoría que, si las tendencias actuales continúan, estarán disponibles en el estado estable.
Ing. Efraín Murillo
Cadenas de Markov
11
Si existe censo de estado estable podemos encontrarlo al resolver un sistema de s ecuaciones que se plantea
como sigue: tan sólo nótese que para que exista ese estado, debe ser válido que, para i=1, 2, ..., S,
Número de personas que entran al grupo i durante cada periodo = Número de personas que salen del grupo i
durante cada periodo
Ejemplo: Regresemos al bufete de abogados “Los Justicieros” (Ejemplo anterior) Supongamos que la meta a
largo plazo de ese bufete es tener 50 abogados principiantes, 30 con experiencia y 10 socios. Para alcanzar este
censo de estado estable, ¿cuántos abogados de cada tipo deben contratar cada año?.
Solución: Sean
Grupo 1 = abogados principiantes
Grupo 2 = abogados con experiencia
Grupo 3 = socios
Grupo 4 = abogados que salen del bufete
Censo de estado estable: N1=50, N2=30 y N3=10
Además:
H1= número de abogados principiantes a contratar
H2 = número de abogados con experiencia a contratar
H3 = número de abogados asociados a contratar
Entonces:
Número que ingresa al grupo i = número que sale del grupo i
H1 = (0,15 + 0,05)50 (abogados principiantes)
(0,15)50 + H2 = (0,20 + 0,10)30 (abogados con experiencia)
(0,20)30 + H3 = (0,05)10
(abogados asociados)
La solución única de este sistema de ecuaciones es H1=10, H2=1,5, H3=-5,5. Estos significa que para mantener el
censo deseado de estado estable, “Los Justicieros” deben despedir 5,5 socios cada año. Esto es razonable, por
que cada año hay 0,20(30) = 6 abogados con experiencia que pasan a ser socios, y una vez que lo hacen,
permanecen en ese puesto un promedio de 20 años. Esto muestra que para mantener el número de asociados en
10, deben despedirse algunos de ellos. Otra solución podría ser reducir, a menos de su valor actual de 0,20, la
fracción de abogados con experiencia que pasan a ser socios cada año.
MAS APLICACIONES:
APLICACIÓN 1.- Una empresa necesita contratar copiadoras en renta, escogiendo entre dos máquinas. Las
dos máquinas hacen copias que no se pueden distinguir. Cada máquina funciona o no funciona. Según los
registros anteriores, se ha determinado que si la máquina I trabaja un día determinado, la probabilidad es de 0,95
que trabaje el día siguiente. Si no trabaja un cierto día, la probabilidad es de 0,75 que funcione el siguiente día.
Si la máquina II trabaja hoy, la probabilidad es de 0,9 que trabaje mañana. Si no funciona hoy, la probabilidad es
de 0,8 que trabaje mañana. ¿Qué máquina debe rentar la empresa?.
SOLUCIÓN:
Siendo los estados: F (funciona) y NF (no funciona), elaboramos las matrices de transición de estados
respectivas.
Matriz de transición de estados (T) para la Máquina 1
Ing. Efraín Murillo
Cadenas de Markov
12
Matriz de transición de estados para la Máquina 2
Luego hallamos los vectores de estado estable para ambas máquinas aplicando la relación:
 = .T
Siendo  = [ x1 x2 ]
Donde :
x1: probabilidad de estado estable de que la máquina Funcione
x2: probabilidad de estado estable de que la máquina No Funcione
Además x1+x2=1
Para la máquina 1 tenemos:
[ x1 x2 ] = [ x1 x2 ]*T
x1+x2=1
Reemplazando los datos de matriz de Transición de estados de la máquina 1 y resolviendo el sistema de
ecuaciones tenemos:
x1= 0.9375 y x2=0.0625
entonces 1 = [ 0.9375 0.0625 ]
Para la máquina 2 tenemos 2 = [ 0.8889 0.1111 ]
Por lo tanto se observa que la máquina 1 tiene mayor probabilidad de funcionamiento (93.75%) frente a 88.89%
de la máquina 2, en consecuencia la empresa debe rentar la máquina 1.
APLICACIÓN 2.- Una pequeña tienda de videos lleva un control del número de veces por semana que es
rentado un video y estima las siguientes probabilidades de transición (ver matriz siguiente).
Donde: los estados en orden son: 5 veces, 4 veces, 3 veces, 2 veces, 1 vez y 0 veces
Por ejemplo, si un video se rentó 5 veces esta semana, entonces hay una probabilidad de 80% de que sea rentado
5 veces la siguiente semana, 10% de probabilidades de que sea rentado 4 veces y 10% de probabilidades de que
sea rentado 3 veces. Cuando un video es rentado 0 veces, este se desecha.
La siguiente matriz fue calculada utilizando el las funciones de Excel:
Ing. Efraín Murillo
Cadenas de Markov
a)
13
Suponga que un video fue rentado 5 veces esta semana. ¿Cuál es la probabilidad de que sea rentado 4 veces
durante la siguiente semana?.
Entonces se tiene que:
Xo = [ 1 0 0 0 0 0 ]
Hallamos X1
X1 = XoT
X1 = [ 0.8 0.1 0.1 0.0 0.0 0.0 ]
Entonces la probabilidad de que sea rentado 4 veces la próxima semana es 10%.
b) Suponga que un video fue rentado 3 veces esta semana. ¿Cuál es la probabilidad de que sea rentado 2 veces
durante la segunda semana?.
Entonces se tiene que:
Xo = [ 0 0 1 0 0 0 ]
Hallamos X2
X1 = XoT
X1 = [ 0.0 0.0 0.6 0.3 0.1 0.0 ]
X2 = X1T
X2 = [ 0.0 0.0 0.51 0.30 0.15 0.004 ]
Entonces la probabilidad de que sea rentado 2 veces la segunda semana es 30%.
c)
Suponga que un video fue rentado 5 veces esta semana. En promedio, ¿cuántas veces más será rentado antes
de que se deseche?.
Para responder esta pregunta usamos la información de la matriz (I-Q)-1 (primera fila)
5(5)+ 1.667(4) + 6.481(3) + 3.519(2) + 2.5(1) = 61 veces
d) Suponga que esta semana se rentó 5 veces. En promedio, ¿cuántas semanas será rentado por lo menos 2
veces?.
Para responder esta pregunta usamos la información de la matriz (I-Q)-1 (primera fila)
3.519 semanas será rentado 2 veces
6.481 semanas será rentado 3 veces
1.667 semanas será rentado 4 veces
5.000 semanas será rentado 5 veces
Entonces será rentado por lo menos 2 veces 3.519 + 6.481 + 1.667 + 5 = 16.7 semanas.
e)
Suponga que un video fue rentado 3 veces esta semana. En promedio, ¿cuántas veces más será rentado?.
Para responder esta pregunta usamos la información de la matriz (I-Q)-1 (tercera fila)
0(5)+ 0(4) + 6.667(3) + 3.333(2) + 2.5(1) = 29 veces.
Ing. Efraín Murillo
Cadenas de Markov
f)
14
Suponga que un video fue rentado 4 veces esta semana. ¿Cuál es la probabilidad de que sea desechado?.
1
1

1
Hallamos la matriz (I-Q)-1*R =  
1
1

1
Usamos la información de la segunda fila: La probabilidad de que sea desechado es 100%
APLICACIÓN 3.- Juan es propietario de un terreno con 5000 pinos. Cada año Juan le permite a los detallistas
de árboles de navidad seleccionar y cortar árboles para la venta a clientes individuales. Juan protege los árboles
pequeños (por lo general de menos de 120 cm. de alto) de manera que estén disponibles para la venta en años
futuros. Actualmente están clasificados 1500 árboles como protegidos, en tanto que los 3500 restantes están
disponibles para corte. Sin embargo, aunque en un año dado un árbol esté disponible para corte, quizás no sea
seleccionado sino hasta en años futuros. Aunque la mayoría de los árboles que no se cortan en un año dado viven
hasta el siguiente, todos los años se pierden algunos pinos enfermos.
Al estudiar la operación de los árboles de navidad de Juan como un proceso de Markov con periodos anuales,
definimos los cuatro estados siguientes:
Estado 1. Cortado y vendido.
Estado2. Perdido por enfermedad.
Estado3. Pequeño para cortarse
Estado4. Disponible para cortar, pero no cortado ni vendido
La siguiente matriz de transición es apropiada
Aplicando el Excel hallamos las siguientes matrices:
a)
¿Cuántos de los 5000 árboles se venderán y cuántos se perderán?.
1500*0.52 + 3500*0.8 = 3580 árboles se venderán
1500*0.48 + 3500*0.2 = 1420 árboles se perderán
Ing. Efraín Murillo
Cadenas de Markov
15
b) ¿Cuántos años se espera que pase un árbol pequeño en el vivero antes de ser cortado y vendido o perdido
por enfermedad?.
2 + 0.8 = 2.8 años
c)
¿Cuál es la probabilidad de que un árbol disponible para cortar sea cortado y vendido?. ¿y cuál es la
probabilidad de que se pierda por enfermedad?.
80% de probabilidad de que un árbol disponible para cortar sea cortado y vendido y
20% de probabilidad de que un árbol disponible para cortar se pierda por enfermedad.
APLICACIONES PROPUESTAS
APLICACIÓN 1.- Una máquina puede estar en dos estados: F “funciona” o Q “averiada”, con t FF = 0.8, tQQ =
0.4, tQF = 0.6, tFQ = 0.2. Cuando funciona da una utilidad de 480 por periodo y, cuando está averiada, los
gastos son de 160 por periodo, considerando la situación de régimen estable:
a)
Calcule la ganancia media por periodo.
b) Verifique si un plan de mantenimiento preventivo que cuesta $50 por periodo, alterando: t FF a 0.9 y tQQ
a 0.3 vale la pena?.
APLICACIÓN 2.- Calcule la situación de régimen  para el modelo cuyas probabilidades de transición son
las siguientes:
t11= 0.4
t12= 0.3
t13= 0.3
t22=0.3
t23=0.7
t31=0.5
t33=0.5
Repita en el caso de t23=0,4 en vez de 0,7.
APLICACIÓN 3.- Un asaltante notorio puede estar en uno de tres estados:
i)
ii)
iii)
Suelto, practicando asaltos.
Preso en la delegación de policía, esperando su transferencia.
Preso en la cárcel.
Considerando las siguientes probabilidades de transición:
taa = 0.6; Permanecer suelto.
tab = 0.4; Ser preso y llevado para la delegación.
tba = 0.2; Fugar de la delegación.
tbb = 0.2; Continuar en la delegación.
tbc = 0.6; Ser llevado a prisión.
tcc = 0.8; Continuar en la prisión.
tca = 0.2; Fugar de la prisión.
a) Haga un diagrama de la situación.
Ing. Efraín Murillo
Cadenas de Markov
16
b) Calcule la probabilidad de que un asaltante, inicialmente suelto, siga suelto (practicando asaltos) después de
dos periodos.
APLICACIÓN 4.- Se usa una máquina para producir herramientas de precisión. Si la máquina está hoy en
buenas condiciones, entonces estará bien mañana con 90% de probabilidad. Si la máquina está en mal estado
hoy, entonces estará en mal estado mañana con 80% de probabilidad. SI la máquina está en buen estado, produce
100 herramientas por día, y si está en mal estado, 60 herramientas por día. En promedio, ¿cuántas herramientas
por día se producen?.
APLICACIÓN 5.- La Zephyr Electronics Co. Fabrica tocacintas portátiles. Antes de mandar a ventas un
casete o portacintas, se analiza el lote. Las categorías de inspección son: no funciona (NF), regular, bueno y
excelente. Los portacintas NF se desechan, mientras que los lotes excelentes se envían inmediatamente a ventas.
Los lotes regulares y buenos se regresan para ajustes y se vuelven a probar. Las proporciones de lotes regulares y
buenos que cambian de categoría se dan en la tabla siguiente:
Descríbase este proceso de prueba como una cadena de Markov absorbente y calcúlese la matriz de
transición.
b) Cuántas veces, en promedio, se volverá a inspeccionar un lote que ya se había probado y había
resultado regular en la prueba anterior?
c) Cuántas veces, en promedio, se inspeccionará de nuevo un lote que ya se había probado y dio por
resultado ser bueno?
d) Cuál es la probabilidad de que se deseche un lote regular?
e) Cuál es la probabilidad de que un lote regular llegue a ventas?
f) De 30 000 lotes probados como buenos originalmente. Cuántos llegarán a ventas?
a)
APLICACIÓN 6.- Freezco, Inc., vende refrigeradores. La fabrica otorga una garantía en todos los
refrigeradores que especifica cambio gratis de cualquier unidad que se descomponga antes de tres años. Se nos
da la siguiente información: (1) el 3% de todos los refrigeradores nuevos falla durante su primer año de
funcionamiento; (2) el 5% de todos los refrigeradores con 1 año de funcionamiento falla durante el segundo año
de trabajo, y (3) el 7% de todos los refrigeradores con dos años de funcionamiento falla durante su tercer año. La
garantía no vale para el refrigerador de repuesto.
a)
Use la teoría de cadenas de Markov para predecir la fracción de todos los refrigeradores que deberá
cambiar Freezco.
b) Suponga que a Freezco le cuesta 500 dólares cambiar un refrigerador y que vende 10000 refrigeradores
al año. Si la fabrica redujera el plazo de garantía a dos años, ¿cuánto dinero se ahorraría en costos de
reemplazo?.
APLICACIÓN 7.- El Programa Profesional de Ingeniería Industrial, después de haber recogido datos durante
varios años, puede predecir las proporciones de los estudiantes que pasarán de una categoría a otra en un año
dado. Estos datos se dan en la tabla siguiente.
Ing. Efraín Murillo
Cadenas de Markov
17
Se observa el estado de cada estudiante al principio de cada año. Por ejemplo, si un estudiante es del 3er año al
principio de este año, habrá 65% de probabilidades de que al principio del año siguiente sea del 4to año, 15% de
probabilidad de que aún sea del tercer año y 20% de que se retire. Suponemos que una vez de que se retire un
estudiante ya nunca vuelve a inscribirse.
a)
Si un estudiante entra al Programa a primer año, ¿Cuántos años se espera que pasen siendo estudiante?.
b) ¿Cuál es la probabilidad de que egrese un estudiante de nuevo ingreso?.
c)
Si hay 250 estudiantes de primer año, 150 estudiantes de segundo año, 120 de tercer año, 80 de cuarto
año y 50 de quinto año. ¿Cuántos de éstos estudiantes culminarán la carrera?.
APLICACIÓN 8.- El equipo de fútbol del FBC Melgar consta de 2 estrellas, 9 novatos y 11 sustitutos. Para
fines de impuestos, los accionistas deben evaluar a los jugadores. Se define el valor de cada jugador como el
valor total del sueldo que gana hasta su retiro. Al inicio de cada temporada, se clasifican los jugadores en cuatro
categorías:
Categoría 1:
Categoría 2:
Categoría 3:
Categoría 4:
Estrella
Novato
Reserva
Retirado
(Gana 1 millón de dólares al año).
(Gana 400 mil dólares al año).
(Gana 100 mil dólares al año).
(No gana salario).
Si un jugador es estrella, novato o reserva el principio de ésta temporada, las probabilidades de que pase a ser
estrella, novato, reserva o retirado al principio de la siguiente temporada son como sigue:
Determine el valor de los jugadores del equipo.
APLICACIÓN 9.- En un proceso productivo las piezas una vez procesadas son inspeccionadas para
determinar si son rechazadas, reprocesadas o aceptadas para su posterior venta. Estadísticamente el 80% de las
piezas son aceptadas y el 5% son rechazadas.
a) Si el costo de proceso es de $15 por pieza y el de reproceso $5. ¿Cuál seria el costo de un item que
termine en ventas?.
b) En un lote de 10000 piezas ¿cuántas serán rechazadas?
APLICACIÓN 10.- Una fábrica de jabón se especializa en jabón de tocador de lujo. Las ventas de este jabón
fluctúan entre dos niveles –bajo y alto- y dependen de dos factores: 1) si hacen o no publicidad y 2) si los
competidores anuncian y comercializan nuevos productos. El segundo factor está fuera de control de la
Ing. Efraín Murillo
Cadenas de Markov
18
compañía, pero quieren determinar cuál debe ser su propia política publicitaria. Por ejemplo, el gerente de
comercialización propone hacer publicidad cuando las ventas están bajas y no hacerla cuando están altas. La
publicidad que se hace en un trimestre dado del año tiene su impacto el siguiente trimestre. De cualquier
manera, al principio de cada trimestre se dispone de la información necesaria para pronosticar con exactitud si
las ventas serán altas o bajas ese trimestre y decidir si hacer publicidad o no.
El costo de publicidad es de $1 millón de dólares cada trimestre del año que se haga. Cuando se hace publicidad
en un trimestre, la probabilidad de tener ventas altas el siguiente trimestre es ½ o ¾ según si en el trimestre
actual se tiene ventas bajas o altas. Estas probabilidades bajan a ¼ y ½ cuando no se hace publicidad en el
trimestre actual. Las ganancias trimestrales de la compañía (sin incluir los costos de publicidad) son de $4
millones cuando las ventas son altas pero sólo $2 millones cuando son bajas. (De aquí en adelante utilice cifras
en millones de dólares).
a)
Construya la matriz de transición (de un paso) para cada una de las siguientes estrategias de publicidad:
i) nunca hacer publicidad, ii) siempre hacer publicidad, iii) seguir la propuesta del gerente de
comercialización.
b) Determine las probabilidades de estado estable para los tres casos del inciso a).
c)
Encuentre la ganancia promedio a la larga (incluyendo una deducción por los costos de publicidad) por
trimestre para cada una de las estrategias del inciso a). ¿Cuál de estas estrategias es la mejor según esta
medida de desempeño?.
APLICACIÓN 11.- El estado de las cuentas por cobrar en una empresa se modela con frecuencia como una
cadena absorbente de Markov. Suponga que una empresa supone que una cuenta es incobrable si han pasado más
de tres meses de su fecha de vencimiento. Entonces, al principio de cada mes, se puede clasificar cada cuenta en
uno de los siguientes estados específicos:
Estado 1 Cuenta nueva.
Estado 2 Los pagos de la cuenta están retrasados un mes.
Estado 3 Los pagos de la cuenta están retrasados dos meses.
Estado 4 Los pagos de la cuenta están retrasados tres meses.
Estado 5 Se ha saldado una cuenta.
Estado 6 Se ha cancelado la cuenta por ser mal pagador.
Supongamos que los últimos datos indican que la siguiente cadena de Markov describe cómo cambia el estado
de una cuenta de un mes al siguiente:
Por ejemplo si al principio de un mes una cuenta lleva dos meses de vencida, hay 40% de probabilidades de que
no se pague al principio del mes siguiente y, por lo tanto, que tenga tres meses de retraso y una probabilidad de
60% de que se pague.
Suponga ademán que después de tres meses, la cuenta o se cobra o se considera incobrable.
Una vez que una deuda se paga o se considera incobrable, se cierra y no se tiene más transiciones.
a) ¿Cuál es la probabilidad que una cuenta nueva sea cobrada alguna vez?.
b) ¿Cuál es la probabilidad que una cuenta atrasada un mes se vuelva finalmente incobrable?
Ing. Efraín Murillo
Cadenas de Markov
c)
19
Si las ventas de la empresa son 100 000 dólares en promedio mensual, ¿cuánto dinero será incobrable
cada año?.
APLICACIÓN 12.- En la siguiente matriz de probabilidad de transición se resume la información del
progreso de los estudiantes universitarios en una universidad en particular.
1.00
0.00

0.00
T 
0.00
0.00

0.90
0.00 0.00 0.00 0.00 0.00
1.00 0.00 0.00 0.00 0.00
0.20 0.15 0.65 0.00 0.00

0.15 0.00 0.10 0.75 0.00
0.10 0.00 0.00 0.05 0.85

0.05 0.00 0.00 0.00 0.05
Donde los estados son:
Estado 1: Graduado, Estado 2: Abandona, Estado 3: De primer año, Estado 4: De segundo año, Estado 5: De
tercer año y Estado 6: De cuarto año
a)
¿Qué estados son absorbentes?.
b) ¿Cuál es la probabilidad de que un estudiante de segundo año se gradúe, ¿cuál la probabilidad de que
abandone?.
c)
En un discurso de bienvenida a 600 alumnos de nuevo ingreso, el rector les pide que se den cuenta de
que aproximadamente 50% de los presentes no llegará al día de graduación. ¿Un análisis de los
procesos de Markov apoya la declaración del rector?. Explique.
d) ¿Cuántos años se espera que pase en la universidad un estudiante de nuevo ingreso antes de que se
gradúe?
e)
Hoy, la universidad tiene 600 estudiantes nuevos; 520 de segundo año; 460 de tercero y 420 de cuarto.
¿Qué porcentaje se graduará de los 2000 estudiantes de la universidad?.
f)
Dentro de 5 años, ¿cuál será la distribución de los 2000 estudiantes?
APLICACIÓN 13.- El 1 de enero (de este año), las panaderías Klosman controlaban el 40% de su mercado
local, mientras que las otras dos panaderías, A y B, tenían 40 y 20 por ciento, respectivamente, del mercado.
Basándose en un estudio de una empresa de investigación de mercado, se compilaron los siguientes datos: la
panadería Klosman retiene el 90% de sus clientes, y gana el 5% de los clientes de A y el 10% de los de B. La
panadería A retiene el 85% de sus clientes y gana 5% de los clientes de Klosman y 7% de los de B. La panadería
B retiene 83% de sus clientes y gana 5% de los clientes de Klosman y 10% de los de A.
a)
¿Cuál será la participación de cada empresa en 1° de enero del año siguiente.
b) Klosman decide hacer una campaña publicitaria a efectos de ganar clientes, dicha campaña altera las
probabilidades de transición de estados de la siguiente manera: la panadería Klosman retiene el 90% de
sus clientes, y gana el 15% de los clientes de A y el 20% de los de B. La panadería A retiene el 75% de
sus clientes y gana 5% de los clientes de Klosman y 7% de los de B. La panadería B retiene 73% de sus
clientes y gana 5% de los clientes de Klosman y 10% de los de A. Si a Klosman le cuesta 350 dólares
por mes una campaña publicitaria y por cada cliente ganado obtiene un ingreso igual a 10 dólares
mensuales, ¿por cuántos periodos debe mantener su campaña publicitaria, sabiendo que se compite en
un mercado de 1000 clientes?.
Ing. Efraín Murillo