EJERCICIOS CADENAS DE MARKOV 1.- Realice una planeación para 5 años por programación dinámica. 0.2 0.5 0.3 r 0 0.5 0.5 0 0 1 7 6 3 R 0 5 1 0 0 1 0 .3 0 .6 0 .1 r 0.1 0.6 0.3 0.05 0.4 0.55 6 5 1 R 7 4 0 6 3 2 1 2 1 2 PROGRAMACIÓN DINÁMICA. vi = Pij Rij 1 v1 = 0.2 * 7 + 0.5 * 6 + 0.3 * 3 = 5.3 v2 = 0 * 0 + 0.5 * 5 + 0.5 * 1 = 3 v3 = 0 * 0 + 0 * 0 + 1 * ( -1) = -1 2 v1 = 0.3 * 6 + 0.6 * 5 + 0.1 * ( -1) = 4.7 v2 = 0.1 * 7 + 0.6 * 4 + 0.3 * 0 = 3.1 v3 = 0.05 * 6 + 0.4 * 3 + 0.55 * ( -2) = 0.4 f(i)=max{vi} f(1) = 5.3 f(2) = 3.1 f(3) = 0.4 f(i) = max{vi + Pij fn+i(j)} En este primer año se debe fertilizar sólo si el sistema se encuentra en los estados 2 o 3 de terreno regular o deficiente. Para el 2º año de producción: 1 S1 = 5.3 + 0.2 * 5.3 + 0.5 * 3.1 + 0 .3 * 0.4 = 8.03 S2 = 3 + 0 * 5.3 + 0.5 * 3.1 + 0.5 * 0.4 = 4.75 S3 = -1 + 0 * 5.3 + 0 * 3.1 + 1 * 0.4 = -0.6 2 S1 = 4.7 + 0.3 * 5.3 + 0.6 * 3.1 + 0.1 * 0.4 = 8.19 S2 = 3.1 + 0.1 * 5.3 + 0.6 * 3.1 + 0.3 * 0.4 = 5.61 S3 = 0.4 + 0.05 * 5.3 + 0.4 * 3. 1 + 0.55 * 0.4 = 2.13 f(i)=max{vi} f(1) = 8.19 f(2) = 5.61 f(3) = 2.13 En el segundo año se debe fertilizar sin importar el estado del sistema. Para el 3º año de producción: 1 S1 = 5.3 + 0.2 * 8.19 + 0.5 * 5.61 + 0.3 * 2.13 = 10.382 S2 = 3 + 0 * 8.19 + 0.5 * 5.61 + 0.5 * 2.13 = 6.87 S3 = (-1) + 0 * 8.19 + 0 * 5.61 + 1 * 2.13 = 1.13 2 S1 = 4.7 + 0.3 * 8.19 + 0.6 * 5.61 + 0.1 * 2.13 = 10.736 S2 = 3.1 + 0.1 * 8.19 + 0.6 * 5.61 + 0.3 * 2.13 = 7.924 S3 = 0.4 + 0.05 * 8.19 + 0.4 * 5.61 + 0.55 * 2.13 = 4.225 f(i)=max{vi} f(1) = 10.736 f(2) = 7.924 f(3) = 4.225 Para el tercer año, se debe fertilizar sin importar el estado del sistema. Para el 4º año de producción: 1 S1 = 5.3 + 0.2 * 10.736 + 0.5 * 7.924 + 0.3 * 4.225 = 12.677 S2 = 3 + 0 * 10.736 + 0.5 * 7.924 + 0.5 * 4.225 = 9.075 S3 = (-1) + 0 * 10.736 + 0 * 7.924 + 1 * 4.225 = 3.225 2 S1 = 4.7 + 0.3 * 10.736 + 0.6 * 7.924 + 0.1 * 4.225 = 13.098 S2 = 3.1 + 0.1 * 10.736 + 0.6 * 7.924 + 0.3 * 4.225 = 10.196 S3 = 0.4 + 0.05 * 10.736 + 0.4 * 7.9 24 + 0.55 * 4.225 = 6.430 f(i)=max{vi} f(1) = 13.098 f(2) = 10.196 f(3) = 6.430 Para el cuarto año, se debe fertilizar sin importar el estado del sistema. Para el 5º año de producción: 1 S1 = 5.3 + 0.2 * 13.098 + 0.5 * 10.196 + 0.3 * 6.430 = 14.947 S2 = 3 + 0 * 13.098 + 0.5 * 10.196 + 0.5 * 6.430 = 11.313 S3 = (-1) + 0 * 13.098 + 0 * 10.196 + 1 * 6.430 = 5.43 2 S1 = 4.7 + 0.3 * 13.098 + 0.6 * 10.196 + 0.1 * 6.430 = 15.39 S2 = 3.1 + 0.1 * 13.098 + 0.6 * 10.196 + 0.3 * 6.430 = 12.456 S3 = 0.4 + 0 .05 * 13.098 + 0.4 * 10.196 + 0.55 * 6.430 = 8.670 f(i)=max{vi} f(1) = 15.39 f(2) = 12.456 f(3) = 8.670 En el quinto año, se debe fertilizar sin importar el estado del sistema. b) Realice el cálculo de solución óptima si el descuento = 0.6 . Cuales serán las soluciones óptimas para el terreno: Fertilizar o no fertilizar. 0.2 0.5 0.3 r 0 0.5 0.5 0 0 1 7 6 3 R 0 5 1 0 0 1 0 .3 0 .6 0 .1 r 0.1 0.6 0.3 0.05 0.4 0.55 6 5 1 R 7 4 0 6 3 2 1 1 2 = 0.6 PROGRAMACIÓN DINÁMICA. vi = Pij Rij 1 v1 = 0.2 * 7 + 0.5 * 6 + 0. 3 * 3 = 5.3 2 v2 = 0 * 0 + 0.5 * 5 + 0.5 * 1 = 3 v3 = 0 * 0 + 0 * 0 + 1 * ( -1) = -1 2 v1 = 0.3 * 6 + 0.6 * 5 + 0.1 * ( -1) = 4.7 v2 = 0.1 * 7 + 0.6 * 4 + 0.3 * 0 = 3.1 v3 = 0.05 * 6 + 0.4 * 3 + 0.55 * ( -2) = 0.4 f(i)=max{vi} f(1) = 5.3 f(2) = 3.1 f(3) = 0.4 En este primer año se debe fertilizar sólo si el sistema se encuentra en los estados 2 o 3 de terreno regular o deficiente. f(i) = max{vi + Pij fn+i(j)} Para el 2º año de producción: 1 S1 = 5.3 + 0.6*(0.2 * 5.3 + 0.5 * 3.1 + 0.3 * 0.4) = 6.938 S2 = 3 + 0.6*(0 * 5.3 + 0.5 * 3.1 + 0.5 * 0.4) = 4.05 S3 = (-1) + 0.6*(0 * 5.3 + 0 * 3.1 + 1 * 0.4) = -0.76 2 S1 = 4.7 + 0.6*(0.3 * 5.3 + 0.6 * 3.1 + 0.1 * 0.4) = 6.794 S2 = 3.1 + 0.6*(0.1 * 5.3 + 0.6 * 3.1 + 0.3 * 0.4) = 4.606 S3 = 0.4 + 0 .6*(0.05 * 5.3 + 0.4 * 3.1 + 0.55 * 0.4) = 1.435 f(i)=max{vi} f(1) = 6.938 f(2) = 4.606 f(3) = 1.435 En el segundo año se debe fertilizar sólo si el sistema se encuentra en los estados 2 o 3 de terreno regular o deficiente. Para el 3º año de producción: 1 S1 = 5.3 + 0.6*(0.2 * 6.938 + 0.5 * 4.606 + 0.3 * 1.435) = 7.773 S2 = 3 + 0.6*(0 * 6.938 + 0.5 * 4.606 + 0.5 * 1.435) = 4.812 S3 = (-1) + 0.6*(0 * 6.938 + 0 * 4.606 + 1 * 1.435) = -0.139 2 S1 = 4.7 + 0.6*(0.3 * 6.938 + 0.6 * 4.606 + 0.1 * 1.4 35) = 7.693 S2 = 3.1 + 0.6*(0.1 * 6.938 + 0.6 * 4.606 + 0.3 * 1.435) = 5.433 S3 = 0.4 + 0.6*(0.05 * 6.938 + 0.4 * 4.606 + 0.55 * 1.435) = 2.187 f(i)=max{vi} f(1) = 7.773 f(2) = 5.433 f(3) = 2.187 Para el tercer año, se debe fertilizar sólo si el sistema se encuentra en los estados 2 o 3 de terreno regular o deficiente. Para el 4º año de producción: 1 S1 = 5.3 + 0.6*(0.2 * 7.773 + 0.5 * 5.433 + 0.3 * 2.187) = 8.256 S2 = 3 + 0.6*(0 * 7.773 + 0.5 * 5.433 + 0.5 * 2.187) = 5.286 S3 = (-1) + 0.6*(0 * 7.77 3 + 0 * 5.433 + 1 * 2.187) = 0.312 2 S1 = 4.7 + 0.6*(0.3 * 7.773 + 0.6 * 5.433 + 0.1 * 2.187) = 8.186 S2 = 3.1 + 0.6*(0.1 * 7.773 + 0.6 * 5.433 + 0.3 * 2.187) = 5.916 S3 = 0.4 + 0.6*(0.05 * 7.773 + 0.4 * 5.433 + 0.55 * 2.187) = 2.659 f(i)=max{vi} f(1) = 8.256 f(2) = 5.916 f(3) = 2.659 Para el cuarto año, se debe fertilizar sólo si el sistema se encuentra en los estados 2 o 3 de terreno regular o deficiente. Para el 5º año de producción: 1 S1 = 5.3 + 0.6*(0.2 * 8.256 + 0.5 * 5.916 + 0.3 * 2.659 ) = 8.544 S2 = 3 + 0.6*(0 * 8.256 + 0.5 * 5.916 + 0.5 * 2.659) = 5.573 S3 = (-1) + 0.6*(0 * 8.256 + 0 * 5.916 + 1 * 2.659) = 0.595 2 S1 = 4.7 + 0.6*(0.3 * 8.256 + 0.6 * 5.916 + 0.1 * 2.659) = 8.475 S2 = 3.1 + 0.6*(0.1 * 8.256 + 0.6 * 5.916 + 0.3 * 2.659) = 6.204 S3 = 0.4 + 0.6*(0.05 * 8.256 + 0.4 * 5.916 + 0.55 * 2.659) = 2.945 f(i)=max{vi} f(1) = 8.544 f(2) = 6.204 f(3) = 2.945 En el quinto año, se debe fertilizar en caso sólo si el sistema se encuentra en los estados 2 o 3 de terreno regular o d eficiente. 1. S1 = S2 = S3 = Para S1 = S2 = S3 = S1 : Oferta de 6 millones de pesos. S2 : Oferta de 6 1 4 millones de pesos. S3 : Oferta de 7 millones de pesos. f(i)=max{vi} f(1) = 6 P(f1) = 6/10 = 0.6 f(2) = 6.25 P(f2) = 3/10 = 0.3 f(3) = 7 P(f3) = 1/10 = 0 .1 = 0.85 f(i) = max{vi + Pij fn+i(j)} 6 + 0.85*(0.6 * 6 + 0 * 6.25 + 0 * 7) = 9.06 6.25 + 0.85*(0 * 6 + 0.3 * 6.25 + 0 * 7) = 7.84 7 + 0.85*(0 * 6 + 0 * 6.25 + 0.1 * 7) = 7.60 el Segundo mes de rechazo de la oferta o espera. 6 + 0.85*(0.6 * 9.06 + 0 * 7.84 + 0 * 7.60) = 10.62 6.25 + 0.85*(0 * 9.06 + 0.3 * 7.84 + 0 * 7.60) = 8.25 7 + 0.85*(0 * 9.06 + 0 * 7.84 + 0.1 * 7.60) = 7.65 La política óptima que minimizan el costo total esperado es aceptar la oferta de 7 millones por vender su negocio en el primer mes, posteriormente se incrementan los costos totales. 2. S1 S2 S3 En S1 : Costo de 3 millones de pesos. S2 : Costo de 4 millones de pesos. S3 : Costo de 5 millones de pesos. f(i)=max{vi} f(1) = 3 P(f1) = 1/6 = 0.17 f(2) = 4 P(f2) = 2/6 = 0.33 f(3) = 5 P(f3) = 3/6 = 0.50 = 0.9 R = $ 350 D = $ 200 f(i) = max{vi + Pij fn+i(j)} = 3 + 200 + 350 + 0.9*(0.17 * 3 + 0.33 * 4 + 0.5 * 5) = 556.897 = 4 + 200 + 350 + 0.9*(0.17 * 3 + 0.33 * 4 + 0.5 * 5) = 557.897 = 5 + 200 + 350 + 0.9*(0.17 * 3 + 0.33 * 4 + 0.5 * 5) = 558.897 el Segundo día de espera o de no compra los costos serán. S1 = 3 + 200 + 350 + 0.9*(0.17 * 556.897 + 0.33 * 557.897 + 0.5 * 558.897) = 1055.4043 S2 = 4 + 200 + 350 + 0.9*(0.17 * 556.897 + 0.33 * 557.897 + 0.5 * 558.897) = 1056.4043 S3 = 5 + 200 + 350 + 0.9*(0.17 * 556.897 + 0.33 * 557.897 + 0.5 * 558.897) = 1057.4043 A la persona se conviene comprar una casa lo más antes posible pues sus costos se incrementan enormemente día a día a los costos originales, por tanto la política óptima es comprar el primer día cuando la casa cuesta 3 millones. 3. Una investigación recientemente realizada con suscriptora de una revista de viajes, muestra que el 65% de ellos tienen al menos una tarjeta de crédito de alguna línea aérea. Comparando estos resultados con una investigación similar efectuada hace 5 años, los datos indican que 40% de aquellos individuos que no tenían una tarjeta de crédito de alguna línea aérea, obtuvieron posteriormente una, mientras que el 10% de aquellas que poseían alguna de estas tarjetas, hace 5 años, ya no lo hacen. Considerando que estas tendencias continúen en el futuro, determínese la proporción de suscriptores que poseerán tarjetas de crédito de líneas aéreas: a) dentro de 10 años. b) A largo plazo SOLUCIÓN Sean los estados: S1 : Suscriptores con tarjeta de crédito. S2 : Suscriptores sin tarjeta de crédito. a) x 0 x 1 x2 x 0 0.65 0.35 S1 S2 S1 0.90 0.10 S2 0.40 0.60 Para n = 10 años x 10 P 0 P 10 0 .90 0 .10 b 2 b 0 .40 0 .60 0 .85 0 .15 0 .6 0 .4 0 .82 5 0 .17 5 3 b 0 .7 0 .3 0 .81 3 0 .18 8 4 b 0 .75 0 .25 0 .80 6 0 .19 4 5 b 0 .80 6 0 .19 4 5 b 0 .77 5 0 .22 5 0 .77 5 0 .22 5 0 .80 3 0 .19 7 6 b 0 .78 8 0 .21 3 0 .80 2 0 .19 8 7 b 0 .79 4 0 .20 6 8 0 .80 1 0 .19 9 9 0 .79 7 0 .20 3 0 .8 0 .2 10 0 .79 8 0 .20 2 0 .8 0 .2 b b b 0 .79 9 0 .20 1 a b 10 0 .8 0 .2 10 0.90 0.10 x P P = 0.65 0.35 = [0.8 , 0.2] 0.40 0.60 Dentro de 10 años el 80 % de las personas tendrán tarjeta de crédito y el 20 % de las personas carecerán de ellas. b) 0.90 0.10 x 1 x 2 x 1 x 2 0.40 0.60 10 0 10 0.90x 1 0.40x 2 x 1 0.10x 1 0.60x 2 x 2 0.10x 1 0.40x 2 0 0.10x 1 0.40x 2 0 x1 x 2 1 x 2 1 x1 0.10x 1 0.40(1 x 1 ) 0 0.10x 1 0.40 0.40x 1 0 0.50x 1 0.40 x1 0.40 0.50 x 1 0.8 x 2 1 x 1 1 0.8 x 2 0.2 A largo plazo se espera que el 80 % tenga la tarjeta de crédito y por ende el 20 % no la tenga. 7. Las uvas del valle de Sonoma, se clasifican como superiores, regulares o malas. Después de una cosecha superior, las probabilidades de tener durante el siguiente año, una cosecha superior, regular y mala son de 0, 0.8 y 0.2 respecti vamente. Después de una cosecha regular, las probabilidades de que la siguiente cosecha sea superior, regular y mala son: 0.2, 0.6 0.2. después de una mala cosecha, las probabilidades de una cosecha superior, regular y mala son de 0.1, 0.8 y 0.1. Determíne se las probabilidades de una cosecha superior para cada uno de los siguientes años, si la cosecha más reciente fue regular. SOLUCIÓN S1 : Cosecha Superior. S2 : Cosecha Regular. S2 : Cosecha Mala. Para la cosecha más reciente regular tenemos la p robabilidad 1 inicialmente. x 0 x 1 x 2 x 3 x 0 0 S1 S1 0.0 S2 0.2 S3 0.1 1 0 S2 S3 0 . 8 0 .2 0.6 0.2 0.8 0.1 Para n = 5 años x 5 P0P5 a ( 0 .2 0 .6 0 .2 ) 0 .0 0 .8 0 .2 b 0 .2 0 .6 0 .2 0 .1 0 .8 0 .1 a b 0 .14 0 .68 0 .18 0 .18 0 .64 0 .18 2 b 0 .14 0 .68 0 .18 0 .17 0 .64 0 .19 a b 2 0 .15 4 0 .66 4 0 .18 2 0 .14 6 0 .67 2 0 .18 2 3 b 0 .15 4 0 .66 4 0 .18 2 0 .14 7 0 .67 2 0 .18 1 a b 3 0 .15 1 0 .66 7 0 .18 2 0 .15 3 0 .66 6 0 .18 2 4 b 0 .15 1 0 .66 7 0 .18 2 0 .15 3 0 .66 6 0 .18 2 a b 4 0 .15 2 0 .66 7 0 .18 2 0 .15 1 0 .66 7 0 .18 2 5 b 0 .15 2 0 .66 7 0 .18 2 0 .15 1 0 .66 7 0 .18 2 a b 5 0 .15 1 0 .66 7 0 .18 2 Para el primer año la cosecha superior será de 0.14 = 14 % Para el segundo año la cosecha superior será de 0.154 = 15.4 % Para el tercer año la cosecha superior será de 0.151 = 15.1 % Para el cuarto año la cosecha superior será de 0.152 = 15.2 % Para el quinto año la cosecha superior será de 0.151 = 15.1 %