Control Óptimo y Optimización Dinámica

Control Óptimo y Optimización
Dinámica
Problemas de Control Óptimo
Proceso de solución consiste en encontrar los
perfiles de la variable de control vs tiempo de
modo que se optimice un índice particular de
medida de desempeño del sistema
¾
Maximizar
θ
Sujeto a:
¾
L=
∫ k (x , θ ) dt + S (T )
T
0
dx
= f (x , θ )
dt
x(0) = x0
Métodos de Solución Convencionales
• El Principio del Máximo
• Programación Dinámica
• Cálculo de Variación
Problemas Históricos
¾
La reina Dido planteó el problema isoperimétrico:
isoperimétrico Encuentre el
área mayor que puede ser cubierta con un cordel de longitud fija
(L)
X
A = ∫ y ( x) dx
o
L = ∫ ds = ∫
(dy ) + (dx )
2
2
X
=∫
0
y → x1
x→t
2
 dy 
1 +   dx
 dx 
T
Maximize
A = ∫ x1 (t ) dt
o
dx1
=u
dt
x1 (0) = 0 x1 (T ) = 0
T
L = ∫ 1 + u 2 dt
0
dx2
= 1+ u2
dt
x2 (0) = 0
x2 (T ) = L
Problemas Isoperimétrico
T
Maximize A = ∫ x1 (t ) dt
o
dx1
=u
dt
dx2
= 1+ u2
dt
x1 (0) = 0
x2 (0) = 0
x1 (T ) = 0
x2 (T ) = L
Brachistochrone (Tiempo Mas Corto)
Galileo
Bernoulli
Ingeniería Química: Problema de
Destilado Máximo
Maximizar
Rt
Sujeto a:
L=∫
T
0
T
dD
V
dt = ∫
dt
0
dt
Rt + 1
dxt1
V
=−
dt
Rt + 1
x01 = Bo = F
dxt2
V ( xt2 − xD(1) )
=
dt
Rt + 1
xt1
Pureza
promedio
x =
*
D
∫
T
0
V
dt
Rt + 1
V
dt
Rt + 1
xD(1)
∫
T
0
x02 = xF(1)
El Principio del Máximo
¾
¾
¾
¾
¾
La función objetivo se reformula en la forma lineal de
Mayer
Requiere la incorporación de ecuaciones diferenciales
ordinarias adicionales (ecuaciones adjuntas)
adjuntas que
representan la dinámica de las variables adjuntas
(también agregadas al problema)
Se define una función Hamiltoniana (invariante en el
tiempo)
El perfil óptimo se obtiene derivando la función
Hamiltoniana con respecto a la variable de control
El sistema resultante es un problema de valores en la
frontera
El Principio del Máximo
Forma Lineal
Maximizar
θ
T
Maximizar
0
θ
L = ∫ k (x, θ ) dt
dx
=f
dt
n
J = c x (T ) = ∑ ci xi (T )
T
i =1
dx
= f
dt
x(0) = x0
Hamiltoniano
x(0) = x0
n
H = µ f = ∑ µi f i
T
i =1
Ecuaciones y
Variables Adjuntas
dµ
= −µ
dt
T
∂f
n
fx = − ∑ µ
j =1
dx
=f
dt
j
j
∂xi
x(0) = x0
µ (T ) = c
Problem a de Destilado
M á ximo: Principio del
M á ximo
Función objetivo es
re-escrita en forma Maximizar
Rt
Lagrangiana
L=∫
T
0
[
)]
(
V
1 − λ xD* − xD(1) dt
Rt + 1
Sujeto a:
dxt1
V
=−
dt
Rt + 1
x01 = Bo = F
dxt2
V ( xt2 − xD(1) )
=
dt
Rt + 1
xt1
x02 = xF(1)
Problem a de Destilado
M á ximo: Principio del
M á ximo
V
Para obtener forma
[1 − λ (x − x )]dt
x =∫
R +1
t
3
lineal de Mayer
t
0
*
D
(1)
D
t
Maximize
Rt
x3T
Sujeto a:
dxt1
V
=−
dt
Rt + 1
x01 = Bo = F
dxt2
V ( xt2 − xD(1) )
=
dt
Rt + 1
xt1
[
(
x02 = xF(1)
dx t3
V
1 − λ x D* − x D(1 )
=
dt
Rt + 1
)]
Hamiltoniano
Problem a de Destilado
M á ximo: Principio del
M á ximo
V (x − x )
V
V
[1− λ(x
H = −µ
+µ
+µ
t
1
t
Ecuaciones y
Variables Adjuntas
(
)
( )
2
(1)
dµt1
2 V xt − x D
= µt
, µT1 = 0
2
dt
(Rt + 1) xt1
Rt +1
2
t
2
t
(Rt +1) x
3
t
Rt +1
*
D
− xD(1)
)]
Perfil óptimo
 µt2 2

(1)
1
*
(1)
µ
λ
−
−
−
−
+
x
x
x
x
1
(
)
(
)
D
t
D
D
 x1 t

t
 −1
Rt = 
2
(1)
µ 
∂xD 
 λ − t1 
∂Rt 
xt 
 ∂xD(1) 
V 1 − 2 
2
∂xt 
V  ∂xD(1) 
dµ t
2
3
2



,
= − µt
−
=0
µ
λ
µ
t
T
1
2 

(Rt + 1) xt
(Rt + 1)  ∂xt 
dt
dµt3
= 0 , µT3 = 1
dt
(1)
D
1
t
∂H
=0
∂Rt
Programación Dinámica
¾
Condición de Optimalidad:
Optimalidad Aplicación del Principio
de Optimalidad de Bellman da como resultado una
ecuación diferencial parcial conocida como Ecuación
Hamilton-Jacobi-Bellman (HJB)
Maximize
0=
θt
0=
 ∂L
∂ L dx ti 
+ k ( x t ,θ t ) + ∑


i
dt
t
∂
x
∂
i
t


 ∂L

∂L
k
(
x
,
)
f
θ
+
+
t
∑ i i

t
t
∂
i ∂xt


Maximize
θt
0=
Maximize
θt
[L t + k + L x f ]
Ecuación HJB
∂L Maximize
0=
+
Rt
∂t
Problem a de Destilado
M á ximo: Program a ción
Diná mica
 V
∂L  V  ∂L
*
(1)
x
x
1
λ
−
−
+
−

+ 2
D
D
1 
R
x
R
1
1
+
∂
+
 t
t 
t
 ∂xt
[
(
)]
 V ( xt2 − xD(1) )  


1
R
x
1
+
t
t

 
Perfil óptimo

  V   ∂xD(1) ∂L 1 ∂xD(1) 
V
∂L ∂L  xt2 − xD(1)  
*
(1)
 −
+
0 = 1 − λ ( xD − xD ) − 1 + 2 
 λ ∂R − ∂x 2 x1 ∂R 
1
2
(
1
)
1
x
x
x
R
R
∂
∂
+
+
t
t 
t
t
t
t
t
t 
 
  t 

2
(1)

x
x
−
t
D
∂L 2 
∂xt  xt1
Rt =
 ∂L
 − 1 − λ (x D* − x D(1) ) + 1
 ∂xt
−1
∂L 2 

(1)
∂xt 
∂x D 
−
λ
∂Rt 
xt1 


Mismo perfil que en el principio
del máximo si las variables
adjuntas son iguales a las
derivadas de la función objetivo
(L) con respecto a las variables
de estado (x)
Problemas Estocásticos
de Control Óptimo
¾
No es posible despreciar incertidumbres en algunas
aplicaciones prácticas de problemas de control óptimo:
9
9
¾
En parámetros del modelo
En condiciones iniciales
El problema estocástico de control óptimo resultante
puede ser analizado utilizando “Teoría de Opción
Real”:
Real
9
9
9
Caracterizando incertidumbres dependientes del tiempo como
Procesos de Ito
Usando el Lema de Ito
Usando las condiciones de optimalidad de Programación
Dinámica Estocástica
Procesos de Ito
¾
¾
Las variables estocásticas cambian con el tiempo en una forma
incierta
El denominado proceso Wiener se utiliza como base para modelar
una amplia gama de procesos estocásticos más complicados.
Posee 3 propiedades:
9
9
9
¾
Satisface la propiedad de Markov
Presenta incrementos independientes
Sus cambios en el tiempo se distribuyen normalmente
Un proceso de Ito representa el incremento de una variable
estocástica en el tiempo de acuerdo con:
dx = a( x, t ) dt + b( x, t )dz
a y b son funciones conocidas y dz es el incremento de un
proceso Wiener. Note que E[dz]=0 y E[dz2]=dt
Procesos de Ito
Algunos parámetros ingenieriles pueden representarse como
procesos de Ito:
¾
Movimiento Browniano
dx = α dt +σ dz
¾
¾
“Mean reverting process”
(
)
dx = η xavg − x dt +σ dz
Movimiento Geométrico Browniano
dx = α x dt +σ x dz
Lema de Ito
¾
¾
Teorema Fundamental del Cálculo Estocástico
Permite derivar e integrar funciones de variables estocásticas que
se comportan como procesos de Ito
dx = a( x, t ) dt + b( x, t )dz
1 ∂2F
∂F
∂F
2
(
)
dF =
dt +
dx +
dx
∂t
∂x
2 ∂x 2
 ∂F
∂F 1 2
∂2 F
dF =  + a( x, t ) + b ( x, t ) 2
∂x 2
∂x
 ∂t
¾

∂F
 dt + b( x, t ) dz
∂x

No se desprecian algunas contribuciones de segundo orden dado
que E[dz2]=dt
Programación Dinámica Estocástica
¾
Se ha desarrollado una extension a las condiciones de
optimalidad de programación dinámica para el caso
estocástico:
Maximize
T
L = ∫0 k (x t , θ t ) dt
θt
Sujeto a:
Condiciones de
Optimalidad:
Optimalidad
(
)
dx ti = f i x t , θ t dt + σ i dz
0=
Procesos de Ito
Maximize 
1

k
(
x
E
(
dL
)
t ,θt ) +


θt
dt
Maximize  ∂L
σ i2 ∂ 2 L
∂2L 
∂L
0=
+ ∑ σ iσ j i j 
 + k ( xt , t ) + ∑ i fi ( xt , t ) + ∑
i 2
θt
2
t
∂
(∂xt ) i ≠ j
∂xt ∂xt 
i ∂xt
i

Principio del Máximo para Problemas
Estocásticos
¾
¾
¾
¾
Con base en las condiciones de optimalidad para programación
dinámica, se pudieron derivar las expresiones correspondientes al
método del principio del máximo
Las variables adjuntas (µ) en el principio del máximo son equivalentes
a las derivadas parciales de la función objetivo con respecto a las
variables de estado (Lx) de programación dinámica
El principal resultado del análisis es la derivación de las ecuaciones
adjuntas
Las derivadas de segundo orden de la función objetivo con especto
a las variables de estado (Lxx) en programación dinámica
estocástica tiene que ser también incluidas y se incorporan en la
formulación a través de las variables adjuntas adicionales, ω
Principio del Máximo para Problemas
Estocásticos
¾
Se utiliza representación escalar aunque el análisis es válido para
el caso vectorial
H =µ f
dx
=f
dt
dµ
= −µ fx
dt
x(0) = x0
µ (T ) = c
σ2
H =µ f + ω
2
dx = f dt + σ dz
x ( 0 ) = x0
( )
1
dµ
σ
= −µ fx −
2
dt
2
x
ω
( )
dω
1
σ
= − 2 ω f x − µ f xx −
dt
2
Determinístico
2
xx
Estocástico
µ (T ) = c
ω
ω (T ) = 0
Versión Estocástica del Problema
de Destilado Máximo
Maximize
Rt
dD
T V
L=∫
dt = ∫0
dt
dt
Rt + 1
T
0
Sujeto a:
V
x
∫0 Rt + 1 dt *
= T
= xD
V
∫0 Rt + 1 dt
T
xDave
dxt1
V
=−
dt
Rt + 1
(1)
D
Restricción externa usada
como criterio de
convergencia
dx t2
x01 = Bo = F
V ( x t2 − x D(1) )
dt + x t2 σ 2 dz 2
=
1
Rt + 1
xt
Proceso Ito
x 02 = x F(1)
R e lativ e V o latility
Volatilidad Relativa como un
Proceso de Ito
3.2
3.15
3.1
3.05
3
2.95
2.9
2.85
2.8
2.75
R igorous
S im ulation
P ath 1
P ath 2
P ath 3
0
1
2
3
T im e (H rs)
Ocasiona un comportamiento incierto en las
variables de estado
Principio del Máximo
(
)
2
(1)
dµ
2 V xt − x D
= −µ
2
dt
(Rt + 1) xt1
Ecuaciones
Adjuntas
Perfil
óptimo
( )
 ∂x D(1) 
V 1 − 2 
∂xt 
2 2

−µ
−
σ
2 xt ω
(Rt + 1) xt1
∂ 2 xD(1)
 ∂xD(1) 
V
V 1 − 2 
2 2
∂
x
∂
x
V xt2 − xD(1)
dω
t 
2

t
+µ
= −2 ω
− σ 2 ω − ωµ
1
1
2
dt
(Rt + 1) xt
(Rt + 1) xt
(Rt + 1) xt1
( )
Rt =
xt1
(
− µ xt2
∂xD(1)
∂Rt
−
µ
xD(1)
)
( )
(
( )
2

2


R
(
1
)
+
∂
σ
xt1 σ 2 2 xt2 ω   t

R
V
∂
t

 −1
+ 
∂xD(1)
µ
∂Rt
)
Perfil Óptimo de la Razón de Reflujo
¾
¾
Se requieren valores de reflujo más grandes debido a la
disminución en el valor de la volatilidad relativa con el tiempo
La desviación respecto al caso determinístico también cambia
con el tiempo debido al efecto de las incertidumbres
Nuevamente el Problema Isoperimétrico
¾
Considere ahora la versión estocástica del problema
isoperimétrico
Determinístico
Movimiento Browniano
Maximize
x3 (T )
u
dx1
=u
dt
x1 (0) = 0
x1 (T ) = 0
dx2
x2 (0) = 0 x2 (T ) = L
= 1+ u2
dt
dx3
x3 (0) = 0
= x1
dt
L = 16
Estocástico
dx1 = u dt + σdz
x1 (0) = 0 x1 (T ) = 0
σ = 0.5
Suposición meramente
académica
Soluciones al Problema Isoperimétrico
µ1 = −t + c1
µ 2 = c2
µ3 = 1
ω=0
u
µ1 +
µ2 = 0
2
1+ u
Bibliografía
1. Teoría de optimización (determinística) y
Aplicaciones en Ingeniería Química
a) Practical Methods of Optimization; R. Fletcher, 2nd. Ed., Wiley
b) Optimization of Chemical Processes; Edgar, Himmelblau and Larson,
2nd. Ed., McGraw-Hill
c) Nonlinear Programming, Theory and Algorithms; Bazaraa, Sherali and
Shetty, Wiley
d) Systematic Methods for Chemical Process Design; Biegler, Grossmann
and Westerberg, Prentice Hall
e) Linear Programming; Chvatal Vasek, Ed. W. H. Freeman and Co.
2. Programación MultiObjetivo
a) Introduction to Applied Optimization, Diwekar, Kluwer Academic
Publishers
Bibliografía
3. Programación Estocástica
a) Stochastic Programming, Kall and Wallace, Wiley
4. Control óptimo
a) Batch Distillation, Simulation, Optimal Design and Control; Diwekar, Ed.
Taylor and Francis
b) Optimal Control Theory; Sethi and Thompson, Kluwer Academic
Publishers
c) Investment Under Uncertainty; Dixit and Pindyck, Princeton University
Press