Control Óptimo - División de Estudios de Posgrado

Introducción al control óptimo
Control Óptimo
Introducción al Control Óptimo
Dr. Fernando Ornelas Tellez
Universidad Michoacana de San Nicolás de Hidalgo
División de Estudios de Posgrado
Facultad de Ingeniería Eléctrica
Morelia, Michoacan
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
1/47
Introducción al control óptimo
Contenido del Curso
1
Introducción al control óptimo
2
Cálculo de variaciones y control óptimo
3
El regulador cuadrático lineal (LQR)
4
Propiedades y diseño del LQR
5
Introducción al control adaptivo
6
Estimación de parámetros (control adaptivo)
7
Sistemas de control adaptivo con modelo de referencia
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
2/47
Introducción al control óptimo
Bibliografía
1
Desineni Subbaram Naidu, “Optimal Control Systems”, CRC
Press, 2003.
2
Brian D. O. Anderson and John B. Moore. “Optimal Control:
Linear Quadratic Methods”, Dover Publications, 2007.
3
Donald E. Kirk. “Optimal Control Theory. An introduction”,
Dover Publications Inc., 1970.
4
Huibert Kwakernaak and Raphael Sivan, “Linear Optimal
Control Systems”, John Wiley and Sons Inc., 1972.
5
Karl J. Astrom and Bjorn Wittenmark, “Adaptive Control”,
Second Edition, Addison Wesley Publishing Co., 1995.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
3/47
Introducción al control óptimo
Contenido
1
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
4/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Introducción al control óptimo
El proceso común para el diseño de controladores clásicos es
mediante un procedimiento a prueba y error hasta alcanzar un
desempeño “aceptable” [3].
Un desempeño aceptable en términos clásicos involucra:
tiempo de subida, tiempo de asentamiento, sobre-impulso,
margenes de fase y ganancia, ancho de banda, etc.
Sin embargo, para sistemas MIMO el problema de diseño se
complica considerablemente.
Por otro lado, el enfoque de control óptimo permite la
obtención de sistemas de control eficientes y con relativa
facilidad.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
5/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Sistemas dinámicos mediante variables de estado
Ventajas
Proveen de un marco para el estudio tanto de sistemas lineales
como no lineales;
Tienen interpretación física.
–
Definition
El estado de un sistema es un conjunto de cantidades x1 , x2 , ..., xn ,
las cuales si se conocen en el instante t = t0 , entonces éstas se
pueden determinar para t ≥ t0 , considerando también que se
conocen las entras aplicadas al sistema.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
6/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Clasificación de sistemas
Lineal: ẋ = Ax + Bu con salida y = Cx + Du;
No lineal: ẋ = f (x, u) con salida y = c(x, u);
Invariante en el tiempo: ẋ = Ax + Bu, ẋ = f (x, u);
Variante en el tiempo: ẋ = A(t)x + B(t)u, ẋ = f (x, u, t).
De igual forma la salida del sistema:
Lineal: y = Cx + Du;
No lineal: y = c(x, u), etc.
Invariante en el tiempo:y = Cx + Du, y = c(x, u);
Variante en el tiempo: y = C (t)x + D(t)u, y = c(x, u, t).
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
7/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Outline
1
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
8/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Optimización [1]
La optimización (obtener buenos resultados en determinado
sentido) siempre es deseable, por ejemplo, usar de forma
optima el tiempo, buen uso de cierto recurso, etc.
La optimización puede ser clasificada en estática y dinámica.
Optimizacion estática
Aborda el problema de controlar un sistema bajo condiciones en
estado estable (las variables no cambian en el tiempo). En este
caso, la planta o sistema esta descrito por ecuaciones algebraicas.
Las herramientas utilizadas son el calculo, multiplicadores de
Lagrange y programación lineal y no lineal.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
9/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Optimización
Optimizacion dinámica
Aborda el problema de controlar un sistema bajo condiciones
dinámicas (las variables del sistema cambian en el tiempo). En este
problema la planta está descrita por ecuaciones diferenciales o en
diferencias. Las técnicas utilizadas son programación dinámica,
calculo variacional y el principio de Pontriagyn.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
10/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Control óptimo
El control óptimo es en realidad el caso de la optimización dinámica.
Objetivo de Control Óptimo
Determinar acciones de control tal que una planta o proceso
satisfaga restricciones físicas y al mismo tiempo minimice (o
maximice) cierto criterio de desempeño [3].
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
11/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Outline
1
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
12/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Índice de desempeño (PI)
En el análisis de control clásico, los criterios de desempeño típicos
en el dominio del tiempo son: tiempo de subida, tiempo de asentamiento, sobre-impulso y error en estado estable. Mientras que en
el dominio de la frecuencia: margen de fase, margen de ganancia y
ancho de banda.
En teoría de control moderno, el problema de control óptimo (PCO)
es determinar un control que mueva al sistema hacia un objetivo o
siga una trayectoria, satisfaciendo un indice de desempeño, mismo
que puede evaluar diferentes intereses.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
13/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Índice de desempeño de tiempo mínimo
En este problema se está interesado en llevar al sistema de un punto
inicial arbitrario x(t0 ) a un punto final predeterminado x(tf ) en el
menor tiempo.
En este caso el índice puede plantearse como
J=
Z tf
t0
dt = tf − t0 = t ∗ .
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
14/47
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Introducción al control óptimo
Índice de desempeño de consumo óptimo de combustible
Considere el control de un avión. Sea u(t) la entrada que impulsa los
motores del avión y considere que la magnitud de tal entrada |u(t)| es
proporcional a la razón de consumo de combustible. La minimización
del consumo de combustible puede plantearse como la minimización
del siguiente índice
Z
tf
J=
|u(t)| dt
t0
o para el caso de múltiples entradas
J=
Z tf m
∑ Ri |ui (t)| dt
t0 i=1
donde Ri es un factor que pondera el consumo de la entrada i-ésima.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
15/47
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Introducción al control óptimo
Índice de desempeño de mínima energía
Considere a ui (t) como la corriente en el i-ésimo lazo de un circuito
2
eléctrico. Entonces ∑m
i=1 ui (t)ri , donde ri es la resistencia del i-ésimo
lazo, es la potencia total o la razón de gasto de energía del circuito. Si se desea minimizar la energía, se puede plantear el indice de
desempeño como
J=
Z tf m
∑ ri ui2 (t) dt
t0 i=1
o de manera general (utilizando matrices)
J=
Z tf
u T (t) R u(t) dt
t0
donde R es una matriz definida positiva.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
16/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Índice de desempeño de seguimiento de trayectorias
De manera semejante se puede considerar el problema de seguimiento, al minimizar un funcional o índice de desempeño como
J=
Z tf
e T (t) Q e(t) dt
t0
donde e(t) = x(t) − xd (t), x(t) es el valor actual del sistema y xd (t)
es el valor deseado para x(t). Q es una matriz semidefinida positiva.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
17/47
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Introducción al control óptimo
Índice de desempeño de condición final o terminal
Este problema aborda el caso del minimizar el error entre el valor
deseado xd (tf ) y la posición del sistema x(tf ). El índice podría plantearse como
J = e T (tf ) F e(tf )
donde e(tf ) = x(tf ) − xd (tf ) y F es una matriz semidefinida positiva.
Al índice anterior también se lo conoce como funcional de costo
terminal.
Índice de desempeño general
Problema de Bolza
z
T
J = e (tf ) F e(tf ) +
|
{z
}
Problema de Mayer
{
i
e (t) Q e(t) + u (t) R u(t) dt
{z
}
Z tf h
t0
|
Dr. Fernando Ornelas Tellez
}|
T
T
Problema de Lagrange
UMSNH-FIE Division de Estudios de Posgrado
18/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Índice de desempeño: comentarios adicionales
Nota
Se pueden plantear diferentes índices de desempeño que considere
otras especificaciones, sin embargo, las mencionadas previamente
(principalmente las de tipo cuadrático) resultan en soluciones
sencillas y elegantes a los problemas de control óptimo.
Se podrían considerar en una funcional de costo especificaciones como: tiempo de subida, tiempo de asentamiento, sobre-impulso, funciones no lineales tanto para el estado como para el control; sin embargo, la solución al problema de control óptimo resultaría complicada y cuya solución seguramente vendría dada de manera aproximada
utilizando algoritmos de optimización.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
19/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Outline
1
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
20/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Componentes de un problema de control óptimo
Cuando un problema está bien planteado, se tiene la mitad de su
solución.
1
La descripción (modelo matemático) del proceso a controlar.
2
Descripción de las restricciones físicas.
3
Especificación de un criterio de desempeño.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
21/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Componentes de un problema de control óptimo
El modelo matemático
El modelado de un sistema es paso importantes para un buen diseño
de control. Este proceso no es trivial. El objetivo es obtener un modelo lo más simple posible que describa adecuadamente la dinámica
del sistema.
Los sistemas que se estudiarán en este curso estarán restringidos a
ecuaciones diferenciales ordinarias.
Considerando
x1 , x2 , ..., xn
como variables de estado del proceso y
u1 , u2 , ..., um
como las entradas de control para el proceso ...
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
22/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Componentes de un problema de control óptimo
El modelo matemático
Entonces un sistema dinámico puede ser descrito por un conjunto de
n ecuaciones diferenciales de primer orden como:
ẋ1 = f1 (x1 , x2 , ..., xn , u1 , u2 , ..., um , t)
ẋ2 = f2 (x1 , x2 , ..., xn , u1 , u2 , ..., um , t)
..
.
ẋn = fn (x1 , x2 , ..., xn , u1 , u2 , ..., um , t)
donde fi es una función no lineal (o bien lineal). En forma compacta
se puede representar como
ẋ = f (x, u, t)
donde x =
x1 x2 · · ·
xn
T
Dr. Fernando Ornelas Tellez
yu=
u1 u2 · · ·
um
T
.
UMSNH-FIE Division de Estudios de Posgrado
23/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Componentes de un problema de control óptimo
El modelo matemático
Ejemplo: Aceleración/desaceleración de un carro
Se desea mover el carro a partir del punto O. La distancia del carro
desde O es denotada por d . Por facilidad, represente el carro
mediante una masa puntual que puede ser acelerada usando un
dispositivo acelerador o desacelerada usando el freno.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
24/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Componentes de un problema de control óptimo
El modelo matemático
La ecuación diferencial que describe el movimiento del carro viene
dada por
d̈ = α + β
donde α es la acción de aceleración y β representa la acción de
desaceleración. Definiendo las variables como x1 = d , x2 = ḋ , u1 = α
y u2 = β , se puede obtener una representación en espacio de estados
como
ẋ1 = x2
ẋ2 = u1 + u2
o de forma matricial ẋ = Ax + Bu, donde A =
0 0
.
1 1
Dr. Fernando Ornelas Tellez
0 1
0 0
y B=
UMSNH-FIE Division de Estudios de Posgrado
25/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Componentes de un problema de control óptimo
Restricciones físicas
Considerando el ejemplo de la aceleración/desaceleración del carro,
en seguida se describen algunas restricciones físicas:
Restricciones sobre la aceleración/desaceleración de un carro
Considere el problema de llevar al carro de la posición O al punto e.
Asuma que el carro parte del reposo y se detiene una vez alcanzado
el punto e.
Las restricciones para el estado pueden plantearse como:
x1 (t0 ) = 0, x1 (tf ) = e, x2 (t0 ) = 0 y x2 (tf ) = 0.
Considerando que el carro no puede ir hacia atrás, entonces:
0 ≤ x1 ≤ e y 0 ≤ x2 .
Los límites para la aceleración y desaceleración,
respectivamente, son: M1 > 0 y M2 > 0.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
26/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Componentes de un problema de control óptimo
Restricciones físicas
Considerando el ejemplo de la aceleración/desaceleración del carro,
en seguida se describen algunas restricciones físicas:
Restricciones sobre la aceleración/desaceleración de un carro
Considere el problema de llevar al carro de la posición O al punto e.
Asuma que el carro parte del reposo y se detiene una vez alcanzado
el punto e.
Las restricciones para el estado pueden plantearse como:
x1 (t0 ) = 0, x1 (tf ) = e, x2 (t0 ) = 0 y x2 (tf ) = 0.
Considerando que el carro no puede ir hacia atrás, entonces:
0 ≤ x1 ≤ e y 0 ≤ x2 .
Los límites para la aceleración y desaceleración,
respectivamente, son: M1 > 0 y M2 > 0.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
26/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Componentes de un problema de control óptimo
Restricciones físicas
En relación a los límites M1 y M2 , las acciones de control
deben satisfacer: 0 ≤ u1 ≤ M1 y −M2 ≤ u2 ≤ 0.
Si además, el carro cuanta con G litros de gasolina para
realizar el recorrido, se puede plantear la siguiente restricción:
Z tf
t0
[k1 u1 + k2 x2 ] dt ≤ G
la cual considera que el gasto de combustible es proporcional a
la aceleración y velocidad del carro, con constantes de
proporcionalidad k1 y k2 , respectivamente.
Definition
Una acción de control que satisface todas restricciones se dice
llamar control admisible.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
27/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Componentes de un problema de control óptimo
Restricciones físicas
En relación a los límites M1 y M2 , las acciones de control
deben satisfacer: 0 ≤ u1 ≤ M1 y −M2 ≤ u2 ≤ 0.
Si además, el carro cuanta con G litros de gasolina para
realizar el recorrido, se puede plantear la siguiente restricción:
Z tf
t0
[k1 u1 + k2 x2 ] dt ≤ G
la cual considera que el gasto de combustible es proporcional a
la aceleración y velocidad del carro, con constantes de
proporcionalidad k1 y k2 , respectivamente.
Definition
Una acción de control que satisface todas restricciones se dice
llamar control admisible.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
27/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Componentes de un problema de control óptimo
Restricciones físicas
Definition
Una trayectoria del estado la cual satisface las restricciones para el
estado para todo tiempo es llamada trayectoria admisible.
El concepto de admisible es muy importante en los sistemas de control, ya que este reduce el rango de valores que pueden tomar tanto
el estado como las acciones de control.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
28/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Componentes de un problema de control óptimo
Índice de desempeño
Para evaluar el desempeño de un sistema de control cuantitativamente, el ingeniero de control debe seleccionar un índice o medida
de desempeño.
Una estrategia de control óptimo está definida como una que minimiza (o maximiza) un índice de desempeño.
En algunos casos, plantear el indice de desempeño pude seleccionarse
para incorporar restricciones físicas, mientras que en otros problemas,
la elección del índice de desempeño es un asunto subjetivo del diseñador. Por ejemplo: “llevar al sistema de un punto A a un punto B
tan rápido como sea posible”, claramente indica que lo que se desea
minimizar el el tiempo; por otro lado, “mantener la posición y velocidad de un sistema cerca de cero can la menor cantidad de energía”
no sugiere un índice de desempeño único.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
29/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Componentes de un problema de control óptimo
Índice de desempeño
Para evaluar el desempeño de un sistema de control cuantitativamente, el ingeniero de control debe seleccionar un índice o medida
de desempeño.
Una estrategia de control óptimo está definida como una que minimiza (o maximiza) un índice de desempeño.
En algunos casos, plantear el indice de desempeño pude seleccionarse
para incorporar restricciones físicas, mientras que en otros problemas,
la elección del índice de desempeño es un asunto subjetivo del diseñador. Por ejemplo: “llevar al sistema de un punto A a un punto B
tan rápido como sea posible”, claramente indica que lo que se desea
minimizar el el tiempo; por otro lado, “mantener la posición y velocidad de un sistema cerca de cero can la menor cantidad de energía”
no sugiere un índice de desempeño único.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
29/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Componentes de un problema de control óptimo
Índice de desempeño
Ejemplo: Índice de desempeño para el carro
Suponga que el objetivo es que el carro alcance el punto e tan
rápido como sea posible.
Entonces el indice de desempeño podría plantearse como
J = tf − t0 .
Un índice de desempeño general a considerarse puede ser
J = h (x(tf ), tf ) +
Z tf
g (x, u, t) dt
t0
donde h y g son funciones escalares. El tiempo tf puede ser especificado o “libre”, dependiendo del planteamiento del problema.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
30/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Planteamiento del problema de control óptimo
Problema de control óptimo
Determinar un control admisible u ∗ el cual cause que el sistema
ẋ = f (x, u, t)
siga una trayectoria admisible x ∗ que minimice el índice de
desempeño
Z
J = h (x(tf ), tf ) +
tf
g (x, u, t) dt.
t0
u ∗ es llamado control óptimo y x ∗ una trayectoria óptima.
Comentarios adicionales: no es posible determinar con anticipación
si un control óptimo existe, y además podría no ser único.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
31/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Planteamiento del problema de control óptimo
Comentarios adicionales
Cuando se dice que u ∗ causa que el índice de desempeño es minimizado, esto significa que
J ∗ , h (x ∗ (tf ), tf ) +
≤ h (x(tf ), tf ) +
Z tf
Z
t0
tf
g (x ∗ , u ∗ , t) dt
g (x, u, t) dt
t0
para todo u y x. La desigualdad anterior establece que un control
óptimo y su trayectoria produce un valor del índice de desempeño
más pequeño o igual al índice de desempeño para cualquier otro
control admisible y su respectiva trayectoria.
Por tanto, es deseable determinar el mínimo global de J y no un
resultado de carácter local.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
32/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Planteamiento del problema de control óptimo
Comentarios adicionales
Definition
Si se encuentra una relación funcional de la forma
u ∗ = k(x, t)
para el control óptimo, entonces k es llamada ley de control óptima.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
33/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Outline
1
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
34/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Revisión histórica del desarrollo del control óptimo [1]
Cálculo de variaciones
El control óptimo, bajo la técnica de calculo de variaciones, busca
determinar una función la cual sea un extremo (máximo o mínimo) de
una funcional. Muchos científicos han contribuido a su desarrollo bajo
diferentes enfoques: cálculo de variaciones, programación dinámica
de Bellman, principio de Pontriagyn.
Se iniciará esta reseña histórica con los trabajos de Bernoulli, considerando los indicios matemáticos para dar solución al problema de
control óptimo, aunque en épocas anteriores ya se tenia el concepto
de optimizar o elegir la mejor solución a un problema.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
35/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Revisión histórica del desarrollo del control óptimo
Cálculo de variaciones
En 1699, Johannes Bernoulli (1667-1748) planteo el problema
de la braquistócrona: encontrar la trayectoria para el descenso
más rápido de una partícula entre dos puntos, no considerando
que los puntos estén sobre la horizontal o sobre la vertical.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
36/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Revisión histórica del desarrollo del control óptimo
Cálculo de variaciones
El problema de la braquistócrona inicialmente fue bosquejado
por Galileo (1564-1642) in 1638, y posteriormente fue resuelto
por Bernoulli, su hermano Jacob Bernoulli (1654-1705), por
Gottfried Leibniz (1646-1716) y de forma anónima por Isaac
Newton (1642-1727).
Leonard Euler (1707-1783) en colaboración con John
Bernoulli, y que al mismo tiempo influenciaron sobre
Joseph-Louis Lagrange (1736-1813), realizaron contribuciones
importantes al campo, quienes de forma elegante resolvieron
problemas de control óptimo usando el método de la primera
variación. Lo anterior lleva a Euler en 1755 a introducir el
concepto de cálculo de variaciones.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
37/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Revisión histórica del desarrollo del control óptimo
Cálculo de variaciones
Posteriormente, el calculo de la primera variación (condición
necesaria para la optimalidad) fue llamada ecuación de
Euler-Lagrange.
Lagrange introdujo también el método del multiplicador
(multiplicadores de Lagrange), el cual es una de las
herramientas más sólidas para resolver problemas de
optimización.
Las condiciones suficientes para la determinación de extremos
de funcionales fue desarrollado por Andrien Marie Legendre
(1752-1833) en 1786, mediante la segunda variación.
Carl Gustav Jacob Jacobi (1804-1851) en 1836 introdujo un
análisis más riguroso de las condiciones de suficiencia, misma
que posteriormente fue llamada condición de Legendre-Jacobi.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
38/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Revisión histórica del desarrollo del control óptimo
Cálculo de variaciones
Sir William Rowan Hamilton (1788-1856) realizó
contribuciones en mecánica, describiendo el movimiento de
una partícula en el espacio. En 1838 Jacobi modificó los
resultados de Hamilton, lo que llevo al desarrollo de la
ecuación de Hamilton-Jacobi.
La ecuación de Hamilton-Jacobi influencio considerablemente
en el calculo de variaciones y programación dinámica, control
optimo y áreas de la mecánica.
Adolph Mayer planteo de una manera elegante el problema
general del calculo de variaciones.
En 1913, Bolza generalizo los problemas planteados por
Lagrange y Mayer para el problema de variaciones.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
39/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Revisión histórica del desarrollo del control óptimo [1]
Teoría de control óptimo (LQR)
El LQR tiene sus orígenes en el trabajo de N. Wiener sobre
filtrado en promedio cuadrático utilizado durante la segunda
guerra mundial (1940-1945).
Wiener resolvió el problema del diseño de filtros que minimizan
un criterio
deerror cuadrático medio de la forma
J = E e 2 (t) , donde e(t) es el error y E {x} representa el
valor esperado para la variable aleatoria x.
R. Bellman in 1957 introdujo la programación dinámica para
resolver problemas de control óptimo en tiempo discreto.
La contribución más importante al control óptimo fue la de L.
S. Pontryagin (Rusia) en 1956 y su grupo, al desarrollar el
principio del máximo.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
40/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Revisión histórica del desarrollo del control óptimo
Teoría de control óptimo (LQR)
En 1960, R. E. Kalman (83 años a la fecha 2013) desarrolla la
teoría del LQR y LQG para el diseño de controladores por retro
de estado.
Kalman introdujo también la representacion en espacio de
estados para un sistema dinámico y definió la controlabilidad y
la observabilidad en ese marco.
Lo anterior derivo en el filtro de Kalman (para sistemas
discretos) y en el filtro de Kalman-Bucy (para sistemas
continuos).
La ecuación de Riccati aparece en la solución para el filtro de
Kalman y control óptimo (basado programación dinámica).
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
41/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Revisión histórica del desarrollo del control óptimo
Teoría de control óptimo (LQR)
J. F. Riccati (1676-1754) publico sus resultados en 1724,
donde describía la solución para algunas ecuaciones
diferenciales no lineales. Este resultado tomó importancia
después de más de 200 años.
El LQR, en general, no se considera como robusto ante
perturbaciones, de ahí que en los años 1980 surge el control
H∞ por G. Zames. Al control LQR también se le etiqueto como
H2 .
Control clásico y control moderno
La teoría de control clásico analiza los sistemas (SISO
particularmente) en el dominio de la frecuencia, mientras que el
control moderno trabaja en el dominio del tiempo para sistemas
SISO y MIMO, lineales y no lineales, etc.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
42/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Introducción al control óptimo
Ventajas del Control Óptimo: Caso Lineal
La estabilidad del control óptimo lineal (LQR) en lazo cerrado
es garantizada si el sistema de control cumple que: R > 0,
Q ≥ 0, el par (A, B) es estabilizable y el par (A, C ) es
detectable, donde Q = C T C [2].
El control óptimo (LQR), “por default” provee de un margen
de ganancia infinito, i.e., GM = ∞ y un margen de fase (FM)
de al menos 60◦ . Lo anterior se puede considerar como
“buenos” márgenes de estabilidad, y son propiedades de
“robustez” que todo diseño de control debería proveer. La
primera propiedad permitiría aumentar una ganancia
(teóricamente) infinita sin que el sistema se desestabilice. Por
otro lado, la segunda propiedad permite tener ciertas
variaciones paramétricas o retardos en el sistema de control,
los cuales afectarían el margen de fase del sistema, sin llegar a
desestabilizar
al sistema
de control
[2]. Division de Estudios de Posgrado
Dr. Fernando
Ornelas Tellez
UMSNH-FIE
43/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Introducción al control óptimo
Ventajas del Control Óptimo: Caso Lineal
Un LQR tiene un índice de funcionamiento (funcional de costo)
que justamente evalúa el desempeño del sistema de control.
La sintonización del LQR se hace regularmente a prueba y
error, pero cumpliendo las condiciones del punto uno, no se
afectaría la estabilidad en lazo cerrado, independientemente de
la elección de Q y R [2].
Los valores Qii y Rii son seleccionados de acuerdo a la
importancia relativa de cada variable de estado y de control.
Lo anterior permite que la selección de las matrices Q y R, sea
un método intuitivo para determinar su valor.
Existen métodos (Reglas de Bryson), que incluso permiten
incorporar restricciones para las variables de estado y de
control, mediante una elección adecuada de los valores Qii y
Rii .
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
44/47
Introducción al control óptimo
Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica
Introducción al control óptimo
Ventajas del Control Óptimo: Caso Lineal
En los diseños tradicionales (ubicación de polos, por ejemplo)
para un sistema MIMO, el seleccionar la ganancia K en un
controlador u = −Kx, tiene múltiples soluciones, es decir, en
general se pueden tener varias K ’s, para ubicar los polos en el
mismo lugar. ¿Cuál ganancia es la mejor?
El control óptimo busca mover al sistema mediante una
entrada, tal que la energía necesario para lograrlo sea mínima
[3].
La solución al problema de control óptimo es sumamente
elegante y formal.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
45/47
Appendix
For Further Reading
For Further Reading I
Desineni Subbaram Naidu,
Optimal Control Systems,
CRC Press, 2003.
Brian D. O. Anderson and John B. Moore,
Optimal Control: Linear Quadratic Methods,
Dover Publications, 2007.
Donald E. Kirk,
Optimal Control Theory. An introduction,
Dover Publications, 1970.
Huibert Kwakernaak and Raphael Sivan,
Linear Optimal Control Systems,
John Wiley and Sons Inc., 1972.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
46/47
Appendix
For Further Reading
For Further Reading II
S. Someone.
On this and that.
Journal on This and That. 2(1):50–100, 2000.
Dr. Fernando Ornelas Tellez
UMSNH-FIE Division de Estudios de Posgrado
47/47