x - Universidad Pontificia Comillas
Anuncio
ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal Andrés Ramos Universidad Pontificia Comillas http://www.iit.upcomillas.es/aramos/ [email protected] CONTENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL ALGUNOS PROBLEMAS NLP CLASIFICACIÓN DE MÉTODOS DE RESOLUCIÓN SIN RESTRICCIONES CONDICIONES DE OPTIMALIDAD PARA OPTIMIZACIÓN SIN RESTRICCIONES MÉTODOS DE OPTIMIZACIÓN SIN RESTRICCIONES CONDICIONES DE OPTIMALIDAD PARA NLP MÉTODOS DE PROGRAMACIÓN NLP ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 1 Problemas de programación no lineal (i) Problema de transporte con descuentos por cantidad El precio unitario de transporte entre un origen y un destino es decreciente en función de la cantidad a transportar. Problema de flujo de cargas en un sistema eléctrico Las pérdidas son no lineales Problema de producción con elasticidad en el precio y/o en el coste Función de la demanda o curva precio-demanda p ( x) representa el precio unitario que se necesita para poder vender x unidades. Es una función decreciente, nunca inferior al coste unitario de producción c. Los ingresos brutos (producto de cantidad producida por precio) es una expresión no lineal. Margen de contribución (beneficio bruto, EBITDA) P( x ) = xp ( x ) − cx Los costes no lineales pueden aparecer por una mayor eficiencia unitaria en función de la cantidad. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 2 Problemas de programación no lineal (ii) Problema de selección de una cartera de inversiones n tipos de acciones xj, j=1,…,n representan el número de acciones j que se van a incluir en la cartera µ j y σ jj la media y la varianza del rendimiento sobre cada acción de tipo j, en donde σ jj es una medida del riesgo de estas acciones. Sea σ ij la covarianza del rendimiento sobre una acción de cada tipo i y j. R(x) rendimiento esperado y su varianza V(x) n R( x) = ∑ µ j x j j =1 n n V ( x) = ∑∑σ ij xi x j i =1 j =1 la función objetivo es f ( x) = R( x) − β V ( x) siendo β el factor de aversión al riesgo. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 3 CONTENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL ALGUNOS PROBLEMAS NLP CLASIFICACIÓN DE MÉTODOS DE RESOLUCIÓN SIN RESTRICCIONES CONDICIONES DE OPTIMALIDAD PARA OPTIMIZACIÓN SIN RESTRICCIONES MÉTODOS DE OPTIMIZACIÓN SIN RESTRICCIONES CONDICIONES DE OPTIMALIDAD PARA NLP MÉTODOS DE PROGRAMACIÓN NLP ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 4 Optimización no lineal (i) Optimización SIN restricciones min f ( x ) x f ( x) : ℝ n → ℝ x ∈ ℝn Optimización CON restricciones (Programación No Lineal NLP ) min f ( x) x gi ( x) = 0 i ∈ε gi ( x) ≤ 0 i ∈φ f ( x) : ℝ n → ℝ gi ( x) : ℝ n → ℝ x ∈ ℝn ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 5 Optimización no lineal (ii) Programación cuadrática min f ( x ) = x 1 T x Qx − bT x 2 Ax = b Programación convexa f ( x ) es convexa (cóncava si es maximización) y gi ( x ) es convexa, ∀i = 1,… , m Programación separable la función se puede separar en una suma de funciones de las variables n individuales f ( x) = ∑ f j ( x j ) j =1 Programación geométrica n función objetivo y restricciones toman la forma g ( x ) = ∑ c j Pj ( x ) Pj ( x ) = x x ... x , j = 1,..., n a j1 1 aj2 2 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL a jn n j =1 Optimización no lineal - 6 CONTENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL ALGUNOS PROBLEMAS NLP CLASIFICACIÓN DE MÉTODOS DE RESOLUCIÓN SIN RESTRICCIONES CONDICIONES DE OPTIMALIDAD PARA OPTIMIZACIÓN SIN RESTRICCIONES MÉTODOS DE OPTIMIZACIÓN SIN RESTRICCIONES CONDICIONES DE OPTIMALIDAD PARA NLP MÉTODOS DE PROGRAMACIÓN NLP ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 7 Clasificación métodos optimización SIN restricciones según el uso de derivadas Sin derivadas Necesarios cuando no se pueden calcular éstas Primeras derivadas (gradiente) Segundas derivadas (hessiano) Mayor coste computacional Mejores propiedades de convergencia ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 8 Expansión en serie de Taylor Aproxima una función f cerca de un punto dado x0 Se necesitan conocer las derivadas de la función f ( x0 + p ) = f ( x0 ) + ∇f ( x0 )T p + 1 T 2 p ∇ f ( x0 ) p +… 2 p ∈ ℝ n un vector diferente de 0 f ( x ) valor de la función ∇f ( x ) gradiente de la función ∇2 f ( x ) hessiano de la función (si f tiene segundas derivadas continuas es una matriz simétrica) O alternativamente f ( x0 + p ) = f ( x0 ) + ∇f ( x0 )T p + 1 pT ∇2 f (ξ ) p siendo un punto ξ entre x y x0 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 9 Función cuadrática (i) f ( x) = 1 T x Qx − bT x 2 x ∈ ℝn b ∈ ℝn Q ∈ ℝn × ℝn Gradiente ∇f ( x ) = Qx − b Hessiano ∇2 f ( x ) = Q ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 10 Función cuadrática (ii) f ( x, y ) = 1 2 1 x + 2 xy + y 2 − y + 9 2 2 x + 2y ∇f ( x , y ) = 2 x + y − 1 1 2 ∇ f ( x, y ) = 2 1 2 Estamos en x0 = (1, −1) f (1, −1) = 9 y queremos saber el valor de la función en x0 = (1.1, −0.9) Evaluación directa f (1.1, −0.9) = 0.605 − 1.98 + 0.405 + 0.9 + 9 = 8.93 Aproximación mediante expansión en serie de Taylor 0.1 1 1 2 0.1 f (1.1, −0.9) = 9 + ( −1 0 ) + ( 0.1 0.1) = 9 − 0.1 + 0.03 = 8.93 0.1 2 2 1 0.1 La aproximación de Taylor de 2º orden es exacta en una función cuadrática ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 11 Función cuadrática (iii) ezsurf('0.5*x^2+2*x*y+0.5*y^2-y+9') f ( x, y ) = ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL 1 2 1 x + 2 xy + y 2 − y + 9 2 2 Optimización no lineal - 12 Mínimo local, global (i) Sea la función f diferenciable con primera y segunda derivadas min f ( x) continuas x f ( x) : ℝ n → ℝ x ∈ ℝn x* ∈ ℝ n es el óptimo de la función Es mínimo global si f ( x * ) ≤ f ( x ) para x ∈ ℝ n Es mínimo global estricto si f ( x * ) < f ( x ) para x ∈ ℝ n Es mínimo local si f ( x * ) ≤ f ( x ) en su vecindad x − x * < ε siendo ε un número positivo (típicamente pequeño) cuyo valor puede depender de x* * Es mínimo local estricto si f ( x * ) < f ( x ) en su vecindad x − x < ε ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 13 Mínimo local, global (ii) El mínimo global es difícil de encontrar. Muchos métodos son locales. Sólo bajo supuestos adicionales (convexidad) se puede garantizar que es global. Mínimo global estricto ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Mínimo local estricto (global) Mínimo local estricto Mínimo local Optimización no lineal - 14 CONTENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL ALGUNOS PROBLEMAS NLP CLASIFICACIÓN DE MÉTODOS DE RESOLUCIÓN SIN RESTRICCIONES CONDICIONES DE OPTIMALIDAD PARA OPTIMIZACIÓN SIN RESTRICCIONES MÉTODOS DE OPTIMIZACIÓN SIN RESTRICCIONES CONDICIONES DE OPTIMALIDAD PARA NLP MÉTODOS DE PROGRAMACIÓN NLP ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 15 Optimización SIN restricciones Condiciones de optimalidad (i) min f ( x) x x ∈ ℝn Condición necesaria de 1º orden Si x* es un mínimo local de f entonces necesariamente ∇f ( x* ) = 0 Condición satisfecha también por cualquier punto estacionario Condición necesaria de 2º orden Si x* es un mínimo local de f entonces necesariamente ∇ 2 f ( x* ) es una matriz semidefinida positiva (equivalente a convexa, curvatura positiva) Condición suficiente de 2º orden Si ∇f ( x* ) = 0 y ∇ 2 f ( x* ) es definida positiva entonces x* es un mínimo local estricto de f Condición necesaria y suficiente Sea f convexa y diferenciable en x* (si es dos veces diferenciable el hessiano será semidefinido positivo); x* es un mínimo global si y sólo si ∇f ( x * ) = 0 . ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 16 Matriz semidefinida positiva Una matriz A es semidefinida positiva si x T Ax ≥ 0 para cualquier vector no nulo x O bien si todos sus autovalores son no negativos O bien si todos los determinantes de orden 1,2,…,n (siendo n la dimensión de la matriz) obtenidos añadiendo filas y columnas consecutivas desde el primer elemento son mayores o iguales que cero. 2 1 1 2 Es semidefinida positiva ∇ 2 f ( x, y ) = 1 2 2 1 No lo es ∇2 f ( x1 , x2 ) = ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 17 Matriz semidefinida negativa Una matriz A es semidefinida negativa si xT Ax ≤ 0 para cualquier vector no nulo x O bien todos sus autovalores son no positivos O bien si los determinantes de orden 1,2,…,n (siendo n la dimensión de la matriz) obtenidos añadiendo filas y columnas consecutivas desde el primer elemento son, alternativamente, menor que cero, mayor que cero, etc. O bien si la matriz -A (resultado de cambiar el signo de todos los elementos) es semidefinida positiva. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 18 Equivalencias Función convexa Función cóncava Hessiano matriz definida positiva Hessiano matriz definida negativa Curvatura (2ª derivada) positiva Curvatura (2ª derivada) negativa Mínimo local + convexidad Máximo local + concavidad Mínimo global Máximo global Semidefinida positiva (negativa) Definida positiva (negativa) Mínimo (máximo) local Mínimo (máximo) local estricto ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 19 Ejemplo 1: Optimización SIN restricciones f ( x, y ) = 1 2 1 x + 2 xy + y 2 − y + 9 2 2 Gradiente = 0 es un sistema de ecuaciones x + 2y ∇f ( x, y ) = =0 2 x + y − 1 con solución ( x, y ) = (2 3, −1 3) 1 2 ∇2 f ( x, y ) = 2 1 Hessiano es matriz indefinida (no es ni semidefinida positiva ni semidefinida negativa) Luego no es ni un mínimo ni máximo local ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 20 Ejemplo 1: Optimización SIN restricciones f ( x, y ) = 1 2 1 x + 2 xy + y 2 − y + 9 2 2 ezsurf('0.5*x^2+2*x*y+0.5*y^2-y+9') ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 21 Ejemplo 1: Optimización SIN restricciones f ( x, y ) = 1 2 1 x + 2 xy + y 2 − y + 9 2 2 ezcontourf('0.5*x^2+2*x*y+0.5*y^2-y+9') ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL [x,y] = meshgrid(-6:0.5:6,-6:0.5:6); z=0.5*x.^2+2*x.*y+0.5*y.^2-y+9; [px,py] = gradient(z,0.5,0.5); contour(x,y,z); hold on quiver(x,y,px,py) Optimización no lineal - 22 Autovalores y autovectores 1 2 Hessiano ∇ f ( x, y ) = es matriz indefinida 2 1 −1 Sus autovalores son λ = 3 2 −0.71 0.71 Y los autovectores v1 = ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL 0.71 v2 = 0.71 Optimización no lineal - 23 Ejemplo 2: Optimización SIN restricciones f ( x, y ) = 2 x 2 + y 2 − 2 xy + 2 x 3 + x 4 Gradiente = 0 es un sistema de ecuaciones 4 x − 2 y + 6x2 + 4 x3 ∇f ( x , y ) = =0 2 y − 2x Hessiano 4 + 12 x + 12 x 2 ∇ f ( x, y ) = −2 2 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL −2 2 Optimización no lineal - 24 Ejemplo 2: Optimización SIN restricciones f ( x, y ) = 2 x 2 + y 2 − 2 xy + 2 x 3 + x 4 ezsurf('2*x^2+y^2-2*x*y+2*x^3+x^4') ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 25 Ejemplo 2: Optimización SIN restricciones f ( x, y ) = 2 x 2 + y 2 − 2 xy + 2 x 3 + x 4 ezcontourf('2*x^2+y^2-2*x*y+2*x^3+x^4') ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL [x,y] = meshgrid(-6:0.5:6, -6:0.5:6); z=2*x.^2+y.^2-2*x.*y+2*x.^3+x.^4; [px,py] = gradient(z,0.5,0.5); contour(x,y,z); hold on, quiver(x,y,px,py) Optimización no lineal - 26 Ejemplo 3: Optimización SIN restricciones f ( x, y ) = ( x − 2)2 + ( y − 1) 2 Gradiente = 0 es un sistema de ecuaciones 2( x − 2) ∇f ( x , y ) = =0 y 2( − 1) con solución Hessiano ( x, y ) = (2,1) 2 0 ∇ 2 f ( x, y ) = 0 2 es matriz semidefinida positiva e independiente del punto, luego es un mínimo global ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 27 Ejemplo 3: Optimización SIN restricciones f ( x, y ) = ( x − 2) 2 + ( y − 1) 2 ezsurf('(x-2)^2+(y-1)^2') ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 28 Ejemplo 3: Optimización SIN restricciones f ( x, y ) = ( x − 2)2 + ( y − 1) 2 ezcontourf('(x-2)^2+(y-1)^2') ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL [x,y] = meshgrid(-6:.5:6, -6:.5:6); z=(x-2).^2+(y-1).^2; [px,py] = gradient(z,0.5,0.5); contour(x,y,z); hold on, quiver(x,y,px,py) Optimización no lineal - 29 Ejemplo 4: Optimización SIN restricciones f ( x , y ) = 8 x 2 + 3xy + 7 y 2 − 25 x + 31 y − 29 Gradiente = 0 es un sistema de ecuaciones 16 x + 3 y − 25 ∇f ( x , y ) = =0 x y 3 + 14 + 31 con solución Hessiano ( x, y ) = (2.060, −2.656) 16 3 ∇ 2 f ( x, y ) = 3 14 es matriz semidefinida positiva e independiente del punto, luego es un mínimo global ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 30 Ejemplo 4: Optimización SIN restricciones f ( x , y ) = 8 x 2 + 3xy + 7 y 2 − 25 x + 31 y − 29 ezsurf('8*x^2+3*x*y+7*y^2-25*x+31*y-29') ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 31 Ejemplo 4: Optimización SIN restricciones f ( x , y ) = 8 x 2 + 3xy + 7 y 2 − 25 x + 31 y − 29 ezcontourf('8*x^2+3*x*y+7*y^2-25*x+31*y-29') ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL [x,y] = meshgrid(-6:.5:6, -6:.5:6); z=8*x.^2+3*x.*y+7*y.^2-25*x+31*y-29; [px,py] = gradient(z,0.5,0.5); contour(x,y,z); hold on, quiver(x,y,px,py) Optimización no lineal - 32 Autovalores y autovectores Hessiano 16 3 ∇ 2 f ( x, y ) = 3 14 es matriz semidefinida positiva 11.84 Sus autovalores son λ = 18.16 0.58 −0.81 Y los autovectores v1 = ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL −0.81 v2 = −0.58 Optimización no lineal - 33 CONTENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL ALGUNOS PROBLEMAS NLP CLASIFICACIÓN DE MÉTODOS DE RESOLUCIÓN SIN RESTRICCIONES CONDICIONES DE OPTIMALIDAD PARA OPTIMIZACIÓN SIN RESTRICCIONES MÉTODOS DE OPTIMIZACIÓN SIN RESTRICCIONES CONDICIONES DE OPTIMALIDAD PARA NLP MÉTODOS DE PROGRAMACIÓN NLP ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 34 Clasificación métodos optimización SIN restricciones según el uso de derivadas Sin derivadas Método de búsqueda aleatoria Método de Hooke y Jeeves Método de Rosenbrock (de las coordenadas rotativas o cíclicas) Método de Nelder y Mead (símplice) Primeras derivadas (gradiente) Método de máximo descenso (Steepest Descent) Método del gradiente conjugado (Flectcher y Reeves) Segundas derivadas (hessiano) Método de Newton Métodos cuasi Newton (Broyden-Fletcher-Goldfarb-Shanno BFGS, Davidon-Fletcher-Powell DFP) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 35 Método de Newton para función unidimensional (i) Los algoritmos de interpolación realizan en cada iteración una aproximación de la función f, en el punto xk considerado en dicha iteración, por un polinomio de segundo o de tercer grado. Para hacerlo necesita evaluar las primeras derivadas de la función en xk. Este método ajusta, en la iteración k, una parábola q( x ) a f ( x ) y toma xk+1 como el vértice de dicha parábola 1 f ′′( xk )( xk +1 − xk )2 2 f ′( xk ) q′( xk +1 ) = 0 ⇒ xk +1 = xk − f ′′( xk ) q( xk +1 ) = f ( xk ) + f ′( xk )( xk +1 − xk ) + El algoritmo converge cuadráticamente bajo ciertas condiciones, pero es muy inestable y suele ser necesario tomar precauciones e incluir protecciones. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 36 Método de Newton para función unidimensional (ii) f ( x ) = ( x − 1)3 + 2( x − 1) 2 + 3 f ′( x ) = 3( x − 1) 2 + 4( x − 1) f ′′( x ) = 6( x − 1) + 4 Secuencia de puntos x0 = −0.75 x1 = x0 − f ′( x0 ) = −0.4135 f ′′( x0 ) x1 = −0.3376 x1 = −0.3333 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 37 Procedimiento general de optimización Genera una secuencia de puntos hasta convergencia Partir de un punto inicial xk Buscar una dirección de movimiento pk Calcular la longitud de paso αk Actualizar al nuevo punto xk+1 xk +1 = xk + α k pk ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 38 Condiciones de cada iteración x k +1 = x k + α k pk Elegir el nuevo punto de manera que el valor de la función disminuya f ( xk +1 ) < f ( xk ) Condiciones sobre la dirección de movimiento pk La dirección es descendente p T ∇f ( xk ) < 0 p T ∇f ( x k ) − ≥ε >0 El descenso es suficiente (vectores no ortogonales) p ⋅ ∇f ( xk ) La dirección de movimiento está relacionada con gradiente p ≥ m ∇f ( xk ) Condiciones sobre el escalar αk El descenso es suficiente (condición de Armijo) 0 < µ <1 f ( xk +1 ) ≤ f ( xk ) + µα k pkT ∇f ( xk ) Descenso no demasiado pequeño Por ejemplo, se define αk como una secuencia 1, ½, ¼, 1/8, etc. Se van utilizando los valores de la secuencia empezando por 1. Si para α=1 se satisface la condición anterior se para, si no se utiliza el valor siguiente Minimiza el valor de la función: método de búsqueda unidimensional (line-search methods) min F (α ) ≡ f ( xk + αp k ) α >0 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 39 Método de Rosenbrock o de coordenadas cíclicas Consiste en partir de un punto x1 y minimizar la función f en la dirección d1 = (1,0,0,…,0) (minimización de una función unidimensional); alcanzado el punto x2 que minimiza la función en esa dirección, se minimiza desde ese punto en la dirección d 2 = (0,1,0,…,0) para determinar el punto x3 y así sucesivamente hasta llegar al punto xn+1 en que se vuelve a minimizar en la dirección d1 = (1,0,0,…,0) . El proceso se repite hasta alcanzar la precisión deseada. No es un método muy eficiente, los otros métodos aprovechan mejor las direcciones detectadas de mejora, pero es bueno para hacerse una primera idea de lo que son métodos de búsqueda. Cada búsqueda unidimensional puede ser con o sin derivadas. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 40 Gradiente (i) Curva de nivel ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 41 Gradiente (ii) y f ( x , y ) = 8 x 2 + 3xy + 7 y 2 − 25 x + 31 y − 29 Curva de nivel Vector gradiente 5 ∇f (2,3) = 77.5 El gradiente de una función da la dirección de máximo aumento 16 x + 3 y − 25 ∇f ( x , y ) = x y + + 3 14 31 −63 ∇f ( −2, −2) = −3 x ( x, y ) = (2.060, −2.656) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 42 Método del máximo descenso No requiere el uso de segundas derivadas. Por tanto, es poco costoso computacionalmente. Tiene una convergencia más lenta, lineal. En general, no se debe utilizar. Se aproxima la función por la serie de Taylor de primer orden La dirección de búsqueda resultante para minimizar al máximo la función es la opuesta al gradiente de la función pk = −∇f ( xk ) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 43 Ejemplo 1 f ( x, y ) = ( x − 2)2 + ( y − 1) 2 2( xk − 2) pk = −∇f ( xk , yk ) = − y − 2( 1) k min F (α ) = f ( xk + α pk ) α >0 Punto inicial xk=(0,0) Dirección de movimiento pk=(4,2) min F (α ) = (4α − 2) 2 + (2α − 1) 2 = 20α 2 − 20α + 5 α F ′(α ) = 0 40α − 20 = 0 α = 0.5 Siguiente punto xk+1= xk +αkpk=(2,1) Dirección de movimiento pk=(0,0) Se ha llegado al óptimo ya que el gradiente es 0 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 44 Ejemplo 2 (i) f ( x, y ) = 8 x 2 + 3xy + 7 y 2 − 25 x + 31 y − 29 16 xk + 3 yk − 25 pk = −∇f ( xk , yk ) = − 3xk + 14 yk + 31 min F (α ) = f ( xk + α pk ) α Punto inicial xk=(-4,4) Dirección de movimiento pk=(77,-75) min F (α ) = 8( −4 + 77α ) 2 + 3( −4 + 77α )(4 − 75α ) + α 7(4 − 75α ) 2 − 25( −4 + 77α ) + 31(4 − 75α ) − 29 = 69482α 2 − 11554α + 387 F ′(α ) = 0 138964α − 11554 = 0 α = 0.0831 Siguiente punto (-4+0.0831x77,4-0.0831x75)=(2.402,-2.236) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 45 Ejemplo 2 (ii) Dirección de movimiento pk=(-6.726,-6.905) min F (α ) = 8(2.4 − 6.7α ) 2 + 3(2.4 − 6.7α )( −2.2 − 6.9α ) + α 7( −2.2 − 6.9α ) 2 − 25(2.4 − 6.7α ) + 31( −2.2 − 6.9α ) − 29 Etc. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 46 Ejemplo 2 (iii) y 1 2 x ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 47 Ejemplo 3 (i) 1 min f ( x ) = x T Qx − bT x x 2 1 ⋅ ⋅ Q = ⋅ 5 ⋅ ⋅ ⋅ 25 − 1 b = − 1 − 1 Para funciones cuadráticas, el óptimo se puede determinar como ∇f ( x ) = Qx − b = 0 y, por tanto, −1 x* = Q −1b = − 1 5 − 1 25 La dirección de máximo descenso es pk = −∇f ( xk ) = −(Qxk − b) Si se utiliza una búsqueda unidimensional exacta el valor resultante de es ∇f ( x k ) T p k αk = − pkT Qpk ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 48 Ejemplo 3 (ii) Punto inicial 0 x0 = 0 0 f ( x0 ) = 0 1 ∇f ( x0 ) = 1 1 α 0 = 3 31 = 0.097 Se utiliza la norma 2 del gradiente como medida de la convergencia ∇f ( x0 ) = 12 + 12 + 12 = 1.73 Nuevo punto − 0.097 x1 = x0 + α 0 p0 = − 0.097 − 0.097 Norma 2 del gradiente ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL f ( x1 ) = −0.145 0.903 ∇f ( x1 ) = 0.516 α1 = 0.059 − 1.419 ∇f ( x1 ) = 1.760 Optimización no lineal - 49 Ejemplo 3 (iii) Nuevo punto − 0.150 x2 = − 0.127 − 0.013 Norma 2 del gradiente Etc. f ( x2 ) = −0.237 0.850 ∇f ( x2 ) = 0.364 0.673 ∇f ( x2 ) = 1.144 El proceso continúa hasta que la norma 2 del gradiente se haga suficientemente pequeña (inferior a una cierta tolerancia, 10-8 por ejemplo). En este ejemplo se necesitan 216 iteraciones hasta alcanzar esta tolerancia. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 50 Convergencia del método del máximo descenso para funciones cuadráticas La convergencia del método de máximo descenso para una función cuadrática con búsqueda unidimensional exacta es lineal. La relación de mejora entre dos iteraciones consecutivas se puede acotar superiormente de esta manera: f ( xk +1 ) − f ( x* ) cond(Q ) − 1 ≤ * f ( xk ) − f ( x ) cond(Q ) + 1 2 donde el número de condición de la matriz A que se define como cond( A) ≡ A ⋅ A−1 y A 2 = λmax ( AT A) , siendo λmax ( AT A) el autovalor máximo de la matriz ATA. Si A es una matriz definida positiva y simétrica cond( A) = λ1 λn siendo λ1 y λn el mayor y menor autovalor respectivamente. En el ejemplo anterior cond(Q ) = 25 Un valor elevado del número de condición indica que la convergencia es muy lenta. Para cond(Q ) = 100 este método mejora la solución como mucho del 4 % en cada iteración. T S I ESCUELA ÉCNICA UPERIOR DE NGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 51 Número de condición Mide la sensibilidad de la solución de un sistema de ecuaciones lineales a los errores en los datos. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 52 Convergencia del método del máximo descenso para funciones no lineales generales Para funciones no lineales generales la convergencia es también lineal con esta cota superior cond(Q ) − 1 Q + cond( ) 1 2 donde ahora Q = ∇2 f ( x* ) es el hessiano de la función en la solución. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 53 Método de Newton para resolución de un sistema de ecuaciones no lineales (i) Resuelve iterativamente un sistema de ecuaciones no lineales f1 ( x1 , … , xn ) = 0 f 2 ( x1 , … , xn ) = 0 ⋮ f n ( x1 , … , xn ) = 0 Aproxima la función no lineal por una función lineal en cada punto (iteración), utilizando la expansión en serie de Taylor de primer orden f ( xk + pk ) ≈ f ( xk ) + ∇f ( xk )T pk f ( x* ) ≈ f ( xk ) + ∇f ( xk )T pk = 0 pk = −∇f ( xk ) − T f ( xk ) xk +1 = xk + pk = xk − ∇f ( xk ) − T f ( xk ) ∇f ( x )T = ( ∇f1 ( x ) ∇f 2 ( x ) … ∇f n ( x ) ) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL T jacobiano de la función Optimización no lineal - 54 Método de Newton para resolución de un sistema de ecuaciones no lineales (ii) Converge cuadráticamente cuando el punto está próximo a la solución El jacobiano de la función en cada punto debe ser no singular ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 55 Método de Newton para resolución de un sistema de ecuaciones no lineales (ii) f1 ( x1 , x2 ) = 3x1 x2 + 7 x1 + 2 x2 − 3 = 0 f 2 ( x1 , x2 ) = 5 x1 x2 − 9 x1 − 4 x2 + 6 = 0 ∂f1 ∂x ∇f ( x1 , x2 ) = 1 ∂f1 ∂x 2 ∂f 2 ∂x1 3x2 + 7 5 x2 − 9 = ∂f 2 3x1 + 2 5 x1 − 4 ∂x2 −T 3x 2 + 7 5 x 2 − 9 3 x1 x 2 + 7 x1 + 2 x 2 − 3 x k +1 = x k − + − − − + 3 x 2 5 x 4 5 x x 9 x 4 x 6 1 1 2 1 1 2 1 Suponemos como punto inicial x0 = 2 −T −T 3x + 7 5 x 2 − 9 3 x1 x 2 + 7 x1 + 2 x 2 − 3 1 13 1 14 − 1.375 x1 = x0 − 2 = − = + − − − + 3 2 5 4 5 9 4 6 x x x x x x − 2 5 1 1 5 . 375 1 1 2 1 1 2 Después de 8 iteraciones el punto toma el valor aproximado de 0 x8 = y la función toma valor 0. 1.5 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 56 Método de Newton para optimización Se aplica el método de Newton de resolución de un sistema de ecuaciones a la condición necesaria de optimalidad de primer orden. ∇f ( x ) = 0 El jacobiano de esta función ∇f (x ) es el hessiano ∇ 2 f ( x ) Iteración xk +1 = xk + pk = xk − ∇2 f ( xk )−T ∇f ( xk ) Donde pk (la dirección de Newton) se obtiene mediante la resolución de un sistema de ecuaciones lineales (sistema de Newton) en lugar de calcular la inversa del hessiano. ∇2 f ( xk ) pk = −∇f ( xk ) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 57 Ejemplo 1 (i) f ( x, y ) = ( x − 2) 2 + ( y − 1) 2 2( xk − 2) ∇f ( x k , y k ) = y − 2( 1) k 2 0 ∇ 2 f ( xk , y k ) = 0 2 ∇2 f ( xk ) pk = −∇f ( xk ) Punto inicial xk=(0,0) Dirección de movimiento pk=(-2,-1) −T 2 ⋅ −4 0.5 ⋅ −4 2 pk = − = − −2 ⋅ 0.5 −2 = 1 ⋅ 2 Cálculo de αk min F (α ) = (2α − 2) 2 + (α − 1) 2 = 5α 2 − 10α + 5 α F ′(α ) = 0 10α − 10 = 0 α =1 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 58 Ejemplo 1 (ii) Siguiente punto xk+1= xk +αk pk = (2,1) Dirección de movimiento pk = (0,0) Se ha llegado al óptimo ya que el gradiente es 0 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 59 Método cuasi Newton Disminuir el coste computacional asociado a calcular y almacenar el hessiano y de resolver el sistema de ecuaciones lineales. Basados en aproximar el hessiano de la función ∇2 f ( xk ) en cada punto por otra matriz Bk definida positiva más fácil de calcular. Los diferentes métodos cuasi Newton difieren en la elección de Bk y en su actualización. Ventajas: Prescinde del cálculo de las segundas derivadas (hessiano), utiliza sólo primeras derivadas en la aproximación de Bk La dirección de búsqueda se puede calcular con menor coste computacional Desventajas: La convergencia ya no es cuadrática, iteraciones menos costosas Requieren el almacenamiento de una matriz, luego no son aptos para problemas grandes ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 60 Cálculo de la matriz Bk Condición de la secante ∇2 f ( xk )( xk − xk −1 ) ≈ ∇f ( xk ) − ∇f ( xk −1 ) Aproximación Bk ( xk − xk −1 ) ≈ ∇f ( xk ) − ∇f ( xk −1 ) Para una función cuadrática el hessiano Q satisface esta condición, luego la aproximación es exacta. Definiendo sk = xk +1 − xk y yk = ∇f ( xk +1 ) − ∇f ( xk ) entonces Bk +1sk = yk En los métodos cuasi Newton la matriz Bk se actualiza en cada iteración Bk+1 = Bk + actualización La inicialización de Bk suele ser la matriz identidad B0=I. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 61 Procedimiento método cuasi Newton 1. Especificación de una solución inicial x0 y de una aproximación inicial al hessiano B0 2. Iterar k=0,1,… hasta encontrar la solución óptima Calcular la dirección de movimiento Bk pk = −∇f ( xk ) Hacer una búsqueda unidimensional para determinar xk +1 = xk + α k pk y k = ∇f ( xk +1 ) − ∇f ( xk ) Calcular sk = xk +1 − xk Actualizar la aproximación del hessiano Bk+1 = Bk + actualización ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 62 Actualizaciones de la matriz Bk Actualización BFGS (Broyden-Fletcher-Goldfarb-Shanno) Bk +1 = Bk − (Bk sk )(Bk sk )T skT Bk sk y k y kT + T y k sk Actualización DFP (Davidon-Fletcher-Powell) Bk +1 = Bk − (Bk sk )(Bk sk )T skT Bk sk y k y kT + T + ( skT Bk sk )uk ukT y k sk uk = yk Bk sk − y kT sk skT Bk sk En ambas actualizaciones para garantizar que Bk+1 sigue siendo definida positiva se debe cumplir ykT sk > 0 condición que se debe garantizar controlando la búsqueda unidimensional. La matriz Bk se aproximada más al hessiano en cada iteración ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 63 CONTENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL ALGUNOS PROBLEMAS NLP CLASIFICACIÓN DE MÉTODOS DE RESOLUCIÓN CONDICIONES DE OPTIMALIDAD PARA OPTIMIZACIÓN SIN RESTRICCIONES MÉTODOS DE OPTIMIZACIÓN SIN RESTRICCIONES CONDICIONES DE OPTIMALIDAD PARA NLP MÉTODOS DE PROGRAMACIÓN NLP ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 64 Lagrangiano (i) Sea el problema de optimización min f ( x ) x Ax = b siendo x ∈ ℝn , A ∈ ℝm×n , b ∈ ℝm Se define el lagrangiano como L( x, λ ) = f ( x ) + λ T ( Ax − b) siendo λ ∈ ℝm los multiplicadores de Lagrange. El lagrangiano es un problema sin restricciones. El problema con restricciones se transforma en otro sin ellas con m variables adicionales. El mínimo de ambos problemas coincide puesto que Ax = b . ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 65 Lagrangiano (ii) Condiciones de optimalidad de primer orden ∇L( x , λ ) = 0 * * ⇒ ∇ x L( x, λ ) = ∇f ( x ) + AT λ = 0 ∇λ L( x, λ ) = Ax − b = 0 y por tanto si x* es un mínimo local debe cumplir ∇f ( x* ) = − AT λ * En un mínimo local el gradiente de la función objetivo es una combinación lineal de los gradientes de las restricciones y los multiplicadores de Lagrange son los pesos. Los multiplicadores representan el cambio en la función objetivo para un cambio unitario (marginal) en la cota de cada restricción. En el caso particular de LP éstos recibían el nombre de variables duales o precios sombra. Con esta formulación del lagrangiano los multiplicadores resultan con signo contrario a las variables duales. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 66 Ejemplo 1 (i) min( x − 2)2 + ( y − 1) 2 x + y = −2 Punto óptimo (-0.5,-1.5) Gradiente ∇f ( x* , y * ) = 2( x − 2) 2( y − 1) ( −0.5,−1.5) −5 T = = − (1 1) λ * −5 λ* = 5 Óptimo sin restricciones Óptimo con restricciones ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 67 Ejemplo 1 (ii) min( x − 2) + ( y − 1) + λ ( x + y + 2) 2 2 min( x − 2) 2 + ( y − 1)2 + 10( x + y + 2) min( x − 2) 2 + ( y − 1) 2 + 5( x + y + 2) min( x − 2) 2 + ( y − 1) 2 + 2( x + y + 2) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 68 Lagrangiano (iii) Sea el problema de optimización min f ( x ) x gi ( x ) ≤ 0 i = 1,..., m h j ( x ) = 0 j = 1,..., l donde f : ℝn → ℝ , gi : ℝ n → ℝ Se define el lagrangiano como m l i =1 j =1 L( x, λ , µ ) = f ( x ) + ∑ λi gi ( x ) + ∑ µ j h j ( x ) donde λ ∈ ℝm y µ ∈ℝl son los multiplicadores de Lagrange. Lagrangiano es siempre una cota inferior de f(x) para valores factibles de x y valores conocidos de λ ≥ 0 (no negativos) y µ (libre). ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 69 Ejemplo 1 (i) min( x − 2)2 + ( y − 1) 2 x + y ≤ −2 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 70 Ejemplo 1 (ii) min( x − 2) 2 + ( y − 1) 2 x + y ≤ −2 ∇f ( x1 , y1 ) Gradiente de la f.o. perpendicular a las curvas de nivel 2( x − 2) ∇f ( x , y ) = 2( y − 1) ∇g ( x 2 , y 2 ) 1 ∇g ( x , y ) = 1 Gradiente de la restricción en la frontera de la región factible perpendicular a dicha frontera ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 71 Ejemplo 1 (iii) min( x − 2) 2 + ( y − 1) 2 x + y ≤ −2 En el óptimo (-0.5,-1.5) ambos gradientes tienen sentidos opuestos 2( x − 2) −5 ∇f ( x * , y * ) = = 2( y − 1) ( −0.5,−1.5) −5 ∇g ( x * , y * ) −1 −∇g ( x * , y * ) = −1 ∇f ( x* , y * ) = −λ∇g ( x* , y * ) λ ≥0 ∇f ( x * , y * ) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL −5 −1 = λ −5 −1 λ ≥0 λ =5 Optimización no lineal - 72 Ejemplo 2 (i) min( x − 2)2 + ( y − 1) 2 x + y ≤ −2 6 x − y ≤ −18 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 73 Ejemplo 2 (ii) min( x − 2)2 + ( y − 1) 2 x + y ≤ −2 6 x − y ≤ −18 ∇g 2 ( x3 , y 3 ) ∇f ( x1 , y1 ) 1 ∇g1 ( x, y ) = 1 ( −20 / 7,6 / 7) ∇g1 ( x2 , y2 ) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL 2( x − 2) ∇f ( x , y ) = 2( y − 1) 6 ∇g 2 ( x , y ) = −1 Optimización no lineal - 74 Ejemplo 2 (iii) min( x − 2)2 + ( y − 1) 2 x + y ≤ −2 6 x − y ≤ −18 En el óptimo (-20/7,6/7) el gradiente de la f.o. se puede expresar como combinación lineal de los gradientes de las restricciones cambiados de signo 2( x − 2) −68 / 7 ∇f ( x* , y * ) = = 2( y − 1) ( −20 / 7,6 / 7) −2 / 7 −∇g 2 ( x * , y * ) ∇f ( x * , y * ) −∇g1 ( x * , y * ) −1 −∇g1 ( x* , y * ) = −1 −6 −∇g 2 ( x* , y * ) = 1 ∇f ( x* , y * ) = −λ1∇g1 ( x* , y * ) − λ2∇g 2 ( x * , y * ) λ1 , λ2 ≥ 0 −68 / 7 −1 −6 = λ + λ −2 / 7 1 − 1 2 1 λ1 , λ2 ≥ 0 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL λ1 = 2.75 λ2 = 1.125 Optimización no lineal - 75 Ejemplo 3 (i) min( x − 2)2 + ( y − 1) 2 x + y ≤ −2 x ≤ −3 y≤4 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 76 Ejemplo 3 (ii) min( x − 2)2 + ( y − 1) 2 x + y ≤ −2 x ≤ −3 ∇f ( x1 , y1 ) y≤4 ∇g 3 ( x4 , y 4 ) ∇g 2 ( x3 , y 3 ) 2( x − 2) ∇f ( x , y ) = 2( y − 1) 1 ∇g1 ( x, y ) = 1 ∇g1 ( x2 , y2 ) 1 ∇g 2 ( x , y ) = 0 0 ∇g 3 ( x , y ) = 1 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 77 min( x − 2)2 + ( y − 1) 2 x + y ≤ −2 x ≤ −3 Ejemplo 3 (iii) y≤4 En el óptimo (-3,1) el gradiente de la f.o. se puede expresar como combinación lineal de los gradientes de las restricciones activas cambiados de signo 2( x − 2) −10 ∇f ( x * , y * ) = = y − 2( 1) ( −3,1) 0 −∇g 3 ( x2 , y2 ) −1 −1 −∇g1 ( x* , y * ) = −∇g 2 ( x * , y * ) = −1 0 0 ∇g 3 ( x * , y * ) = 1 −∇g 2 ( x * , y * ) ∇f ( x * , y * ) ∇f ( x* , y * ) = −λ1∇g1 ( x* , y * ) − λ2∇g 2 ( x * , y * ) −∇g1 ( x , y ) * * λ1 , λ2 ≥ 0 −10 −1 −1 = λ + λ 0 1 −1 2 0 λ1 , λ2 ≥ 0 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL λ1 = 0 λ2 = 10 λ3 = 0 La primera restricción es superflua. Solución degenerada. Optimización no lineal - 78 Condiciones necesarias con restricciones de desigualdad (i) Sea el problema min f ( x ) x gi ( x ) ≤ 0 i = 1,..., m donde f : ℝn → ℝ , gi : ℝ n → ℝ Sea x* un punto factible I = {i / gi ( x* ) = 0} el conjunto de restricciones activas f y {gi , i ∈ I } diferenciables en x* {gi , i ∉ I } continuas en x* {∇gi ( x* )}i∈I linealmente independientes ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 79 f ( x) Condiciones necesarias con restricciones de min x gi ( x ) ≤ 0 desigualdad (ii) i = 1,..., m Si x* es mínimo local entonces existen unos escalares {λi , i ∈ I } tales que * * ∇f ( x ) + ∑ λi ∇gi ( x ) = 0 i∈I λi ≥ 0 ∀i ∈ I Además si las funciones {gi , i ∉ I } son diferenciables en x*, si x* es óptimo local entonces m ∇f ( x ) + ∑ λi ∇gi ( x* ) = 0 * i =1 λi gi ( x* ) = 0 i = 1,..., m λi ≥ 0 i = 1,..., m Condición de complementariedad de holguras Restricción no activa → multiplicador 0. Restricción activa → multiplicador puede ser o no 0. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 80 Condiciones necesarias con restricciones de desigualdad (iii) Sea el problema min f ( x ) x gi ( x ) ≤ 0 i = 1,..., m Condiciones necesarias de Karush-Kuhn-Tucker (KKT) de primer orden para tener un óptimo local Gradiente de f.o.: combinación lineal de gradientes de restricciones cambiados de signo Punto factible m ∇f ( x ) + ∑ λi ∇gi ( x* ) = 0 * i =1 λi gi ( x* ) = 0 i = 1,..., m gi ( x* ) ≤ 0 i = 1,..., m Condición de complementariedad de holguras Restricción no activa λ=0 Restricción activa λ≠0 λi ≥ 0 i = 1,..., m ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 81 Condiciones necesarias con restricciones de desigualdad (iv) Condiciones necesarias de segundo orden para tener un mínimo local La matriz hessiano ∇2 f ( x* ) + ∑ i∈I λi*∇2 gi ( x* ) debe ser semidefinida positiva m o bien ∇ f ( x ) + ∑ λi*∇ 2 g i ( x * ) 2 * ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL i =1 Optimización no lineal - 82 Condiciones necesarias con restricciones de desigualdad (v) Sea el problema min f ( x ) x gi ( x ) ≤ 0 i = 1,..., m El lagrangiano será m L( x, λ ) = f ( x) + ∑ λi g i ( x) i =1 λi ≥ 0 La condición de optimalidad para el lagrangiano será ∇L( x* , λ * ) = 0 ⇒ ∇ x L( x* , λ * ) = ∇f ( x* ) + ∑ λi ∇gi ( x * ) = 0 i∈I * * ∇ λ L( x , λ ) = gi ( x ) = 0 ∀i ∈ I la 2ª corresponde a la definición de restricciones activas ∀i ∈ I Para considerar todas las restricciones lo expreso como λi gi ( x* ) = 0 i = 1,..., m ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 83 Condiciones suficientes con restricciones de desigualdad (i) Si la f.o. es no convexa o la región factible es no convexa puede haber puntos que verifiquen las condiciones necesarias. Sea x* un punto factible I = {i / gi ( x* ) = 0} el conjunto de restricciones activas f y {gi , i ∈ I } convexas y diferenciables en x* Si existen unos escalares {λi , i ∈ I } tales que ∇f ( x * ) + ∑ λi ∇gi ( x * ) = 0 i∈I λi ≥ 0 ∀i ∈ I entonces x* es mínimo global ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 84 Condiciones suficientes con restricciones de desigualdad (ii) Condición de mínimo global Alternativamente, en lugar de poner la condición de que f y{gi , i ∈ I } sean convexas y diferenciables en x* se puede expresar también como que el lagrangiano L( x ) = f ( x ) + ∑ i∈I λi* gi ( x ) , siendo λi* los multiplicadores de Lagrange de las restricciones, tenga un hessiano ∇2 L( x* ) = ∇2 f ( x* ) + ∑ i∈I λi*∇2 gi ( x* ) que sea una matriz semidefinida positiva en x*. Las condiciones suficientes para el caso de maximización se traducen en que la función f sea cóncava en el punto, las restricciones no cambian y los multiplicadores sean menores o iguales que 0. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 85 Condiciones necesarias con restricciones de igualdad y desigualdad (i) Sea el problema min f ( x ) x gi ( x ) ≤ 0 i = 1,..., m h j ( x ) = 0 j = 1,..., l donde f : ℝn → ℝ , gi : ℝ n → ℝ Sea x* un punto factible I = {i / gi ( x* ) = 0} el conjunto de restricciones activas f y {gi , i ∈ I } diferenciables en x* {gi , i ∉ I } continuas en x* {h j , j = 1,..., l} continuamente diferenciables en x* {∇gi ( x* ), i ∈ I ; ∇h j ( x* ), j = 1,..., l} linealmente independientes ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 86 Condiciones necesarias con restricciones de igualdad y desigualdad (ii) Si x* es mínimo local entonces existen unos escalares {λi , i ∈ I ; µ j , j = 1,…, l} tales que l ∇f ( x ) + ∑ λi ∇gi ( x ) + ∑ µ j ∇h j ( x* ) = 0 * * i∈I j =1 λi ≥ 0 ∀i ∈ I Además si las funciones {gi , i ∉ I } son diferenciables en x*, si x* es óptimo local entonces m l ∇f ( x ) + ∑ λi ∇gi ( x ) + ∑ µ j ∇h j ( x* ) = 0 * * i =1 j =1 λi gi ( x * ) = 0 i = 1,..., m λi ≥ 0 i = 1,..., m ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 87 Ejemplo 4 (i) min f (x , y ) = 9y − (x − 5)2 x ,y −x 2 + y ≤ 0 −x − y ≤ 0 x −1 ≤ 0 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 88 Ejemplo 4 (ii) min f (x , y ) = 9y − (x − 5)2 x ,y −x 2 + y ≤ 0 −x − y ≤ 0 x −1 ≤ 0 Punto C (0,0,1,10,0) f.o.=-25 Punto A (1/2,-1/2,0,9,0) f.o.=-24.75 Punto B (1,-1,0,9,1) f.o.=-25 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 89 Ejemplo 4 (iii) min L(x , y, λ1, λ2 , λ3 ) = 9y − (x − 5)2 + λ1(−x 2 + y ) + λ2 (−x − y ) + λ3 (x − 1) x ,y ,λ1 ,λ2 ,λ3 Lagrangiano para los valores de los multiplicadores correspondientes al punto A (1/2,-1/2,0,9,0) Función Funciónno noacotada acotada ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 90 Ejemplo 4 (iv) min L(x , y, λ1, λ2 , λ3 ) = 9y − (x − 5)2 + λ1(−x 2 + y ) + λ2 (−x − y ) + λ3 (x − 1) x ,y ,λ1 ,λ2 ,λ3 Lagrangiano para los valores de los multiplicadores correspondientes al punto A (1/2,-1/2,0,9,0) Punto A (1/2,-1/2,0,9,0) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 91 Ejemplo 4 (v) min L(x , y, λ1, λ2 , λ3 ) = 9y − (x − 5)2 + λ1(−x 2 + y ) + λ2 (−x − y ) + λ3 (x − 1) x ,y ,λ1 ,λ2 ,λ3 Lagrangiano para los valores de los multiplicadores correspondientes al punto B (1,-1,0,9,1) Función Funciónno noacotada acotada ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 92 Ejemplo 4 (vi) min L(x , y, λ1, λ2 , λ3 ) = 9y − (x − 5)2 + λ1(−x 2 + y ) + λ2 (−x − y ) + λ3 (x − 1) x ,y ,λ1 ,λ2 ,λ3 Lagrangiano para los valores de los multiplicadores correspondientes al punto B (1,-1,0,9,1) Punto B (1,-1,0,9,1) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 93 Ejemplo 4 (vii) min L(x , y, λ1, λ2 , λ3 ) = 9y − (x − 5)2 + λ1(−x 2 + y ) + λ2 (−x − y ) + λ3 (x − 1) x ,y ,λ1 ,λ2 ,λ3 Lagrangiano para los valores de los multiplicadores correspondientes al punto C (0,0,1,10,0) Función Funciónno noacotada acotada ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 94 Ejemplo 4 (viii) min L(x , y, λ1, λ2 , λ3 ) = 9y − (x − 5)2 + λ1(−x 2 + y ) + λ2 (−x − y ) + λ3 (x − 1) x ,y ,λ1 ,λ2 ,λ3 Lagrangiano para los valores de los multiplicadores correspondientes al punto C (0,0,1,10,0) Punto C (0,0,1,10,0) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 95 Condiciones necesarias con restricciones de igualdad y desigualdad (iii) Sea el problema min f ( x ) x gi ( x ) ≤ 0 i = 1,..., m h j ( x ) = 0 j = 1,..., l Condiciones necesarias de Karush-Kuhn-Tucker (KKT) de primer orden para tener un óptimo local Gradiente de f.o.: combinación lineal de gradientes de restricciones cambiados de signo m l ∇f ( x ) + ∑ λ ∇gi ( x ) + ∑ µ *j ∇h j ( x* ) = 0 * i =1 * i * λi* gi ( x* ) = 0 i = 1,..., m gi ( x* ) ≤ 0 i = 1,..., m Punto factible h j ( x* ) = 0 j = 1,..., l j =1 Condición de complementariedad de holguras Restricción no activa λ=0 Restricción activa λ≠0 λi* ≥ 0 i = 1,..., m ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 96 Condiciones necesarias con restricciones de igualdad y desigualdad (iv) Condiciones necesarias de segundo orden para tener un mínimo local l 2 * * 2 * La matriz hessiano ∇ f ( x ) + ∑ λi ∇ gi ( x ) + ∑ µ *j ∇2 h j ( x* ) debe ser i∈I j =1 semidefinida positiva o bien m l ∇ f ( x ) + ∑ λ ∇ gi ( x ) + ∑ µ *j ∇ 2 h j ( x * ) 2 * i =1 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL * i 2 * j =1 Optimización no lineal - 97 Condiciones suficientes con restricciones de igualdad y desigualdad (i) Sea x* un punto factible I = {i / gi ( x* ) = 0} el conjunto de restricciones activas f y {gi , i ∈ I } convexas y diferenciables en x* Si existen unos escalares {λi , i ∈ I ; µ j , j = 1,…, l} tales que l ∇f ( x ) + ∑ λi ∇gi ( x ) + ∑ µ j ∇h j ( x* ) = 0 * * i∈I j =1 λi ≥ 0 ∀i ∈ I de modo que hj sea convexa en x* si µ j > 0 y hj sea cóncava en si µ j < 0 , entonces x* es mínimo global ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 98 CONTENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL ALGUNOS PROBLEMAS NLP CLASIFICACIÓN DE MÉTODOS DE RESOLUCIÓN CONDICIONES DE OPTIMALIDAD PARA OPTIMIZACIÓN SIN RESTRICCIONES MÉTODOS DE OPTIMIZACIÓN SIN RESTRICCIONES CONDICIONES DE OPTIMALIDAD PARA NLP MÉTODOS DE PROGRAMACIÓN NLP ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 99 Programación no lineal Sea el problema min f ( x ) x gi ( x ) ≤ 0 i = 1,..., m h j ( x ) = 0 j = 1,..., l f , gi , h j : ℝ n → ℝ x ∈ ℝn donde f, g y h son funciones diferenciables con primera y segunda derivadas continuas. Si la región factible es convexa y la función objetivo es convexa cualquier óptimo local es también global ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 100 Métodos de programación no lineal (NLP) 1. Métodos de penalización: minimizan una función relacionada con el lagrangiano que tiene el mismo mínimo • • Métodos de penalización y barrera Método del lagrangiano aumentado 2. Métodos factibles: mantienen factibilidad al partir de un punto factible y moverse en direcciones factibles Generalización del método simplex de LP. Resuelven una secuencia de subproblemas con un conjunto de restricciones activas que cambia en cada iteración. Inconvenientes: selección del conjunto de restricciones activas y dificultad de satisfacer las restricciones • • Método de programación cuadrática secuencial Método del gradiente reducido ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 101 Métodos de penalización Resuelven un problema NLP resolviendo una secuencia de problemas de optimización sin restricciones. En el límite la solución de ambos problemas es la misma. En la función objetivo se incluyen unas penalizaciones que miden las violaciones de las restricciones y además unos parámetros que determinan la importancia de cada restricción. Métodos de penalización (método de penalización exterior) • Penalizan la violación de una restricción. Se mueve por puntos infactibles. • Mejor para restricciones de igualdad Métodos barrera (método de penalización interior) • Evitan que se alcance el contorno de una restricción. Puntos estrictamente factibles. • No son válidos para restricciones de igualdad ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 102 Método de penalización (exterior) Sea el problema min f ( x ) x gi ( x ) = 0 i = 1,..., m Se define la función de penalización 1 m 1 ψ ( x ) = ∑ g i ( x ) 2 = g ( x )T g ( x ) 2 i =1 2 El problema original se transforma en min π ( x, ρ k ) = f ( x ) + ρ kψ ( x ) x siendo ρk, el parámetro de penalización, un escalar positivo que crece monótonamente hacia ∞ Al avanzar las iteraciones los óptimos se mueven hacia la región factible ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 103 Método de penalización (exterior) Condición de optimalidad de la función de penalización m ∇f ( x ( ρ )) + ρ ∑ ∇gi ( x ( ρ )) gi ( x ( ρ )) = 0 i =1 Definimos λi = λi ( ρ ) = ρ gi ( x ( ρ )) . Estimación de los multiplicadores de Lagrange. Entonces, las condiciones de optimalidad de la función original son m ∇f ( x ( ρ )) + ∑ λi ( ρ )∇gi ( x ( ρ )) = 0 i =1 λi ( ρ ) = ρ gi ( x ( ρ )) i = 1,…, m i = 1,…, m λi ( ρ ) ≥ 0 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 104 Método de penalización (exterior) El hessiano del problema penalizado puede dar un número de condición elevado ∇2xπ ( x( ρ ), ρ ) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 105 Ejemplo 1 (i) min( x − 2) 2 + ( y − 1) 2 x + y = −2 λ =5 ( −0.5, −1.5) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 106 Ejemplo 1 (ii) 1 min( x − 2) 2 + ( y − 1) 2 + ρ ( x + y + 2) 2 2 Condición de optimalidad de primer orden 2( x − 2) + ρ ( x + y + 2) = 0 2( y − 1) + ρ ( x + y + 2) = 0 Para ρ=1 Para ρ=2 Para ρ=4 Para ρ=8 Para ρ=16 Para ρ=32 Para ρ=64 Para ρ=∞ x= ( x * , y * ) = (0.75, −0.25) 4−ρ 2 + 2ρ y= ∇f ( x ) = 0 2 − 3ρ 2 + 2ρ λ= 10ρ 2 + 2ρ λ = 2.5 ( x * , y * ) = (1/ 3, −2 / 3) ( x * , y * ) = (0, −1) λ =4 ( x * , y * ) = ( −2 / 9, −11/ 9) ( x * , y * ) = ( −6 /17, −23/17) λ = 80 /17 = 4.7 Cada Cada uno uno es es una una optimización optimización sin sin restricciones restricciones ( x * , y * ) = ( −14 / 33, −47 / 33) ( x * , y * ) = ( −6 /13, −19 /13) λ = 64 /13 = 4.92 ( x* , y * ) = ( −0.5, −1.5) λ =5 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 107 Ejemplo 1 (iii) λ = 2.5 ρ =1 (0.75, −0.25) ρ = 16 λ = 80 /17 = 4.7 ( −6 /17, −23/17) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL λ =4 ρ =4 (0, −1) ρ = 64 λ = 64 /13 = 4.92 ( −6 /13, −19 /13) Optimización no lineal - 108 Ejemplo 1 (iv) El hessiano del problema penalizado es 2 + ρ ∇ 2xπ ( x ( ρ ), ρ ) = ρ ρ 2 + ρ Para ρ=1 3 1 ∇ 2xπ ( x ( ρ ), ρ ) = 1 3 cond (∇ 2π ) = λ1 / λ2 = 4 / 2 = 2 Para ρ=4 6 4 ∇ 2xπ ( x ( ρ ), ρ ) = 4 6 cond (∇2π ) = λ1 / λ2 = 10 / 2 = 5 Para ρ=16 18 16 ∇ 2xπ ( x ( ρ ), ρ ) = 16 18 cond (∇ 2π ) = λ1 / λ2 = 34 / 2 = 17 Para ρ=64 66 64 ∇ 2xπ ( x ( ρ ), ρ ) = cond (∇2π ) = λ1 / λ2 = 130 / 2 = 65 64 66 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 109 Método barrera (penalización interior) Sea el problema min f ( x ) x gi ( x ) ≥ 0 i = 1,..., m Se define la función barrera m o bien φ ( x ) = − log( g ( x )) ∑ i =1 i m 1 i =1 g i ( x ) φ ( x) = ∑ Es una función continua en el interior de la región factible que se hace al acercarse al contorno El problema original se transforma en min β ( x, µk ) = f ( x ) + µkφ ( x ) x siendo µk, el parámetro barrera, un escalar positivo que decrece monótonamente hacia 0 Al disminuir el parámetro los puntos se acercan al contorno de la región factible ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 110 Método de penalización (exterior) Condición de optimalidad de la función barrera ∇gi ( x ) =0 i =1 g i ( x ) −µ λi = λi ( µ ) = gi ( x ) m ∇f ( x ) − µ ∑ λi ( µ ) gi ( x ) = − µ Definimos Estimación de los multiplicadores de Lagrange. Entonces, las condiciones de optimalidad de la función original son m ∇f ( x ( µ )) + ∑ λi ( µ )∇gi ( x ( µ )) = 0 i =1 λi ( µ ) gi ( x ( µ )) = − µ i = 1,…, m λi ( µ ) ≤ 0 i = 1,…, m ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 111 Método de penalización (exterior) El hessiano del problema penalizado puede dar un número de condición elevado ∇2xφ ( x( µ ), µ ) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 112 Ejemplo 1 (i) min( x − 2) 2 + ( y − 1) 2 −x − y ≥ 2 λ = −5 ( −0.5, −1.5) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 113 Ejemplo 1 (ii) min( x − 2)2 + ( y − 1) 2 − µ log( − x − y − 2) Condición de optimalidad de primer orden 2( x − 2) + µ /( − x − y − 2) = 0 2( y − 1) + µ /( − x − y − 2) = 0 Para µ=100 Para µ=20 Para µ=4 Para µ=0.8 Para µ=0.16 Para µ=0.032 Para µ=0.0064 Para µ=0 x= 3 1 ± 100 + 16µ 4 8 ( x * , y * ) = ( −4.4039, −5.4039) ∇f ( x ) = 0 1 1 y = − ± 100 + 16µ 4 8 λ= µ x+ y+2 λ = −12.8078 ( x * , y * ) = ( −1.8117, −2.8117) ( x * , y * ) = ( −0.8508, −1.8508) λ = −5.7016 ( x * , y * ) = ( −0.5776, −1.5776) ( x * , y * ) = ( −0.5159, −1.5159) λ = −5.0318 Cada Cada uno uno es es una una optimización optimización sin sin restricciones restricciones ( x * , y * ) = ( −0.5032, −1.5032) ( x* , y * ) = ( −0.5006, −1.5006) λ = −5.0013 ( x* , y * ) = ( −0.5, −1.5) λ = −5 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 114 Ejemplo 1 (iii) µ = 100 λ = −12.8078 µ=4 λ = −5.7016 ( −0.8508, −1.8508) ( −4.4039, −5.4039) λ = −5.0318 µ = 0.16 ( −0.5159, −1.5159) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL λ = −5.0013 µ = 0.0064 ( −0.5006, −1.5006) Optimización no lineal - 115 Ejemplo 1 (iv) El hessiano del problema barrera es 2 + µ /( x + y + 2)2 ∇ φ ( x ( µ ), µ ) = 2 µ /( x + y + 2) 2 x µ /( x + y + 2) 2 2 + µ /( x + y + 2) 2 Para µ=100 3.64 1.64 ∇ 2xφ ( x ( µ ), µ ) = 1.64 3.64 Para µ=4 10.127 8.127 2 ∇ 2xφ ( x ( µ ), µ ) = cond ∇ π ) = λ1 / λ2 = 18.25 / 2 = 9.125 ( 8.127 10.127 Para µ=0.16 160.24 158.24 ∇ 2xφ ( x ( µ ), µ ) = 158.24 160.24 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL cond (∇ 2π ) = λ1 / λ2 = 5.28 / 2 = 2.64 cond (∇ 2π ) = λ1 / λ2 = 318.48 / 2 = 159.24 Optimización no lineal - 116 Método del lagrangiano aumentado (i) El mal condicionamiento de los métodos anteriores puede mejorarse incluyendo los multiplicadores en la función de penalización. Los algoritmos ahora deben actualizar tanto las variables como los multiplicadores. La convergencia es más rápida que en los métodos anteriores. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 117 Método del lagrangiano aumentado (ii) Sea el problema min f ( x ) x gi ( x ) = 0 i = 1,..., m El óptimo del lagrangiano coincide con el del problema anterior si el punto es factible m min L( x ) = f ( x ) + ∑ λ gi ( x ) x i =1 gi ( x ) = 0 i = 1,..., m Resolvemos este problema por el método de penalización m m exterior 1 2 k min A( x ) = f ( x ) + ∑ λi gi ( x ) + ρ k ∑ [ gi ( x ) ] x i =1 2 i =1 De forma general 1 min A( x, λ , ρ ) = f ( x ) + λ T g ( x ) + ρ g ( x )T g ( x ) 2 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 118 Método del lagrangiano aumentado (iii) Elegir valores de x0 , λ0 y ρ0 Prueba de optimalidad. Si se verifica se detiene el algoritmo. ∇L( xk , λk ) = 0 Resolver el problema no lineal sin restricciones y calcular xk + 1 1 min A( x, λk , ρ k ) = f ( x ) + λkT g ( x ) + ρ k g ( x )T g ( x ) x 2 Actualizar λk +1 y ρ k +1 λk +1 = λk + ρ k g ( xk +1 ) ρ k +1 ha de ser mayor que ρk ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 119 Programación cuadrática secuencial (i) Sea el problema min f ( x ) x gi ( x ) = 0 i = 1,..., m Formulamos el lagrangiano m min L( x ) = f ( x ) + ∑ λi gi ( x ) x i =1 Condiciones de optimalidad de primer orden ∇L( x* , λ * ) = 0 ⇒ m ∇ x L( x, λ ) = ∇f ( x ) + ∑ λi ∇gi ( x ) = 0 i =1 ∇ L( x , λ ) = g ( x ) = 0 i λ Se formula el método de Newton para este sistema de ecs. x k +1 x k pk = + λk +1 λk vk donde pk y vk se determinan resolviendo el siguiente sistema de ecuaciones lineales ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 120 Programación cuadrática secuencial (ii) Sistema de ecuaciones lineales p ∇ 2 L( x k , λk ) k = −∇L( x k , λk ) vk ∇2xx L( xk , λk ) ∇g ( xk ) pk −∇ x L( xk , λk ) = T v g x ( ) g x ( ) 0 ∇ k k k Representa las condiciones de optimalidad de primer orden de este problema de optimización cuadrática con restricciones lineales 1 min p T ∇2xx L( xk , λk ) p + p T [∇ x L( xk , λk ) ] p 2 [∇g ( xk )]T p + g ( xk ) = 0 : vk En lugar de resolver un sistema de ecs lineales se resuelve este problema de optimización cuadrática con restricciones lineales ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 121 Programación cuadrática secuencial (iii) 1. Se resuelve el problema cuadrático min p 1 T 2 p ∇ xx L( xk , λk ) p + p T [∇ x L( xk , λk ) ] 2 [∇g ( xk )]T p + g ( xk ) = 0 : vk 2. Se obtienen ( pk , vk ) 3. Se actualizan los valores de las variables y multiplicadores x k +1 x k pk = + λk +1 λk v k ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 122 Función reducida (i) Sea el problema min f ( x ) x Ax = b, x ∈ ℝ n Supongamos un punto factible x y una dirección factible p, Ap=0, entonces cualquier punto factible se puede expresar min f ( x + p ) como x = x + p . p Ap = 0, p ∈ ℝ n ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 123 Función reducida (ii) Si Z es una matriz n x r ( r ≥ n − m ) del espacio nulo de A (espacio definido por el conjunto de vectores ortogonales a las filas de A) la región factible también se puede expresar como x = x + Zv , donde v ∈ ℝ r Ahora el problema se transforma en una minimización de la función φ (v ) que es la función reducida de f en la región factible, problema sin restricciones y de menores dimensiones min φ ( v ) = f ( x + Zv ) v v ∈ ℝr ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 124 Cálculo de Z (método de reducción de variables) Sean las matrices A ∈ ℝ m×n , B ∈ ℝ m×m , N ∈ ℝ m×( n −m ) , Z ∈ ℝ n×( n −m ) Las direcciones factibles han de cumplir Ap = 0 = (B pB N ) = BpB + NpN = 0 pN −1 pB − B N pN p = = pN I − B −1 N Z = I El nuevo punto se obtiene como B −1b − B −1 N + p N x = x + p = x + ZpN = 0 I ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 125 Condiciones de optimalidad NLP con restricciones lineales de igualdad Gradiente reducido (proyectado) de f en x Hessiano reducido (proyectado) de f en x ∇φ ( v ) = Z T ∇f ( x ) ∇ 2φ ( v ) = Z T ∇ 2 f ( x ) Z Condiciones necesarias de primer y segundo orden Z T ∇f ( x* ) = 0 pT ∇2 f ( x * ) p ≥ 0 siendo p=Zv un vector del espacio nulo de A Condiciones suficientes de primer y segundo orden para mínimo local estricto Ax * = b Z T ∇f ( x * ) = 0 Z T ∇2 f ( x* ) Z matriz definida positiva ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 126 Ejemplo Sea el problema min f ( x ) = x12 − 2 x1 + x22 − x32 + 4 x3 x1 − x2 + 2 x3 = 2 2 x1 − 2 2 ⋅ ⋅ ∇f ( x ) = 2 x2 , ∇2 f ( x ) = ⋅ 2 ⋅ ⋅ ⋅ −2 −2 x + 4 3 1 − 2 B = (1) N = ( −1 2 ) Z = 1 ⋅ ⋅ 1 3 2 ⋅ ⋅ 1 −2 1 1 ⋅ ⋅ T 2 1 1 ⋅ * 1 ⋅ = 4 −4 − = ∇ = ⋅ ⋅ Z T ∇f ( x * ) = 3 , Z f ( x ) Z 2 ⋅ −2 ⋅ 1 −4 6 − ⋅ 2 1 6 ⋅ ⋅ −2 ⋅ 1 2.5 x* = −1.5 −1 El hessiano no es una matriz definida positiva y, sin embargo, el hessiano reducido sí lo es. Luego el punto es un mínimo local estricto. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 127 Método de Newton reducido Sea el problema min f ( x ) x Ax = b, x ∈ ℝn x=x+p siendo x punto factible inicial y p dirección factible x = x + Zv donde Z es una matriz n x n-m del espacio nulo de A La función reducida es min φ (v) = f ( x + Zv ) v v ∈ ℝr Se aplica el método de Newton para calcular la dirección [Z T ∇2 f ( xk ) Z ]v = − Z T ∇f ( xk ) vk resolviendo este sistema de ecuaciones lineales pk se obtiene a partir de vk , p = Zv . No depende matemáticamente de Z pero sí numéricamente. −1 pk = Zvk = − Z Z T ∇ 2 f ( xk ) Z Z T ∇f ( xk ) ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 128 Método del gradiente conjugado lineal (i) Sea el sistema de ecuaciones Ax = b donde A es una matriz simétrica y definida positiva Resolver el sistema es equivalente a resolver min f ( x) = 1 T x Ax − bT x 2 ya que por condiciones de optimalidad ∇f ( x) = Ax − b = 0 y el hessiano es definido positivo ∇ 2 f ( x) = A Vectores conjugados piT Ap j = 0 ∀i ≠ j Si A=I entonces los vectores conjugados son ortogonales. ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 129 Método del gradiente conjugado lineal (ii) Supongamos que tenemos un punto y combinación lineal de m+1 vectores conjugados m y = ∑ α i pi i =0 Evaluando la función T T m m 1 m m f ( y ) = f ∑ α i pi = ∑α i pi A ∑α j p j − b ∑α i pi = i =0 2 i =0 j =0 i =0 m 1 m m T = ∑∑ α iα j pi Ap j − ∑ α ibT pi 2 i =0 j =0 i =0 m 1 m 2 T = ∑ α i pi Api − ∑ α ibT pi 2 i =0 i =0 Desaparecen los productos piApj 1 = ∑ α i2 piT Api − α ibT pi i =0 2 m ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 130 Método del gradiente conjugado lineal (iii) Minimizando la función m m 1 min f ( y ) = min f ∑α i pi = ∑ min α i2 piT Api − α ibT pi y αi i =0 i = 0 αi 2 El problema de minimización multidimensional se ha transformado en m+1 problemas de minimización unidimensionales Para cada dimensión α i ( p Api ) − b pi = 0 T i T bT pi αi = T pi Api Es decir, si representamos un punto como combinación lineal de un conjunto de vectores conjugados la solución es inmediata ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 131 Método del gradiente conjugado lineal (iv) Determina iterativamente el conjunto de vectores conjugados y los pesos Método x0 = 0, r0 = b = b − Ax0 , p−1 = 0, β 0 = 0 Para i = 0,1,… Si ri < ε fin. Si i > 0 → β i = T i i T i −1 i −1 r r r r pi = ri + β i pi −1 riT ri αi = T pi Api xi +1 = xi + α i pi Dirección de movimiento Longitud de paso Actualización del punto Actualización del residuo ri +1 = ri − α i Api x es la solución, p son vectores conjugados, r son vectores ortogonales ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 132 Método del gradiente conjugado lineal (v) Ejemplo 1 ⋅ ⋅ 1 A = ⋅ 2 ⋅ b = 1 ⋅ ⋅ 3 1 ⋅ 1 x0 = ⋅ , r0 = 1 , ⋅ 1 ⋅ p−1 = ⋅ , β 0 = 0, ε = 10−12 ⋅ r0 = 1.73 > ε , 1 0.5 0.5 p0 = 1 , α 0 = 0.5, x1 = 0.5 , r1 = ⋅ 1 0.5 −0.5 r1 = 0.71 > ε , 0.667 0.9 0.1 p1 = 0.167 , α1 = 0.6, x2 = 0.6 , r2 = −0.2 −0.333 0.3 0.1 r2 = 0.245 > ε , 0.18 1 ⋅ p2 = −0.18 , α 2 = 0.556, x3 = 0.5 , r3 = ⋅ 0.06 0.33 ⋅ ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 133 Método del gradiente conjugado lineal (vi) Adecuado para la resolución de problemas de gran tamaño Requieren poco almacenamiento Poco cálculo por iteración Convergencia lineal con este ratio xi +1 − x* xi − x* y 2 A ≡ A ≤ A cond ( A) − 1 cond ( A) + 1 1 T y Ay 2 Si cond ( A) = 1 → ratio = 0 → converge en una iteración Si cond ( A) = 100 → ratio = 0.82 Si cond ( A) = 1000000 → ratio = 0.998 ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 134 Método del gradiente conjugado no lineal (i) Sólo requiere el uso de primeras derivadas min f ( x) x0 = 0, p−1 = 0, β 0 = 0 Para i = 0,1,… Si ∇f ( xi ) < ε fin. ∇f ( xi ) ∇f ( xi ) T Si i > 0 → β i = ∇f ( xi −1 ) ∇f ( xi −1 ) T pi = −∇f ( xi ) + β i pi −1 Determinar α i para minimizar f ( xi + α i pi ) xi +1 = xi + α i pi ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Dirección de movimiento Longitud de paso Actualización del punto Optimización no lineal - 135 Método del gradiente conjugado no lineal (i) Ejemplo 1 1 T min f ( x ) = ( x − e ) D ( x − e ) + xT x − 10 4 x0 = (1 −1 1 −1) T f ( x0 ) = 16.46 ∇f ( x0 ) = (15 −15.8 15 −16.6 ) T 2 e = (1 1 ⋯ 1) T 1 2 D= ⋱ n p = −∇f ( x0 ) α = 0.0625 x1 = ( 0.0625 −0.0125 0.0625 0.0375 ) T f ( x0 ) = 0.985 ∇f ( x0 ) = ( −0.248 −0.393 −0.623 −0.806 ) T p = −∇f ( x0 ) α = 0.5 x1 = ( 0.177 0.194 0.364 0.451) T ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL Optimización no lineal - 136 Precondicionamiento Idea básica Sacar partido de información auxiliar sobre el problema para acelerar la convergencia Supongamos que conocemos la matriz M definida positiva En lugar de resolver Ax = b resolvemos M −1 Ax = M −1b 2000 1000 x1 1 = 1 2 x2 1 M −1 cond ( A) = 1700 1000 ⋅ = 1 ⋅ 2 1 x1 0.001 1 2 x = 1 2 cond ( M −1 A) = 3 El objetivo es encontrar M de manera que ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DEPARTAMENTO DE ORGANIZACIÓN INDUSTRIAL M≈A Optimización no lineal - 137
