Document

Programación dinámica
Conceptos matemáticos
1
INTRODUCCIÓN
Partimos de la ecuación funcional
v( x) = max
{F ( x, y ) + βv( y )}, para todo x ∈ X
0≤ y ≤ Γ ( x )
Esta ecuación es la combinación de dos problemas:
- un problema de maximización
- un problema de punto fijo
Vamos a separar estos dos problemas para entender
los elementos que necesitamos en el análisis de este
tipo de ecuaciones funcionales.
2
TEOREMA DEL MÁXIMO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Para ilustrar el tipo de resultados que buscamos vamos
a considerar el siguiente ejemplo:
Teorema: Sean
X ⊂R e Y⊂R
con Y compacto y convexo. Sea f: X×Y→R una función
continua tal que para todo x∈X, f(x) es estrictamente
cóncava en y. Defina las funciones
h( x) = max f ( x, y ) y f [ x, g ( x)] = h( x).
y∈Y
Entonces las funciones h(x) y g(x) son continuas.
3
TEOREMA DEL MÁXIMO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Queremos generalizar resultados de este tipo. Usando el
ejemplo anterior queremos entender qué condiciones
hemos de imponer sobre los elementos dados del
problema (f, X e Y) para que las funciones h(x) y g(x)
sean continuas.
Un problema es que no podemos garantizar que hay un
único valor de y que maximiza la función objetivo. Por lo
tanto, en vez de una función y = g(x), en general,
tendremos una correspondencia y = G(x). Pero ¿qué
significa que una correspondencia sea continua?
4
TEOREMA DEL MÁXIMO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Intuitivamente una correspondencia es continua si
pequeños cambios en x no cambian mucho el conjunto
imagen G(x).
El problema es que el conjunto imagen puede cambiar
de dos formas. Por tanto, vamos a tener dos conceptos
de continuidad de correspondencias.
5
TEOREMA DEL MÁXIMO
Definición: una correspondencia G: X→X es hemicontinua
inferiormente (hci) en x si G(x) es no vacía y si, para
cada y∈G(x) y cada secuencia xn→ x, existe N ≥ 1 y una
secuencia {yn} de n = N a ∞ tal que yn→y e yn∈G(xn), para
todo n ≥ N.
Definición: una correspondencia G: X→X es hemicontinua
superiormente (hcs) en x si G(x) es no vacía y si, para
cada cada secuencia xn→ x y cada secuencia {yn} tal que
yn∈G(xn), para todo n, existe una subsecuencia de {yn} que
converge a un punto y en G(x).
Definición: una correspondencia G: X→X es continua en x
si es a la vez hci y hcs en x.
6
TEOREMA DEL MÁXIMO
G(x)
x1
x2
x
7
TEOREMA DEL MÁXIMO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Vemos que el concepto de hcs no permite que la
correspondencia se abra de repente pero permite que se
reduzca.
Por otro lado, el concepto de hci no permite que la
correspondencia se reduzca de repente pero permite
que se abra.
Una correspondencia es continua cuando ni se abre ni
se reduce de repente.
8
TEOREMA DEL MÁXIMO
Teorema del Máximo (SLP3.6): Sean
X ⊆ Rl e Y ⊆ R m .
Sea f: X×Y→R una función continua. Sea Γ: X→Y una
correspondencia compacta y continua. Entonces la
función h(x) definida como
h( x) = max f ( x, y )
y∈Γ ( x )
es continua y la correspondencia G(x) definida como
G ( x) = {y ∈ Γ( x) : f ( x, y ) = h( x)}
es no vacía, compacta y hcs.
9
TEOREMA DEL MÁXIMO
En este teorema imponemos condiciones para que los
objetos h(x) y G(x) varíen de forma continua con x:
− Γ no vacía y compacta junto con f continua
asegura que G es no vacía y compacta
− Γ y f continuas aseguran que h sea continua y G
sea hcs.
Si además suponemos que Γ es convexa y que f es
estrictamente cóncava, entonces G es una función
continua.
10
TEOREMA DEL MÁXIMO: EJEMPLOS
Sea X = R y sea Γ(x) = Y = [-1,1], para todo x∈X. Defina la
función f: X×Y→R como
f ( x, y ) = xy 2 .
1. Compruebe que las hipótesis del Teorema del Máximo
se cumplen.
2. Represente gráficamente h(x)
3. Represente gráficamente G(x)
4. Muestre que G(x) es hcs pero no hci en x = 0.
11
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Para ilustrar el tipo de resultados que buscamos vamos
a considerar el siguiente ejemplo:
Teorema de Brouwer: Sea
A ⊂ Rl
un conjunto compacto y convexo. Sea f: A→A una
función continua. Entonces f tiene, al menos, un punto
fijo, es decir, para algún x∈A, f(x) = x.
12
TEOREMAS DE PUNTO FIJO
f(x)
f(x)
A
45º
A
x
13
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Nótese que el Teorema de Brouwer da condiciones
suficientes para que determinados objetos (funciones
continuas definidas en subconjuntos de Rl) tengan al
menos un punto fijo. Sin embargo, no asegura que
exista sólo uno.
Nosotros queremos ir un poco más allá en dos
direcciones:
1. queremos trabajar con objetos más generales
2. queremos asegurar unicidad del punto fijo
14
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
En el caso del Teorema de Brouwer vemos que una
condición suficiente para que la función tenga sólo un
punto fijo es que su pendiente sea menor que 1.
Por otro lado, esa misma condición nos asegura que si
comenzamos desde cualquier punto x0 en A e iteramos
de la siguiente manera
xn+1 = f(xn), n = 0, 1, …
siempre llegaremos al punto fijo en el que x = f(x).
15
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Como vimos anteriormente, la ecuación funcional define
una “función de funciones”:
(Tw)( x) = max {F ( x, y ) + βw( y )}
y∈Γ ( x )
Es decir, para cualquier función w nuestro operador define
otra función (Tw)(x). Los puntos fijos de este operador son
aquellas funciones v que cumplen
(Tv)(x) = v(x).
16
[EJEMPLO DE ITERACIÓN EN LA F. DE VALOR]
Vamos a iterar sobre el operador definido por el modelo
de Ramsey más sencillo en el que debíamos encontrar la
secuencia de capitales {Kt+1} desde t = 0 hasta ∞ que
maximiza
∞
∑ βt ln( K tα − K t +1 )
t =0
Asociado a este problema secuencial hay una ecuación
funcional
v(k ) = maxα ln(k α − y ) + βv( y )
{
0≤ y∈k
que define el operador
{
0≤ y∈k
}
}
(Tw)(k ) = maxα ln(k α − y ) + βw( y )
17
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Si comparamos con el Teorema de Brouwer los
elementos que tenemos son:
- f(x) en el Teorema de Brouwer es (Tw)(x) en la
ecuación funcional
- A en el Teorema de Brower es un conjunto de
funciones en la ecuación funcional
18
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Por lo tanto, para aplicar algo parecido al Teorema de
Brouwer a nuestro caso necesito:
- condiciones sobre f: f:A→A y f continua,
es decir, que nuestro operador (Tw)(x) transforme
de forma continua un conjunto de funciones en sí
mismo
- condiciones sobre A: A compacto y convexo
es decir, que el conjunto de funciones con el que
trabajamos sea compacto y convexo
19
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Con las condiciones anteriores aseguramos que exista,
al menos, una función que es un punto fijo del operador
pero no aseguramos unicidad.
Para, además, asegurar unicidad necesitamos:
- condiciones adicionales sobre f: f tiene pendiente
menor que 1
es decir, que nuestro operador (Tw)(x) tenga
“pendiente” menor que 1
20
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Con la condición sobre la pendiente nos aseguramos
además que si comenzamos desde cualquier elemento
x0 en A (función w en el conjunto de funciones que
estemos considerando) e iteramos sobre la función f
[operador (Tw)] convergemos al punto fijo.
Para saber que una sucesión de elementos de un
conjunto converge necesito una idea de distancia. Por
lo tanto, tenemos que desarrollar una idea de distancia
entre funciones.
21
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Lo que vamos a hacer es definir los conceptos que
necesitamos para conjuntos generales y luego
especializarlos en los conjuntos con los que trabajamos
(conjuntos de funciones).
Pensemos en un conjunto cualquiera S. Una distancia
no es más que una función que coge dos elementos del
conjunto y les asigna un número. Por lo tanto, podemos
escribir una distancia como una función ρ
ρ: S × S → R
22
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Lo que ocurre es que no me sirve cualquier función.
Para que ρ tenga las características que pensamos tiene
que tener una distancia ha de cumplir una serie de
condiciones.
En particular, para cualquier trío de elementos x, y, z ∈ S
necesito que la función ρ cumpla:
− ρ(x, y) ≥ 0, con igualdad si y sólo si x = y
− ρ(x, y) = ρ(y, x)
− ρ(x, y) ≤ ρ(x, z) + ρ(z, y)
23
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Definición: un espacio métrico es un conjunto S junto
a una función de distancia definida sobre el conjunto:
ρ: S × S → R.
Un espacio métrico es, por tanto, un conjunto en el que
podemos calcular distancias.
24
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Ahora podemos definir una clase de operadores, es
decir, funciones generales definidas sobre conjuntos
generales, que tienen la característica que una noción
de pendiente tiene valor menor que 1. Estos operadores
se llaman contracciones.
Definición: Sea (S, ρ) un espacio métrico y T: S→S una
función definida sobre S en S. T es una contracción
(con módulo β) si, para algún β∈(0,1)
ρ(Tx, Ty) ≤ βρ(x, y), para todo x, y ∈ S.
25
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Teorema de la Contracción (SLP3.2): Si (S, ρ) es un
espacio métrico completo y T: S→S es una contracción
con módulo β, entonces
1. T tiene sólo un punto fijo v en S, y
2. para cualquier v0∈S, ρ(Tnv0, v) ≤ βnρ(v0,v), n = 0, 1,…
26
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
El Teorema de la Contracción (Contraction Mapping
Theorem) nos dice dos cosas:
1. las condiciones suficientes para que el operador T
tenga sólo un punto fijo (en nuestro caso, que el
conjunto de funciones con el que trabajamos sea
un espacio métrico completo y que la ecuación
funcional defina un operador que sea una
contracción), y
2. que vamos a converger a ese punto fijo con
independencia de donde comencemos a iterar en
el operador.
27
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
La condición de que el operador sea una contracción la
necesitamos porque queremos imponer que nuestra
función de funciones tenga “pendiente” menor que 1.
Pero, ¿para qué necesitamos que el conjunto con el que
trabajamos sea un espacio métrico completo?
En primer lugar necesitamos trabajar con espacios
métricos porque necesitamos tener definida una
distancia de forma que sepamos cuando en la iteración
nos estamos acercando al punto fijo.
28
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Para entender qué es un espacio métrico completo y por
qué lo necesitamos, tenemos primero que definir cuando
una secuencia es convergente.
Definición: Una secuencia {xn} en S (con n = 0 hasta ∞)
converge a x ∈ S si para todo ε > 0, existe un número
Nε, tal que para todo n ≥ Nε
ρ(xn, x) < ε.
29
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Es decir, una secuencia es convergente si cada vez se
aproxima más al límite. El problema de esta definición es
que para verificar que una secuencia es convergente
necesitamos un candidato al límite.
Definición: Una secuencia {xn} en S (con n = 1 hasta ∞)
es una secuencia de Cauchy si para todo ε > 0, existe
un número Nε, tal que para todo n, m ≥ Nε
ρ(xn, xm) < ε.
30
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Es decir, una secuencia es Cauchy si los elementos de la
misma cada vez están más cerca los unos de los otros.
Por lo tanto, podemos saber si una secuencia converge
simplemente sabiendo los elementos de la misma.
Definición: Un espacio métrico (S, ρ) es completo si
cada secuencia de Cauchy en S converge a un elemento
de S.
31
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Por lo tanto, si el conjunto de funciones con el que
trabajamos es un espacio métrico completo y la
secuencia de funciones que generamos con el operador
que definimos a partir de nuestra ecuación funcional
satisface el criterio de Cauchy (las funciones que
generamos están cada vez más cerca las unas de las
otras), sabemos que el punto fijo pertenecerá al mismo
conjunto de funciones y, por lo tanto, compartirá las
mismas características.
32
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Recapitulando, el Teorema de la Contracción, aplicado a
nuestra ecuación funcional nos dice dos cosas:
1. necesitamos que el operador sea una contracción
para asegurarnos que existe un único punto fijo y
que llegaremos a él iterando en el operador desde
cualquier elemento (función) inicial
2. tenemos que trabajar con conjuntos de funciones
que sean espacios métricos completos para que el
punto fijo (límite) pertenezca al mismo conjunto de
funciones y, por tanto, sepamos qué propiedades
tiene (sin ni siquiera saber su forma explícita).
33
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Corolario: Sea (S, ρ) un espacio métrico completo y sea
T: S→S una contracción con punto fijo v ∈ S. Si S´ es un
subconjunto cerrado de S y
T (S ' ) ⊆ S ' ,
entonces v ∈ S´. Si, además
T (S ' ) ⊆ S ' ' ⊆ S ' ,
entonces v ∈ S´´.
34
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Este corolario es importante por la siguiente razón.
Imaginemos que estamos trabajando con funciones
continuas junto con una definición de distancia (este es
un espacio métrico completo). Ahora sabemos que si
nuestro operador es una contracción el punto fijo
resultante (esa función de valor que no conocemos) es
una función continua.
Lo que nos dice el corolario es que si nos concentramos
en el subconjunto de funciones continuas que además
son crecientes, y si el operador preserva esa propiedad,
el punto fijo es, además, creciente.
35
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
De esta forma, aplicando el corolario del Teorema de la
Contracción podemos averiguar propiedades adicionales
de la función de valor fácilmente.
Por otro lado, el segundo resultado del teorema pone
cota a la distancia entre la iteración número n del
operador y el punto fijo en términos de la distancia
entre la función inicial y el punto fijo, es decir,
para cualquier v0∈S, ρ(Tnv0, v) ≤ βnρ(v0,v), n = 0, 1,…
Pero esta condición no es muy útil si no conocemos v.
36
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Resultado: Sea (S, ρ) un espacio métrico completo y sea
T: S→S una contracción con módulo β ∈ (0,1) y con
punto fijo v ∈ S. Entonces
1
n
ρ(T v0 , v) ≤
ρ(T n v0 , T n+1v0 ).
1− β
Este resultado pone una cota a la distancia entre el
punto fijo y la iteración n generada por el operador sin
saber cual es el punto fijo (aproximación lineal).
37
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Aplicando el Teorema de la Contracción podemos saber si
una ecuación funcional tiene una solución única.
Podemos, además, iterar en el operador y aproximarnos a
la solución (punto fijo) tanto como queramos.
El problema ahora es saber cuando el operador definido
por la ecuación funcional es una contracción. Para ello
tendríamos que comprobar que satisface la definición de
contracción.
38
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Dado el conjunto de funciones y la definición de
distancia con la que estamos trabajando (que ha de ser
un espacio métrico completo) se ha de cumplir que para
cualquier par de funciones f y h de ese conjunto
ρ(Tf, Th) ≤ βρ(f, h).
Verificar que se cumple la definición de contracción
puede ser complicado. El siguiente teorema nos da una
ruta sencilla para hacer eso para una clase especial de
funciones.
39
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
Teorema de Blackwell (SLP3.3): Sea
X ⊆ Rl
y sea B(X) el espacio de funciones acotadas definidas en
X, v: X→R, con la norma superior. Sea T: B(X)→B(X) un
operador que satisface
1. (monotonicidad) v, w ∈ B(X) y v(x) ≤ w(x) para todo
x∈X, implica (Tv)(x) ≤ (Tw)(x) para todo x∈X;
2. (descuento) existe un β∈(0, 1) tal que
[T(v+a)](x) ≤ (Tv)(x) + βa para todo v∈B(X), a ≥ 0, x∈X.
Entonces T es una contracción con módulo β.
40
TEOREMAS DE PUNTO FIJO
v( x) = max {F ( x, y ) + βv( y )}, para todo x ∈ X
y∈Γ ( x )
En la mayoría de aplicaciones que hacemos en Economía
las dos condiciones suficientes para que un operador sea
una contracción descritas en el Teorema de Blackwell se
verifican fácilmente.
Por ejemplo, en el modelo de Ramsey
(Tv )(k ) = max
{U [ f (k ) − y ] + βv( y )}
0≤ y ≤ f ( k )
las dos condiciones son inmediatas
Nota: la función (v+a)(x) se define como
(v+a)(x) = v(x) + a.
41