Repaso procesos (Ramsés)

Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Repaso procesos estocásticos
Ramsés H. Mena
Grupo de Estadı́stica Bayesiana No-Paramétrica
IIMAS-UNAM.
2016
Procesos Estocásticos (conceptos básicos!)
1
Procesos estocásticos: super rápido
Elementos básicos
Procesos gaussianos
Procesos con Incrementos Independientes
Procesos de Markov
Estabilidad: Conceptos
Procesos Estocásticos (conceptos básicos!)
1
Procesos estocásticos: super rápido
Elementos básicos
Procesos gaussianos
Procesos con Incrementos Independientes
Procesos de Markov
2
Estabilidad: Conceptos
Estabilidad: Conceptos
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Definición (Clásica)
Sea (Ω, F, P) un espacio de probabilidad, T un conjunto de indices y
(X, X ) un espacio medible. A process estocástico es una colección de
variables aleatorias (X, X )-valuadas indexadas en T . Lo denotaremos
como
X = {X (t, ω); t ∈ T , ω ∈ Ω}
Tipicamente T ⊆ R, e.g. Z, Z+ , R or R+ .
Para t fijo, X (t, ω) es X -medible.
Denotemos como XT := {f : T → X | f is a function } el espacio
de trayectorias de X, i.e. para ω ∈ Ω fijo t → X (t, ω)
Dependiendo del contexto se usará la notación Xt (ω), Xt , XS , S ⊂ T
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Con XT en mente, el proceso X se pude ver alternativamente como una
v.a. (XT , X T )-valuada
X : Ω → XT ,
X−1 : X T → F,
ω 7→ X(ω)
→ Claramente induce una relación entre X con valores en un espacio
Polaco X y medidas de probabilidad sobre (XT , X T )
Dado πt : XT → X, denotemos la proyección sobre la t-ésima
coordenada como
πt (f ) := f (t)
Para S := {t1 , . . . , tn } ⊂ T , p/algún 1 ≤ n < ∞, define πS la
restricción
πS := f |S
que es (X T /X S )-medible
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Definición (Ley del proceso)
La ley del proceso estocástico en Definición 1 es la medida de
probabilidad
µ := P ◦ X−1 on (XT , X T )
En otras palabras es la ley de la v.a. X.
Para S ⊂ T no vacı́o, define πS X : Ω → XS vı́a
(πS X)(ω) := πS (X(ω)) = X|S = {Xt : t ∈ S}
y
µS := P ◦ (πS X)−1
En otros términos
µS (B) = PXS (B) = P(XS ∈ B) = P(X ∈ πS−1 (B)),
∀B ∈ X S
(1)
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Definición (Distribuciones finito dimensionales)
Sea Fidis(T ) el conjunto de subconjuntos finitos no vacı́os de T . Las
medidas de probabilidad
{µS : S ∈ Fidis(T )}
se denominan las distribuciones finito dimensionales de X.
Definición (Consistencia de distribuciones finito dimensionales)
Si U, V ∈ Fidis(T ) y U ⊆ V and if πUV la restricción de XV a XU entonces
se tiene la condición de compatibildad o propiedad proyectiva
µU = µV ◦ (πUV )−1
Ejercicio: Checar que esta propiedad corresponde a µXt1 ,...,Xtn = µX%1 ,...,X%n
µXt1 ,...,Xtn−1 ,Xtn (A1 , . . . , An−1 , X)
=
µXt1 ,...,Xtn−1 (A1 , . . . , An−1 )
para todo n ≥ 1 finito, ti ∈ T , % permutación de {ti }ni=1 , y Ai ∈ X .
(2)
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Theorem (Daniell – Kolmogorov (una versión))
Sea X un espacio Polaco, dorado con su σ-álgebra X = B(X). Sea T un
conjunto de ı́ndices. Supóngase que para S ∈ Fidis(T ), existe una media
de probabilidad consistente µS on (XS , X S ). Entonces existe una única
medida µ sobre (XT , X T ) tal que
µS = µ ◦ πS−1
on (XS , X S )
donde πS es la restricción de XT a XS .
Ejemplo: Sea X = R, T = [0, ∞) y µS gaussiano con m(t) = 0 y
σ(s, t) = mı́n(s, t). Esto se puede denominar un pre-movimiento
Browniano, dado que incluye toda possible función de [0, ∞) a R como
“ trayectorias ”, no sólo funciones continuas. Claro, la teorı́a serı́a muy
simple si µ(C ) = 1 ( con C la restricción de XT al conjunto de funciones
continuas).
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
El ejemplo anterior sugiere los siguientes enfoques en el estudio y
construcción de procesos escocásticos:
El enfoque distribucional
El enfoque trayectorial
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
El ejemplo anterior sugiere los siguientes enfoques en el estudio y
construcción de procesos escocásticos:
El enfoque distribucional
El enfoque trayectorial
Gran parte de la teorı́a moderna se enfoca en esta última, llevando a
maneras indirectas de definir un proceso escolástico, e.g. SDE para
construir procesos de difusión.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
El ejemplo anterior sugiere los siguientes enfoques en el estudio y
construcción de procesos escocásticos:
El enfoque distribucional
El enfoque trayectorial
Gran parte de la teorı́a moderna se enfoca en esta última, llevando a
maneras indirectas de definir un proceso escolástico, e.g. SDE para
construir procesos de difusión.
Cada enfoque tiene sus ventajas y desventajas
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
El ejemplo anterior sugiere los siguientes enfoques en el estudio y
construcción de procesos escocásticos:
El enfoque distribucional
El enfoque trayectorial
Gran parte de la teorı́a moderna se enfoca en esta última, llevando a
maneras indirectas de definir un proceso escolástico, e.g. SDE para
construir procesos de difusión.
Cada enfoque tiene sus ventajas y desventajas
→ Usando el enfoque distribuciones, el conjunto T puede ser arbitrario
y la medibilidad de las trayectorias no es necesaria, pero por el
contrario propiedades como la monotonı́a de una trayectoria o la ley
del supt Xt no se podrı́an estudiar directamente.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
El ejemplo anterior sugiere los siguientes enfoques en el estudio y
construcción de procesos escocásticos:
El enfoque distribucional
El enfoque trayectorial
Gran parte de la teorı́a moderna se enfoca en esta última, llevando a
maneras indirectas de definir un proceso escolástico, e.g. SDE para
construir procesos de difusión.
Cada enfoque tiene sus ventajas y desventajas
→ Usando el enfoque distribuciones, el conjunto T puede ser arbitrario
y la medibilidad de las trayectorias no es necesaria, pero por el
contrario propiedades como la monotonı́a de una trayectoria o la ley
del supt Xt no se podrı́an estudiar directamente.
Una de las preguntas más importante en la teorı́a de proc. estoc. es la
relación entre estos enfoques. Es decir: cómo, la medida µ, construida
bajo el T. DK afecta propiedades trayectororiales?
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Definición (Version)
Dos proc. estocásticos, X y Y, se denominan versiones si comparten las
mismas Fidis.
Definición (Modificación)
X = {Xt }t∈T se denomina modificación de Y = {Yt }t∈T si tienen el
mismo espacio de estados, (X, X ), están definidos en (Ω, F, P) y
P(Xt = Yt ) = 1
para cada t ∈ T .
Definición (Indestinguible)
Sea X y Y dos procesos definidos como en Def. 6. Decimos que son
indistinguibles si
P(Xt = Yt , far all t ∈ T ) = 1.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Como en la teorı́a de funciones, la pro. de continuidad se relaciona con
convergencia de sucesiones
• i.e. diferentes tipos de convergencia ⇒ diferentes tipos de continuidad
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Como en la teorı́a de funciones, la pro. de continuidad se relaciona con
convergencia de sucesiones
• i.e. diferentes tipos de convergencia ⇒ diferentes tipos de continuidad
Definición (Trayectorias continuas)
X = {Xt (ω); t ∈ T } tiene trajectories cont. con prob 1 si
P(ω : t 7→ Xt (ω) es continua ) = 1.
Lo que se puede re-frasear en términos de convergence en prob. Sea
S ⊂ T , si p/c suc. {tn }, ||tn − t|| → 0 cuando n → ∞, entonces
P(ω : |Xtn (ω) − Xt (ω)| → 0 cuando n → ∞) = 1
para todo t ∈ S
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Como en la teorı́a de funciones, la pro. de continuidad se relaciona con
convergencia de sucesiones
• i.e. diferentes tipos de convergencia ⇒ diferentes tipos de continuidad
Definición (Trayectorias continuas)
X = {Xt (ω); t ∈ T } tiene trajectories cont. con prob 1 si
P(ω : t 7→ Xt (ω) es continua ) = 1.
Lo que se puede re-frasear en términos de convergence en prob. Sea
S ⊂ T , si p/c suc. {tn }, ||tn − t|| → 0 cuando n → ∞, entonces
P(ω : |Xtn (ω) − Xt (ω)| → 0 cuando n → ∞) = 1
para todo t ∈ S
Un refinamiento de esta de última, que especifica la máxima posible
suavidad de las trayectorias es la siguiente
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Definición
X is localmente Hölder continuo con exponente γ si para algún
c < ∞ y v.a. h(ω) > 0,
P({ω :
|Xt (ω) − Xs (ω)|
≤ c}) = 1
|t − s|γ
0≤s,t,≤T ,|t−s|≤h(ω)
sup
Cundo γ = 1 decimos que la función es Lipschitz continua.
Teorema (Criterio de continuidad de Kolmogorov)
Dado X = {Xt , t ∈ [0, T ]}, supóngase que existe α, β, c, h > 0 tal que
E(|Xt+h − Xt |α ) ≤ ch1+β ,
para todo
0 ≤ t ≤ t + h ≤ T.
⇒ existe una modificación continua Z de X t.q. es localmente Hölder
continua con exponente γ para cualquier 0 < γ < β/α.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Definición
Decimos que X = {Xt (ω)}t≥0 tiene trajectories continuas por la
derecha con lı́mites por la izquierda (CDLI), si para a.e. ω ∈ Ω, la
trayectoria t 7→ Xt (ω) CDLI para cualquier t ≥ 0. (i.e, para h ↓ 0 ambos
Xt+h (ω) − Xt (ω) y el lı́mite Xt−h (ω) existen)
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Definición
Decimos que X = {Xt (ω)}t≥0 tiene trajectories continuas por la
derecha con lı́mites por la izquierda (CDLI), si para a.e. ω ∈ Ω, la
trayectoria t 7→ Xt (ω) CDLI para cualquier t ≥ 0. (i.e, para h ↓ 0 ambos
Xt+h (ω) − Xt (ω) y el lı́mite Xt−h (ω) existen)
Sea X = {Xn : n ∈ N0 } y Y = {Yn : n ∈ N0 } dos process discretos
modificación uno del otro, entonces son indistinguibles.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Definición
Decimos que X = {Xt (ω)}t≥0 tiene trajectories continuas por la
derecha con lı́mites por la izquierda (CDLI), si para a.e. ω ∈ Ω, la
trayectoria t 7→ Xt (ω) CDLI para cualquier t ≥ 0. (i.e, para h ↓ 0 ambos
Xt+h (ω) − Xt (ω) y el lı́mite Xt−h (ω) existen)
Sea X = {Xn : n ∈ N0 } y Y = {Yn : n ∈ N0 } dos process discretos
modificación uno del otro, entonces son indistinguibles.
→ Entonces el hecho que en cursos básicos de proc. estocásticos no se
hace diferenciación entre los enfoques distribuciones y trayectoriales
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Elementos básicos
Definición
Decimos que X = {Xt (ω)}t≥0 tiene trajectories continuas por la
derecha con lı́mites por la izquierda (CDLI), si para a.e. ω ∈ Ω, la
trayectoria t 7→ Xt (ω) CDLI para cualquier t ≥ 0. (i.e, para h ↓ 0 ambos
Xt+h (ω) − Xt (ω) y el lı́mite Xt−h (ω) existen)
Sea X = {Xn : n ∈ N0 } y Y = {Yn : n ∈ N0 } dos process discretos
modificación uno del otro, entonces son indistinguibles.
→ Entonces el hecho que en cursos básicos de proc. estocásticos no se
hace diferenciación entre los enfoques distribuciones y trayectoriales
Sea X = {Xt : t ≥ 0} y Y = {Yt : t ≥ 0} dos process a tiempo
continuo ambos con trajectories continuas por la derecha y valores
en un esp. Polaco (X, X ). Son modificaciones uno del otro ssi son
indistinguibles.
Hölder ⇒ Continua c.p.1 ⇒ CDLI.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Clasificación por estructuras de dependencia: Simetrı́as
distribucionales
Proc. independiente: las v.a’s que definen X son independientes, e.o.p
Ft1 ,...,tn (A1 , . . . , An ) =
n
Y
Fti (Ai )
i=1
Proc. intercambiable: las v.a’s que definen X son intercambiables, e.o.p
d
{X1 , X2 , . . . , Xn } = {Xρ1 , Xρ2 , . . . , Xρn }
∀ n > 1 y permutación ρ
Proc. estacionario fuertemente: las v.a’s que definen X satisfacen
d
{Xt1 , . . . , Xtn } = {Xt1 +h , . . . , Xtn +h }
∀ h, n, t1 , . . . , tn con ti , ti + h ∈ T
→Las Fidis son invariantes ante traslaciones del “ tiempo ”
Proc. reversible: las v.a’s que definen X satisfacen
d
{Xt1 , Xt2 , . . . Xtn } = {Xtn , Xtn−1 , . . . Xt1 }
para todo t1 , . . . , tn ∈ T y n = 1, 2, . . .
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Procesos gaussianos
Definición
Una v.a. G , Rd -valuada, se dice gaussiana (o vector aleatorio
gaussiano) si existe
µ ∈ Rd y una matrix Σ ∈ Rd × Rd t.q.
Pdun vector
d
(j)
j
∀s ∈ R , G · s = j=1 s G es una v.a. gaussiana, R-valueda, con
media µ · sy varianza s 0 Σs. El vector µ se denomina el vector media, y
Σ se llama la matrix de covarianzas de G .
Si Σ es no-singular (|Σ| > 0) ⇒ para x ∈ Rd tenemos la densidad
1
1
−1
0
p
Nd (x; µ, Σ) =
exp − (x − µ)Σ (x − µ) .
2
(2π)d/2 |Σ|
Equivalentemente, G ∼ Nd (µ, σ) si ∀ t ∈ Rd y ξ ∈ R


d
d X
d
2
X
X
ξ
t (j) t (k) σ(i, j) ,
E [exp(iξ(G · t))] = exp iξ
t (j) µ(j) −
2
j=1
donde σ(i, j) denota el elemento ij de Σ.
j=1 k=1
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Procesos gaussianos
Teorema
Dado un vector µ ∈ Rd y cualquier matrix simétrica positive definida
Σ ∈ Rd × Rd , se puede construir la v.a., Rd -valuada, G ∼ Nd (µ, Σ).
Contrariamente, si G ∼ Nd (µ, Σ) entonces Σ puede ser simétrica y es
siempre real y positiva definida.
→ Sup. G ∼ Nd (µ, Σ), donde Σ(i,j) = 0 para i 6= j. Entonces
G (1) , . . . , G (d) son v.a.’s gaussianas independientes.
Definición
Un proceso X se denominate un process gaussiano si para today
t1 , . . . , tk ∈ T las Fidis son Nk (µ, Σ). Si T ⊂ Rn entonces se conoce
como campo gaussiano aleatorio.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Procesos gaussianos
Teorema
Dado un conjunto abstracto T , una función arbitrary µ : T → R, y una
función simétrica positive definida Σ : T × T → R, existe un proceso
gaussiano X con funciones de media y covarianza µ y Σ respectivamente.
Tareita: Demostrar que Nk (µ, Σ) es una familia de Fidis consistente.
Hint. Usar el hecho de que la forma cuadrática 12 (x − µ)Σ−1 (x − µ)0 y
que |Σ| son invariantes bajo permutaciones de x y t1 , . . . , tn
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Procesos con Incrementos Independientes
Definición
Un process estocástico con valores en R, X := {Xt ; t ≥ 0}, se denomina
un proceso con incrementos independientes (PII) si
(i) Tiene trayectorias t 7→ Xt CDLI c.s., i.e. Xt+ = Xt y Xt− existen.
(ii) Para toda n ≥ 1 y 0 ≤ t0 < t1 < · · · < tn , las v.a.’s Xt0 ,
{Xtj+1 − Xtj }nj=1 son indep. (Incrementos independientes)
Si además
d
(iii)∗ {Xt+s − Xt } = Xs para toda s, t ≥ 0 (Incrementos estacionarios)
(iv)∗ X0 = 0 c.s.
entonces X se conoce como un proceso de Lévy.
→
→
→
→
Condición (i) ⇒ sólo discontinuidades por brincos pueden ocurrir
Se dice que X tiene un brinco fijo en t > 0 si P(Xt 6= Xt− ) > 0
La prop. (iii)∗ excluye la posibilidad de brincos fijos en proc. de Lévy.
Condición (iv)∗ está implı́cita en (iii)∗ (escoge s = 0).
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Procesos de Markov
• El futuro y el pasado son independientes dados el presente. . .
Una filtración {Ft : t ∈ T } es una familia creciente de sub
σ-algebras de F, i.e. Ft ⊂ Fs .
Decimos que X es adaptado a Ft , si ω 7→ Xt (ω) es una v.a. en
(Ω, Ft ) p/c t ∈ T , i.e. σ(Xt ) ⊆ Ft
→ X es siempre adaptado a su filtración natural FtX = σ(Xs : s ≤ t)
Definición
Sea X = {Xt : t ∈ T } con valores en (X, X ). Decimos que X es un
proceso de Markov, respecto a {Ft : t ∈ T } si Xt es Ft -adaptado y Ft
y σ(Xs : s ≥ t) son condicionalmente independientes dado σ(Xt ), es decir
P(A ∩ B | σ(Xt )) = P(A | σ(Xt )) P(B | σ(Xt ))
para todo A ∈ Ft y B ∈ σ(Xs : s ≥ t).
⇒ P(B | Ft ) = P(B | σ(Xt )), ∀B ∈ σ(Xs : s ≥ t) y t ∈ T
(3)
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Procesos de Markov
Definición
Sea (X, X ) un esp. medible. Una función Pt,s (x, A) definida para
0 ≤ t < s < ∞, x ∈ X, A ∈ X se denomina función de transición
Markoviana sobre (X, X ) si
A 7→ Pt,s (x, A) es una med. de prob. en X para cada t, s y x
x 7→ Pt,s (x, A) es una función X -medible para cada t, s y A
si 0 ≤ t < s < u, entonces
Z
Pt,u (x, A) =
Pt,s (x, dy ) Ps,u (y , A)
(4)
A (4) se le conoce como la ecuación de Chapman-Kolmogorov.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Procesos de Markov
Si ∃ Pt (x, A) s.t. Ps−t (x, A) = Pt,s (x, A) ∀ t, s, x y A se dice que la
transición es temporalmente homogénea y CK eq. se simplifica
Z
Pt+s (x, A) = Pt (x, dy ) Ps (y , A)
(5)
Similarmente, una transición se dice espacialmente homogénea si
Pt,s (x, A) = Pt,s (0, A − x) donde A − x = {y − x : y ∈ A}
⇒ que el procesos tiene incrementos independientes
Definición
Sea X con valores en (X, X ), {Ft }-adaptado, y Pt,s (x, A) una transición
en (X, X ). X es un proc. de Markov con transición Pt,s (x, A) si
E (f ◦ Xs | Ft ) = Pt,s (x, f )
R
con f una func. adotada X -medible y Pt,s (x, f ) := Pt,s (x, dy )f (y ).
Entonces CK ec. se convierte en la prop. de semigrupo Pt+s = Pt Ps .
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Procesos de Markov
• La interpretación de la función de transición es :
Pt,s (x, A) = P(Xt ∈ A | Xs = x),
0≤s<t
→ Si X0 ∼ π entonces las fidis
Z
E [f (Xt1 , . . . , Xtn )] =
Z
π(dx0 )
Z
P0,t1 (x0 , dx1 )
Z
···
Ptn−1 ,tn (xn−1 , dxn )f (x1 , . . . , xn )
lo cual implica en particular
P(X0 ∈ dx0 , Xt1 ∈ dx1 , . . . , Xtn ∈ dxn ) = π(dx0 )P0,t1 (x0 , dx1 ) · · · Ptn−1 ,tn (xn−1 , dxn ).
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Procesos de Markov: homogéneo en el tiempo
Si existe una medida finita, π, en X, X t.q. satisface
Z
π(A) =
Pt (x, A) π(dx)
(6)
X
para cada t y A ∈ X se dice que es una medida invariante o
estacionaria cuando π(X) = 1.
Tareita: Dem. que cualquier P. de Markov homogéneo con dist.
estacionaria π, es estrictamente estacionario
En particular, (6) se satisface si X es π-reversible, i.e.
Z
Z
Pt (x, B 0 )π(dx) =
Pt (x, B)π(dx)
B
B0
para todo B, B 0 ∈ X .
Si (7) se satisface para π finita, decimos que Pt es una transición
π-reversible.
(7)
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Procesos de Markov: homogéneo en el tiempo
• π se dice que es la distribución lı́mite o ergódica si
Pt (x, ·) → π(·),
cuando n → ∞
• En el caso T numerable, X = (Xn )n=0,1,... , denotaremos
P n (x, A) = P(Xn ∈ A | X0 = x)
la transición en n-pasos. CK se escriben como
Z
n
P (x, B) =
P m (x, dy )P n−m (x, B), 0 ≤ m ≤ n, B ∈ X
X
→ Cuando X = S ⊆ N0 entonces se habla de una cadena de Markov
con valores en (S, S) y se usa la notación Pn,n+1
= P(Xn+1 = j | Xn = i)
ij
abreviada en el caso homogéneo pij := Pij , i, j ∈ S.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Procesos de Markov: homogéneo en el tiempo
Ejemplo: Cónsiderese el proceso de Markov X = (Xn )n=0,1,... con valores
en (R, B) y función de transición
Z
(2 + s)s
x
,
dy
P(x, A) =
N y|
s + 1 (s + 1)2
A
con s > 0. Ası́ tenemos
P n (x, ·) = N · |
x
1
,1 −
(s + 1)n
(s + 1)2n
Entonces
P n (x, ·) → N(· | 0, 1)
cuando n → ∞
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Construcción de X con invariante, π, dada
Sup. que queremos construir X = {Xn }∞
n=1 markoviano con medida
invariante π
• Usando la idea de “ aumentación ” mencionada anteriormente, e.g.
Z
η(dx, dy )
π(dx) =
Y
con condicionales ηy (dx) y ηx (dy ) definimos una transición Markoviana
Z
P(x, A) = ηy (A)ηx (dy )
→ P(x, A) deja invariante a π (Tareita!)
→ El proceso X modulado por P(x, A) es π-reversible. (Tareita!)
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Construcción de X con invariante, π, dada
Una manera de proponer η(·, ·) es mediante la propuesta de una
dist. condicional µx (dy ) con valores en un espacio arbitrario (Y, Y)
pero que satisfaga
Supp{π} ⊆ {x ∈ X; µx (A) > 0},
∀A ∈ Y
Es decir
η(dx, dy ) = µx (dy )π(dx)
Ejemplo
Si π = Po(λ), i.e. buscamos una cadena de Markov X = {Xn }∞
n=1 que
toma valores en N0 .
→ Siguiendo la construcción antes mencionada con ηx (y ) = Bin(y ; x, ξ)
ηy (x) =
d
[λ(1 − ξ)]x−y −λ(1−ξ)
e
I[y ,∞) (x)
(x − y )!
es decir {X | Y } = Y + Po(λ(1 − ξ)).
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Ejemplo
Siguiendo con la construcción del proceso, la probabilidad a un paso esta
definida como
∞
X
p(x0 , x1 ) =
fX |Y (x1 | y )fY |X (y | x0 )
y =0
∞
X
x0 y
[λ(1 − ξ)]x1 −y −λ(1−ξ)
e
I[y ,∞) (x1 )
ξ (1 − ξ)x0 −y I[0,x0 ] (y )
(x! − y )!
y
y =0
h
iy
ξ
xX
0 ∧x1
2
(1−ξ) λ
= e −λ(1−ξ) (1 − ξ)x0 +x1 λx1 x0 !
(8)
(x0 − y )!(x1 − y )!y !
=
y =0
Si utilizamos la definición de la función hipergeométrica generalizada
dada por
Qp
∞
X
z k i=1 (ni )k
Q
q Fp (n; d; z) :=
k! qj=1 (dj )k
k=0
donde (z)a = Γ(z + a)/Γ(a)
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Ejemplo
Entonces la transición se puede re-expresar como
x0
p(x0 , x1 ) = Po(x1 ; λ(1 − ξ)) (1 − ξ) 2 F0 −x0 , −x1 ;
ξ
(1 − ξ)2 λ
donde Po(x; λ) denota la densidad de masa de una distribución Poisson.
Por construcción tenemos:
p(x0 , x1 ) satisface las ecuaciones de Chapman-Kolmogorov
p(x0 , x1 ) deja invariante a Po(λ), es decir Po(λ) es una distribución
estacionaria para el proceso X = {Xn }∞
n=1
El proceso X es Po(λ)-reversible en el tiempo.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Tiempo continuo
¿Que ocurre si quiero construir ahora un proceso a tiempo continuo
X = (Xt )t≥0 usando esta misma idea de construcción?
Siguiendo la misma idea, necesitamos encontrar
Z
Pt (x, A) = ηyt (A)ηxt (dy ),
para toda t ≥ 0.
Tal que las ecuaciones de Chapman-Kolmogorov se satisfacen.
Una idea es calcular la transición a n-pasos del proceso a tiempo
discreto y substituir n por t. . . no siempre es fácil calcular una
expresión analı́tica para la transición en n-pasos.
Alternativamente se podrı́a imponer una dependencia en t, e.g. a
través de los parámetros en ηx (dy ).
Claro, a dicha construcción se le podrı́an verificar ciertas propiedades de
tal forma que podamos afirmar la existencia de versiones CDLI o c.s.
continuas.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Tiempo continuo: cont. ejemplo con invariante Po(λ)
El único parámetro en ηx (y ) es ξ (“ el parámetro de dependencia ”)
⇒ Cuál es la forma de t 7→ ξt t.q. 0 < ξt < 1 y CK ec. se satisface?
La ley de Xt | X0 más manejable vı́a su transformada de Laplace
φ
Si Z ∼ Po(λ) entonces LZ (φ) = e λ(e −1)
Si Z ∼ Bin(N, p) entonces LZ (φ) = (1 − p + pe φ )N
⇒ se puede verificar que Y ∼ Po(λξ)
LY (φ) = E{E[e φY | X ]} = E[(1 − ξ + ξe φ )X ] = LX (log ψ) = e λ(ψ−1) = e λξ(e
φ
−1)
con ψ := (1 − ξ + ξe φ ). De la misma manera se puede ver que
LY |X =x (φ) = (1 − ξ + ξe φ )x
y
LX |Y =y (φ) = e y φ e λ(1−ξ)(e
φ −1)
y por lo tanto
LXt |X0 =x0 (φ) = E LXt |Y (φ) | X0 = x0
= e λ(1−ξt )(e
= e
φ −1)
λ(1−ξt )(e φ −1)
LY |X0 =x0 (φ)
(1 − ξt + ξt e φ )x0
(9)
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Tiempo continuo: cont. ejemplo con invariante Po(λ)
Chapman-Kolmogorov se satisfacen si y sólo si
E LXt |Xs (φ) | X0 = x0 = LXt+s |X0 =x0 (φ)
(10)
Entonces
h
i
φ
E LXt |Xs (φ) | X0 = x0 = e λ(1−ξt )(e −1) E (1 − ξt + ξt e φ )Xs | X0 = x0
= e λ(1−ξt )(e
φ −1)
LXs |X0 =x0 (log ψt ) con ψt := (1 − ξt + ξt e φ )
o
n
φ
φ
= e λ(e −1)(1−ξt ) e λ(e −1)(1−ξs )ξt (1 − ξs + ξs (1 − ξt + ξt e φ ))x0
x0
φ
= e λ(e −1)(1−ξs ξt ) 1 − ξs ξt + ξs ξt e φ
.
Esta última ecuación es igual a LXt+s |X0 =x0 (φ) si y sólo si
ξt+s = ξt ξs ⇒ ξt = e −αt , con α > 0.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Tiempo continuo: cont. ejemplo con invariante Po(λ)
Con esto el proceso X se puede representar como :
Xt = e −αt ◦ X0 + εt ,
con
εt ∼ Po(λ(1 − e −αt ))
(11)
con εt independiente de (Xt )t≥0 y ξ ◦ X el operador de adelgazamiento
binomial, i.e. dado X , se tiene que ξ ◦ X ∼ Bin(X , ξ).
Entonces (Xt )t≥0 es una cadena de Markov con dist. estacionaria
Po(λ) y
Po(λ)-reversible.
Una pregunta obligada es, podemos hablar de la transición de un estado a
otro “ en t pasos ”, ¿Cuál es la unidad de tiempo? Claramente se necesita
el concepto de “ intensidad de cambio ” o “ intensidad del proceso ”.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Generador: caso espacio de estados discreto
Bajo el supuesto de regularidad
lı́m pij (t) = δij
t↓0
(12)
donde pij (t) := Pt (i, j), i, j ∈ X, X numerable, y con la notación
P(t) := {pij (t)}i,j∈X se tiene el siguiente resultado:
Teorema
Sea {P(t)}t≥0 el semigrupo de transición sobre X. Para cualquier estado
i, existe
1 − pii (h)
qi := lı́m
∈ [0, ∞]
h↓0
h
y para cualquier (i, j) ∈ X2 , i 6= j,
qij := lı́m
h↓0
pij (h)
∈ [0, ∞)
h
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Generador: caso espacio de estados discreto
A la matriz Q definida con qij como en el teorema anterior se le conoce
como el generador infinitesimal de la cadena de Markov a tiempo
continuo. De forma más compacta, se estila escribir
Q = lı́m
h↓0
P(h) − P(0)
h
es decir la derivada derecha en 0 de la función matricial t 7→ P(t)
En el caso de nuestro ejemplo con transiciones dadas por (8) el
generador infinitesimal esta dado por

−α(i + λ), j = i

(


− lı́mt↓0 1−ptt (i,i) , j = i
αλ,
j =i +1
qij =
=
pt (i,j)
iα,
j =i −1

lı́mt↓0 t ,
i 6= j


0,
e.o.c,
⇒ ∃ otras formas de construir un proceso de nacimiento y muerte.
Ver Mena y Walker (2009) para detalles y ejemplos de esta construcción.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Procesos de Difusión
Qué ocurre cuando X es no-numerable y t ∈ R+ ??
• En el caso de un proceso Markoviano X := (Xt ; t ≥ 0) homogéneo en
el tiempo y con valores en un espacio métrico, compacto y separable
(X, d). Si se tiene que
1
lı́m Pt (x, B(x, ε)c ) ,
t↓0 t
para cada x ∈ X and ε > 0
con B(x, ε) := {z ∈ X; d(z, x) < ε}
⇒ P(X ∈ CX [0, ∞)) = 1,
es decir ∃ una modificación con trayectorias continuas c.s.
A X se le denomina un proceso de Difusión
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Procesos de Difusión: Caso X = R
En el caso real la condición de arriba se traduce a
Z
1
lı́m
Pt (x, dy ) = 0
t↓0 t |y −x|>ε
que usando la desigualdad de Chebyshev se satisface si
1
lı́m E[|Xt − X0 |h | X0 = x] = 0
t↓0 t
para h > 2
de ser el caso a
1
µ(x) := lı́m E[|Xt −X0 | | X0 = x]
t↓0 t
1
y σ 2 (x) := lı́m E[|Xt −X0 |2 | X0 = x]
t↓0 t
se les conoce como los coeficientes de deriva, µ(·), y difusión, σ(·).
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Relación con SDE’s
Bajo ciertas condiciones de regularidad del proc. de difusión X, µ(·) y
σ(·) se puede ver que existe una versión de X que coincide con la
solución (débil) a la SDE
dXt = µ(Xt )dt + σ(Xt )dBt ,
donde (Bt ; t ≥ 0) denota un movimiento Browniano estándar.
Ejemplo Usando la construcción con marginales dadas
Fija la distribución invariante como π = Ga(a, b)
Asume que ηx (dy ) = Po(y ; xφ) y verifica que
ηy (dx) = Ga(dx; a + y , b + φ)
Encuentra la forma de φt t.q.
Z
Pt (x, A) = ηyt (A)ηxt (dy ),
para toda t ≥ 0.
satisface la ec. de CK. Es un proceso de Difusión?
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Estabilidad de procesos markovianos
Vimos que podemos construir cadenas y procesos de Markov a tiempo
discreto y continuo con marginales dadas.
Que ocurre cuando no conocemos la forma de la dist. invariante π ?
→ Esta pregunta es fundamental en métodos MCMC
Irreducibilidad: Un X := {Xn } se dice ψ-irreducible si existe ψ sobre X
t.q. siempre que ψ(A) > 0 se tiene que
P(τA < ∞ | X0 = x) > 0,
para toda x ∈ X y A ∈ X
donde τA := mı́n{n ≥ 1 : Xn ∈ A}
→ Irreducibilidad asegura que A será visitado por el proceso {Xn }, pero
tal vez no lo suficientemente seguido
→ Algún concepto de “ recurrencia ” a A se debe manejar para asegurar
la estabilidad de X
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Periodicidad
Un proceso X ψ-irreducible tiene periodo d si X se puede particionar en
conjuntos disjuntos N , D1 , . . . , Dd ∈ X para los cuales ψ(N ) = 0
P(x, Di+1 ) = 1 ∀x ∈ Di y i = 0, . . . , d − 1 y P(x, D1 ) = 1 para
x ∈ Dd .
El proceso X se dice periódico si d ≥ 2 y aperiódico si d = 1
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Recurrencia
Si denotamos el tiempo de ocupación en A como, ηA , tenemos
ηA =
∞
X
I{Xn ∈ A}
i=1
Es decir el número de visitas a A después del tiempo 0.
Recurrencia: Un proceso X := {Xn }∞
n=0 se dice recurrente (transitorio) si
es ψ-irreducible
Ex [ηA ] =
∞
X
n=1
Pn (x, A) = ∞ (< ∞)
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Recurrencia
Un A ∈ X se dice Harris recurrente si
P(ηA = ∞ | X0 = x) = 1
para todo x ∈ X
Se dice que el proceso X es Harris recurrente si es ψ-irreducible y
cada A ∈ X es Harris. Notemos que esta prop. ⇒ Ex [ηA ] = ∞
Sea π es una medida invariante para X. Se dice que es positiva
recurrente si π es finita.
E.o.c. se dice que X es recurrente nula o transitoria
→ Si X es Harris recurrente positiva y aperiodica, entonces
Z
lı́m Pn (x, A)µ(dx) − π(A) = 0, ∀A ∈ X
n→∞
TV
para toda dist. inicial µ y donde ||µ − ν||TV := supA∈X |µ(A) − ν(A)|
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Teorema Ergodico
Teorema
Supóngase que un proceso de Markov X es Harris positivo con
distribución invariante π. También supóngase que Eπ |g (X )| < ∞ para
alguna función g : X → R. Entonces, para cualesquiera x ∈ X
n−1
1X
g (Xi ) → Eπ (g (X )
ĝn :=
n
c.s. cuando n → ∞
i=0
→ Harris positiva recurrente y aperiódica garantiza la convergencia a la
distribución ergódica, sin detallar la velocidad de convergencia
→ Si X no es Harris pero es ψ-irreducible y aperiódica con invariante π,
||Pn (x, ·) − π(·)|| → 0
(*)
cuando n → ∞ para casi todo(π) x ∈ X, i.e. π(A) = 0 donde A denota
el conjunto de puntos iniciales x para los cuales (∗) no se satisface.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Ergodicidad geométrica
Un proceso X ψ-irreducible y aperiódico con dist. invariante π se dice
geometricamente ergódico si existe una función η : X → R y una
constante 0 < ρ < 1 t.q.
||Pn (x, ·) − π(·)|| ≤ η(x)ρn ,
para todo x ∈ X
Si η es acotada entonces se dice que es uniformemente ergódico
→ Si x no es un valor inicial malo, i.e. η(x) no es grande, la ergodicidad
geométrica garantiza una convergencia rápida del proceso.
→ Ergodicidad geométrica y uniforme se cumple para toda cadena de
Markov periódica con espacio de estados finito.
Cómo podemos asegurar que X tiene una ergodicidad geométrica?
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Ergodicidad geométrica: criterios
Dos condiciones son suficientes para ergodicidad geométrica.
Definición
Se dice que la condición de tendencia del tipo I satisface si existe una
función V : X → R+ y constantes 0 < γ < 1 y L < ∞ t.q.
Z
PV (x) := P(x, dy )V (y ) ≤ γV (x) + L para cualquier x ∈ X
A V y γ se les denomina la función y tasa de tendencia resp.
Definición
Se dice que la condición de minorización sobre C ∈ X se cumple si
existe m, ε > 0 y una med. de prob. Q, (X, X )-valuada, t.q.
Pm (x, A) ≥ εQ(A)
∀ x ∈ C, A ∈ X
A C se le denomina pequeño y a Q medida de minorización.
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Ergodicidad geométrica: criterios
Teorema
Si X is irreducible, periódico con distribución invariante π. Entonces X es
geométricamente ergódico si la condición de tendencia del tipo I se
satisface y existe alguna constante d > 2L/(1 − γ) para la condición de
minorización se cumple con m = 1 con C = {x : V (x) ≤ d}
Entonces (de la Def. de erg. geométrica) podemos tomar
η(x) ∝ V (x) + 1
⇒ Iniciar el proceso en X0 = x ∗ , donde x ∗ minimiza V (x), es ideal para
una tasa de convergencia geométrica.
⇒ Harris recurrente
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Ergodicidad geométrica: criterios
Proposición
Sea X ψ-irreducible y recurrente entonces existe C ∈ X pequeño t.q.
ψ(C ) > 0. Más aun la medida minorizante Q se puede definir t.q.
Q(C ) > 0.
Sup. X Harris recurrente positivo con dist. invariante π ⇒ m, ε > 0 y Q
t.q. ∀A ∈ X
Pm (x, A) ≥ εQ(A), para todo x ∈ C
Si m = 1 y verificamos que
P(x, A) = εQ(A) + (1 − ε)R(x, A)
con
R(x, A) =
P(x, A) − εQ(A)
1−ε
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Ergodicidad geométrica: criterios
Nótese que R(x, ·) es una medida de prob., (X, X )-valuada, para toda
x ∈ C . ⇒ P se puede ver como una mezcla de distribuciones, donde solo
R depende de x.
Argumento de acoplamiento.
∞
Sean {Zn }∞
n=1 y {Yn }n=1 los procesos asociados a cada componente
1 Mientras Zn 6= Yn
Si (Zn , Yn ) ∈
/ C × C . Genera Zn+1 ∼ P(Zn , ·) y Yn+1 ∼ P(Yn , ·)
Si (Zn , Yn ) ∈ C × C Genera δn ∼ Ber(ε)
Si δn = 0 Genera Zn+1 ∼ R(Zn , ·) y Yn+1 ∼ R(Yn , ·)
Si δn = 1 Genera Zn+1 = Yn+1 ∼ Q(·)
2 Cuando Zn = x = Yn Genera Zn+1 = Yn+1 ∼ P(x, ·)
Denotemos por T el tiempo (aleatorio) de acoplamiento. Entonces se da
la siguiente desigualdad de acoplamiento (demostración en clase)
||Pn (x, ·) − π(·)|| ≤ Px (T > n)
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Ergodicidad geométrica: criterios
Si C = X entonces T ∼ Geo(ε) entonces
||Pn (x, ·) − π(·)|| ≤ Px (T > n)) = (1 − ε)n
y por lo tanto se alcanza una ergodicidad uniforme.
Ejemplo (Metropolis-Hastings independiente) Consideremos una
distribución propuesta q y distribución estacionaria π. Un proceso
markoviano, reversible y homogéneo en el tiempo se puede construir con
la transición dada como sigue:
(i) Selecciona un valor inicial X0 = x0
(ii) En la iteración I, dado un valor anterior XI−1 = x, genera XI como
sigue:
Genera y ∼ q y u ∼ U(0, 1) de manera independiente
Calcula
π(y )q(x)
α(x, y ) = mı́n
,1
π(x)q(y )
Si u < α(x, y ), XI = y
E.o.c XI = x
Procesos Estocásticos (conceptos básicos!)
Estabilidad: Conceptos
Si las colas de q son lo suficientemente pesadas en comparación de las
colas de π, i.e. existe κ > 0 t.q.
π(x)
≤κ
q(x)
para cualquier x ∈ X
Es decir
||Pn (x, ·) − π(·)|| ≤ (1 − κ−1 )n
Cuando C 6= X la dist. de T es tipicamente complicada
→ No siempre se conoce Px (T > n)
Sin embargo, que X sea Harris recurrente ⇒ Px (T < ∞) = 1 ∀ x ∈ X y
Px (T > n) → 0, en otras palabras
||Pn (x, ·) − π(·)|| ≤ Px (T > n) → 0
→ La convergencia es geometrica si las colas de T tiene colas ligeras,
e.g. cuando existe un β > 1 t.q. E[β T ] < ∞