2.2. Una versión elemental de la ley fuerte de los números gran

34
CAPÍTULO 2. LEY DE LOS NÚMEROS GRANDES
Demostración. Por el Teorema 2.10, vemos que basta probar que

!2 
n
X
1 
E
(Xn,k − E(Xn,k ))  = 0.
lı́m
n→∞ n2
k=1
La esperanza en esta expresión se puede escribir como
n
X
V ar(Xn,k ) +
X
Cov(Xn,k , Xn,j ).
1≤k,j≤n
k=1
Por la hipótesis (i), basta probar que
1
n→∞ n2
lı́m
X
Cov(Xn,k , Xn,j ) = 0.
1≤k,j≤n
p
Ahora, Cov(Xn,k , Xn,j ) ≤ V ar(Xn,k )V ar(Xn,j ) ≤ V ar(Xn,k ) + V ar(Xn,j ). Luego, sólo tenemos que probar que para todo δ > 0 existe un m tal que
lı́m sup
n→∞
1
n2
X
Cov(Xn,k , Xn,j ) ≤ δ.
1≤k,j≤n:|k−j|≥m
Pero esto es evidentemente cierto porque el término del lado izquierdo de esta exresión es menor
o igual a supk,j:|k−j|≥m Cov(Xn,k , Xn,j ) que tiende a 0 por la condición (ii).
Una aplicación interesante de la ley de los números grandes para demostrar una versión del
teorema de aproximaciı́on de Weierstrass.
Teorema 2.12. (Teorema de Bernstein). Consideremos una función continua f en el intervalo [0, 1]. Luego, los polinomios de Bernstein
Bn (x) =
n
X
k=0
f (k/n)
n
k
xk (1 − x)n−k ,
aproximan uniformemente a f en [0, 1].
2.2.
Una versión elemental de la ley fuerte de los números grandes
La convergencia en probabilidad, en la ley débil de los números grandes, se puede fácilmente
transformar en convergencia casi segura, si le exigimos más a la sucesión de variables aleatorias
i.i.d.
Teorema 2.13. (Versión elemental de la ley fuerte de los números grandes). Consideremos una sucesión {Xn : n ≥ 1} de variables aleatorias i.i.d. con momentos de orden 4
finitos. Luego
Pn
k=1 Xk
= E(X1 ) = 1.
P lı́m
n→∞
n
2.2. UNA VERSIÓN ELEMENTAL DE LA LEY FUERTE DE LOS NÚMEROS GRANDES35
Demostración. Basta probar que para todo ǫ > 0,
Pn
k=1 Xk
− E(X1 ) ≤ ǫ
lı́m sup n
n→∞
P − c.s.
Es decir que
Pn
k=1 Xk
P − E(X1 ) > ǫ i.o. = 0.
n
(2.7)
Ahora, si Yk = Xk − E(Xk ), vemos que
n
X
Pn
k=1 Xk
1
− E(X1 ) > ǫ ≤ 4 4 E
P n
ǫ n
Pero
E
n
X
k=1
Yk
!4
Ocupando el hecho que E(Y
(2.8) está acotada por
=
X
E(Yi Yj Yk Yl ) = nE(Y14 ) +
i,j,k,l
)2
k=1
Yk
!4
.
(2.8)
n(n − 1)
E(Y12 )2 .
2
≤ E(Y 2 ), vemos entonces que la probabilidad en la ecuación
2 1
E(Y 4 ).
ǫ4 n 2
Como esto define una serie sumable, el lema de Borel-Cantelli implica (2.7).
Ahora estudiaremos una contraparte del lema de Borel-Cantelli estudiado en el capı́tulo
anterior, que nos permitirá obtener algunas conclusiones sobre las condiciones bajo las que se
satisface una ley de los números grandes.
Teorema 2.14. (Segundo P
lema de Borel-Cantelli). Sea {An } una sucesión de eventos
independientes que satisface ∞
n=1 P (An ) = ∞. Luego
P (An i.o.) = 1.
(2.9)
Demostración. Sean k > n naturales. Luego
P (∩kj=n Acj ) = Πkj=n (1 − P (Aj )) ≤ e−
Pk
j=n
P (Aj )
,
donde hemos ocupado la desigualdad 1 − x ≤ e−x . Luego, P (∪∞
j=1 Aj ) = 1, lo que claramente
implica (2.9).
Una aplicación interesante de este resultado es la siguiente.
Teorema 2.15. Sea {Xn } una sucesión de variables aleatorias i.i.d. Supongamos que X1 no
es integrable. Luego
!
n
1X
Xk existe = 0.
P lı́m
n→∞ n
k=1
36
CAPÍTULO 2. LEY DE LOS NÚMEROS GRANDES
Teorema 2.16. (Condición necesaria para la ley fuerte). Sea {Xn : n ≥ 1} una sucesión
de variables aleatorias i.i.d. en un espacio de probabilidad (Ω, M, P ). Supongamos que X1 no
es integrable. Luego, si {an } es una sucesión de números reales,
Pn
k=1 Xk
− an = ∞, P − c.s.
lı́m sup n
n→∞
2.3.
La desigualdad de Kolmogorov
Aquı́ desarrollaremos algunas herramientas que posteriormente nos permitirán demostrar
la ley fuerte de los números grandes bajo la hipótesis de integrabilidad de los términos de
la sucesión de variables aleatorias. En el resto de este capı́tulo, dadas variables aleatorias
X1 , . . . , Xn definimos
Sn = X1 + · · · + Xn .
Lema 2.17. (Desigualdad de Kolmogorov). Sean X1 , . . . , Xn variables aleatorias independientes tales que E(Xi ) = 0 y V ar(Xi ) = σi2 < ∞ para 1 ≤ i ≤ n. Luego para todo ǫ > 0 se
tiene que
Pn
σk2
.
P ( sup Sm ≥ ǫ) ≤ k=1
ǫ2
1≤m≤n
Demostración. Consideremos los eventos Fm = {|S1 | < ǫ, . . . , |Sk−1 | < ǫ, |Sk | ≥ ǫ}. Luego
P (Fm ) ≤
1
ǫ2
R
R 2
2 dP ≤ 1
S
(Sm + (Sn − Sm )2 )dP
2
m
Fm
ǫ
R
2 dP.
= ǫ12 Fm Sm
(2.10)
Ocupando el hecho de que {Sn ≥ ǫ} = ∪nm=1 Fm , donde la unión es disjunta, y sumando sobre
la desigualdad (2.10), terminamos la demostración.
Tenemos la primera aplicación de la desigualdad de Kolmogorov.
Teorema 2.18. (Teorema de una serie de Kolmogorov).
Sea {Xn : n ≥ 1} una sucesión
P
de variables aleatorias independientes centradas tales que ∞
n=1 V ar(Xn ) < ∞. Luego, la serie
∞
X
Xn ,
n=1
converge c.s.
Demostración. Por la desigualdad de Kolmogorov, para todo ǫ > 0 y m ≤ n,
∞
1 X
V ar(Xi ).
P ( sup |Si − Sm | ≥ ǫ) ≤ 2
ǫ
m≤i≤n
k=m+1
Por lo tanto
lı́m sup P ( sup |Si − Sm | ≥ ǫ) = 0.
m→∞ n≥m
m≤i≤n
37
2.3. LA DESIGUALDAD DE KOLMOGOROV
Es decir
lı́m P ( sup |Si − Sm | ≥ ǫ) = 0.
m→∞
m≤i<∞
Esto implica que existe una subsucesión {mj } de {m} tal que la serie definida por P (supmj ≤i<∞ |Si −
Smj | ≥ ǫ), es convergente. Por el lema de Borel-Cantelli, esta subsucesión de supmj ≤i<∞ |Si −
Smj | converge casi seguramente a 0. Como supm≤i<∞ |Si − Sm | es decreciente, esto implica que
converge casi seguramente a 0.
Teorema 2.19. (Teorema de las dos series de Kolmogorov). Sea {Xn : n ≥ 1} una
sucesión de variables aleatorias independientes
P n) y
P
P de2 cuadrado integrable. Sea mn = E(X
2
σn = V ar(Xn ). Luego, si las series n mn y n σn son convergentes, entonces la serie n Xn
converge casi seguramente.
Demostración. Basta aplicar el teorema anterior a la sucesión definida por Xn′ = Xn − mn .
Lema 2.20. Sea {Xn } una sucesión de variablesP
aleatorias independientes centradas y acotadas
por
una
constante
K
>
0.
Luego,
si
la
serie
n Xn es c.s. convergente, entonces la serie
P
n V ar(Xn ) es convergente.
Demostración. Consideremos el evento En = {|S1 | ≤ C, . . . , |Sn | ≤ C}. Necesariamente,
existe un C > 0 y un δ > 0 tal que P (En ) ≥ δ para todo n. Por otra parte
Z
Z
Z
2
2
2
Sn−1 dP + δV ar(Xn ).
(Sn−1 + Xn )dP ≥
Sn dP =
En−1
En−1
En−1
Además
Z
En−1
Sn2 dP ≤
Z
En
Sn2 dP + P (En−1 ∩ Enc )(C + K)2 .
De aquı́ deducimos que
∞
X
V ar(Xn ) ≤
k=1
1 2
(C + (ǫ + K)2 ).
δ2
Teorema 2.21. (Teorema de las tres series de Kolmogorov). Sea {Xn : n ≥ 1} una
sucesión de variables aleatorias independientes. Luego las siguientes afirmaciones son equivalentes.
1. La serie
P
n Xn
converge casi seguramente.
2. Existe una constante K > 0 tal que la siguientes tres series convergen,
X
P (|Xn | > K),
n
X
n
E(Xn 1|Xn |≤K ),
38
CAPÍTULO 2. LEY DE LOS NÚMEROS GRANDES
y
X
V ar(Xn 1|Xn |≤K ).
n
P
Demostración. Supongamos que la serie n Xn converge casi seguramente. Por la segunda
parte del lema de Borel-Cantelli se tiene que necesariamente la primera serie es convergente.
P
Además, casi seguramente existe un N tal que |Xn | ≤ K para n ≥ N . Luego se tiene que n Yn
converge c.s. donde Yn = Xn 1|Xn |≤K . Consideremos ahora para cada
aleatorias
P n, variables
′
′
independientes Yn con la misma
la serie n (Yn − Yn ) converge c.s.
P ley que Yn . Claramente,
′ ) converge. Pero V ar(Y − Y ′ ) = 2V ar(Y ).
Por el lema anterior,
la
serie
V
ar(Y
−
Y
n
n
n
n
n
n
P
Luego,
la
serie
V
ar(Y
)
es
convergente.
Por
el
teorema
de
una
serie
de
Kolmogorov,
la
serie
n
n
P
P
n (Yn − E(Yn ) es c.s. convergente. Por lo tanto
n E(Yn ) es convergente.
Ahora supongamos que las tres series convergen. Por
P el teorema de una serie de Kolmogorov, la convergencia de la tercera serie implica que Pn (Yn − E(Yn ) es convergente c.s. La
convergencia de la segunda serie implica entonces que n Yn es c.s. convergente. Finalmente,
la
P primera parte del lema de Borel-Cantelli y la convergencia de la primera serie implica que
n Xn es convergente.
El teorema de una serie de Kolmogorov puede ocuparse para probar que la serie
∞
X
n=1
cn
sin(2πnt)
,
n
donde {cn } son variables aleatorias normales centradas de varianza 1, es c.s. convergente. En
realidad, el lı́mite es lo que se conoce como movimiento browniano.
2.4.
Ley fuerte de los números grandes
Tenemos ahora todas las herramientas para demostrar la ley fuerte de los números grandes.
Comenzaremos con un primer lema sobre sucesiones reales que se puede probar ocupando suma
por partes.
Lema 2.22. Consideremos una sucesi’on real {xn : n ≥ 1} tal que
∞
X
xn
n=1
converge. Luego
n
n
1X
xk = 0.
n→∞ n
lı́m
k=1
Teorema 2.23. (Ley fuerte de los números grandes). Sea {Xn : n ≥ 1} una sucesión de
variables aleatorias i.i.d. centradas e integrables. Luego
Pn
k=1 Xk
= 0.
lı́m
n→∞
n
2.4. LEY FUERTE DE LOS NÚMEROS GRANDES
39
Demostración. Para cada n consideremos la variable aleatoria Yn = Xn 1|Xn |≤n . Notemos
que
=
P∞
P∞
2
2
n=1 V ar((Yn /n) ) ≤
n=1 E((Yn /n) )
R
R
P
P∞
x2
x2 n≥|x| n12 dFX1 ≤ KE|X|.
n=1 |x|≤n n2 dFX1 =
Por el teorema de una serie de Kolmogorov, esto implica que
∞
X
Yn − E(Yn )
n
n=1
converge c.s. Ahora,
∞
X
P (Xn 6= Yn ) =
∞
X
P (|Xn | > n) < ∞.
n=1
n=1
Luego, por el lema de Borel-Cantelli, la serie
∞
X
Xn − E(Yn )
n
n=1
converge c.s. Por el lema anterior esto implica que
n
1X
(Xk − E(Yk ))
n→∞ n
lı́m
k=1
tiende a 0 c.s. Pero lı́mn→∞ E(Yn ) = 0, lo que demuestra el teorema.
Terminamos esta sección con una aplicación. Dada una sucesión de variables aleatorias i.i.d.
{Xn } definimos la función de distribución empı́rica de los primeros n términos por
n
Fn (x) :=
1X
1(−∞,x] (Xk ).
n
k=1
Teorema 2.24. (Teorema de Glivenko-Cantelli). Sea {Xn } una sucesión de variables
aleatorias i.i.d. Luego la función de distribución empı́rica de los primeros n términos converge
c.s. a la función de distribución de X1 .
Demostración. Por la ley fuerte de los números grandes es obvio que para cada x tenemos
que c.s.
lı́m |Fn (x) − FX1 (x)| = 0.
n→∞
Luego, podemos elegir una colección finita de puntos x1 , . . . , xN tales que F (x1 ) ≤ ǫ, F (xN ) ≥
1 − ǫ, F (xj+1 ) − F (xj ) ≤ ǫ y c.s.
lı́m
sup |Fn (xj ) − FX1 (xj )| = 0.
n→∞ 1≤j≤N
Es fácil ver ocupando la monotonı́a de FX1 y Fn que esto implica el teorema.