Cap´ıtulo 1 Convergencia

Capı́tulo 1
Convergencia
1.1
Introducción
En este capı́tulo estudiaremos el comportamiento asintótico de sucesiones
de variables aleatorias, daremos distintas definiciones de convergencia y demostraremos dos de los Teoremas más importantes de la Teorı́a de Probabilidad, de hecho los dos resultados que podrı́amos decir le dieron vida a esta
área del conocimiento.
Antes de estudiar las distintos modos de convergencia, es importante
preguntarse de dónde surgen estos resultados? cuál es la motivación para el
estudio del comportamiento en el lı́mite de sucesiones de variables aleatorias.
Desde la prehistoria de la Probabilidad, se ha deseado dar una interpretación a la Probabilidad, intuitivamente, se consideraba que la probabilidad de un evento era algo ası́ como un lı́mite de frecuencias relativas (de
hecho la escuela frecuentista la define ası́), es decir si A es un evento
P [A] ≈
nA
n
donde nA es el número de veces que ha ocurrido el evento A en n ensayos
independientes del mismo experimento.
A esta propiedad se le llamó (como lo hemos ya mencionado en ??) Regularidad Estadı́stica. Aún cuando ya hemos visto que esta definición frecuentista de la Probabilidad no tiene sentido, serı́a importante saber si desde el
punto de vista del Modelo Axiomático de la Probabilidad existe una Ley
emanada de sus axiomas que sea la contraparte teórica de la regularidad
estadı́stica.
1
2
CAPÍTULO 1. CONVERGENCIA
Esta Ley conocida como La Ley de los Grandes Números será estudiada
en las Secciones 2 y 3 de este Capı́tulo y esencialmente dice los siguiente:
Teorema 1.1 Ley de los Grandes Números. Sea (Xn )n≥1 una sucesión de
variables aleatorias independientes e idénticamente distribuidas con esperanza µ. Entonces
Pn
k=1
n
Xk
,
converge en algún sentido a µ.
Este Teorema no sólo nos dice que efectivamente existe una Ley emanada
de los axiomas sino que provee de lo que en Estadı́stica se conoce como un
estimador de µ. Definiremos y demostraremos esta propiedad para dos tipos
de convergencia, a saber, la convergencia casi segura y la convergencia en
probablidad.
Sin embargo, el hecho de que
Pn
k=1
n
Xk
≈ µ,
en ocasiones no es suficiente. Más precisamente, por ejemplo, en un contexto
de inferencia sea (Xn )n≥1 una sucesión de variables aleatorias independientes
e idénticamente distribuidas según F0 con media µ desconocida.
Pn
Supongamos que para cada n ≥ 1, Sn =
k=1 Xk y supongamos que
Sn
queremos probar con la ayuda de n que µ > 5. La Ley de los Grandes
Números nos dice que este cociente es muy cercano a µ para n suficientemente
grande, ası́ es que en primera instancia podrı́amos pensar que no es tan
descabellado. Sin embargo, se quiere más, es decir, se quiere dar un criterio
que nos diga algo en el siguiente sentido:
Rechace la Hipótesis de µ > 5 si Snn excede a un cierto número.
Si se conociera la distribución de Snn se podrı́a exhibir ese cierto número
que garantizara que este cociente lo excede sólo con probabilidad α (por
ejemplo, α = 0.05).
Sin embargo, lo que ocurre es que no conocemos su distribución, supongamos que “alguien” demostró que su distribución converge a una distribución
conocida cuando n → ∞. Entonces se podrı́a usar la distribución lı́mite como
una aproximación.
El Teorema de Lı́mite Central es en este sentido y dice lo siguiente:
1.2. CONVERGENCIA CASI SEGURA
3
Teorema 1.2 Sea (Xn )n≥1 una sucesión de variables aleatorias independientes, idénticamente distribuidas con media µ y varianza σ 2 , entonces
Sn − nµ
√
lim P
≤ x = P [X ≤ x],
n→∞
σ n
donde X es una variable aleatoria N (0, 1).
El lı́mite del Teorema anterior es un lı́mite de las funciones de distribución
y se conoce como convergencia en distribución. P
En todo este Capı́tulo denotaremos por Sn = nk=1 Xk .
1.2
Convergencia Casi segura
En toda esta sección consideraremos (Ω, F, P ) un espacio de probabilidad
fijo. Las sucesiones de variables aleatorias estarán definidas en este espacio.
Definición 1.1 Convergencia Puntual. Una sucesión de variables aleatorias
(Xn )n≥1 se dice que converge en el punto ω ∈ Ω si la sucesión de números
reales (Xn (ω))n≥1 converge.
Definición 1.2 Conjunto de Convergencia. El conjunto de puntos ω ∈ Ω
para los cuales la sucesión (Xn (ω))n≥1 converge será llamado el conjunto de
convergencia.
Sea (Xn )n≥1 una sucesión de variables aleatorias y C su conjunto de convergencia. Consideremos la función X : Ω → R definida por:
limn→∞ Xn (ω), si ω ∈ C,
X(ω) =
(1.1) {variablelimite}
c,
si ω ∈ C c .
Para ω ∈ Ω fijo tal que Xn (ω) no converge a X(ω), entonces de la definición
de convergencia de sucesiones de números reales, existe ε > 0 tal que
|Xn − X| > ε,
para una infinidad de n0 s.
Obsérvese que para cada ε > 0
{ω ∈ Ω||Xn (ω) − X(ω)| > ε, para una infinidad de n0 s}
∞ [
∞
\
=
{ω ∈ Ω| |Xl (ω) − X(ω)| > ε}
=
n=1 l=n
∞
∞ [
\
n=1 l=n
[ |Xl − X| > ε]
(Notación).
(1.2)
4
CAPÍTULO 1. CONVERGENCIA
Luego entonces, el complemento del conjunto de convergencia C estará dado
por:
"∞ ∞ #
∞
[
\[
1
.
(1.3) {conjuntoconve
Cc =
|Xl − X| >
k
k=1 n=1 l=n
Claramente el conjunto de convergencia es un evento y podemos concluir
entonces que la sucesión (Xn )n≥1 , converge a X sobre C.
Definición 1.3 Convergencia Casi Segura. Una sucesión de variables aleatorias (Xn )n≥1 se dice que converge casi seguramente si su conjunto de convergencia tiene probabilidad 1.
La convergencia casi segura la denotaremos por
c.s.
Xn → X
donde X es la variable aleatoria definida por la expresión (1.1).
Obsérvese que:
c.s.
Xn → X,
P [Xn , no converge a X] = P [C c ] = 0
Ejemplo 1.1 Consideremos el experimento de elegir un punto al azar en el
intervalo (0, 1). Para cada n ≥ 1, definimos
Xn (ω) =
1
[nω],
n
donde [·] denota la parte entera de ·.
Es claro que
lim Xn (ω) = X(ω) = ω,
n→∞
para toda ω ∈ Ω.
c.s.
Por lo tanto, Xn → X.
Ejemplo 1.2 Sea (Xn )n≥1 una sucesión de variables aleatorias independientes, idénticamente distribuidas, con función de distribución F . Supongamos que F (x) < 1 para toda x < x0 , x0 ∈ R ∪ ∞. Para cada n ≥ 1 sea
X(n) definida por:
X(n) = max{X1 , ..., Xn }
Entonces
lim X(n) = x0 ,
n→∞
casi seguramente
1.2. CONVERGENCIA CASI SEGURA
5
Para cada ω ∈ Ω fijo, la sucesión (X(n) (ω))n≥1 es una sucesión creciente. Por
lo tanto, si x0 = ∞, converge a un lı́mite finito si y sólo si está acotada. Sea
C = {ω ∈ Ω| (X(n) (ω))n≥1 converge a un lı́mite finito}
= {ω ∈ Ω| (X(n) (ω))n≥1 , está acotada}.
Demostraremos que
P [C] = 0.
Obsérvese que
C=
∞
[
[X(n) < M, n ≥ 1],
M =1
por lo tanto, es suficiente probar que para cada M ∈ IN ,
P [X(n) < M, n ≥ 1] = 0
Ası́, para toda k ≥ 1 y puesto que las variables aleatorias Xn , n ≥ 1 son
independientes
P [X(n) < M, n ≥ 1] ≤ P [X(n) < M, 1 ≤ n ≤ k] = F k (M ).
Por hipótesis F (x) < 1 para toda x ∈ R, lo que implica que F k (M ) → 0
cuando k → ∞. Por lo tanto,
P [X(n) < M, n ≥ 1] = 0.
Si x0 < ∞, para cada ω ∈ Ω la sucesión converge, ya que P [X(n)) ≤ x0 ] =
1. y el lı́mite es menor o igual que x0 . Para cada M < x0 , sea
C M = {ω ∈ Ω| lim X(n) (ω) ≤ M },
n→∞
lim X(n) (ω) ≤ M, si y sólo si X(n) < M, n ≥ 1.
n→∞
Siguiendo la misma demostración que en el caso anterior, tenemos que
P [C M ] = 0,
para toda M < x0 ,
por lo tanto el lı́mite es igual a x0 .
2
6
CAPÍTULO 1. CONVERGENCIA
Ejemplo 1.3 Consideremos una sucesión infinita de ensayos Bernoulli independientes con probabilidad p (< 1) de éxito. Sea
n, si los primeros n ensayos fueron fracaso,
Xn (ω) =
k, si el primer éxito ocurrió en el ensayo k, k ≤ n.
c.s.
Entonces, Xn → X, donde X es una variable aleatoria Geométrica con
parámetro p.
Para cada ω ∈ Ω la sucesión (Xn (ω))n≥1 es no-decreciente, por lo tanto,
la sucesión no converge si y sólo si tiende a infinito. Probaremos que la
probabilidad del conjunto de las ω ∈ Ω tales que la sucesión tiende a ∞ tiene
probabilidad cero:
"
#
\
P [lim Xn = ∞] = P
[Xn = n] ≤ P [Xn = n] = (1 − p)n−1 → 0.
n
n≥1
Es claro de la definición que si (Xn (ω))n≥1 converge, esto implica que es
constante a partir de una cierta k ≥ 1, donde k es el ensayo en el que ocurre
el primer éxito. Por lo tanto la variable aleatoria lı́mite es una variable
aleatoria Geométrica con parámetro p.
2
Finalmente demostraremos La Ley de los Grandes Números mencionada en
la Introducción.
Teorema 1.3 Ley Fuerte de Los Grandes Números. (Kolmogorov). Sea
(Xn )n≥1 una sucesión de variables aleatorias independientes e idénticamente
distribuidas. Entonces
Sn
converge casi seguramente,
n
si y sólo si las variables aleatorias Xn tienen esperanza finita y
Sn c.s.
→ E[X1 ],
n
donde Sn =
Pn
k=1
Xk .
1.2. CONVERGENCIA CASI SEGURA
7
La demostración de la Ley Fuerte de los Grandes Números es complicada
y está más allá de los conocimientos del nivel de este libro, por lo que nos
contentaremos con demostrar una Ley Fuerte diferente cuya demostración es
muy simple.
El resultado que probaremos aún cuando impone condiciones más fuertes
sobre la existencia de los momentos de las variables aleatorias, no requiere
que éstas sean idénticamente distribuidas. Recuérdese que de la expresión
1.3 demostrar la convergencia casi segura es equivalente a probar que la
probabilidad del complemento del conjunto de convergencia C es igual a cero.
El Lema siguiente conocido como el Lema de Borel-Cantelli será fundamental
en la demostración.
Lema
P 1.1 Lema de Borel-Cantelli. Sea (An )n≥1 una sucesión de eventos tal
que n≥1 P [An ] < ∞. Entonces
0
P [An , ocurra para una infinidad de n s] = P [
∞ [
∞
\
Al ] = 0.
n=1 l=n
Demostración
De la definición se tiene que para toda n ≥ 1,
"∞ #
"∞ ∞ #
∞
X
[
\[
P [Al ]
Al ≤
P
Al ≤ P
n=1 l=n
l=n
l=n
P
P∞
[An ] < ∞, por lo tanto, ∞
Por hipótesis T
l=n P [Al ] → 0 cuando n →
n=1 P S
∞
∞
∞, de donde P [ n=1 l=n Al ] = 0.
2
Teorema 1.4 Una Ley Fuerte de los Grandes Números. Sea (Xn )n≥1 una
sucesión de variables aleatorias independientes, con cuarto momento finito.
Supongamos que para toda n ≥ 1, E[Xn ] = µ, V ar(Xn ) = σ 2 y E[(Xn −
µ)4 ] = ρ. Entonces
Sn c.s.
→ µ,
n
P
donde Sn = nk=1 Xk .
Demostración
8
CAPÍTULO 1. CONVERGENCIA
De la expresión 1.3, es suficiente demostrar que para toda ε > 0,
Sn
P − µ > ε, o.i. = 0.
n
Por el Lema anterior basta probar que
∞
X
Sn
P − µ > ε < ∞.
n
n=1
De la Desigualdad de Bienaymé-Chebyshev y puesto que las variables aleatorias Xk son independientes, con varianza y cuartos momentos centrales comunes se tiene
#
" n
X
Sn
P − µ > ε = P (Xk − µ > εn
n
k=1
n
X
1
≤
E[( (Xk − µ))4 ]
(εn)4
k=1
1
[nE[(X1 − µ)4 ] + n(n − 1)(E[(X1 − µ)2 ])2
(εn)4
K
≤
,
n2
P
2
donde K es una constante. Ya que n≥1 n12 = π6 , se obtiene que
∞
X
Sn
P − µ > ε < ∞.
n
n=1
=
2
Una consecuencia de la Ley de los Grandes Números es la aproximación de
la distribución de una variable aleatoria por lo que llamaremos el Proceso
Empı́rico y que definimos a continuación:
Sea (Xn )n≥1 una sucesión de v.a.i.i.d. Para cada x ∈ R y n ∈ N definimos
1, si Xn ≤ x,
11[Xn ≤x] =
0, si Xn > x,
y
n
Sn (x)
1X
Nn (x) =
=
11[Xn ≤x] .
n
n i=1
1.3. CONVERGENCIA EN PROBABILIDAD
9
A Las variables aleatorias Nn (x), x ∈ R se le conoce como el Proceso
Empı́rico.
Corolario 1.1 Sea (Xn )n≥1 una sucesión de v.a.i.i.d. con función de distribución F . Entonces, para cada x ∈ R
c.s.
Nn (x) → F (x),
cuando n → ∞
La demostración se sigue inmediatamente de la Ley Fuerte de los Grandes
Números. De hecho se tiene un resultado más fuerte que no demostraremos:
Teorema 1.5 Teorema de Glivenko-Cantelli. Sea (Xn )n≥1 una sucesión de
v.a.i.i., con distribución F . entonces
c.s.
sup |Nn (x) − F (x)| → 0,
cuando n → ∞.
x∈R
1.3
Convergencia en Probabilidad
Un tipo de convergencia más débil que la convergencia casi segura es la llamada convergencia en probabilidad. Antes de dar la definición consideremos
el siguiente ejemplo que es muy ilustrativo.
{ejeconvprob}
Ejemplo 1.4 Consideremos nuevamente el experimento de elegir un punto
al azar en el intervalo (0, 1) y sea (Xnk )n≥1,0≤k≤n−1 una sucesión de variables
aleatorias definidas de la de siguiente manera:
, si 0 ≤ k ≤ n − 1,
1, nk ≤ ω < k+1
n
Xnk (ω) =
0, en otro caso.
Esto es, tenemos el siguiente arreglo:
X10
X20 ,
X30 ,
..
.
X21
X31 , X32
..
..
.
.
Xn0 , Xn1 , Xn2 , · · · , Xnn−1
..
..
..
..
..
.
.
.
.
.
10
CAPÍTULO 1. CONVERGENCIA
GRAFICAS
Es posible escribir el arreglo como una sola sucesión, (Ym )m≥1 de la siguiente manera:
Yn(n−1)/2+k+1 = Xnk ,
Obsérvese que para cada ω ∈ (0, 1) hay una infinidad de parejas (n, k) para
las que Xnk = 0 y también una infinidad para las que Xnk = 1. Por lo
tanto, para toda ω ∈ (0, 1) la sucesión (Ym (ω))m≥1 no converge, es decir, su
conjunto de convergencia tiene probabilidad cero.
Sin embargo, es claro que para n suficientemente grande, las variables
aleatorias Xnk son muy parecidas a la variable aleatoria X ≡ 0. De hecho
son iguales a cero excepto en un conjunto de probabilidad n1 , lo que sugiere
la siguiente definición:
Definición 1.4 Convergencia en Probabilidad. Una sucesión (Xn )n≥1 de
variables aleatorias se dice que converge en probabilidad a la variable aleatoria
X si para cada ε > 0 se satisface:
lim P [|Xn − X| > ε] = 0
n→∞
P
La convergencia en probabilidad será denotada por Xn → X.
Claramente la sucesión de variables aleatorias (Ym )m≥1 del Ejemplo 1.4 converge en probabilidad a la variable aleatoria X ≡ 0.
A continuación presentamos algunas de las Leyes Débiles de los Grandes
Números. El apellido Débiles se refiere a la convergencia en probabilidad y
no casi segura que como hemos visto con el Ejemplo 1.4 es más débil.
Teorema 1.6 Sea (Xn )n≥1 una sucesión de variables aleatorias, entonces
1. Ley Débil de los Grandes Números de Bernoulli. Si X1 , X2 , ...., Xn , ...
son variables aleatorias independientes idénticamente distribuidas, con
distribución Bernoulli con parámetro p, entonces
Sn P
→ p.
n
2. Ley Débil de los Grandes Números. Si X1 , ..., Xn , ... son variables
aleatorias independientes idénticamente distribuidas con E[X1 ] = µ,
entonces
Sn P
→ µ.
n
1.3. CONVERGENCIA EN PROBABILIDAD
11
3. Ley Débil de los Grandes Números de Poisson. Si X1 , ..., Xn , ... son
variables aleatorias independientes, y para cada i, Xi tiene distribución
Bernoulli con parámetro pi , i ≥ 1, entonces
Sn
Sn P
−E
→ 0.
n
n
4. Ley Débil de Chebyshev. Si X1 , ..., Xn , ... son variables aleatorias no
correlacionadas, es decir, Cov(Xi , Xj ) = 0 para i 6= j, y V ar(Xi ) ≤
M < ∞ para toda i ≥ 1, entonces
Sn P
Sn
→ 0.
−E
n
n
5. Ley Débil de Markov. Si X1 , ..., Xn , ... son variables aleatorias con segundo momento finito tales que:
Sn
V ar
→ 0, Condición de Markov,
n
Entonces
Sn P
Sn
−E
→ 0.
n
n
Demostración
De estas Leyes puede demostrarse fácilmente que
(i) La Ley Débil de Markov es más fuerte que la de Chebyshev y que la Ley
Débil.
(ii) La Ley Débil de Chebyshev es más fuerte que la de Poisson.
(iii) La Ley Débil de Poisson es más fuerte que la de Bernoulli.
(iv) La Ley Débil es más fuerte que la de Bernoulli.
Luego entonces, es suficiente demostrar la Ley de Markov, la cual se sigue de
la Desigualdad de Bienaymé-Chebyshev:
Dada ε > 0, se tiene:
Sn
Sn
V
ar
S
n
n
>ε ≤
P − E
.
n
n ε2
12
CAPÍTULO 1. CONVERGENCIA
La Condición de Markov implica ası́ la convergencia en probabilidad.
2
Como hemos visto en el Ejemplo 1.4 la convergencia en probabilidad no
implica la convergencia casi segura, sin embargo, el recı́proco si es válido:
c.s.
Teorema 1.7 Sea (Xn )n≥1 una sucesión de variables aleatorias. Si Xn → X
P
entonces Xn → X.
Demostración
c.s.
Supongamos que Xn → X y sea C su conjunto de convergencia. Entonces
para n ≥ 1 y ε > 0:
[
[|Xn − X| > ε] ⊂
[|Xk − X| > ε].
k≥n
Sea
B(ε) =
∞
\ [
[|Xk − X| < ε],
n≥1 k=n
entonces B(ε) ⊂ C c , por lo tanto P [B(ε)] = 0. Por otro lado,
0 = P [B(ε)] = lim P [
n→∞
[
[|Xk − X| > ε],
k≥n
de donde se obtiene el resultado.
2
Volviendo al Ejemplo 1.4 se puede observar que si bien el conjunto de convergencia de la sucesión tiene probabilidad 0 se puede considerar una subsucesión
que converge casi seguramente a la variable aleatoria X = 0, por ejemplo la
subsucesión (Xn1 )n≥1 . Esto no es casual, de hecho es un resultado general,
que enunciamos a continuación pero que omitimos su demostración.
P
Teorema 1.8 Sea (Xn )n≥1 una sucesión de variables aleatorias. Si Xn → X
c.s.
entonces existe una subsucesión (Xnk )nk ≥1 tal que Xnk → X.
1.4. CONVERGENCIA EN DISTRIBUCIÓN
1.4
13
Convergencia en Distribución
En las definiciones de convergencia casi segura y en probabilidad, se consideró
un espacio de probabilidad (Ω, F, P ) fijo en donde estaban definidas todas
las variables aleatorias. La convergencia en distribución que se definirá a
continuación es un concepto que se refiere no a una propiedad de convergencia
de las variables aleatorias sino de las funciones de distribución. Ası́, las
variables aleatorias en consideración en esta sección pueden estar definidas
en distintos espacios de probabilidad.
Definición 1.5 Sea (Xn )n≥1 una sucesión de variables aleatorias y (Fn )n≥1
la sucesión correspondiente de funciones de distribución. Diremos que Xn
converge en distribución a (la variable aleatoria) X con función de distribución F , si
lim Fn (x) = F (x),
n→∞
para todo x ∈ R, punto de continuidad de F . La convergencia en distribución
D
D
la denotaremos Xn → X (o Fn → F ).
Ejemplo 1.5 Para cada n ≥ 1 sea Xn una variable aleatoria uniforme sobre
D
el intervalo (− n1 , n1 ). Entonces Xn → X, donde P [X = 0] = 1.
La función de distribución Fn de Xn está dada por

si x ≤ − n1 ,
 0,
1
(1 + nx), si − n1 < x < n1 ,
Fn (x) =
 2
1,
si x ≥ n1 .
Cuando n → ∞ la sucesión de funciones Fn tiende a G, donde

 0, si x < 0,
1
, si x = 0,
G(x) =
 2
1, si x > 0.
La función G no es una función de distribución ya que no es continua por la
derecha. Consideremos la función de distribución F de la variable aleatoria
X que es la constante igual a 0, es decir,
0, si x < 0,
F (x) =
1, si x ≥ 0,
14
CAPÍTULO 1. CONVERGENCIA
D
Claramente, de la definición de convergencia en distribución Xn → X, pues
Fn (x) converge a F (x) para toda x 6= 0 y el 0 no es un punto de continuidad
de la función F .
Obsérvese que en este ejemplo las variables aleatorias Xn pueden estar
definidas en distintos espacios de probabilidad.
{constanten}
Ejemplo 1.6 Para cada n ≥ 1 sea Xn la variable aleatoria constante igual
a n, es decir, P [Xn = n] = 1. La función de distribución Fn de Xn está dada
por:
Fn (x) = 11[n,∞) (x),
Luego, entonces
lim Fn (x) = 0,
n→∞
para toda x ∈ R.
Sin embargo, la función idénticamente cero no es una función de distribución.
Esto es, aún cuando para toda x ∈ R el limn→∞ Fn (x) existe, el lı́mite no
es función de distribución, por lo tanto la sucesión (Xn )n≥1 no converge en
distribución.
Ejemplo 1.7 Sea X una variable aleatoria N (0, 1). Para cada n ≥ 1 sea
Xn la variable aleatoria definida por:
Xn (ω) = (−1)n X(ω).
D
La distribución de Xn es también N (0, 1), por lo tanto, Xn → X.
De este ejemplo se puede concluir que aún cuando las variables aleatorias
estén definidas en el mismo espacio de probabilidad, la convergencia en distribución no nos da información acerca de la convergencia de las variables
aleatorias, pues en este caso,
2X, si n es par,
|Xn − X| =
0,
si n es impar.
Ejemplo 1.8 Sea (Xn )n≥1 una sucesión de variables aleatorias independientes e idénticamente distribuidas Exponenciales con parámetro λ > 0. Sea
Mn = max {X1 , ..., Xn } y
Zn = λMn − log n,
1.4. CONVERGENCIA EN DISTRIBUCIÓN
15
enotonces, para cada x ∈ R y n tal que x + log n > 0
Fn (x) = P [Zn ≤ x] = P [Mn ≤
1
(x + log n)]
λ
1
= (1 − exp(−λ (x + log n))n
λ
−x n
e
.
=
1−
n
Por lo tanto,
lim Fn (x) = exp(−e−x ).
n→∞
La función
F (x) = exp(−e−x ),
es una función de distribución llamada la distribución Gumbel. Es decir
D
Zn → Z, donde Z es una variables aleatoria con distribución Gumbel.
Ejemplo 1.9 Sea (Xn )n≥1 una sucesión de variables aleatorias uniformes
en (0, 1). Sea Mn = max {X1 , ..., Xn } y
Zn = n(Mn − 1).
Claramente las variables aleatorias Zn toman valores en (−∞, 0). Entonces,
para cada x > 0,
P [Zn ≤ x] = 1,
Para x < 0 y n tal que
x
n
para toda n ≥ 1.
+ 1 ∈ (0, 1), tenemos
x
Fn (x) = P [Zn ≤ x] = P [Mn ≤ + 1]
n
x
n
=
+1 .
n
De donde
lim Fn (x) = exp(−(−x)),
n→∞
si x < 0.
La función
F (x) =
1,
si x > 0,
exp(−(−x)), si x ≤ 0,
16
CAPÍTULO 1. CONVERGENCIA
es una función de distribución llamada Distribución Weibull con parámetro
α = 1, es decir
D
Zn → Z,
donde Z es una variable aleatoria con distribución Weibull con parámetro
α = 1.
En general, es bastante difı́cil demostrar la convergencia en distribución pues
la forma de estas funciones en ocasiones (como por ejemplo, en el caso Gaussiano) no es cerrada, es decir, se expresa en términos de una integral. No sólo
eso sino que como veremos más adelante en lo que llamaremos el Teorema de
Lı́mite Central, los resultados importantes de convergencia en distribución
se refieren no a sucesiones particulares de variables aleatorias, sino a sucesiones de variables aleatorias independientes e idénticamente distribuidas con
la única condición adicional de la existencia de segundo momento finito.
Por otro lado, recuérdese que la función caracterı́stica caracteriza a la
función de distribución, por lo que intuitivamente se podrı́a esperar alguna
relación entre la convergencia de las funciones caracterı́sticas de una sucesión
de variables aleatorias y su convergencia en distribución. El siguiente Teorema (de Lévy-Cramer o Teorema de Continuidad de Lévy) es en este sentido.
Teorema 1.9 Teorema de Lévy-Cramer o de Continuidad de Lévy. Una
sucesión de variables aleatorias (Xn )n≥1 converge en distribución a la variable aleatoria X si y sólo para toda t ∈ R la sucesión (Φn (t))n≥1 de sus
corespondientes funciones caracterı́sticas converge a la función caracterı́stica
Φ(t) de X.
Obsérvese que en el Ejemplo 1.6 la función caracterı́stica de Xn está dada
por:
Φn (t) = eitn ,
y limn→∞ eitn no existe, pues eitn = cos(tn) + isen(tn), por lo que tanto su
parte real como imaginaria oscilan cuando n → ∞.
Teorema 1.10 Teorema de Lı́mite Central (Clásico). Sea (Xn )n≥1 una sucesión
de variables aleatorias independientes idénticamene distribuidas con esperanza µ y varianza σ 2 . Entonces
Sn − nµ D
√
→ X,
nσ
donde X es una variable aleatoria N (0, 1).
1.4. CONVERGENCIA EN DISTRIBUCIÓN
17
Demostración
Por el Teorema de Lévy-Cramer es suficiente demostrar que las funciones
caracterı́sticas convergen. Para cada n ≥ 1, sea Yn = Xnσ−µ , entonces
n
Sn − nµ
1 X
√
=√
Yj .
σ n
n j=1
Las variables aleatorias Y1 , Y2 , ... son independientes e idénticamente distribuidas con media cero y varianza uno. Luego entonces
"
!#
n
1 X
Sn − nµ
= E exp it √
Yj
Φn (t) = E exp it √
σ n
n j=1
n
Y
1
=
E exp it √ Yj
n
j=1
n
t
.
ΦY1 √
n
donde ΦY1 es la función caracterı́stica de Y1 (de hecho de todas las variables
aleatorias Yn ).
De la expansión de la función caracterı́stica ?? se obtiene:
1
t2
+o
.
Φn (t) = 1 −
2n
n
h
i
2
t2
+ o n1 → e−t /2 que es la función caracterı́stica
Cuando n → ∞, 1 − 2n
de una variable aleatoria N (0, 1).
2
Ejemplo 1.10 Una Aplicación a Muestreo. En un lote de focos hay una
fracción desconocida p de focos defectuosos. Utilizando el muestreo con reemplazo, se desea encontrar p con un error no mayor de 0.005.
Obsérvese que
Número de focos defectuosos
.
Número de focos en el lote
Sean X1 , ..., Xn variables aleatorias independientes Bernoulli con parámetro
c.s.
p. De la Ley de Fuerte de los Grandes Números, tenemos que Snn → p, por
p=
18
CAPÍTULO 1. CONVERGENCIA
lo que para n grande se puede considerar a Snn como un estimador de p. La
Ley de Los Grandes Números no da suficiente información pues no dice cuál
es la velocidad de convergencia. Más precisamente se desea encontrar n tal
que
Sn
P − p < 0.005 > 0.95,
n
Obsérvese que
Sn
P − p < 0.05 = P
n
#
"
S − np 0.05n
n
.
< p
p
p(1 − p)n p(1 − p)n
Por el Teorema de Lı́mite Central se tiene que
S − np D
p n
→ X,
p(1 − p)n
donde X es una variable aleatoria N (0, 1).
Ası́, sea z0 tal que N (z0 ) − N (−z0 ) = 0.95, donde N (·) = P [X ≤ ·].
(Este valor se puede encontrar en las tablas de la distribución Gaussiana) y
n suficientemente grande tal que
√
0.05 n
p
≥ z0 ,
p(1 − p)
esto es,
n ≥ 400p(1 − p)z02 .
En esta última expresión interviene p que es deconocida, sin embargo, independientemente de su valor
1
≥ p(1 − p).
4
Luego entonces basta tomar n ≥ 100z02 .
1.5
Evolución del Problema
La Ley de los Grandes Números y el teorema de Lı́mite Central presentados son resultados sobre la convergencia de sumas normalizadas de variables aleatorias independientes e idénticamente distribuidas, las primeras
1.5. EVOLUCIÓN DEL PROBLEMA
19
demostraciones (en el caso de variables aleatorias Bernoulli) datan del siglo
XVIII con los trabajos de Bernoulli, Laplace y De Moivre.
Los resultados que se presentan aquı́ son los llamados clásicos, y como
hemos visto se imponen condiciones fuertes sobre las distribuciones de las
variable aleatorias. Obsérvese que en los casos descritos las variables aleatorias se centran con respecto a la media y se normalizan con respecto a la
varianza, además de que se supone que son independientes e idénticamente
distribuidas.
Sin embargo, dada una sucesión arbitraria de variables aleatorias podrı́amos
preguntarnos si es posible la existencia de una Ley de Grandes Números y un
Teorema de Lı́mite Central en algún sentido. Más precisamente este problema podrı́a plantearse de la siguiente manera:
Dada una sucesión (Xn )n≥1 de variables aleatorias, existen constantes
(an )n≥1 , (bn )n≥1 tales que
Sn
− bn ,
an
converja (en probabilidad) a una constante, o (en distribución) a una distribución Gaussiana? Algunas de las respuestas a estas preguntas pueden
consultars en ??, por ejemplo, cuando las variables aleatorias son independientes más no idénticamente distribuidas. Resultados en este sentido existen
también cuando se debilita la condición de independencia ??
En este siglo, Lévy plantea un problema más general:
Encontrar la familia de posibles distribuciones lı́mites de sumas normalizadas de variables aleatorias independientes e idénticamente distribuidas, es
decir, sin imponer condiciones sobre la existencia de los momentos. Lévy
considera el caso de segundo momento infinito y primer momento finito o
infinito.
Naturalmente, el problema de posibles distribuciones lı́mites de sumas
normalizadas de variables aleatorias independientes no necesariamente idénticamente
distribuidas surge al mismo tiempo puede consultarse ??.
20
CAPÍTULO 1. CONVERGENCIA
Tarea III
Probabilidad II
1. Demuestre que la Ley Débil de Poisson es un caso particular de la Ley
Débil de Chebyshev.
2. Para cada n ≥ 1 sea Xn una variable aleatoria N (n, σ 2 ). Las variables
aleatorias Xn , n ≥ 1 convergen en distribución?.
3. Para cada n ≥ 1 sea Xn una variable aleatoria N (µ, n1 ). Las variables
aleatorias Xn , n ≥ 1 convergen en distribución?.
4. Sea (Xn )n≥1 una sucesión de variables aleatorias independientes, idénticamente
distribuidas con distribución Pareto con parámetros α, K > 0 dada por:
0,
si x < K 1/α ,
F (x) =
1 − Kx−α , si x ≥ K 1/α .
D
Mn
Sea Mn = max {X1 , ..., Xn } y Zn = (Kn)
1/α . Demuestre que Zn → Z
donde Z es una variable aleatoria con distribución dada por:
0,
si x < 0,
FZ (x) =
exp(−x−α ), si x ≥ 0.
A FZ se le conoce como la distribución Fréchet con parámetro α > 0.
5. Para los incisos (i)-(iv) genere (en el programa de computación que
sepa usar) muestras de variables aleatorias X1 , ..., Xn , independientes
e idénticamente distribuidas.
P
(a) Calcule Sn = ni=1 Xi ,
(b) Calcule Snn compárelo con el resultado de la Ley de los Grandes
Números, para n = 10, 100, 1000, .
(c) Calcule para la muestra generada el proceso empı́rico N (x) definido
en las notas, compare los resultados con la distribución de las variables aleatorias. (Teorema de Glivenko-Cantelli).
(i) Variables aleatorias Bernoulli con parámetro p (para tres distintos
valores del parámetro).
1.5. EVOLUCIÓN DEL PROBLEMA
21
(ii) Variables aleatorias Binomiales con parámetros k, p (para tres
valores distintos de (k, p)).
(iii) Variables aleatorias Exponenciales con parámetro λ > 0 (para
tres valores distintos del parámetro).
(iv) Variables aleatorias Gamma con parámetros α, λ. (para tres distintos valores de los parámetros.)
P
6. Compare la distribución de ni=1 Xi con la aproximación del Teorema
de Lı́mite Central, para las variables aleatorias (i)-(iv) del P
ejercicio
n
anterior. Es decir, considere X1 , ..., Xn v. a.i.i.d. Sn =
i=1 Xi ,
entonces
x − nµ
,
P [Sn ≤ x] ≈ P X ≤ √
nσ 2
donde E[Xi ] = µ,V ar(Xi ) = σ 2 y X es una variable aleatoria N (0, 1).
No use simulaciones en este ejercicio sino la distribución exacta. Para
n = 10, 30, 50.