Distribución normal matricial

Distribución normal matricial
Felipe Osorio
http://www.ies.ucv.cl/fosorio
Instituto de Estadı́stica
Pontificia Universidad Católica de Valparaı́so
Marzo 27, 2015
1 / 14
Conceptos Preliminares
Definición 1 (Distribución normal univariada)
Z tiene una distribución normal con media cero y varianza uno si su función de
densidad es de la forma
f (z) = (2π)−1/2 exp − 12 z 2 , z ∈ R,
en cuyo caso escribimos Z ∼ N (0, 1).
Por otro lado, si
d
Y = µ + σZ,
entonces Y ∼
µ ∈ R, σ 2 ≥ 0,
N (µ, σ 2 )1 .
Además, si Y ∼ N (µ, σ 2 ), entonces su función caracterı́stica adopta la forma
ϕ(t) = exp itµ − 21 σ 2 t2 , t ∈ R.
1 Cuando σ 2 = 0 tenemos una distribución degenerada en µ
2 / 14
Conceptos Preliminares
Definición 1 (Distribución normal univariada)
Z tiene una distribución normal con media cero y varianza uno si su función de
densidad es de la forma
f (z) = (2π)−1/2 exp − 12 z 2 , z ∈ R,
en cuyo caso escribimos Z ∼ N (0, 1).
Por otro lado, si
d
Y = µ + σZ,
entonces Y ∼
µ ∈ R, σ 2 ≥ 0,
N (µ, σ 2 )1 .
Además, si Y ∼ N (µ, σ 2 ), entonces su función caracterı́stica adopta la forma
ϕ(t) = exp itµ − 12 σ 2 t2 , t ∈ R.
1 Cuando σ 2 = 0 tenemos una distribución degenerada en µ
2 / 14
Conceptos Preliminares
Definición 1 (Distribución normal univariada)
Z tiene una distribución normal con media cero y varianza uno si su función de
densidad es de la forma
f (z) = (2π)−1/2 exp − 12 z 2 , z ∈ R,
en cuyo caso escribimos Z ∼ N (0, 1).
Por otro lado, si
d
Y = µ + σZ,
entonces Y ∼
µ ∈ R, σ 2 ≥ 0,
N (µ, σ 2 )1 .
Además, si Y ∼ N (µ, σ 2 ), entonces su función caracterı́stica adopta la forma
ϕ(t) = exp itµ − 12 σ 2 t2 , t ∈ R.
1 Cuando σ 2 = 0 tenemos una distribución degenerada en µ
2 / 14
Distribución normal multivariada
Definición 2 (Distribución normal multivariada)
Sea X vector aleatorio p-dimensional. Se dice que X tiene distribución normal con
vector de medias µ ∈ Rp y matriz de covarianza Cov(X) = Σ ≥ 0 sólo si,
2
Y = t> X ∼ N (µY , σY
),
para todo t ∈ Rp ,
y anotamos X ∼ Np (µ, Σ).
Resultado 1 (Función caracterı́stica)
Si X ∼ Np (µ, Σ), entonces la función caracterı́stica de X es dada por
ϕX (t) = exp(it> µ − 21 t> Σt).
3 / 14
Distribución normal multivariada
Definición 2 (Distribución normal multivariada)
Sea X vector aleatorio p-dimensional. Se dice que X tiene distribución normal con
vector de medias µ ∈ Rp y matriz de covarianza Cov(X) = Σ ≥ 0 sólo si,
2
Y = t> X ∼ N (µY , σY
),
para todo t ∈ Rp ,
y anotamos X ∼ Np (µ, Σ).
Resultado 1 (Función caracterı́stica)
Si X ∼ Np (µ, Σ), entonces la función caracterı́stica de X es dada por
ϕX (t) = exp(it> µ − 21 t> Σt).
3 / 14
Distribución normal multivariada
Resultado 2 (Transformación afı́n)
Suponga que X ∼ Np (µ, Σ) y considere la transformación afı́n Y = AX + b donde
A ∈ Rm×p con rg(A) = m. Entonces
Y ∼ Nm (Aµ + b, AΣA> ).
Resultado 3 (Momentos)
Si X ∼ Np (µ, Σ), entonces
E(X) = µ,
Cov(X) = Σ.
4 / 14
Distribución normal multivariada
Resultado 2 (Transformación afı́n)
Suponga que X ∼ Np (µ, Σ) y considere la transformación afı́n Y = AX + b donde
A ∈ Rm×p con rg(A) = m. Entonces
Y ∼ Nm (Aµ + b, AΣA> ).
Resultado 3 (Momentos)
Si X ∼ Np (µ, Σ), entonces
E(X) = µ,
Cov(X) = Σ.
4 / 14
Distribución normal multivariada
Resultado 3 (Distribución marginal)
Si X ∼ Np (µ, Σ), entonces la distribución marginal de cualquier subconjunto de
k (< p) componentes de X es normal k-variada.
Resultado 4 (Independencia)
Si X ∼ Np (µ, Σ) y X, µ y Σ son particionadas como:
X1
µ1
Σ11
X=
,
µ=
,
Σ=
X2
µ2
Σ21
Σ12
Σ22
,
Entonces los vectores X 1 y X 2 son independientes sólo si Σ12 = 0 (= Σ>
21 ).
5 / 14
Distribución normal multivariada
Resultado 3 (Distribución marginal)
Si X ∼ Np (µ, Σ), entonces la distribución marginal de cualquier subconjunto de
k (< p) componentes de X es normal k-variada.
Resultado 4 (Independencia)
Si X ∼ Np (µ, Σ) y X, µ y Σ son particionadas como:
X1
µ1
Σ11
X=
,
µ=
,
Σ=
X2
µ2
Σ21
Σ12
Σ22
,
Entonces los vectores X 1 y X 2 son independientes sólo si Σ12 = 0 (= Σ>
21 ).
5 / 14
Distribución normal multivariada
Resultado 5 (Función de densidad)
Si X ∼ Np (µ, Σ) y Σ es definida positiva, entonces la densidad de X asume la forma
fX (x) = |2πΣ|−1/2 exp{− 12 (x − µ)> Σ−1 (x − µ)},
x ∈ Rp .
Observación:
La variable aleatoria2
(X − µ)> Σ−1 (X − µ) = Z > Z =
p
X
Zi2 ∼ χ2p .
i=1
2 D = {(X − µ)> Σ−1 (X − µ)}1/2 se conoce como distancia de Mahalanobis de X a µ
6 / 14
Distribución normal multivariada
Resultado 5 (Función de densidad)
Si X ∼ Np (µ, Σ) y Σ es definida positiva, entonces la densidad de X asume la forma
fX (x) = |2πΣ|−1/2 exp{− 12 (x − µ)> Σ−1 (x − µ)},
x ∈ Rp .
Observación:
La variable aleatoria2
(X − µ)> Σ−1 (X − µ) = Z > Z =
p
X
Zi2 ∼ χ2p .
i=1
2 D = {(X − µ)> Σ−1 (X − µ)}1/2 se conoce como distancia de Mahalanobis de X a µ
6 / 14
Distribución normal multivariada
El siguiente resultado provee un método útil para evaluar el supuesto de normalidad
multivariada
Resultado 6 (Transformación Wilson-Hilferty)
Si X ∼ Np (µ, Σ), entonces
Z=
D2
p
1/3
− 1−
q
2
9p
2
9p
,
tiene una distribución aproximadamente normal estándar.
Este resultado permite construir un gráfico cuantil-cuantil que es muy fácil de
interpretar.
7 / 14
QQ-plot datos de AFP
Transformed distances Q−Q plot
4
●
●
●
●
●
●●
●
●
●●●
●
●
●●
0
●
●●●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●●●
●●●●●●
●
●●
●●●
● ● ●●
−2
Sample Quantiles
2
●●
●
●
●
−2
−1
0
1
2
Theoretical Quantiles
8 / 14
Densidad normal bivariada3
rho = 0.0
rho = 0.4
0.2
z
0.3
0.2
z
0.3
0.1
0.0
2
0.1
0.0
2
0
0
0
2
y
y
2
−2
x
0
−2
−2
x
−2
3
rho = 0.8
2
0.3
0.2
1
z
0.06
0.1
0.0
2
0
x
−2
0.1
−2
y
2
−2
0.02
−3
0
−1
0
0.14
−3
−2
−1
0
1
2
3
3 X ∼ N (0, Σ), con vech Σ = (1, ρ, 1)> .
2
9 / 14
Distribución normal multivariada
Resultado 7 (Distribución condicional)
Sea X ∼ Np (µ, Σ) y considere la siguiente partición:
X1
µ1
Σ11
X=
,
µ=
,
Σ=
X2
µ2
Σ21
Σ12
Σ22
,
Entonces
(X 1 |X 2 = x2 ) ∼ Nk (µ1·2 , Σ11·2 ),
x1 ∈ Rk ,
donde
µ1·2 = µ1 + Σ12 Σ−
22 (x2 − µ2 ),
Σ11·2 = Σ11 − Σ12 Σ−
22 Σ21 ,
4
con Σ−
22 una matriz que satisface
Σ22 Σ−
22 Σ22 = Σ22 .
4 Σ− es una inversa generalizada de Σ .
22
22
10 / 14
Distribución normal matricial
Definición 3 (Distribución normal matricial)
Sea X matriz aleatoria n × p. Entonces X ∼ Nn,p (M , Ω, Σ) si su función de
densidad está dada por
n
o
f (X) = (2π)−np/2 |Σ|−n/2 |Ω|−p/2 exp − 21 tr Ω−1 (X − M )Σ−1 (X − M )>
donde M ∈ Rn×p , Ω > 0 y Σ > 0 son matrices n × n y p × p, respectivamente.
11 / 14
Propiedades
Lema 1
Sea X matriz aleatoria n × p. Entonces X ∼ Nn,p (M , Ω, Σ) sólo si
vec(X > ) ∼ Nnp (vec(M > ), Ω ⊗ Σ).
Lema 2
Si X ∼ Nn,p (M , Ω, Σ), entonces la función caracterı́stica de X es dada por:
ϕX (T ) = exp i tr M > T − 12 tr T > ΣT Ω .
12 / 14
Propiedades (continuación)
Lema 3
Sea X ∼ Nn,p (M , Ω, Σ) y A ∈ Rm×n , B ∈ Rp×q y C ∈ Rm×q . Entonces
AXB + C ∼ Nm,q (AM B + C, AΩA> , B > ΣB)
Es posible notar que
(X − M )Σ−1/2 ∼ Nn,p (0, Ω, I p ),
Ω−1/2 (X − M ) ∼ Nn,p (0, I n , Σ),
Ω−1/2 (X − M )Σ−1/2 ∼ Nn,p (0, I n , I p ).
13 / 14
Propiedades (continuación)
Lema 4
Sea X ∼ Nn,p (M , Ω, Σ). Entonces
tr Ω−1 (X − M )Σ−1 (X − M )> = (vec(X − M )> )> (Ω ⊗ Σ)−1 vec(X − M )>
= (vec(X − M ))> (Σ ⊗ Ω)−1 vec(X − M )
∼ χ2np .
14 / 14