Modelo de regresión de mínimos cuadrados generalizados

Universidade
de Vigo
Estimación por mínimos cuadrados
generalizados
Modelo de regresión lineal Generalizado:
Generalización del modelo de regresión lineal
clásico
Introducción a los estimadores MCG
Universidade
de Vigo
 Dados los fallos que ocurren en las propiedades de los
estimadores MCO, surge la conveniencia de buscar
estimadores alternativos que verifiquen mejores
propiedades que los de MCO.
 Este es el caso de los estimadores de Mínimos cuadrados
generalizados (MCG).
 Para construirlos basta observar una propiedad del nuevo
modelo, que depende de la descomposición de la matriz de
varianzas de las perturbaciones.
Descomposición de la matriz de
varianzas de las perturbaciones
Universidade
de Vigo
 La matriz de varianzas-covarianzas de las perturbaciones
viene dada por
S=s2W
 Como W es definida positiva se puede descomponer
como potencia de una matriz simétrica invertible P tal
que
P’P=P2=W
Transformación del modelo de
regresión lineal generalizado


Universidade
de Vigo
Consideremos la inversa de esa matriz P, denotada por P-1.
Entonces premultiplicando las ecuaciones del modelo de regresión
generalizado obtenemos que
P -1 y = P -1 X + P -1

Cambiando los nombres de las variables, el modelo quedará de la siguiente
forma
y = X  +
*


*
*
Por tanto, de nuevo tenemos un modelo de regresión lineal donde cambian
las variables pero no los parámetros de la regresión.
Falta ver si cambia la ley de distribución de las nuevas perturbaciones.
La ley de distribución de las nuevas
perturbaciones
 Es Normal por ser una transformación lineal de una
Universidade
de Vigo
normal.
 Su esperanza es nula pues
E(u*)=P-1 E(u)=0
 Su varianza vendrá dada por
Var(u*)=P-1 Var(u) P-1 = P-1s2W P-1=
=s2P-1W P-1 = s2I
 Por consiguiente, las nuevas perturbaciones son esféricas,
lo que significa que el nuevo modelo transformad es un
modelo de regresión lineal normal donde las variables son
diferentes de las originales.
Consecuencias
Universidade
de Vigo
 El modelo de regresión lineal generalizado se obtiene a
partir del modelo de regresión lineal clásico
transformando las variables por una matriz simétrica
invertible.
 Por lo tanto todas las propiedades el MRLC se
verificarán una vez transformado el modelo de partida.
 Los estimadores de MCG se obtendrán como los
estimadores MCO en ese modelo transformado.
 Las propiedades de los estimadores MCG serán las que
tenían los estimadores MCO en el MRLN
Estimadores MCG en el modelo
transformado
Consideremos el modelo
y = X  +
*
*
Universidade
de Vigo
*
Donde las perturbaciones siguen leyes normales esféricas.
El estimador MCO de  en ese modelo será
bMCG=(X*’X*)-1X*’y*
Que puesto en función de las variables del modelo original será:
bMCG=(X’P-1 P-1X)-1 X’P-1 P-1y=(X’W-1X)-1 X’W-1y
Estimadores de MCG en el MRLG
Universidade
de Vigo
Generalizando la transformación al espacio residual se puede
definir el estimador de la siguiente forma:
Encontrar el mínimo en  de SCEG() siendo
SCEG() = u'W-1u = (Y-X)'W-1(Y-X)
Partiendo de ese modelo se obtendrían las Ecuaciones normales
generalizadas
(X'W-1X) = X'W-1Y
Y, como consecuencia los estimadores
bMCG = (X'W-1X)-1 X'W-1Y
que coinciden con los obtenidos previamente.
Estimadores MV en el MRLG
Universidade
de Vigo
 La función de verosimilitud ahora será:
F(y1,…,yT/X)= (2p)-T/2|S|-1exp[-(yt-Xt)’S-1(yt-Xt)/2]
 Se demuestra que al maximizar esta función en  y S los
estimadores son independientes y por consiguiente se puede
maximizar en  y luego en S, por consiguiente maximizar en b
coincide con maximizar el exponente o lo que es lo mismo
minimizar el termino del paréntesis que coincide con
minimizar el exponente en  lo que equivale a obtener el
estimador de MCG, por lo tanto los estimadores de MV y
MCG coinciden para el parámetro .
Estimadores de MCG de la varianza
Universidade
de Vigo
Para estimar la parte común de la matriz de varianzas
covarianzas de las perturbaciones, se haría directamente
partiendo del modelo transformado, pero teniendo en cuenta
que los residuos obtenidos ahora no coinciden con los MCO
2
SRMCG
e*' e *
u' P -1 P -1u u'W-1u
=
=
=
T - k -1 T - k -1 T - k -1
Siendo los residuos ahora calculados como
u=y-XbMCG
Propiedades de los estimadores
Universidade
de Vigo
 Dado que son una generalización de los estimadores
MCO, sus propiedades van a generalizar estas.
 Para facilitar su exposición las dividiremos en tres
bloques:
 Propiedades geométricas de los estimadores de los
coeficientes de regresión que se derivan directamente de
las de MCO en el modelo transformado.
 Propiedades de las varianzas.
 Propiedades derivadas de la normalidad.
Propiedades geométricas
1.
2.
3.
4.
5.
Universidade
de Vigo
El estimador de mínimos cuadrados generalizados es el mejor
estimador lineal insesgado (ELIO). Esto nos va a permitir afirmar que
los estimadores MCO no van a ser ELIO con seguridad en el MRLG.
Los valores estimados vienen dados por H1Y, siendo H1 la nueva matriz
de proyección.
Por tanto los valores estimados de la Y son una combinación lineal de
las propias observaciones de la variable dependiente. Esto coincide con
MCO, pero ahora la matriz H es diferente.
Los residuos se definen como valor observado menos estimado y
vienen dados en forma matricial por M1Y, siendo M1 la nueva matriz
de proyección sobre el espacio residual.
Tanto H1 como M1 son matrices idempotentes y su producto es nulo.
Sin embargo no son simétricas como ocurría en el caso del MRLC.
Demostración de las propiedades
geométricas
Universidade
de Vigo
 Todas ellas se van a derivar de las propiedades de los estimadores
MCO en el modelo transformado.
 Sus propiedades se deducen del teorema de Aitken que es la
generalización del teorema de Gauss-Markov al caso del MRLG.
 En él se demuestra que los estimadores MCG son ELIO, lo que
implica que los estimadores de MCO dejan de ser los mejores,
puesto que su varianza no coincide con la de los estimadores
MCG.
 Por consiguiente remitiremos a él en todos los cálculos y después
se deshará la transformación.
Demostración del Teorema de Aitken
Universidade
de Vigo
 El estimador MCG se puede escribir en el modelo
transformado como
bMCG=+(X*’X*)-1X*’u*
 De ahí se deriva directamente que es insesgado y lineal pues la
transformación P-1 es lineal.
 Todos los estimadores lineales e insesgados en el MRLG son
también lineales e insesgados en el modelo transformado.
 Esto se comprueba de modo similar a como se vio que los estimadores
MCO eran lineales e insesgados en el MRLG
 Como el estimador MCG es óptimo en los ELI del modelo
transformado, y todos los ELI del MRLG están en el
transformado, será óptimo en el MRLG
Proyecciones
Universidade
de Vigo
 Sobre el espacio de las X
 Los valores estimados vienen dados por H1Y, siendo H1 la nueva matriz de
proyección. Por tanto los valores estimados de laY son una combinación
lineal de las propias observaciones de la variable dependiente.
y = XbMCG = X ( X ' W -1 X ) -1 X ' W -1 y = H1 y
 En el espacio residual
 Los residuos se definen como valor observado menos estimado y vienen dados en
forma matricial por M1Y, siendo M1 la nueva matriz de proyección sobre el
espacio residual
u = y - y = y - XbMCG =
= y - X ( X ' W -1 X ) -1 X ' W -1 y = ( I - H1 ) y =
= M1 y
Propiedades de las matrices de
proyección
Universidade
de Vigo
 H1 es idempotente
H1 = X ( X ' W -1 X ) -1 X ' W -1
H12 = X ( X ' W -1 X ) -1 X ' W -1 X ( X ' W -1 X ) -1 X ' W -1 =
= X ( X ' W -1 X ) -1 X ' W -1 = H1
 Si H1 es idempotente, entonces M1 también lo es por ser su
complementaria
 H1 y M1 son ortogonales
H1 M1 = H1 ( I - H1 ) = H1 - H12 = H1 - H1 = 0
 Sin embargo no son simétricas como ocurría en el caso del MRLC.
Propiedades de las varianzas
Universidade
de Vigo
La varianza de los estimadores depende de la inversa de la matriz
de diseño por su traspuesta ponderadas por la inversa de la
matriz de varianzas-covarianzas.
Var(bMCG)=s2(X'W-1X)-1
2. La varianza de los valores estimados depende de la parte común
de la varianza de las perturbaciones pero ya no depende
directamente de la matriz de proyecciones.
1.
Var(YE)= s2X(X'W-1X)-1X's2H1
3. La varianza de los residuos depende directamente de la parte
común de la varianza de las perturbaciones pero no de la matriz
M1 de proyecciones sobre el espacio ortogonal a las X.
Var(u)=s2(W-X(X'W-1X)-1X') s2M1
ANOVA en el MRLG
Universidade
de Vigo
 La suma ponderada por la inversa de la matriz de varianzas-
covarianzas de cuadrados de la variable dependiente se puede
descomponer en dos sumandos: la SCEG y otra cantidad que
denominaremos suma generalizada de cuadrados debida a la
regresión
SCYG = SCRegG + SCEG
siendo



SCYG=Y'W-1Y
SCEG=u'W-1u
SCRegG=YE'W-1YE
El coeficiente de determinación en el
MRLG
Universidade
de Vigo
 A partir de esta descomposición se puede obtener una medida de
la bondad de ajuste de la regresión, desde un punto de vista
puramente geométrico, pues
SC Re gG SCEG
SC Re gG
SCEG
1=
+

= 1SCYG
SCYG
SCYG
SCYG
 que denominaremos Coeficiente de determinación de Buse R2.
Este coeficiente -multiplicado por 100- nos da el porcentaje de variación
total de la variable Y - en el sentido de su suma de las desviaciones
respecto del origen - explicado por la regresión de la variable Y respecto de
las X, utilizando una distancia matricial generalizada
Propiedades bajo normalidad
Universidade
de Vigo
Los estimadores de mínimos cuadrados generalizados siguen
una ley Normal
2. Los valores estimados de Y siguen una ley Normal
3. Los residuos de la regresión de mínimos cuadrados
ordinarios siguen una ley Normal
4. Los estimadores MCG de los coeficientes, bajo normalidad
coinciden con los estimadores MV en el MRLG, y por lo
tanto serán eficientes dentro de todos los insesgados y
suficientes.
1.
Leyes de distribución
Universidade
de Vigo
 Por consiguiente tendríamos las siguientes leyes de
distribución:
 bMCG siguen una ley N (,s2(X'W-1X)-1)
 Y estimado siguen una ley Normal de parámetros
(X,s2(X(X'W-1X)-1X'))
 Los residuos MCG siguen una ley normal de parámetros
(0,s2(W-X(X'W-1X)-1X'))
Ejemplo
 Los beneficios (después de impuestos) suelen ser una
Universidade
de Vigo
parte de las ventas, cuyo cociente nos da el margen neto
de la empresa. Para calcular cual es en promedio en una
serie de empresas del sector de la alimentación se tienen
datos de las ventas y los beneficios durante el año 2004.
 Calcular cual seria ese margen promedio estimado
 Si se sabe que el tamaño de la empresa afecta generando
una variabilidad mayor en las empresas grandes que en
las pequeñas. El efecto del tamaño sobre la variabilidad
se conoce que s del 20%. Calcular si el margen
promedio seguiría siendo el mismo.
 Comparar ambos estimadores, ¿Cuál seria mas eficiente?
Modelo de solución
 Los beneficios son una parte de las ventas, por tanto:
Beneficios=*ventas+e
 Se estima por MCO.
 Si la varianza depende linealmente de las ventas
Var(e )=0,2*ventas
 Se estima por MCG.
Universidade
de Vigo
Calculo por MCO
XX
3525.000
IXX
0.2836879E-03
B
0.3631206
TB
DATA
21.025
Universidade
de Vigo
Estimador de
MCO, nos mide el
margen neto
PDF
CDF
0.28555E-05 0.99998
1-CDF
0.15123E-04
Calculo por MCG: matriz de varianzas covarianzas de
Universidade
las perturbaciones
de Vigo
OMEGA
5 BY
6.400000
0.000000
0.000000
0.000000
0.000000
IOMEGA
5 BY
0.156250
0.000000
0.000000
0.000000
0.000000
5 MATRIX
0.000000
4.800000
0.000000
0.000000
0.000000
0.000000
0.000000
6.000000
0.000000
0.000000
0.000000
0.000000
0.000000
4.000000
0.000000
0.000000
0.000000
0.000000
0.000000
5.000000
5 MATRIX
0.000000
0.208333
0.000000
0.000000
0.000000
0.000000
0.000000
0.166666
0.000000
0.000000
0.000000
0.000000
0.000000
0.250000
0.000000
0.000000
0.000000
0.000000
0.000000
0.200000
Calculo por MCG
XOX
655.0000
Estimador de
IXOX
MCG, nos mide el
0.001526718
margen neto
BG
0.3587786
DATA
PDF
CDF
1-CDF
TBG 8.8850 0.0001915 0.99956 0.00044329
Universidade
de Vigo
Comparación entre ambos
Parámetros
MCO
MCG
B
0.3631206
0.3587786
SB
0.01727063
0.04038048
TB
21.02532
8.884951
S2
1.051418
1.068032
Comparación de residuos
EMCO
EMCG
0.3801418
0.5190840
0.2851064
0.3893130
1.106383
1.236641
-1.262411
-1.175573
-1.078014
-0.9694656
Universidade
de Vigo
Estimación MCG cuando la
varianza es desconocida
Estimadores de mínimos cuadrados generalizados factibles
Universidade
de Vigo
Estimación MCGF
Universidade
de Vigo
 Cuando la varianza no es conocida necesitamos estimarla previamente.
En general, a este tipo de estimadores, los denominaremos de mínimos
cuadrados generalizados factible (MCGF).
 El estimador tiene la forma genérica
ˆ -1 X ) -1 X ' W
ˆ -1 y
bMCG = ( X ' W
 Puesto que los escalares de la matriz de covarianzas no afectan al
estimador.
 En cada caso se trata de encontrar un estimador consistente de W.
 Por consiguiente el método de estimación se suele hacer en dos pasos:
1.
2.
Se estima la matriz de covarianzas W
Se calcula el estimador de MCGF sustituyendo el valor de W por su
estimador
Métodos de estimación MCGF
Universidade
de Vigo
 Una vez obtenido el estimador de W, lo normal para calcular el




estimador MCGF consiste en buscar la transformación que nos
permita hacer uso de los estimadores MCO, es decir se busca
una matriz P de tal forma que
W =P’P
Se toma el estimador de P y se transforma el modelo mediante
esa matriz.
Se calcula el estimador MCO en el modelo transformado.
Ese suele ser el estimador MCGF en dos pasos.
Lo calcularemos para los diferentes casos, es decir
autocorrelación y heterocedasticidad, peor antes veamos las
propiedades genéricas de estos estimadores.
Propiedades de los estimadores
MCGF
Universidade
de Vigo
 Las propiedades de este tipo de estimadores dependen de las
propiedades del estimador de la varianza. Normalmente si se
consigue que este sea consistente se verifican las siguientes
propiedades:
 Consistentes
 Asintóticamente normales
 Asintóticamente insesgados
 Asintóticamente eficientes
 Puesto que estos estimadores convergen asintóticamente al
estimador MCG.
 Pero no verifican propiedades exactas en pequeñas muestras.
Tratamiento de la autocorrelación
Estimadores MCGF: Método de Cochran-Orcutt, Prais-Wisten,
Malla
Estimadores e MV
Universidade
de Vigo
Tratamiento de la autocorrelación
Universidade
de Vigo
 Como, en general, no conocemos los parámetros que caracterizan
la matriz de varianzas-covarianzas de las perturbaciones tendremos
que estimarlos, lo que nos hará perder eficiencia en pequeñas
muestras.
 Vamos a considerar diferentes casos, según estimemos por MCGF o
por MV.
 Para los estimadores MCG, la idea básica consiste en buscar cual es
la matriz de transformaciones que nos transforma el modelo
generalizado en un modelo clásico. Esa transformación se conoce
con el nombre de transformación de Cochran-Orcutt.
Forma matricial del modelo lineal con
autocorrelación
Universidade
de Vigo
 Escribiendo en forma matricial lo anterior tendríamos que
Y=X+n; siendo n una N(0, S)
n -1
 1
 ...  


n-2

1
...



2
 =s 

 ... ... ... ... 
  n -1 ... ...

1


Por consiguiente estaríamos en un caso particular del modelo de
regresión lineal generalizado. Sus efectos serán consecuencia de ello.
Estimador de MCGF bajo
autocorrelación
Universidade
de Vigo
 El estimador de MCGF tiene la forma genérica de
ˆ -1 X ) -1 X ' W
ˆ -1 y
bMCG = ( X ' W
 El único parámetro que interviene en dicha matriz es el
parámetro r, por consiguiente debemos encontrar un
estimador consistente de él.
 Después debemos buscar una matriz P que permita
descomponer la matriz W en P’P.
 Una forma de conseguir esa matriz consiste en hacer uso de
la transformación de Cochran-Orcutt.
Matriz de transformación de CochraneOrcutt
Universidade
de Vigo
Si  fuera conocido la matriz S-1 se comprueba que se descompone en
S-1 =s-2 G’G(1-2 )-1
Siendo G la matriz siguiente, que a su vez se puede particionar en dos
submatrices:
 1-  2

 -

G =
0

.

 -
0
1
-
.
.
0
1
.
.
.
.
.
.
.
.
.
.
.
. -
 1-  2

0  
0 
 
0 = 
. 
 
1 


0
.
.
G*
0 









La submatriz de Cochrane-Orcutt
Universidade
de Vigo
 Se descompone de esa forma puesto que es interesante analizar el
comportamiento de la matriz G*, que es propiamente la transformación de
C-O.
 Dicha matriz tiene la diagonal principal todo 1.
 La diagonal secundaria inferior todo .
 El resultado de multiplicar G* por una variable cualquiera z nos daría la diferencia
entre el valor actual y el valor retardado multiplicado por .
G*z=zt-zt-1
 Esto nos permite obtener una transformación directa sobre las
variables originales del modelo, es decir, se le aplica a la variable
dependiente a cada una de las independientes obteniendo de forma
directa el modelo transformado.
 Como en el cálculo de la matriz inversa de S, además de G aparecen
solo escalares, al modelo obtenido mediante las transformaciones
anteriores se le puede aplicar la estimación de MCO para obtener el
estimador MCG correspondiente.
Transformación de Cochrane-Orcutt
Universidade
de Vigo
Las transformaciones de cada variable serían en conjunto:
Para la dependiente
 y * = 1 -  2 y
*
1
yt = Gyt   1*
 y t = yt - yt -1
T=2,...T
Para las independientes
*
2

x
=
1

x j1
 j1
*
xt = Gxt  
*
x

 jt = x jt -  x jt -1 T=2,...T
Que se puede observar que coincide con la transformación de C-O
salvo en el primer elemento.
Modelo resultante
Universidade
de Vigo
 Fruto de la transformación de C-O (sin contar la primera
observación), nos quedaría el siguiente modelo
yt =  (1 -  ) + xt - xt-1  +  yt -1 + e t
 Es decir la variable dependiente depende de las independientes, de
las independientes retardadas un periodo y de la dependiente
retardada un periodo.
 Este modelo es el mismo que se obtiene directamente del modelo
de autocorrelación de orden 1, sustituyendo las perturbaciones
autocorreladas, lo que nos sirve también para comprobar la validez
de la transformación.
Procedimiento de Cochrane-Orcutt en
dos pasos
Universidade
de Vigo
 Cuando  es desconocido, el problema es determinar el valor de 
en la práctica. Este procedimiento consiste en dos etapas
 En la primera se estima  mediante MCO o un método alternativo
 En la segunda etapa se estima el modelo transformado, sustituyendo
el parámetro  por sus estimadores de la primera etapa.
 El modelo resultante sería:
 y2 - y1  1 x2 - x1 
e2 

 
 (1 -  )   
 +  : 
:
:

 = :

 y - y  1 x - x     e 
T -1 
T
T -1 
 T

 T
 Perdiendo la primera observación
Procedimiento de Cochrane-Orcutt en
dos pasos (2)
Universidade
de Vigo
 Por tanto, se estima  en la primera etapa y perdiendo la
primera observación, se hacen las transformaciones de C-O,
esto es
yt* = G * yt  y *t = yt - ˆyt -1
xt* = G * xt  xt* = xt - ˆ xt -1
 Una vez hecha la transformación se aplica de nuevo MCO a
la regresión de la Y transformada respecto a las X
transformadas.
Estimación inicial del coeficiente de
autocorrelación
Universidade
de Vigo
 La estimación del coeficiente de autocorrelación se puede hacer de
diferentes formas.
 Todas ellas asintóticamente equivalentes, pero con algunas diferencias
en pequeñas muestras.
 Van a depender de los siguientes factores:
 La eficiencia del estimador
 La capacidad de cálculo
 La robustez del modelo
 Consideramos cuatro opciones:
1. El coeficiente de autocorrelación simple
2. El coeficiente de autocorrelación simple corregido
3. El método de Durbin-Watson
4. La estimación conjunta
El coeficiente de autocorrelación
simple
Universidade
de Vigo
 Las dos primeras opciones son muy similares, puesto que se trata
de estimar  mediante el coeficiente de autocorrelacion muestral,
puesto que es un estimador consistente. La diferencia está en el
número de observaciones utilizado, pero no afecta cuando la
muestra es grande.
 El coeficiente de autocorrelación simple de primer orden, es decir
se calcula la suma de los productos cruzados de los residuos por
los residuos retardados, y se divide entre la suma de residuos al
cuadrado
̂ =
T
 ei ei -1
i =2
T
2
e
 i
i =1
 Se subestima en parte, al haber mas sumandos en el denominador
que en el numerador
El coeficiente de autocorrelación simple
corregido
Universidade
de Vigo
 Para paliar el problema anterior, se hace uso del coeficiente de
autocorrelación simple de primer orden, pero corrigiendo el
denominador, para que tenga el mismo numero de observaciones
que el numerador.
T
̂ =  ei ei -1
i =2
T
2
e
 i -1
i =2
 El problema que e plantea es que las correcciones podrían haberse
eliminando el último residuo en vez del primero o combinando
ambas. No existe una regla que nos diga que este es mejor.
 Se utiliza en muestras pequeñas, pero dado que sus propiedades son
asintóticas su efecto es prácticamente indiferente.
Método de Durbin-Watson
 El estimador que se obtiene a partir del estadístico de
Universidade
de Vigo
Durbin-Watson, ya que vimos que éste era una aproximación
de una función del coeficiente de autocorrelación simple.
 Como el estimador d es un estimador consistente del calor
teórico del estadístico, el estimador de r de este modo
también será un estimador consistente.
 Entonces el estimador, siendo d el estadístico DW, será:
r= 1- d/2
 Este método es una aproximación, pero tampoco se puede
demostrar que sea mas eficiente que los otros métodos
Estimación conjunta
Universidade
de Vigo
 Se estima  a partir de la ecuación de regresión transformada
yt =  (1 -  ) + 1 xt -  2 xt -1 + yt -1 + e t
restringida a 1 = 2
 Es el método mas eficiente pero también el que exige mas
cálculo
 En la práctica solo se utiliza cuando se buscan estimadores
MV que busca la estimación de todos los parámetros
conjuntamente.
Estimación de RHO
?ols y x1 x2/resid=e predict=ye rstat dwpvalue noanova
gen1 N=$N
gen1 DW=$DW
gen1 rhodw=1-dw/2
gen1 rho1=$rho
RHO1=
g elag=lag(e)
g ee1=(e*elag)
RHODW=
g e2=e*e
RHO1A=
stat e2/sum=se2a beg=1 end=40
RHO1B=
stat e2/sum=se2b beg=1 end=39
stat ee1/sum=se1 beg=2 end=40
RHOCJ =
gen1 rho1a=se1/se2a
gen1 rho1b=se1/se2b
|_auto y x1 x2 / dn ml noanova iter=2
Conjunta
MAXIMUM LIKELIHOOD ESTIMATION
40 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION
RHO
LOG L.F.
SSE
1
0.00000
-4.43019
2.9227
2
0.65818
8.56528
1.5046
LOG L.F. =
8.56528
AT RHO =
0.65818
Universidade
de Vigo
0.6563030
0.6690766
0.6521211
0.6563030
0.65818
Procedimiento de C-O iterativo
Universidade
de Vigo
1: Se estiman los residuos, generalmente por OLS.
2: Se estima  a partir de la correlación entre los residuos.
3: Se transforman los datos según C-O utilizando la matriz G* (por
tanto, se elimina el primer término)
4: Se estiman por OLS los coeficientes en el modelo transformado
5: Se reestiman los residuos por OLS entre las variables
transformadas.
6: Se repiten de la Fase 2 a la 4 hasta que los residuos no presenten
autocorrelación.
 La iteración mejora la eficiencia de los estimadores por lo que los
estimadores iniciales son secundarios, siempre y cuando estén
todos en un entorno cercano al óptimo.
Problemas de óptimo de 
Universidade
de Vigo
Mínimo
parcial
SCE()
Mínimo
global
Iniciando ahí
converge al mínimo
global
Iniciando ahí
converge al mínimo
local parcial
0
*

Estimación por CO para las telas
|_auto y x1 x2/drop noanova
REQUIRED MEMORY IS PAR=
7 CURRENT PAR=
4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
LEAST SQUARES ESTIMATION
39 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION
RHO
LOG L.F.
SSE
1
0.00000
-4.81313
2.9227
2
0.65630
9.06698
1.4343
3
0.70292
9.15983
1.4275
4
0.70428
9.15991
1.4275
5
0.70433
9.15991
1.4275
LOG L.F. =
9.15991
AT RHO =
0.70433
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE
VARIANCE
ST.ERROR
T-RATIO
RHO
0.70433
0.01292
0.11367
6.19627
R-SQUARE =
0.9832
R-SQUARE ADJUSTED =
0.9823
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.39654E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.19913
SUM OF SQUARED ERRORS-SSE=
1.4275
MEAN OF DEPENDENT VARIABLE =
14.330
LOG OF THE LIKELIHOOD FUNCTION = 9.15991
VARIABLE
ESTIMATED STANDARD
T-RATIO
PARTIAL STANDARDIZED ELASTICITY
NAME
COEFFICIENT
ERROR
36 DF
P-VALUE CORR. COEFFICIENT AT MEANS
X1
0.50315
0.8772E-02
57.36
0.000 0.995
0.9737
0.2455
X2
0.11461
0.1126E-01
10.18
0.000 0.861
0.1737
0.0574
CONSTANT
10.032
0.1466
68.44
0.000 0.996
0.0000
0.7001
Universidade
de Vigo
Procedimiento de Prais-Winsten
 Consiste en una mejora del procedimiento anterior
trabajando con la matriz G en vez de G*
 Por tanto, se tiene en cuenta la primera observación
 Esto mejora la eficiencia en pequeñas muestras.
 En muestras grandes apenas se nota.
Universidade
de Vigo
Estimación por PW para las telas
|_sample 1 40
|_read Y X1 X2
3 VARIABLES AND
40 OBSERVATIONS STARTING AT OBS
1
|_auto y x1 x2/noanova
REQUIRED MEMORY IS PAR=
7 CURRENT PAR=
4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
LEAST SQUARES ESTIMATION
40 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION
RHO
LOG L.F.
SSE
1
0.00000
-4.43019
2.9227
2
0.65630
8.55719
1.5054
3
0.70231
8.67597
1.4921
4
0.70320
8.67661
1.4920
LOG L.F. =
8.67661
AT RHO =
0.70320
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE
VARIANCE
ST.ERROR
T-RATIO
RHO
0.70320
0.01264
0.11242
6.25532
R-SQUARE =
0.9824
R-SQUARE ADJUSTED =
0.9815
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.40324E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.20081
SUM OF SQUARED ERRORS-SSE=
1.4920
MEAN OF DEPENDENT VARIABLE =
14.330
LOG OF THE LIKELIHOOD FUNCTION = 8.67661
VARIABLE
ESTIMATED STANDARD
T-RATIO
PARTIAL STANDARDIZED ELASTICITY
NAME
COEFFICIENT
ERROR
37 DF
P-VALUE CORR. COEFFICIENT AT MEANS
X1
0.50342
0.8848E-02
56.90
0.000 0.994
0.9742
0.2456
X2
0.11307
0.1130E-01
10.01
0.000 0.855
0.1714
0.0567
CONSTANT
9.9919
0.1441
69.35
0.000 0.996
0.0000
0.6973
Universidade
de Vigo
Procedimiento de malla
Universidade
de Vigo
 Es un procedimiento iterativo, que se puede aproximar hasta el error
que se desee.
 Normalmente se prefija inicialmente.
 Los pasos que se dan son los siguientes
1. Se va variando el valor de  desde -1 a +1 con incremento de 0,1 y realizar
para cada uno el primer paso del procedimiento C-O, y calcular la suma de
cuadrados de los residuos.
2. Elegiremos las dos estimaciones consecutivas que minimicen dicha suma.
3. Se repite el procedimiento tomando el paso con incrementos de 0,01 en los
estimadores obtenidos en el paso 2 hasta una nueva minimización de la suma
de cuadrados
4. Este proceso se repite hasta obtener el error deseado.
 Normalmente exige mucho cálculo y no mejora la aproximación
 No obstante sirve para ver si el valor inicial de r nos acerca al
máximo global, ya que cubrimos todo el espectro de valores de 
Estimación por malla para las telas: 1ª
malla
REQUIRED MEMORY IS PAR=
7 CURRENT PAR=
4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
LEAST SQUARES ESTIMATION
40 OBSERVATIONS
BY GRID SEARCH TO ACCURACY OF .01
ITERATION
RHO
LOG L.F.
1
-0.90000
-26.5475
2
-0.80000
-24.1327
3
-0.70000
-21.7917
4
-0.60000
-19.4405
5
-0.50000
-17.0538
6
-0.40000
-14.6215
7
-0.30000
-12.1396
8
-0.20000
-9.60824
9
-0.10000
-7.03329
10
0.00000
-4.43019
Maximización
de
la
11
0.10000
-1.82998
12
0.20000
0.713450
función
de
13
0.30000
3.11662
verosimilitud
14
0.40000
5.26304
15
0.50000
7.00736
16
0.60000
8.19174
17
0.70000
8.67402
18
0.80000
8.35471
19
0.90000
7.15689
Universidade
de Vigo
Minimización de la
suma de cuadrados
de los errores
SSE
8.4728
7.6300
6.8466
6.1219
5.4548
4.8439
4.2872
3.7825
3.3281
2.9227
2.5657
2.2576
1.9993
1.7923
1.6379
1.5377
1.4925
1.5034
1.5709
Estimación por malla para las telas: 2ª
malla
ITERATION
20
21
22
23
24
25
Minimización
de la
26
suma de 27
cuadrados
de los28
errores
29
30
31
32
Maximización
33 de la
función
34 de
35
verosimilitud
36
37
38
39
RHO
0.61000
0.62000
0.63000
0.64000
0.65000
0.66000
0.67000
0.68000
0.69000
0.70000
0.71000
0.72000
0.73000
0.74000
0.75000
0.76000
0.77000
0.78000
0.79000
0.73000
LOG L.F.
8.27360
8.34827
8.41565
8.47561
8.52805
8.57286
8.60995
8.63923
8.66061
8.67402
8.67937
8.67659
8.66563
8.64642
8.61890
8.58302
8.53871
8.48593
8.42462
8.66563
Universidade
de Vigo
SSE
1.5306
1.5242
1.5183
1.5129
1.5081
1.5039
1.5002
1.4971
1.4945
1.4925
1.4911
1.4902
1.4899
1.4901
1.4909
1.4923
1.4942
1.4967
1.4998
1.4899
Estimación por malla para las telas
LOG L.F. =
Universidade
de Vigo
AT RHO =
0.73000
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE
VARIANCE
ST.ERROR
T-RATIO
RHO
0.73000
0.01168
0.10806
6.75535
R-SQUARE =
0.9825
R-SQUARE ADJUSTED =
0.9815
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.40267E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.20067
SUM OF SQUARED ERRORS-SSE=
1.4899
MEAN OF DEPENDENT VARIABLE =
14.330
LOG OF THE LIKELIHOOD FUNCTION = 8.66563
VARIABLE
NAME
X1
X2
CONSTANT
ESTIMATED
8.66563
STANDARD
COEFFICIENT
ERROR
0.50340
0.8729E-02
0.11341
0.1115E-01
9.9888
0.1495
T-RATIO
37 DF
57.67
10.17
66.80
PARTIAL STANDARDIZED ELASTICITY
P-VALUE
0.000
0.000
0.000
CORR. COEFFICIENT
0.994
0.9742
0.858
0.1719
0.996
0.0000
AT MEANS
0.2456
0.0568
0.6970
Estimador de máxima verosimilitud
 Normalmente el estimador MCG y el de MV coinciden,
Universidade
de Vigo
bajo normalidad, puesto que la matriz de varianzas
covarianzas es conocida.
 No ocurre lo mismo cuando se habla de MCGF y MV,
aunque ambos son asintóticamente equivalentes.
 Aun suponiendo normalidad al incluir la autocorrelación,
maximizar la función de logverosimilitud no es equivalente a
minimizar la suma de cuadrados.
 La causa es que aparece un término que depende de  que
no se tiene en cuenta al utilizar MCO, por lo tanto no van a
salir exactamente los mismo estimadores, aunque son
equivalentes asintóticamente
Estimador de máxima verosimilitud
 La función viene dada por
Universidade
de Vigo
Término que diferencia la
minimización de cuadrados y
la maximización de la
función
T
1
1
2
2
ln L(u )  - ln s e + ln(1 -  ) - 2
e e
2
2
2
2s e (1 -  )
 Esto hace que los estimadores no coincidan.
 Beach y McKinnon (1978) usan un procedimiento para
maximizar esta función, similar al de C-O iterativo, que
denominaremos de MV.
 Generalmente los estimadores son mas eficientes, si el valor
inicial está bien definido
Estimación por ML para las telas
|_auto y x1 x2 / dn ml noanova
REQUIRED MEMORY IS PAR=
7 CURRENT PAR=
4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
DN OPTION IN EFFECT - DIVISOR IS N
MAXIMUM LIKELIHOOD ESTIMATION
40 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION
RHO
LOG L.F.
SSE
1
0.00000
-4.43019
2.9227
2
0.65818
8.56528
1.5046
3
0.71056
8.67943
1.4910
4
0.71158
8.67947
1.4909
5
0.71160
8.67947
1.4909
LOG L.F. =
8.67947
AT RHO =
0.71160
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE
VARIANCE
ST.ERROR
T-RATIO
RHO
0.71160
0.01234
0.11109
6.40570
R-SQUARE =
0.9825
R-SQUARE ADJUSTED =
0.9815
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.37272E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.19306
SUM OF SQUARED ERRORS-SSE=
1.4909
MEAN OF DEPENDENT VARIABLE =
14.330
LOG OF THE LIKELIHOOD FUNCTION = 8.67947
ASYMPTOTIC
VARIABLE
ESTIMATED STANDARD
T-RATIO
PARTIAL STANDARDIZED ELASTICITY
NAME
COEFFICIENT
ERROR
-------P-VALUE CORR. COEFFICIENT AT MEANS
X1
0.50342
0.8473E-02
59.42
0.000 0.995
0.9742
0.2456
X2
0.11318
0.1082E-01
10.46
0.000 0.864
0.1716
0.0567
CONSTANT
9.9910
0.1400
71.34
0.000 0.996
0.0000
0.6972
Universidade
de Vigo
Comparación de los estimadores del
coste variable de la tela
MCO
CO2
PW2
0.50688
0.50314
0.50347
ML2
0.50347
COI
0.50315
PWI
0.50342
Malla
0.50340
MLI
0.50342
Universidade
de Vigo
Estimación para modelos
autocorrelados de orden superior
Universidade
de Vigo
 El método que as fácilmente se generaliza es el de máxima
verosimilitud, pues únicamente consiste en cambiar los parámetros
del modelo que se quiere estimar y el propio ordenador se encarga
de la optimización y búsqueda de soluciones, por ese motivo es el
mas usado en la práctica.
Yt = X t +n t
n t = n
1 t -1 + ... +  mn t - m + e t
e sigue N (0, s 2 I )
 En SHAZAM se hace con la opción ORDER=m.
Estimación para orden 3
|_auto y x1 x2 / dn ml order=3 noanova
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
REQUIRED MEMORY IS PAR=
10 CURRENT PAR= 2000
AUTOREGRESSIVE ERROR MODEL, ORDER= 3
..NOTE..USING LEAST SQUARES..ML OPTION NOT AVAILABLE
ITERATION 0 ESTIMATES AND ERROR SUM OF SQUARES
0.50688 0.92323E-01 10.124
0.0000
0.0000
0.0000
2.9227
ITERATION 1 ESTIMATES AND ERROR SUM OF SQUARES
0.49993 0.11789
9.9931 -0.78178 0.18927
-0.16251
1.4942
……………….
ITERATION 9 ESTIMATES AND ERROR SUM OF SQUARES
0.50171 0.11384
9.9286 -0.87009 0.31328
-0.21063
1.4522
Universidade
de Vigo
Estimación para orden 3
Universidade
de Vigo
|_auto y x1 x2 / dn ml order=3 noanova
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
REQUIRED MEMORY IS PAR=
10 CURRENT PAR= 2000
AUTOREGRESSIVE ERROR MODEL, ORDER= 3
..NOTE..USING LEAST SQUARES..ML OPTION NOT AVAILABLE
ITERATION 0 ESTIMATES AND ERROR SUM OF SQUARES
0.50688
0.92323E-01 10.124
0.0000
2.9227
0.0000
0.0000
ITERATION 1 ESTIMATES AND ERROR SUM OF SQUARES
0.49993
0.11789
-0.16251
1.4942
9.9931
-0.78178
0.18927
ITERATION 2 ESTIMATES AND ERROR SUM OF SQUARES
0.50166
0.11387
-0.18358
1.4555
9.9497
-0.82266
0.27993
ITERATION 3 ESTIMATES AND ERROR SUM OF SQUARES
0.50175
0.11377
-0.20604
1.4528
9.9457
-0.86138
0.31088
ITERATION 4 ESTIMATES AND ERROR SUM OF SQUARES
0.50172
0.11376
-0.20567
1.4523
9.9340
-0.86145
0.30928
ITERATION 5 ESTIMATES AND ERROR SUM OF SQUARES
0.50171
0.11383
-0.20946
1.4522
9.9326
-0.86784
0.31242
ITERATION 6 ESTIMATES AND ERROR SUM OF SQUARES
0.50171
0.11382
-0.20945
1.4522
9.9298
-0.86806
0.31235
ITERATION 7 ESTIMATES AND ERROR SUM OF SQUARES
0.50171
0.11383
-0.21039
1.4522
9.9295
-0.86963
0.31310
RESIDUAL CORRELOGRAM
LM-TEST FOR HJ:RHO (J)=0,STATISTIC IS CHI-SQUARE(1)
LAG
RHO
STD ERR
T-STAT
LM-STAT
1
-0.0112
0.1581
-0.0710
0.1425
2
0.0062
0.1581
0.0392
0.0313
3
-0.0122
0.1581
-0.0775
0.0154
4
0.0581
0.1581
0.3675
0.3043
5
0.0990
0.1581
0.6263
0.5254
6
0.1291
0.1581
0.8167
0.8280
7
-0.0629
0.1581
-0.3977
0.2222
8
-0.2698
0.1581
-1.7064
4.2576
9
-0.1443
0.1581
-0.9129
1.3788
10
0.0224
0.1581
0.1420
0.0353
11
0.1307
0.1581
0.8267
1.1623
12
-0.0036
0.1581
-0.0229
0.0008
CHISQUARE WITH 12 D.F. IS
5.814
ITERATION 8 ESTIMATES AND ERROR SUM OF SQUARES
0.50171
0.11383
-0.21039
1.4522
9.9287
-0.86969
0.31308
ITERATION 9 ESTIMATES AND ERROR SUM OF SQUARES
0.50171
0.11384
-0.21063
1.4522
9.9286
-0.87009
0.31328
RHO
RHO
RHO
1
2
3
ESTIMATE
0.87009
-0.31328
0.21063
ASYMPTOTIC
VARIANCE ST.ERROR T-RATIO
0.02553
0.15978
5.44562
0.04228
0.20563 -1.52353
0.02679
0.16367
1.28688
Estimación para orden 3
Universidade
de Vigo
|_auto y x1 x2 / dn ml order=3 noanova
R-SQUARE =
0.9829
R-SQUARE ADJUSTED =
0.9820
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.36305E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.19054
SUM OF SQUARED ERRORS-SSE=
1.4522
MEAN OF DEPENDENT VARIABLE =
14.330
VARIABLE
NAME
X1
X2
CONSTANT
ASYMPTOTIC
ESTIMATED STANDARD
T-RATIO
COEFFICIENT
ERROR
-------0.50171
0.7437E-02
67.46
0.11384
0.8724E-02
13.05
9.9286
0.1380
71.92
PARTIAL STANDARDIZED ELASTICITY
P-VALUE CORR. COEFFICIENT AT MEANS
0.000 0.996
0.9709
0.2448
0.000 0.906
0.1726
0.0570
0.000 0.996
0.0000
0.6928