Sesión 21 (B) — Dos regresores que no son significativos: uno a uno y a la vez

Índice

Descripción de la práctica
Actividad 1 - El modelo completo y los regresores uno a uno
- - Lo que debe observar
Actividad 2 - La exclusión conjunta
- - Lo que debe observar
Actividad 3 - El rectángulo y las esquinas
- - Lo que debe observar
Preguntas de interpretación para la clase
Para profundizar
Código completo de la práctica
Respuestas

Descripción de la práctica

Cuando un modelo tiene dos regresores con $t$ pequeños, la tentación es quitar los dos. La lección 13 avisó de que dos $t$ pequeños no son un $F$ pequeño: la pregunta ``¿sobra esta variable?'' y la pregunta ``¿sobran estas dos?'' son distintas, y solo la segunda se responde con el $F$ de $q=2$. Esta práctica hace las dos preguntas sobre unos datos pequeños y compara.

Volvemos a data4-1 de Ramanathan, el fichero de catorce viviendas de la práctica A de la sesión 14, con el modelo price ~ sqft + bedrms + baths: precio en miles de dólares, superficie en pies cuadrados, número de dormitorios y de baños. Con $n=14$ y $k=4$ quedan diez grados de libertad, y lo que estos datos no saben es mucho.

Objetivos

Leer los $t$ de bedrms y baths en el modelo completo y omitir los regresores de uno en uno.
Contrastar la exclusión conjunta con el $F$ de $q=2$, a mano y con restrict, y compararla con las exclusiones una a una.
Ver que el conjunto de pares $(\beta_{\text{bedrms}},\beta_{\text{baths}})$ que el $F$ no rechaza no es el rectángulo formado por los dos intervalos: contrastar las cuatro esquinas del rectángulo.
Distinguir ``no se rechaza que sean cero'' de ``son cero''.

Actividad 1 - El modelo completo y los regresores uno a uno

Abra data4-1 y estime price sobre sqft, bedrms y baths. Después omita baths, y después también bedrms, anotando en cada paso el $t$ de lo que queda y la $\mathrm{SRC}$.

o bien teclee en línea de comandos:

open data4-1.gdt --quiet
ols price const sqft bedrms baths
ols price const sqft bedrms
ols price const sqft

Modelo 1: MCO, usando las observaciones 1-14
Variable dependiente: price

             coeficiente   Desv. típica   Estadístico t   valor p
  ---------------------------------------------------------------
  const      129,062        88,3033           1,462       0,1746 
  sqft         0,154800      0,0319404        4,847       0,0007  ***
  bedrms     -21,5875       27,0293          -0,7987      0,4430 
  baths      -12,1928       43,2500          -0,2819      0,7838 

Media de la vble. dep.  317,4929   D.T. de la vble. dep.   88,49816
Suma de cuad. residuos  16700,07   D.T. de la regresión    40,86572
R-cuadrado              0,835976   R-cuadrado corregido    0,786769
F(3, 10)                16,98894   Valor p (de F)          0,000299
Log-verosimilitud      -69,45391   Criterio de Akaike      146,9078
Criterio de Schwarz     149,4641   Crit. de Hannan-Quinn   146,6712

Sin considerar la constante, el valor p más alto fue el de la variable 4 (baths)


n = 14   k = 4   n-k = 10
t_c al 5% (10 g.l.) = 2,228

Modelo completo: t(bedrms) = -0,799   t(baths) = -0,282   (t_c = 2,228)
Sin baths:       t(bedrms) = -0,970   (t_c = 2,201)   SRC = 16832,8
Sin baths ni bedrms:  SRC_r = 18273,6   coef(sqft) = 0,1388   ee = 0,0187   t = 7,41

Lo que debe observar

Los dos coeficientes son negativos y sus $t$ están lejos de $t_c=2{,}23$: con diez grados de libertad, ni los dormitorios ni los baños añaden nada medible a lo que ya dice la superficie. Al quitar baths, el $t$ de bedrms cambia de $-0{,}80$ a $-0{,}97$: cambia, porque la parte propia de bedrms ya no descuenta lo que compartía con baths, pero sigue sin acercarse al umbral.

Fíjese también en sqft: su coeficiente pasa de $0{,}155$ a $0{,}139$ y su error estándar de $0{,}032$ a $0{,}019$. Cada vez que se quita un regresor, los que quedan se miden con una parte propia más larga.

Actividad 2 - La exclusión conjunta

Estime el $F$ de $H_0\!:\beta_{\text{bedrms}}=\beta_{\text{baths}}=0$ con las dos $\mathrm{SRC}$ que ya tiene, y compruébelo con restrict (Contrastes -> Restricciones lineales en la ventana del modelo completo).

en línea de comandos:

scalar Fj = ((SRCr - SRC)/2)/s2
printf "F(2,10) = %.3f   F_c = %.3f   valor p = %.4f\n", Fj, critical(F, 2, df, 0.05), pvalue(F, 2, df, Fj)
ols price const sqft bedrms baths --quiet
restrict
    b[bedrms] = 0
    b[baths] = 0
end restrict

H0: beta_bedrms = beta_baths = 0
SRC completo = 16700,1   SRC_r = 18273,6   subida = 1573,5
F(2,10) = 0,471   F_c al 5% = 4,103   valor p = 0,6375

Conjunto de restricciones
 1: b[bedrms] = 0
 2: b[baths] = 0

Estadístico de contraste: F(2, 10) = 0,471106, con valor p = 0,637492

Estimaciones restringidas:

             coeficiente   Desv. típica   Estadístico t    valor p 
  -----------------------------------------------------------------
  const       52,3509       37,2855           1,404        0,1857  
  sqft         0,138750      0,0187329        7,407        8,20e-06 ***
  bedrms       0,00000       0,00000         NA           NA       
  baths        0,00000       0,00000         NA           NA       

  Desviación típica de la regresión = 39,023

Lo que debe observar

$F=0{,}47$ con $F_c(2,10)=4{,}10$: quitar los dos regresores a la vez sube la $\mathrm{SRC}$ en $1573$, menos de la mitad de lo que vale una sola dimensión de ruido, $\mathfrak s^2=1670$. Aquí los dos veredictos coinciden: uno a uno, no significativos; a la vez, tampoco. No siempre es así, y la práctica A de esta sesión terminó con el caso contrario. La coincidencia de hoy no es la regla; es lo que ocurre cuando los dos regresores no comparten mucho entre sí.

Actividad 3 - El rectángulo y las esquinas

Los intervalos al $95\%$ de bedrms y baths definen un rectángulo en el plano $(\beta_{\text{bedrms}},\beta_{\text{baths}})$. Cabe pensar que el $F$ no rechaza ningún par de valores dentro del rectángulo y rechaza todos los de fuera. Compruébelo en las cuatro esquinas: cada esquina es un par de valores que está, a la vez, en el borde de los dos intervalos.

en línea de comandos:

ols price const sqft bedrms baths --quiet
scalar tc = critical(t, $df, 0.025)
scalar iL = $coeff(bedrms) - tc*$stderr(bedrms)
scalar iR = $coeff(bedrms) + tc*$stderr(bedrms)
scalar jL = $coeff(baths)  - tc*$stderr(baths)
scalar jR = $coeff(baths)  + tc*$stderr(baths)
restrict --quiet
    b[bedrms] = iL
    b[baths] = jL
end restrict
scalar F_LL = $test          # y lo mismo con las otras tres esquinas

IC 95% bedrms: [-81,81 ; 38,64]    IC 95% baths: [-108,56 ; 84,17]
F_c(2,10) al 5% = 4,103
Contraste conjunto de cada esquina del rectangulo:
  esquina (-81,81, -108,56): F = 7,142   valor p = 0,012
  esquina (-81,81, 84,17): F = 3,805   valor p = 0,059
  esquina (38,64, -108,56): F = 3,805   valor p = 0,059
  esquina (38,64, 84,17): F = 7,142   valor p = 0,012
Correlacion entre los estimadores de bedrms y baths (de la matriz de varianzas): -0,305

Lo que debe observar

Dos esquinas se rechazan ($F=7{,}14>4{,}10$) y dos no ($F=3{,}80$). Las cuatro están en el borde de los dos intervalos, así que el rectángulo no es la región que el $F$ acepta. Esa región es el conjunto de pares $(c_2,c_3)$ para los que $H_0\!:\beta_{\text{bedrms}}=c_2,\ \beta_{\text{baths}}=c_3$ no se rechaza al $5\%$, y tiene forma de elipse centrada en las estimaciones: es el intervalo de confianza en dos dimensiones. Gretl la dibuja desde la ventana del modelo, Análisis -> Elipse de confianza, eligiendo los dos coeficientes.

La elipse está inclinada porque los dos estimadores están correlados: $-0{,}31$, según la matriz de varianzas. Las esquinas rechazadas son las que dan a los dos coeficientes desvíos del mismo signo, y las aceptadas las de signos contrarios: la muestra cree más fácil que un coeficiente suba si el otro baja. Es lo que la lección 14 llamó compensación entre coordenadas, aquí en grado leve.

Preguntas de interpretación para la clase

En la Actividad 1, el $t$ de bedrms pasa de $-0{,}80$ a $-0{,}97$ al quitar baths. ¿Qué dos cosas cambian en el cociente $t=\hat\beta/\mathrm{ee}$ cuando se elimina un regresor?
La Actividad 2 da $F=0{,}47$. ¿Qué diría un $F$ menor que $1$ sobre la subida de la $\mathrm{SRC}$ comparada con el ruido de una dimensión?
El intervalo de bedrms va de $-82$ a $39$ miles de dólares por dormitorio. ¿Es correcto decir que ``el número de dormitorios no influye en el precio''? ¿Qué es lo que estos datos sí permiten decir?
En la Actividad 3, ¿qué relación hay entre la elipse y los dos intervalos? ¿Puede un par estar dentro de los dos intervalos y fuera de la elipse? ¿Y al revés?
Si las catorce viviendas fueran ciento cuarenta con la misma dispersión y los mismos coeficientes, ¿qué le pasaría a la elipse y a los intervalos? ¿Y a la correlación entre los dos estimadores?

Para profundizar

Lección 13 (lección 13), secciones ``La hipótesis conjunta'' y ``Conjunto $\neq$ individual: el caso de la apertura''.
Lección 12 (lección 12), el intervalo de confianza como conjunto de valores que el contraste no rechaza.
Wooldridge, J. M. (2020). Introductory Econometrics, cap. 4, sección 4.5, en particular la discusión ``relación entre los contrastes $F$ y $t$''.
Manual de Gretl: comando restrict, accesores $test, $pvalue y $vcv.

Código completo de la práctica

Enlace al guión:

S21-Prct-B-ramanathan-conjunta.inp

Respuestas

Qué cambia en el $t$ al quitar un regresor. Numerador y denominador. El coeficiente de bedrms es una coordenada, y cambia porque cambia la base: pasa de $-21{,}6$ a $-23{,}9$ al quitar baths. El error estándar es $\mathfrak s/\Vert\tilde{\boldsymbol x}_j\Vert_e$ y cambia por dos vías: la parte propia de bedrms se alarga al no descontar lo que compartía con baths, y $\mathfrak s$ se recalcula con un grado de libertad más: el error estándar baja de $27{,}0$ a $24{,}6$. El efecto neto es pequeño, porque bedrms y baths comparten poco.
Un $F$ menor que uno. Por dimensión, la subida de la $\mathrm{SRC}$ al imponer $H_0$ es menor que lo que aporta una dimensión de ruido. Bajo $H_0$ cierta, el numerador y el denominador del $F$ estiman lo mismo, $\sigma^2$, y el $F$ oscila en torno a $1$ (la práctica C lo comprueba). Un $F$ de $0{,}47$ es de los que salen cuando $H_0$ es cierta, no de los que exigen explicación.
``No influye''. No es correcto: el intervalo contiene valores tan distintos como $-80$ y $+30$ miles de dólares por dormitorio, y cualquiera de ellos es compatible con los datos. Lo que sí se puede decir es que, con la superficie ya en el modelo, catorce viviendas no permiten medir el efecto de un dormitorio adicional, y que ese efecto podría ser cero. No rechazar no es demostrar.
La elipse y los intervalos. No son la misma región ni una es la sombra de la otra. Un par puede estar dentro de los dos intervalos y fuera de la elipse: las esquinas rechazadas de la Actividad 3. Y al revés: la elipse se extiende sobre cada eje hasta $\pm\sqrt{2F_c}\cdot\mathrm{ee}=\pm2{,}86\,\mathrm{ee}$, más allá del $\pm2{,}23\,\mathrm{ee}$ del intervalo, así que hay pares que el $F$ acepta aunque una de las coordenadas se salga de su intervalo, porque la otra compensa. El intervalo responde a una pregunta sobre un coeficiente; la elipse, a una pregunta sobre los dos a la vez.
Diez veces más viviendas. Los regresores en desviaciones serían $\sqrt{10}$ veces más largos, los errores estándar $\sqrt{10}$ veces menores, y la elipse y los intervalos se encogerían en ese factor alrededor de las mismas estimaciones. La correlación entre los estimadores no cambiaría: depende del ángulo entre las partes propias de bedrms y baths, no de su longitud. La inclinación de la elipse es un rasgo de la muestra que el tamaño no corrige; la lección 14 lo dijo del VIF.