Sesión 20 (B) — Dos coeficientes que no son significativos: uno a uno y a la vez

Índice

Descripción de la práctica
Actividad 1 - El modelo completo y los regresores uno a uno
- - Lo que debe observar
Actividad 2 - La exclusión conjunta
- - Lo que debe observar
Actividad 3 - El rectángulo y las esquinas
- - Lo que debe observar
Preguntas de interpretación para la clase
Para profundizar
Código completo de la práctica
Respuestas

Descripción de la práctica

Cuando un modelo tiene dos regresores con $t$ pequeños, la tentación es quitar los dos. La lección 13 avisó de que dos $t$ pequeños no son un $F$ pequeño: la pregunta ``¿sobra esta variable?'' y la pregunta ``¿sobran estas dos?'' son distintas, y solo la segunda se responde con el $F$ de $q=2$. Esta práctica hace las dos preguntas sobre unos datos pequeños y compara.

Volvemos a data4-1 de Ramanathan, el fichero de catorce viviendas de la actividad 1 (html) de la práctica A de la sesión 14, con el modelo price ~ sqft + bedrms + baths: precio en miles de dólares, superficie en pies cuadrados, número de dormitorios y de baños. Con $n=14$ y $k=4$ quedan diez grados de libertad, y estos datos permiten decir poco.

Objetivos

Leer los $t$ de bedrms y baths en el modelo completo y omitir los regresores de uno en uno.
Contrastar la exclusión conjunta con el $F$ de $q=2$, a mano y con restrict, y compararla con las exclusiones una a una.
Ver que el conjunto de pares $(\beta_{\text{bedrms}},\beta_{\text{baths}})$ que el $F$ no rechaza no es el rectángulo formado por los dos intervalos: contrastar las cuatro esquinas del rectángulo, y dibujar las dos regiones.
Distinguir ``no se rechaza que sean cero'' de ``son cero''.

Comandos nuevos de esta práctica. Seguimos usando ols y sus accesores, critical y pvalue (práctica A de la sesión 18, actividad 2 (html)) y restrict con los coeficientes nombrados por su variable (práctica A de esta sesión, actividad 2 (html)). Lo nuevo:

restrict --quiet: hace el contraste sin imprimir las estimaciones restringidas. Sirve cuando solo queremos el estadístico.
$test: tras un contraste, el valor de su estadístico; aquí, el $F$ que restrict acaba de calcular. Guardarlo en un escalar permite compararlo con el valor crítico o pasarlo a pvalue.
Escalares en una restricción: a la derecha del igual, en lugar de un número, puede ir el nombre de un escalar: b[bedrms] = iL.
$vcv[3,4]: de la matriz de varianzas y covarianzas de los coeficientes (práctica A de esta sesión, actividad 6 (html)), el elemento de la fila $3$ y la columna $4$: la covarianza entre el tercer y el cuarto coeficiente. Está en el bloque Esquinas de la Actividad 3. La figura de la elipse usa las mismas matrices y el mismo bloque plot que esa actividad 6.

Actividad 1 - El modelo completo y los regresores uno a uno

Abra data4-1 (Archivo -> Abrir archivo de datos -> Archivo de muestra, pestaña Ramanathan) y estime price sobre sqft, bedrms y baths con Modelo -> Mínimos cuadrados ordinarios. Después omita baths, y después también bedrms, anotando en cada paso el $t$ de lo que queda y la $\mathrm{SRC}$.

Tres estimaciones seguidas con ols, sin --quiet para ver las tres tablas: el modelo completo, el modelo sin baths y el modelo con sqft solo. Cada ols sustituye al anterior como último modelo, así que los accesores se refieren siempre a la tabla que acaba de imprimirse. Tras la primera estimación se guardan tres escalares que harán falta en la Actividad 2: SRC ($ess), df (los grados de libertad, $df) y s2, la cuasivarianza SRC/df; tras la tercera, SRCr. El printf imprime el valor crítico $t_c$ con esos grados de libertad, y la última línea, corr bedrms baths, la correlación entre los dos regresores.

o bien teclee en línea de comandos:

open data4-1.gdt --quiet

ols price const sqft bedrms baths
scalar SRC = $ess
scalar df  = $df
scalar s2  = SRC/df
printf "t_c al 5%% (%d g.l.) = %.3f\n", df, critical(t, df, 0.025)
ols price const sqft bedrms
ols price const sqft
scalar SRCr = $ess
corr bedrms baths

Modelo 1: MCO, usando las observaciones 1-14
Variable dependiente: price

             coeficiente   Desv. típica   Estadístico t   valor p
  ---------------------------------------------------------------
  const      129,062        88,3033           1,462       0,1746 
  sqft         0,154800      0,0319404        4,847       0,0007  ***
  bedrms     -21,5875       27,0293          -0,7987      0,4430 
  baths      -12,1928       43,2500          -0,2819      0,7838 

Media de la vble. dep.  317,4929   D.T. de la vble. dep.   88,49816
Suma de cuad. residuos  16700,07   D.T. de la regresión    40,86572
R-cuadrado              0,835976   R-cuadrado corregido    0,786769
F(3, 10)                16,98894   Valor p (de F)          0,000299
Log-verosimilitud      -69,45391   Criterio de Akaike      146,9078
Criterio de Schwarz     149,4641   Crit. de Hannan-Quinn   146,6712

Sin considerar la constante, el valor p más alto fue el de la variable 4 (baths)

t_c al 5% (10 g.l.) = 2,228

Modelo 2: MCO, usando las observaciones 1-14
Variable dependiente: price

             coeficiente   Desv. típica   Estadístico t   valor p 
  ----------------------------------------------------------------
  const      121,179        80,1778           1,511       0,1589  
  sqft         0,148314      0,0212080        6,993       2,29e-05 ***
  bedrms     -23,9106       24,6419          -0,9703      0,3527  

Media de la vble. dep.  317,4929   D.T. de la vble. dep.   88,49816
Suma de cuad. residuos  16832,79   D.T. de la regresión    39,11846
R-cuadrado              0,834673   R-cuadrado corregido    0,804613
F(2, 11)                27,76736   Valor p (de F)          0,000050
Log-verosimilitud      -69,50933   Criterio de Akaike      145,0187
Criterio de Schwarz     146,9358   Crit. de Hannan-Quinn   144,8412


Modelo 3: MCO, usando las observaciones 1-14
Variable dependiente: price

             coeficiente   Desv. típica   Estadístico t   valor p 
  ----------------------------------------------------------------
  const       52,3509       37,2855           1,404       0,1857  
  sqft         0,138750      0,0187329        7,407       8,20e-06 ***

Media de la vble. dep.  317,4929   D.T. de la vble. dep.   88,49816
Suma de cuad. residuos  18273,57   D.T. de la regresión    39,02304
R-cuadrado              0,820522   R-cuadrado corregido    0,805565
F(1, 12)                54,86051   Valor p (de F)          8,20e-06
Log-verosimilitud      -70,08421   Criterio de Akaike      144,1684
Criterio de Schwarz     145,4465   Crit. de Hannan-Quinn   144,0501


corr(bedrms, baths) = 0,53232664
Bajo la hipótesis nula de no correlación:
 t(12) = 2,17832, con valor p a dos colas 0,0500

Lo que debe observar

Los dos coeficientes son negativos y sus $t$ están lejos de $t_c=2{,}23$: con diez grados de libertad, no se detecta lo que los dormitorios o los baños añaden a lo que ya dice la superficie. Al quitar baths, el $t$ de bedrms cambia de $-0{,}80$ a $-0{,}97$: cambia, porque la parte propia de bedrms ya no descuenta lo que compartía con baths, pero sigue sin acercarse al umbral.

Fíjese también en sqft: su coeficiente pasa de $0{,}155$ a $0{,}139$ y su error estándar de $0{,}032$ a $0{,}019$. Cada vez que se quita un regresor, los que quedan se miden con una parte propia más larga.

Actividad 2 - La exclusión conjunta

Estime el $F$ de $H_0\!:\beta_{\text{bedrms}}=\beta_{\text{baths}}=0$ con las dos $\mathrm{SRC}$ que ya tiene, y compruébelo con restrict (Contrastes -> Restricciones lineales en la ventana del modelo completo).

La primera línea construye el $F$ con $q=2$ a partir de los escalares SRC, SRCr, s2 y df guardados en la Actividad 1. Dos printf: el primero imprime las dos $\mathrm{SRC}$ y el aumento; el segundo, el $F$, el valor crítico y el valor $p$. Después se vuelve a estimar el modelo completo, porque restrict actúa sobre el último modelo estimado, y se imponen las dos restricciones.

en línea de comandos:

scalar Fj = ((SRCr - SRC)/2)/s2
printf "SRC completo = %.1f   SRC_r = %.1f   aumento = %.1f\n", SRC, SRCr, SRCr - SRC
printf "F(2,10) = %.3f   F_c = %.3f   valor p = %.4f\n", Fj, critical(F, 2, df, 0.05), pvalue(F, 2, df, Fj)
ols price const sqft bedrms baths --quiet
restrict
    b[bedrms] = 0
    b[baths] = 0
end restrict

SRC completo = 16700,1   SRC_r = 18273,6   aumento = 1573,5
F(2,10) = 0,471   F_c = 4,103   valor p = 0,6375
Conjunto de restricciones
 1: b[bedrms] = 0
 2: b[baths] = 0

Estadístico de contraste: F(2, 10) = 0,471106, con valor p = 0,637492

Estimaciones restringidas:

             coeficiente   Desv. típica   Estadístico t    valor p 
  -----------------------------------------------------------------
  const       52,3509       37,2855           1,404        0,1857  
  sqft         0,138750      0,0187329        7,407        8,20e-06 ***
  bedrms       0,00000       0,00000         NA           NA       
  baths        0,00000       0,00000         NA           NA       

  Desviación típica de la regresión = 39,023

Lo que debe observar

$F=0{,}47$ con $F_c(2,10)=4{,}10$: quitar los dos regresores a la vez sube la $\mathrm{SRC}$ en $1573$, es decir, $787$ por cada una de las dos dimensiones que se quitan: menos de la mitad de lo que vale una dimensión de ruido, $\mathfrak s^2=1670$. Aquí los dos veredictos coinciden: uno a uno, no significativos; a la vez, tampoco. La práctica A de esta sesión terminó con el caso contrario (actividad 5 (html)). La coincidencia de hoy ocurre porque los dos regresores solo comparten parte de su variación (correlación $0{,}532$, la última línea de la salida de la Actividad 1).

Actividad 3 - El rectángulo y las esquinas

Los intervalos al $95\%$ de bedrms y baths definen un rectángulo en el plano $(\beta_{\text{bedrms}},\beta_{\text{baths}})$. Cabe pensar que el $F$ no rechaza ningún par de valores dentro del rectángulo y rechaza todos los de fuera. Compruébelo en las cuatro esquinas: cada esquina es un par de valores que está, a la vez, en el borde de los dos intervalos.

Con critical se obtiene $t_c$, y con él los extremos de los dos intervalos al $95\%$: iL e iR para bedrms, jL y jR para baths. corrEst es la correlación entre los dos estimadores, leída en $vcv (filas y columnas 3 y 4, los coeficientes de bedrms y baths). Después, cuatro bloques restrict --quiet fijan a la vez los dos coeficientes en cada esquina del rectángulo, y $test recoge el $F$ de cada contraste en los escalares F_LL, F_LR, F_RL y F_RR (la primera letra es el extremo de bedrms, la segunda el de baths). El bloque EsquinasResultados imprime los dos intervalos, el valor crítico de la $F$ con $2$ y $10$ grados de libertad, el $F$ y el valor $p$ de cada esquina, y la correlación.

en línea de comandos:

ols price const sqft bedrms baths --quiet
scalar tc = critical(t, $df, 0.025)
scalar iL = $coeff(bedrms) - tc*$stderr(bedrms)
scalar iR = $coeff(bedrms) + tc*$stderr(bedrms)
scalar jL = $coeff(baths)  - tc*$stderr(baths)
scalar jR = $coeff(baths)  + tc*$stderr(baths)
scalar corrEst = $vcv[3,4]/sqrt($vcv[3,3]*$vcv[4,4])
restrict --quiet
    b[bedrms] = iL
    b[baths] = jL
end restrict
scalar F_LL = $test
restrict --quiet
    b[bedrms] = iL
    b[baths] = jR
end restrict
scalar F_LR = $test
restrict --quiet
    b[bedrms] = iR
    b[baths] = jL
end restrict
scalar F_RL = $test
restrict --quiet
    b[bedrms] = iR
    b[baths] = jR
end restrict
scalar F_RR = $test

printf "IC 95%% bedrms: [%.2f ; %.2f]    IC 95%% baths: [%.2f ; %.2f]\n", iL, iR, jL, jR
printf "F_c(2,10) al 5%% = %.3f\n", critical(F, 2, 10, 0.05)
printf "Contraste conjunto de cada esquina del rectangulo:\n"
printf "  esquina (%.2f, %.2f): F = %.3f   valor p = %.3f\n", iL, jL, F_LL, pvalue(F, 2, 10, F_LL)
printf "  esquina (%.2f, %.2f): F = %.3f   valor p = %.3f\n", iL, jR, F_LR, pvalue(F, 2, 10, F_LR)
printf "  esquina (%.2f, %.2f): F = %.3f   valor p = %.3f\n", iR, jL, F_RL, pvalue(F, 2, 10, F_RL)
printf "  esquina (%.2f, %.2f): F = %.3f   valor p = %.3f\n", iR, jR, F_RR, pvalue(F, 2, 10, F_RR)
printf "Correlacion entre los estimadores de bedrms y baths (de la matriz de varianzas): %.3f\n", corrEst

IC 95% bedrms: [-81,81 ; 38,64]    IC 95% baths: [-108,56 ; 84,17]
F_c(2,10) al 5% = 4,103
Contraste conjunto de cada esquina del rectangulo:
  esquina (-81,81, -108,56): F = 7,142   valor p = 0,012
  esquina (-81,81, 84,17): F = 3,805   valor p = 0,059
  esquina (38,64, -108,56): F = 3,805   valor p = 0,059
  esquina (38,64, 84,17): F = 7,142   valor p = 0,012
Correlacion entre los estimadores de bedrms y baths (de la matriz de varianzas): -0,305

La figura se construye como en la práctica A de esta sesión (actividad 6 (html)): se estima de nuevo el modelo completo, b y V son las estimaciones y la matriz de varianzas de bedrms y baths (filas y columnas $3$ y $4$ de $coeff y $vcv), cholesky(V) da la matriz L con L*L' = V, y los puntos $\boldsymbol b+\sqrt{2F_c}\,\boldsymbol L\,(\cos\theta,\sin\theta)^\top$ recorren el borde de la elipse. set force_decpoint on pone el punto decimal que gnuplot exige en las dos cadenas que dibujan el rectángulo y marcan la estimación, y el bloque plot las inserta con @.

en línea de comandos:

ols price const sqft bedrms baths --quiet
scalar Fc = critical(F, 2, $df, 0.05)
matrix b = $coeff[3:4]
matrix V = $vcv[3:4,3:4]
matrix L = cholesky(V)
matrix th = seq(0, 360)' * $pi/180
matrix E = ones(rows(th), 1)*b' + sqrt(2*Fc) * (L * (cos(th) ~ sin(th))')'
matrix EP = E[,2] ~ E[,1]
set force_decpoint on
string rect = sprintf("set object 1 rect from %g,%g to %g,%g fs empty border lc rgb 'gray40' dt 2", iL, jL, iR, jR)
string est  = sprintf("set label 'estimacion' at %g,%g point pt 7 lc rgb 'red' offset 1,1", b[1], b[2])
plot EP
    options with-lines fit=none
    literal set title "Elipse de confianza al 95% y rectangulo de los dos intervalos"
    literal set xlabel "coeficiente de bedrms"
    literal set ylabel "coeficiente de baths"
    literal set key off
    literal @rect
    literal @est
    literal set label "(0,0)" at 0,0 point pt 7 lc rgb "black" offset 1,1
end plot --output="elipse_bedrms_baths.png"

Figura 1: La elipse de confianza al $95\%$ para $(\beta_{\text{bedrms}},\beta_{\text{baths}})$ y, en trazo discontinuo, el rectángulo de los dos intervalos. Las esquinas superior izquierda e inferior derecha quedan dentro de la elipse; las otras dos, fuera. El origen está dentro de las dos regiones.

Lo que debe observar

Dos esquinas se rechazan ($F=7{,}14>4{,}10$) y dos no ($F=3{,}80$). Las cuatro están en el borde de los dos intervalos, así que el rectángulo no es la región que el $F$ acepta. Esa región es el conjunto de pares $(c_2,c_3)$ para los que $H_0\!:\beta_{\text{bedrms}}=c_2,\ \beta_{\text{baths}}=c_3$ no se rechaza al $5\%$, y tiene forma de elipse centrada en las estimaciones: es el intervalo de confianza en dos dimensiones. Gretl la dibuja desde la ventana del modelo, Análisis -> Elipse de confianza, eligiendo los dos coeficientes; la figura es esa elipse con el rectángulo superpuesto. La elipse no aparece en las lecciones; aquí es solo una imagen de cómo se reparte la incertidumbre entre dos coeficientes correlados.

La elipse está inclinada porque los dos estimadores están correlados: $-0{,}31$, según la matriz de varianzas. Las esquinas rechazadas son las que dan a los dos coeficientes desvíos del mismo signo, y las no rechazadas las de signos contrarios: la muestra hace más verosímil que un coeficiente suba si el otro baja. Es lo que la lección 14 describirá en ``Por qué oscilan los coeficientes'': cuando una coordenada sube, la otra lo compensa con signo contrario; aquí en grado leve. Compárese con la aguja de nox y lnox de la práctica A (actividad 6 (html)), con una correlación de $-0{,}99$.

Preguntas de interpretación para la clase

En la Actividad 1, el $t$ de bedrms pasa de $-0{,}80$ a $-0{,}97$ al quitar baths. ¿Qué dos cosas cambian en el cociente $t=\hat\beta/\mathrm{ee}$ cuando se elimina un regresor?
La Actividad 2 da $F=0{,}47$. ¿Qué diría un $F$ menor que $1$ sobre el aumento de la $\mathrm{SRC}$ comparada con el ruido de una dimensión?
El intervalo de bedrms va de $-82$ a $39$ miles de dólares por dormitorio. ¿Es correcto decir que ``el número de dormitorios no influye en el precio''? ¿Qué es lo que estos datos sí permiten decir?
En la Actividad 3, ¿qué relación hay entre la elipse y los dos intervalos? ¿Puede un par estar dentro de los dos intervalos y fuera de la elipse? ¿Y al revés?
Si las catorce viviendas fueran ciento cuarenta con la misma dispersión y los mismos coeficientes, ¿qué le pasaría a la elipse y a los intervalos? ¿Y a la correlación entre los dos estimadores?

Para profundizar

Lección 13 (lección 13), secciones ``La hipótesis conjunta'' y ``Conjunto $\neq$ individual: el caso de la apertura''.
Lección 12 (lección 12), el intervalo de confianza como conjunto de valores que el contraste no rechaza.
Wooldridge, J. M. (2020). Introductory Econometrics, cap. 4, sección 4.5, en particular la discusión ``relación entre los contrastes $F$ y $t$''.
Manual de Gretl: comando restrict, accesores $test, $pvalue y $vcv.

Código completo de la práctica

Enlace al guión:

S20-Prct-B-ramanathan-conjunta.inp

Respuestas

Qué cambia en el $t$ al quitar un regresor. Numerador y denominador. El coeficiente de bedrms es una coordenada, y cambia porque cambia la base: pasa de $-21{,}6$ a $-23{,}9$ al quitar baths. El error estándar es $\mathfrak s/\Vert\tilde{\boldsymbol x}_j\Vert_e$ y cambia por dos vías: la parte propia de bedrms se alarga al no descontar lo que compartía con baths, y $\mathfrak s$ se recalcula con un grado de libertad más: el error estándar baja de $27{,}0$ a $24{,}6$. El efecto neto es pequeño, porque bedrms y baths solo comparten parte de su variación (correlación $0{,}532$).
Un $F$ menor que uno. Por dimensión, el aumento de la $\mathrm{SRC}$ al imponer $H_0$ es menor que lo que aporta una dimensión de ruido. Bajo $H_0$ cierta, el numerador y el denominador del $F$ estiman lo mismo, $\sigma^2$, y el $F$ oscila en torno a $1$ (la actividad 1 (html) de la práctica C lo comprueba). Un $F$ de $0{,}47$ es de los que salen cuando $H_0$ es cierta, no de los que exigen explicación.
``No influye''. No es correcto: el intervalo contiene valores tan distintos como $-80$ y $+30$ miles de dólares por dormitorio, y datos como estos no serían raros si el coeficiente valiese cualquiera de ellos. Lo que sí se puede decir es que, con la superficie ya en el modelo, catorce viviendas no permiten medir el efecto de un dormitorio adicional, y que ese efecto podría ser cero. No rechazar no es demostrar.
La elipse y los intervalos. No son la misma región ni una es la sombra de la otra. Un par puede estar dentro de los dos intervalos y fuera de la elipse: las esquinas rechazadas de la Actividad 3. Y al revés: la elipse se extiende sobre cada eje hasta $\pm\sqrt{2F_c}\cdot\mathrm{ee}=\pm2{,}86\,\mathrm{ee}$, más allá del $\pm2{,}23\,\mathrm{ee}$ del intervalo, así que hay pares que el $F$ no rechaza aunque una de las coordenadas se salga de su intervalo, porque la otra compensa. El intervalo responde a una pregunta sobre un coeficiente; la elipse, a una pregunta sobre los dos a la vez.
Diez veces más viviendas. Los regresores en desviaciones serían $\sqrt{10}$ veces más largos, los errores estándar $\sqrt{10}$ veces menores, y la elipse y los intervalos se encogerían en ese factor alrededor de las mismas estimaciones. La correlación entre los estimadores no cambiaría: depende del ángulo entre las partes propias de bedrms y baths, no de su longitud. La inclinación de la elipse es un rasgo de la muestra que el tamaño no corrige; la lección 14 lo dijo del VIF.