Lección 13. El contraste $F$: significación conjunta¶

Author: Marcos Bujosa

Hoy haremos preguntas sobre varios coeficientes a la vez: ¿aportan algo en conjunto estos regresores?, ¿tienen el mismo efecto estas dos variables?, ¿suman uno estos dos coeficientes? Las responde el estadístico $F$: la razón entre las longitudes al cuadrado de los dos catetos del triángulo de la lección 8, cada una dividida por sus grados de libertad. La segunda mitad enseña a leer el $F$ de una tabla de resultados: qué afirma y qué no.

``Varios coeficientes, una hipótesis: hace falta un estadístico que mire en varias direcciones a la vez.''

  • (slides) — (html) — (pdf)

De dónde venimos: los contrastes $t$ son individuales¶

La lección 12 juzga un coeficiente cada vez, $t=\hat\beta_j/\mathrm{ee}(\hat\beta_j)$, y demostró (con $k=2$) que $t^2=(n-k)\,\mathrm{SEC}/\mathrm{SRC}$. En la práctica A de la sesión 18, al pie de la tabla de price sobre rooms (actividad 1), apareció un $F(1,504)=472{,}95$ que la actividad 3 comprobó igual a $t^2$.

Un caso real (hprice2; price sobre rooms, nox y su logaritmo lnox):

Regresor Coeficiente Error estándar Estadístico $t$ Valor $p$
rooms 8161,84 418,34 19,51 $1{,}65\cdot10^{-63}$
nox 404,19 2198,85 0,18 0,854
lnox -13262,2 12655,7 -1,05 0,295

¿Sobran nox y lnox? Cada $t$ por separado no lo descarta. Pero la pregunta es sobre los dos a la vez, y eso ningún $t$ lo contesta. Hoy: el $F$ por derecho propio, y con él la respuesta a esta última pregunta al final.

La hipótesis conjunta¶

Significación conjunta: $H_0\!:\beta_2=\beta_3=\cdots=\beta_k=0$ (``ningún regresor no constante aporta nada'') frente a $H_1\!:$ al menos uno es distinto de cero.

Geométricamente: bajo $H_0$ el modelo poblacional se reduce al regresor constante, $Y=\beta_1\,\mathit1+U$, y el ajuste que respeta $H_0$ es el vector de medias $\boldsymbol{\mathop{\overline y}}$. Aunque $H_0$ sea cierta, el ajuste con más regresores $\boldsymbol{\mathop{\widehat y}}$ no coincide con $\boldsymbol{\mathop{\overline y}}$: esos regresores recogen parte de la perturbación, y el cateto explicado tiene longitud positiva. La pregunta es si esa longitud es mayor de lo que cabe esperar por azar.

¿Por qué no $k-1$ contrastes $t$? Cada $t$ juzga a su regresor con los demás dentro del modelo; ``todos no significativos uno a uno'' no es ``todos nulos a la vez'' (la tabla de la apertura).

Cada $t$ mide una sola dirección. La significación conjunta pide un estadístico que mida el cateto explicado entero, en su subespacio de dimensión $k-1$.

El estadístico $F$¶

Los dos catetos de la lección 8, cada uno dividido por sus grados de libertad ($k-1$ el explicado, $n-k$ el residuo): $$ \boxed{\;F=\frac{\mathrm{SEC}/(k-1)}{\mathrm{SRC}/(n-k)}\;} \qquad\text{(el denominador es $\mathfrak s^2$).} $$ $k-1$ es el número $q$ de restricciones que impone $H_0$ ($\beta_2=0,\ldots,\beta_k=0$). El estadístico general divide por dicho número; este es el caso $q=k-1$.

Las coordenadas de la perturbación en una base ortonormal son variables aleatorias ortogonales y de la misma longitud $\sigma$ (homocedasticidad e incorrelación). Bajo $H_0$, $\mathrm{SEC}$ suma $k-1$ de sus cuadrados y $\mathrm{SRC}$ las otras $n-k$. Divididas por su número de sumandos, el numerador y el denominador de $F$ estiman los dos $\sigma^2$, y $F\approx1$. Si $H_0$ es falsa, el efecto de los regresores se suma al cateto explicado y no al residuo: solo crece el numerador. Un $F$ mucho mayor que $1$ es evidencia contra $H_0$.

Enunciado (demostración en el apéndice): bajo $H_0$, $\;F\sim F_{k-1,\,n-k}$. Se rechaza al nivel $\alpha$ si $F>F_c$, con $F_c$ el valor que deja $\alpha$ en la cola derecha (una sola cola: $F$ compara longitudes, no tiene signo). Valor $p$: $\mathrm{P}(F_{k-1,\,n-k}>F)$.

Lectura geométrica: la misma figura¶

img

$$ F=\frac{n-k}{k-1}\cdot\frac{\mathrm{SEC}}{\mathrm{SRC}}=\frac{n-k}{k-1}\cdot\frac{R^2}{1-R^2}: \quad\text{función de $\theta$ y los grados de libertad} $$

Con $k=2$: $F=(n-2)\,\mathrm{SEC}/\mathrm{SRC}=t^2$, y también $F_c=t_c^2$. El ejemplo de la lección 8 ($n=5$): $F=\dfrac{90/1}{10/3}=27=t^2$; $F_c(1,3)=10{,}13=3{,}182^2$. Bajo $H_0$, $R^2$ vale en promedio $(k-1)/(n-1)$ por azar: con ese $R^2$, $F=1$ y $\bar R^2=0$.

El $F$ en una tabla de resultados¶

hprice2: price sobre rooms, nox y stratio (actividad 3 de S14-B).

Regresor Coeficiente Error estándar Estadístico $t$
constante 9458,01 4371,41 2,16
rooms 7000,63 409,15 17,11
nox -1693,33 236,25 -7,17
stratio -1166,96 128,76 -9,06

$n=506$, $k=4$, $\mathrm{SRC}=1{,}711\cdot10^{10}$, $\mathrm{SEC}=2{,}572\cdot10^{10}$. Al pie de la tabla, Gretl imprime tres estadísticos: $R^2$, la ``D.T. de la regresión'' ($\mathfrak s=\sqrt{\mathrm{SRC}/(n-k)}$) y $F(k-1,\,n-k)$ con su valor $p$: $$ \boxed{R^2=0{,}6005}\qquad\boxed{\mathfrak s=5837{,}8}\qquad\boxed{F(3,502)=251{,}5,\quad p=1{,}3\cdot10^{-99}} $$

Lectura: $F=251{,}5$ dice que la longitud al cuadrado por grado de libertad del cateto explicado es doscientas cincuenta veces mayor que la del residuo; si $H_0$ fuese cierta esa razón debería rondar $1$. Frente a $F_c(3,502)=2{,}62$ al $5\,\%$, se rechaza que los tres coeficientes sean cero a la vez. No dice: cuáles importan, ni cuánto.

Restricciones lineales: modelos anidados¶

Imponer $q$ restricciones lineales sobre los $\beta$ (excluir, igualar, fijar) obliga al ajuste a vivir en un subespacio menor del de los regresores. Proyectar sobre él aleja el ajuste de $\boldsymbol y$: ajuste restringido ${\boldsymbol{\mathop{\widehat y}}}_r$, con $\mathrm{SRC}_r\geq\mathrm{SRC}$. Los dos modelos están anidados: el restringido es un caso particular del completo.

img

$$ \boxed{\;F=\frac{(\mathrm{SRC}_r-\mathrm{SRC})/q}{\mathrm{SRC}/(n-k)}\;\sim\;F_{q,\,n-k}\ \text{ bajo }H_0\;} \;\;\begin{array}{l}\text{Significación conjunta:}\\ {\boldsymbol{\mathop{\widehat y}}}_r=\boldsymbol{\mathop{\overline y}},\ \ q=k-1.\end{array} $$

Tres restricciones sobre hprice2¶

Modelo completo (actividad 3 de la práctica B de la sesión 14): price sobre rooms, nox y stratio, $n=506$. En Gretl, menú Contrastes -> Restricciones lineales (o el comando restrict): devuelve el $F$, sus grados de libertad y el valor $p$.

$H_0$ $q$ $F$ $F_c$ al $5\,\%$ Lectura
$\beta_{\text{nox}}=\beta_{\text{stratio}}=0$ 2 73,1 3,01 se rechaza: juntas, contaminación y ratio alumnos/profesor acortan el residuo más de lo esperable por azar
$\beta_{\text{stratio}}=0$ 1 82,1 3,86 se rechaza; es el $t=-9{,}06$ de la tabla, al cuadrado
$\beta_{\text{nox}}=\beta_{\text{stratio}}$ 1 3,56 3,86 no se rechaza al $5\,\%$ la igualdad de los dos coeficientes, por poco ($p=0{,}060$)

La tercera fila no excluye ningún regresor: con $\beta_{\text{nox}}=\beta_{\text{stratio}}$, los dos términos se funden en $\beta_{\text{nox}}(\boldsymbol x_{\text{nox}}+\boldsymbol x_{\text{stratio}})$, y el modelo restringido regresa price sobre rooms y la suma nox $+$ stratio. La restricción cambia el subespacio del ajuste (una dimensión menos) sin quitar ninguna columna de datos.

Conjunto $\neq$ individual: el caso de la apertura¶

Regresores, además de rooms $t$ de nox $t$ de lnox $R^2$ $F$ de excluir ambos
nox -7,43 0,5352
lnox -7,51 0,5361
nox y lnox 0,18 -1,05 0,5362 28,2 ($F_c=3{,}01$)

$\rho_{\text{nox},\text{lnox}}=0{,}994$: los dos regresores en desviaciones apuntan casi en la misma dirección. El coeficiente de cada uno, sin el otro en el modelo, es muy significativo; juntos, el ajuste no puede repartir el efecto entre ellos: a cada uno le queda muy poca longitud propia (enunciada en la lección 12, definida en la 14), su error estándar se multiplica y su $t$ se acerca a cero. Pero el subespacio que generan juntos sí acerca $\boldsymbol{\mathop{\widehat y}}$ a $\boldsymbol y$, y el $F$ lo mide.

Un $F$ conjunto alto con $t$ individuales pequeños es la firma de la colinealidad (lección 14). La conclusión correcta no es ``sobran los dos'', sino ``no se puede separar el efecto de uno del efecto del otro''.

Qué dice y qué no dice el $F$¶

$F=\frac{n-k}{k-1}\cdot\frac{R^2}{1-R^2}$ combina, como el $t$, fuerza de la relación (el ángulo) con grados de libertad ($n-k$ y $k-1$). Tres casos inventados, calculados con la fórmula para $k=4$:

$n$ $R^2$ $\theta$ $F$ Veredicto al $5\,\%$
6 0,90 $18{,}4^\circ$ 6,00 no significativo ($F_c=19{,}16$)
10 0,90 $18{,}4^\circ$ 18,00 significativo ($F_c=4{,}76$)
1003 0,01 $84{,}3^\circ$ 3,36 significativo ($F_c=2{,}61$)

El $F$ del pie de cada tabla de Gretl contrasta la significación conjunta de todos los regresores no constantes: una prueba de mínimos, superada casi siempre con muestras grandes. Los $F$ interesantes nacen de preguntas concretas (¿sobran estas dos variables? ¿tienen el mismo efecto?)

Un $F$ de significación conjunta que rechaza $H_0$ dice que los regresores en conjunto acortan el residuo más de lo esperable por azar; no dice cuáles ni de qué tamaño es su efecto: eso lo dicen los coeficientes y sus intervalos. Y nada de esto establece causalidad.

Recapitulación y guiño a las sesiones siguientes¶

Pieza Fórmula Lectura geométrica
$F$ de significación conjunta $\frac{\mathrm{SEC}/(k-1)}{\mathrm{SRC}/(n-k)}=\frac{n-k}{k-1}\frac{R^2}{1-R^2}$ razón de longitudes al cuadrado de los catetos, por grado de libertad
$F$ de $q$ restricciones $\frac{(\mathrm{SRC}_r-\mathrm{SRC})/q}{\mathrm{SRC}/(n-k)}$ el mismo triángulo, con ${\boldsymbol{\mathop{\widehat y}}}_r$ en el papel de $\boldsymbol{\mathop{\overline y}}$
Caso $q=1$ $F=t^2$, $F_c=t_c^2$ el contraste $t$ es un $F$ de una restricción
Grados de libertad $k-1$ (o $q$) y $n-k$ dimensiones de los subespacios de los dos catetos
Región crítica $F>F_c$ (una cola) cono alrededor del subespacio de los regresores

Un único ingrediente nuevo: dividir cada cateto por sus grados de libertad. Demostrado: Pitágoras anidado y $F=t^2$ (con $k=2$). Enunciado (demostración en el apéndice): la distribución $F_{q,\,n-k}$.

Lección 14: colinealidad. La longitud propia $\Vert\tilde{\boldsymbol x}_j\Vert_e$ de cada regresor y el factor de inflación de la varianza explican con números el caso de nox y lnox. En un laboratorio posterior: restrict con varias restricciones a la vez, y la distribución del $F$ bajo $H_0$ con datos simulados.