Lección 13. El contraste $F$: significación conjunta¶

Author: Marcos Bujosa

Hoy juzgamos varios coeficientes a la vez: ¿aportan algo en conjunto estos regresores?, ¿cumplen esta relación? El estadístico $F$ es la razón entre los dos catetos del triángulo de la lección 8, cada uno dividido por la dimensión del subespacio donde vive. La segunda mitad se dedica a leerlo.

``Varios coeficientes, una hipótesis: hace falta un estadístico que mire varias direcciones a la vez.''

(slides) — (html) — (pdf)

De dónde venimos: los contrastes $t$ son individuales¶

La lección 12 juzga un coeficiente cada vez, $t=\hat\beta_j/\mathrm{ee}(\hat\beta_j)$, y demostró (con $k=2$) que $t^2=(n-k)\,\mathrm{SEC}/\mathrm{SRC}$. En el laboratorio anterior, al pie de la tabla de price sobre rooms, apareció un $F(1,504)=472{,}95$ igual a $t^2$.

Un caso real (hprice2; price sobre rooms, nox y su logaritmo lnox):

Regresor	Coeficiente	Desv. típica	Estadístico $t$	Valor $p$
`rooms`	8161,84	418,34	19,51	$10^{-63}$
`nox`	404,19	2198,85	0,18	0,854
`lnox`	-13262,2	12655,7	-1,05	0,295

¿Sobran nox y lnox? Cada $t$, por separado, dice que sí. Los dos a la vez, no. Hoy: el $F$ por derecho propio, y la resolución de este caso al final.

La hipótesis conjunta¶

Significación conjunta: $H_0\!:\beta_2=\beta_3=\cdots=\beta_k=0$ (``ningún regresor aporta nada'') frente a $H_1\!:$ al menos uno es distinto de cero.

Geométricamente: bajo $H_0$ el modelo se reduce a la constante, el ajuste es el vector de medias, $\boldsymbol{\mathop{\widehat y}}=\boldsymbol{\mathop{\overline y}}$, y el cateto explicado es nulo. La pregunta es si el subespacio de los regresores acerca $\boldsymbol{\mathop{\widehat y}}$ a $\boldsymbol y$ más de lo que el azar acercaría.

¿Por qué no $k-1$ contrastes $t$? Cada $t$ juzga a su regresor con los demás dentro del modelo; ``todos no significativos uno a uno'' no es ``todos nulos a la vez'' (la tabla de la apertura). Y $k-1$ veredictos al $5\,\%$ no forman un veredicto al $5\,\%$.

Una hipótesis sobre varios coeficientes pide un estadístico que mire varias direcciones a la vez.

El estadístico $F$¶

Los dos catetos de la lección 8, cada uno dividido por la dimensión del subespacio donde vive ($k-1$ para el explicado, $n-k$ para el residuo, lección 11): $$ \boxed{\;F=\frac{\mathrm{SEC}/(k-1)}{\mathrm{SRC}/(n-k)}\;} \qquad\text{(el denominador es $\mathfrak s^2$).} $$

Bajo $H_0$, y con el ruido isótropo de la lección 12, la longitud al cuadrado del ruido se reparte por igual entre las dimensiones: numerador y denominador estiman los dos $\sigma^2$, y $F\approx1$. Un $F$ mucho mayor que $1$ desmiente $H_0$.

Enunciado, no demostrado: bajo $H_0$, $\;F\sim F_{k-1,\,n-k}$. Se rechaza al nivel $\alpha$ si $F>F_c$, con $F_c$ el valor que deja $\alpha$ en la cola derecha (una sola cola: $F$ compara longitudes, no tiene signo). Valor $p$: $\mathrm{P}(F_{k-1,\,n-k}>F)$.

Lectura geométrica: la misma figura¶

$El triángulo de las lecciones 8 y 12, sin cambiar un trazo. En verde, el vector de datos en desviaciones (hipotenusa, longitud $\sqrt{\mathrm{STC}}$); en violeta, el ajuste en desviaciones (cateto explicado, longitud $\sqrt{\mathrm{SEC}}$), que con varios regresores ya no es múltiplo de ninguno de ellos y vive en un subespacio de dimensión $k-1$; en gris, el residuo (cateto residual, longitud $\sqrt{\mathrm{SRC}}$), en un subespacio de dimensión $n-k$. El ángulo $\theta$ es el de $R^2=\cos^2\theta$. El estadístico $F$ compara los dos catetos, cada uno dividido por su dimensión.$

$$ F=\frac{n-k}{k-1}\cdot\frac{\mathrm{SEC}}{\mathrm{SRC}}=\frac{n-k}{k-1}\cdot\frac{R^2}{1-R^2}: \quad\text{función únicamente del ángulo $\theta$ y de dos dimensiones.} $$

Con $k=2$: $F=(n-2)\,\mathrm{SEC}/\mathrm{SRC}=t^2$, y también $F_c=t_c^2$. El ejemplo de la lección 8 ($n=5$): $F=\dfrac{90/1}{10/3}=27=t^2$; el valor crítico $F_c(1,3)=10{,}13=3{,}18^2$.

El $F$ en una tabla de resultados¶

hprice2: price sobre rooms, nox y stratio (el modelo de la práctica que siguió a la lección 10).

Regresor	Coeficiente	Desv. típica	Estadístico $t$
constante	9458,01	4371,41	2,16
`rooms`	7000,63	409,15	17,11
`nox`	-1693,33	236,25	-7,17
`stratio`	-1166,96	128,76	-9,06

$n=506$, $k=4$, $R^2=0{,}6005$, $\mathrm{SRC}=1{,}711\cdot10^{10}$, $\mathrm{SEC}=2{,}572\cdot10^{10}$, $\mathfrak s=5837{,}8$; al pie: $F(3,502)=251{,}5$, valor $p=1{,}3\cdot10^{-99}$.

Reconstrucción: $\mathrm{SEC}/3=8{,}573\cdot10^{9}$ y $\mathrm{SRC}/502=3{,}408\cdot10^{7}=\mathfrak s^2$; cociente $251{,}5$, frente a $F_c(3,502)=2{,}62$ al $5\,\%$. Dice: los tres coeficientes no son cero a la vez. No dice: cuál importa, ni cuánto.

Restricciones lineales: modelos anidados¶

Una hipótesis lineal: $q$ ecuaciones sobre los $\beta$ (excluir, igualar, fijar). Imponerla es proyectar sobre un subespacio menor: ajuste restringido $\boldsymbol{\mathop{\widehat y}}_r$, con $\mathrm{SRC}_r\geq\mathrm{SRC}$.

$El mismo triángulo con el ajuste restringido en el papel del vector de medias. En verde, el residuo del modelo restringido $\boldsymbol y-\boldsymbol{\mathop{\widehat y}}_r$ (hipotenusa, longitud $\sqrt{\mathrm{SRC}_r}$); en violeta, lo que las $q$ direcciones liberadas añaden al ajuste, $\boldsymbol{\mathop{\widehat y}}-\boldsymbol{\mathop{\widehat y}}_r$ (cateto de longitud $\sqrt{\mathrm{SRC}_r-\mathrm{SRC}}$); en gris, el residuo del modelo completo (cateto de longitud $\sqrt{\mathrm{SRC}}$). El ángulo recto es la ortogonalidad $\boldsymbol{\mathop{\widehat y}}-\boldsymbol{\mathop{\widehat y}}_r\perp\boldsymbol{\mathop{\widehat e}}$, de la que sale Pitágoras: $\mathrm{SRC}_r=\mathrm{SRC}+\Vert\boldsymbol{\mathop{\widehat y}}-\boldsymbol{\mathop{\widehat y}}_r\Vert_e^2$. Con $\boldsymbol{\mathop{\widehat y}}_r=\boldsymbol{\mathop{\overline y}}$ es la figura anterior.$

$$ \boxed{\;F=\frac{(\mathrm{SRC}_r-\mathrm{SRC})/q}{\mathrm{SRC}/(n-k)}\;\sim\;F_{q,\,n-k}\ \text{ bajo }H_0\;} \qquad\text{(conjunta: $\boldsymbol{\mathop{\widehat y}}_r=\boldsymbol{\mathop{\overline y}}$, $q=k-1$).} $$

Tres restricciones sobre `hprice2`¶

Modelo completo: price sobre rooms, nox y stratio ($\mathrm{SRC}=1{,}711\cdot10^{10}$, $n-k=502$, $\mathfrak s^2=3{,}408\cdot10^{7}$). En Gretl: menú Contrastes -> Restricciones lineales o el comando restrict del laboratorio anterior.

$H_0$	$q$	$\mathrm{SRC}_r-\mathrm{SRC}$	$F$	$F_c$ al $5\,\%$	Veredicto
$\beta_{\text{nox}}=\beta_{\text{stratio}}=0$	2	$4{,}985\cdot10^{9}$	73,1	3,01	se rechaza ($p=10^{-28}$)
$\beta_{\text{stratio}}=0$	1	$2{,}799\cdot10^{9}$	82,1	3,86	se rechaza; $82{,}1=(-9{,}06)^2$
$\beta_{\text{nox}}=\beta_{\text{stratio}}$	1	$1{,}213\cdot10^{8}$	3,56	3,86	no se rechaza ($p=0{,}060$)

La segunda fila es el contraste $t$ de la tabla, al cuadrado. La tercera no es de exclusión: el modelo restringido regresa price sobre rooms y la suma nox $+$ stratio —otro subespacio, no menos regresores—.

Conjunto $\neq$ individual: el caso de la apertura¶

Modelo (`price` sobre `rooms` y …)	$t$ de `nox`	$t$ de `lnox`	$R^2$	$F$ de excluir ambos
… `nox`	-7,43		0,5352
… `lnox`		-7,51	0,5361
… `nox` y `lnox`	0,18	-1,05	0,5362	$F(2,502)=28{,}2$ ($F_c=3{,}01$)

$\rho_{\text{nox},\text{lnox}}=0{,}994$: los dos regresores apuntan casi en la misma dirección. Cada uno solo es muy significativo; juntos, el ajuste no puede repartir el efecto entre ellos: a cada uno le queda muy poca longitud propia (lección 12), su error estándar se dispara y su $t$ se hunde. Pero el subespacio que generan juntos sí acerca $\boldsymbol{\mathop{\widehat y}}$ a $\boldsymbol y$, y el $F$ lo ve.

Un $F$ conjunto alto con $t$ individuales nulos es la firma de la colinealidad (lección 14). La conclusión correcta no es ``sobran los dos'', sino ``no se puede separar cuál de los dos''.

Qué dice y qué no dice el $F$¶

$F=\frac{n-k}{k-1}\cdot\frac{R^2}{1-R^2}$ mezcla, como el $t$, fuerza de la relación (el ángulo) con cantidad de evidencia (las dimensiones). Con $k=4$:

$n$	$R^2$	$\theta$	$F$	Veredicto al $5\,\%$
6	0,90	$18{,}4^\circ$	6,00	no significativo ($F_c=19{,}16$)
10	0,90	$18{,}4^\circ$	18,00	significativo ($F_c=4{,}76$)
1003	0,01	$84{,}3^\circ$	3,36	significativo ($F_c=2{,}61$)

El $F$ del pie de la tabla contrasta la hipótesis menos interesante (que nada explique nada) y con muestras grandes se rechaza casi siempre. Los $F$ que informan nacen de una pregunta: ¿sobran estas dos variables?, ¿tienen el mismo efecto?, ¿es la elasticidad unitaria?

Doce viviendas: $F(3,8)=9{,}55>4{,}07$, significativo… con stratio a $t=-0{,}10$ e intervalos enormes. Un $F$ no dice cuál regresor ni cuánto: mire los coeficientes y sus intervalos. Y nada de esto establece causalidad.

Recapitulación y guiño a las sesiones siguientes¶

Pieza	Fórmula	Lectura geométrica
$F$ de significación conjunta	$\frac{\mathrm{SEC}/(k-1)}{\mathrm{SRC}/(n-k)}=\frac{n-k}{k-1}\frac{R^2}{1-R^2}$	razón de catetos, cada uno por su dimensión
$F$ de $q$ restricciones	$\frac{(\mathrm{SRC}_r-\mathrm{SRC})/q}{\mathrm{SRC}/(n-k)}$	el mismo triángulo, con $\boldsymbol{\mathop{\widehat y}}_r$ en el papel de $\boldsymbol{\mathop{\overline y}}$
Caso $q=1$	$F=t^2$, $F_c=t_c^2$	el contraste $t$ es un $F$ de una restricción
Grados de libertad	$k-1$ (o $q$) y $n-k$	dimensiones de los dos catetos
Región crítica	$F>F_c$ (una cola)	cono alrededor del subespacio de los regresores

Un único ingrediente nuevo: dividir cada cateto por su dimensión. Demostrado: Pitágoras anidado y $F=t^2$. Enunciado: la distribución $F_{q,\,n-k}$.

Lección 14: colinealidad. La longitud propia $\Vert\tilde{\boldsymbol x}_j\Vert_e$ de cada regresor y el factor de inflación de la varianza explican con números el caso de nox y lnox. En un laboratorio posterior: restrict con varias restricciones a la vez, y la distribución del $F$ bajo $H_0$ con datos simulados.