Lección 13. El contraste $F$: significación conjunta¶

Author: Marcos Bujosa

Hoy haremos preguntas sobre varios coeficientes a la vez: ¿aportan algo en conjunto estos regresores?, ¿tienen el mismo efecto estas dos variables?, ¿suman uno estos dos coeficientes? Las responde el estadístico $F$: la razón entre las longitudes al cuadrado de los dos catetos del triángulo de la lección 8, cada una dividida por su dimensión. La segunda mitad enseña a leer el $F$ de una tabla de resultados: qué afirma y qué no.

``Varios coeficientes, una hipótesis: hace falta un estadístico que mire en varias direcciones a la vez.''

(slides) — (html) — (pdf)

De dónde venimos: los contrastes $t$ son individuales¶

La lección 12 juzga un coeficiente cada vez, $t=\hat\beta_j/\mathrm{ee}(\hat\beta_j)$, y demostró (con $k=2$) que $t^2=(n-k)\,\mathrm{SEC}/\mathrm{SRC}$. En el laboratorio anterior, al pie de la tabla de price sobre rooms (actividad 1 (html)), apareció un $F(1,504)=472{,}95$ que la actividad 3 (html) comprobó igual a $t^2$.

Un caso real (hprice2; price sobre rooms, nox y su logaritmo lnox):

Regresor	Coeficiente	Error estándar	Estadístico $t$	Valor $p$
`rooms`	8161,84	418,34	19,51	$10^{-63}$
`nox`	404,19	2198,85	0,18	0,854
`lnox`	-13262,2	12655,7	-1,05	0,295

¿Sobran nox y lnox? Cada $t$, por separado, no lo descarta. Pero la pregunta es sobre los dos a la vez, y eso ningún $t$ lo contesta. Hoy: el $F$ por derecho propio, y con él la respuesta a esta última pregunta al final.

La hipótesis conjunta¶

Significación conjunta: $H_0\!:\beta_2=\beta_3=\cdots=\beta_k=0$ (``ningún regresor aporta nada'') frente a $H_1\!:$ al menos uno es distinto de cero.

Geométricamente: bajo $H_0$ el modelo poblacional se reduce a la constante, y el ajuste que respeta $H_0$ es el vector de medias $\boldsymbol{\mathop{\overline y}}$. El ajuste completo $\boldsymbol{\mathop{\widehat y}}$ siempre se separa de $\boldsymbol{\mathop{\overline y}}$, aunque solo sea por azar. La pregunta es si el subespacio de los regresores acerca $\boldsymbol{\mathop{\widehat y}}$ a $\boldsymbol y$ más de lo esperable por el azar.

¿Por qué no $k-1$ contrastes $t$? Cada $t$ juzga a su regresor con los demás dentro del modelo; ``todos no significativos uno a uno'' no es ``todos nulos a la vez'' (la tabla de la apertura).

Cada $t$ mide una sola dirección, la de su regresor. Una hipótesis sobre varios coeficientes pide un estadístico que mida el cateto explicado entero, en su subespacio de dimensión $k-1$.

El estadístico $F$¶

Los dos catetos de la lección 8, cada uno dividido por la dimensión del subespacio donde vive ($k-1$ para el explicado, lección 10; $n-k$ para el residuo, lección 11): $$ \boxed{\;F=\frac{\mathrm{SEC}/(k-1)}{\mathrm{SRC}/(n-k)}\;} \qquad\text{(el denominador es $\mathfrak s^2$).} $$

Bajo $H_0$, las coordenadas del ruido en una base ortonormal son variables aleatorias ortogonales y de la misma longitud $\sigma$ (homocedasticidad e incorrelación): $\mathrm{SEC}$ suma $k-1$ de sus cuadrados y $\mathrm{SRC}$ las otras $n-k$; divididas por su número de sumandos, las dos estiman $\sigma^2$, y $F\approx1$. Un $F$ mucho mayor que $1$ es evidencia contra $H_0$.

Enunciado (demostración en el apéndice): bajo $H_0$, $\;F\sim F_{k-1,\,n-k}$. Se rechaza al nivel $\alpha$ si $F>F_c$, con $F_c$ el valor que deja $\alpha$ en la cola derecha (una sola cola: $F$ compara longitudes, no tiene signo). Valor $p$: $\mathrm{P}(F_{k-1,\,n-k}>F)$.

Lectura geométrica: la misma figura¶

$El triángulo de las lecciones 8 y 12, con un solo cambio: ya no hay un regresor medido bajo el eje. En verde, el vector de datos en desviaciones (hipotenusa, longitud $\sqrt{\mathrm{STC}}$); en violeta, el ajuste en desviaciones (cateto explicado, longitud $\sqrt{\mathrm{SEC}}$), que con varios regresores ya no es múltiplo de ninguno de ellos: el eje horizontal es ahora un subespacio de dimensión $k-1$; en gris, el residuo (cateto residual, longitud $\sqrt{\mathrm{SRC}}$), en un subespacio de dimensión $n-k$. El ángulo $\theta$ es el de $R^2=\cos^2\theta$. El estadístico $F$ compara los dos catetos, cada uno dividido por su dimensión.$

$$ F=\frac{n-k}{k-1}\cdot\frac{\mathrm{SEC}}{\mathrm{SRC}}=\frac{n-k}{k-1}\cdot\frac{R^2}{1-R^2}: \quad\text{función de $\theta$ y de dos dimensiones.} $$

Con $k=2$: $F=(n-2)\,\mathrm{SEC}/\mathrm{SRC}=t^2$, y también $F_c=t_c^2$. El ejemplo de la lección 8 ($n=5$): $F=\dfrac{90/1}{10/3}=27=t^2$; el valor crítico $F_c(1,3)=10{,}13=3{,}18^2$. Bajo $H_0$, por azar, $R^2$ vale en promedio $(k-1)/(n-1)$: ahí $F=1$ y $\bar R^2=0$.

El $F$ en una tabla de resultados¶

hprice2: price sobre rooms, nox y stratio (el modelo de la actividad 3 (html) de la práctica sobre hprice2 que siguió a la lección 10).

Regresor	Coeficiente	Error estándar	Estadístico $t$
constante	9458,01	4371,41	2,16
`rooms`	7000,63	409,15	17,11
`nox`	-1693,33	236,25	-7,17
`stratio`	-1166,96	128,76	-9,06

$n=506$, $k=4$, $R^2=0{,}6005$, $\mathrm{SRC}=1{,}711\cdot10^{10}$, $\mathrm{SEC}=2{,}572\cdot10^{10}$, $\mathfrak s=\sqrt{\mathrm{SRC}/(n-k)}=5837{,}8$ (la ``D.T. de la regresión'' de Gretl); al pie: $F(3,502)=251{,}5$, valor $p=1{,}3\cdot10^{-99}$.

Lectura: $F=251{,}5$ dice que, por dimensión, el cateto explicado tiene una longitud al cuadrado doscientas cincuenta veces mayor que la del residuo; si $H_0$ fuese cierta esa razón debería rondar $1$. Frente a $F_c(3,502)=2{,}62$ al $5\,\%$, se rechaza que los tres coeficientes sean cero a la vez. No dice: cuáles importan, ni cuánto.

Restricciones lineales: modelos anidados¶

Imponer $q$ restricciones lineales sobre los $\beta$ (excluir, igualar, fijar) obliga al ajuste a vivir en un subespacio menor del de los regresores. Proyectar sobre él aleja el ajuste de $\boldsymbol y$: ajuste restringido ${\boldsymbol{\mathop{\widehat y}}}_r$, con $\mathrm{SRC}_r\geq\mathrm{SRC}$. Los dos modelos están anidados: el restringido es un caso particular del completo.

$Izquierda: el subespacio de los regresores y, dentro de él, el subespacio restringido; $\boldsymbol{\mathop{\widehat y}}$ es la \`\`sombra'' de $\boldsymbol y$ sobre el plano y ${\boldsymbol{\mathop{\widehat y}}}_r$ su \`\`sombra'' sobre la recta, más lejos de $\boldsymbol y$. Derecha: el triángulo sombreado visto de frente, con el ajuste restringido en el papel del vector de medias: hipotenusa $\sqrt{\mathrm{SRC}_r}$, catetos $\sqrt{\mathrm{SRC}_r-\mathrm{SRC}}$ (en las $q$ direcciones del plano de los regresores ortogonales al subespacio restringido) y $\sqrt{\mathrm{SRC}}$. El ángulo recto es $\boldsymbol{\mathop{\widehat y}}-{\boldsymbol{\mathop{\widehat y}}}_r\perp\boldsymbol{\mathop{\widehat e}}$, de donde $\mathrm{SRC}_r=\mathrm{SRC}+\Vert\boldsymbol{\mathop{\widehat y}}-{\boldsymbol{\mathop{\widehat y}}}_r\Vert_e^2$. Con ${\boldsymbol{\mathop{\widehat y}}}_r=\boldsymbol{\mathop{\overline y}}$ es la figura anterior.$

$$ \boxed{\;F=\frac{(\mathrm{SRC}_r-\mathrm{SRC})/q}{\mathrm{SRC}/(n-k)}\;\sim\;F_{q,\,n-k}\ \text{ bajo }H_0\;} \;\text{(conjunta: ${\boldsymbol{\mathop{\widehat y}}}_r=\boldsymbol{\mathop{\overline y}}$, $q=k-1$).} $$

Tres restricciones sobre `hprice2`¶

Modelo completo (actividad 3 (html) de la práctica B de la sesión 14): price sobre rooms, nox y stratio, $n=506$. En Gretl, menú Contrastes -> Restricciones lineales (o el comando restrict): devuelve el $F$, sus grados de libertad y el valor $p$.

$H_0$	$q$	$F$	$F_c$ al $5\,\%$	Lectura
$\beta_{\text{nox}}=\beta_{\text{stratio}}=0$	2	73,1	3,01	se rechaza: juntas, contaminación y ratio alumnos/profesor mejoran el ajuste
$\beta_{\text{stratio}}=0$	1	82,1	3,86	se rechaza; es el $t=-9{,}06$ de la tabla, al cuadrado
$\beta_{\text{nox}}=\beta_{\text{stratio}}$	1	3,56	3,86	no se rechaza, por poco ($p=0{,}060$): los datos no separan los dos efectos

La tercera fila no excluye nada: el modelo restringido regresa price sobre rooms y la suma nox $+$ stratio. Otro subespacio, no menos regresores.

Conjunto $\neq$ individual: el caso de la apertura¶

Regresores, además de `rooms`	$t$ de `nox`	$t$ de `lnox`	$R^2$	$F$ de excluir ambos
`nox`	-7,43		0,5352
`lnox`		-7,51	0,5361
`nox` y `lnox`	0,18	-1,05	0,5362	28,2 ($F_c=3{,}01$)

$\rho_{\text{nox},\text{lnox}}=0{,}994$: los dos regresores en desviaciones apuntan casi en la misma dirección. Cada uno solo es muy significativo; juntos, el ajuste no puede repartir el efecto entre ellos: a cada uno le queda muy poca longitud propia (lección 12), su error estándar se dispara y su $t$ se hunde. Pero el subespacio que generan juntos sí acerca $\boldsymbol{\mathop{\widehat y}}$ a $\boldsymbol y$, y el $F$ lo ve.

Un $F$ conjunto alto con $t$ individuales pequeños es la firma de la colinealidad (lección 14). La conclusión correcta no es ``sobran los dos'', sino ``no se puede separar cuál de los dos''.

Qué dice y qué no dice el $F$¶

$F=\frac{n-k}{k-1}\cdot\frac{R^2}{1-R^2}$ combina, como el $t$, fuerza de la relación (el ángulo) con dimensiones ($n-k$ y $k-1$). Tres casos inventados, calculados con la fórmula para $k=4$:

$n$	$R^2$	$\theta$	$F$	Veredicto al $5\,\%$
6	0,90	$18{,}4^\circ$	6,00	no significativo ($F_c=19{,}16$)
10	0,90	$18{,}4^\circ$	18,00	significativo ($F_c=4{,}76$)
1003	0,01	$84{,}3^\circ$	3,36	significativo ($F_c=2{,}61$)

El $F$ del pie de cada estimación de Gretl contrasta la significación global: una prueba de mínimos, superada casi siempre con muestras grandes. Los $F$ más interesantes nacen de preguntas concretas (¿sobran estas dos variables? ¿tienen el mismo efecto?)

Con doce viviendas de hprice2 elegidas al azar (actividad 5 (html), práctica A de la sesión 18) y el modelo price sobre rooms, nox y stratio: $F(3,8)=9{,}55>4{,}07$, significativo. Pero el $t$ de stratio es $-0{,}10$ y los tres intervalos de confianza son muy anchos. El $F$ dice que los tres regresores, en conjunto, mejoran el ajuste; no dice qué regresores lo mejoran ni de qué tamaño es el efecto de cada uno: eso hay que leerlo en los coeficientes y sus intervalos. Y nada de esto establece causalidad.

Recapitulación y guiño a las sesiones siguientes¶

Pieza	Fórmula	Lectura geométrica
$F$ de significación conjunta	$\frac{\mathrm{SEC}/(k-1)}{\mathrm{SRC}/(n-k)}=\frac{n-k}{k-1}\frac{R^2}{1-R^2}$	razón de longitudes al cuadrado de los catetos, cada una por su dimensión
$F$ de $q$ restricciones	$\frac{(\mathrm{SRC}_r-\mathrm{SRC})/q}{\mathrm{SRC}/(n-k)}$	el mismo triángulo, con ${\boldsymbol{\mathop{\widehat y}}}_r$ en el papel de $\boldsymbol{\mathop{\overline y}}$
Caso $q=1$	$F=t^2$, $F_c=t_c^2$	el contraste $t$ es un $F$ de una restricción
Grados de libertad	$k-1$ (o $q$) y $n-k$	dimensiones de los dos catetos
Región crítica	$F>F_c$ (una cola)	cono alrededor del subespacio de los regresores

Un único ingrediente nuevo: dividir cada cateto por su dimensión. Demostrado: Pitágoras anidado y $F=t^2$ (con $k=2$). Enunciado (demostración en el apéndice): la distribución $F_{q,\,n-k}$.

Lección 14: colinealidad. La longitud propia $\Vert\tilde{\boldsymbol x}_j\Vert_e$ de cada regresor y el factor de inflación de la varianza explican con números el caso de nox y lnox. En un laboratorio posterior: restrict con varias restricciones a la vez, y la distribución del $F$ bajo $H_0$ con datos simulados.