Lección 11. ¿Es \(\boldsymbol{\mathop{\widehat{\beta}}}\) un buen estimador? Insesgadez y varianza

Esta sesión responde a una pregunta que quedó abierta en las lecciones 9 y 10. En la lección 9 (``El puente'') dimos sentido, por primera vez, a la pregunta ``¿\(\hat\beta_2\) estima bien al verdadero \(\beta_2\) poblacional?'', al construir el modelo poblacional \(Y=\beta_1\,\mathit1+\beta_2X+U\) y reinterpretar las fórmulas de la lección 7 como estimadores por el método de los momentos. En la lección 10 (regresión múltiple) esa misma pregunta se generalizó a \(k\) regresores, pero se dejó sin respuesta: una sola frase en la recapitulación, sin fórmula ni supuestos generalizados. Hoy la retomamos en detalle en el caso más sencillo, \(k=2\): la constante \(\mathit1\) y un único regresor no constante \(X\).

La estrategia de esta sesión no introduce ninguna geometría nueva. Vamos a reutilizar, sin cambios, la fórmula de \(\hat\beta_2\) de la lección 7, covarianza sobre varianza, obtenida de las dos condiciones del residuo: media cero y ortogonalidad al regresor. Esa fórmula, una vez concluido el cálculo geométrico, quedó escrita como una expresión puramente aritmética: una suma de productos dividida por una suma de cuadrados. Precisamente por ser aritmética, y ya no geométrica, podemos evaluarla en cualquier conjunto de argumentos siempre que las operaciones estén bien definidas. Hoy evaluaremos la fórmula, en lugar de con datos fijos \(x_1,\ldots,x_n,y_1,\ldots,y_n\), con la muestra aleatoria \(X_1,\ldots,X_n,Y_1,\ldots,Y_n\). El resultado de esa sustitución ya no es un número: es una nueva variable aleatoria, el estimador \(\hat\beta_2(\boldsymbol X,\boldsymbol Y)\).

Conviene advertir que la lección de hoy no añade geometría sobre los datos. Lo único que hacemos con la fórmula de la lección 7 es sustituir números por variables aleatorias, y esa sustitución no exige comprobar ninguna propiedad de producto escalar: es la diferencia entre demostrar un teorema y usar en otro contexto la fórmula que el teorema produjo. La geometría que sí usamos es la del espacio de las variables aleatorias de la lección 9, al condicionar en \(\boldsymbol X\).

También conviene precisar el alcance de esta sesión: demostramos insesgadez y la expresión de la varianza solo para \(\hat\beta_2\) en la regresión con dos regresores (modelo lineal simple). La generalización a \(k\) regresores existe: la citaremos al final de la sesión en su forma matricial, sin demostrarla, porque requiere álgebra que este curso no desarrolla; la insesgadez y la varianza de cada coeficiente por separado sí están demostradas sin matrices en el apéndice (sección 7.1) (html). Lo que sí haremos, como cierre, es comprobar que la fórmula general, evaluada en el caso particular \(k=2\), coincide con lo que aquí probamos sin matrices.

Para profundizar: Wooldridge, J. M. (2020), cap. 2, sección 2.5: insesgadez y varianza de los estimadores MCO en regresión simple (Teoremas 2.1 y 2.2).

La lección 9 introdujo, sin desarrollarla, una frase que hoy se convierte en el ingrediente central de la sesión: ``asumiremos que nuestros \(n\) datos son el resultado de observar la realización de \(n\) copias idénticas e independientes de esa variable \(Y\)''. Allí solo servía para interpretar cada dato \(y_i\) como la realización de una variable aleatoria. Hoy hace falta más, porque para hablar de la distribución de \(\hat\beta_2\), de cuánto varía de una muestra a otra, hay que imaginar que la muestra podría haber sido distinta.

Formalicemos esa idea. Desde la lección 4 venimos usando \(\boldsymbol x=(x_1,\ldots,x_n)\) para el vector de datos observados (y, desde la lección 6, para el vector de datos observados de un regresor), y en la lección 10 los agrupamos en la matriz de regresores \(\boldsymbol{\mathsf X}\), una columna por regresor (en el modelo lineal simple, \(\boldsymbol{\mathsf X}=[\boldsymbol1;\;\boldsymbol x]\)). Hoy introducimos su análogo aleatorio: la matriz¹ \(\boldsymbol X\). Este es el objeto sobre el que condicionaremos todos los momentos a lo largo de la sesión. Cada columna de \(\boldsymbol X\) corresponderá al muestreo de uno de los regresores poblacionales. En el modelo lineal simple son \(\mathit 1\) y \(X\); por tanto, la segunda columna de \(\boldsymbol X\) está formada por las \(n\) variables aleatorias \(X_1,\ldots,X_n\): cada una es una copia idéntica e independiente de la variable poblacional \(X\) de la lección 9,² y la primera está formada por \(n\) copias de \(\mathit 1\). Es la relación dato/variable aleatoria de la lección 9, entre \(y_i\) e \(Y\), aplicada a cada componente de cada columna.

Mire la figura de la matriz de copias como lo que es: una tabla. Cada fila es una copia de la variable \(X\), es decir, una función que a cada suceso elemental \(\omega\) le asigna un número. Una sección vertical corresponde a la evaluación de las variables aleatorias en un mismo suceso elemental \(\omega\). La casilla donde se cruzan la fila \(i\) y la sección vertical por \(\omega\) contiene el número \(X_i(\omega)\), el valor que la copia \(i\) toma en ese suceso elemental \(\omega\). Como hay tantas copias de \(X\) como se quiera, la tabla continúa hacia abajo sin fin.

Con esa lectura, los dos objetos de la sesión se ven en la tabla. Elegir \(n\) filas es elegir \(n\) copias, \(X_1,\ldots,X_n\): esa lista de \(n\) funciones es la muestra aleatoria. No es un vector de \(\mathbb R^n\), porque los componentes de la lista son funciones, no números. Evaluar esas \(n\) funciones en un mismo suceso elemental \(\omega\) es seleccionar una sección vertical de la figura, que podemos entender como una ``columna'': se obtienen \(n\) números, \(X_1(\omega),\ldots,X_n(\omega)\), que son las componentes del vector de \(\mathbb R^n\) dibujado a la derecha. Ese vector es la muestra: los datos observados del regresor, el \(\boldsymbol x\) de las lecciones anteriores.

Otras \(n\) filas evaluadas en ese mismo \(\omega\) dan otro vector de datos: la tabla tiene infinitas filas, y en lo que sigue ``otra muestra'' es siempre otro bloque de \(n\) filas en la misma columna. Y cuando en el laboratorio de la sesión siguiente repitamos un experimento dos mil veces (actividad 3 (html) de la práctica A de la sesión 16), lo leeremos así: Gretl consume una única secuencia de números pseudoaleatorios, un solo \(\omega\), y toma de ella dos mil bloques sucesivos de \(n\) filas; como los bloques son copias independientes, el histograma de las dos mil estimaciones aproxima la distribución de \(\hat\beta_2\). El apéndice (sección 3) (html) desarrolla esta lectura.

Una precisión de uso. Durante casi toda la sesión no haremos ninguna operación matricial con \(\boldsymbol X\): bastarán sumatorios sobre las \(X_i\), y ``condicionar en \(\boldsymbol X\)'' significará proyectar sobre el espacio de las funciones de todas las variables aleatorias de \(\boldsymbol X\) a la vez. La estructura de matriz reaparece al justificar el divisor \(n-k\) y en la generalización final a \(k\) regresores.

Para cada observación \(i\), el modelo poblacional de la lección 9 se aplica sin ningún cambio, con subíndice \(i\) añadido: \[ Y_i=\beta_1\,\mathit1+\beta_2X_i+U_i, \qquad i=1,\ldots,n, \] con los tres supuestos del Modelo Clásico de Regresión Lineal aplicados a cada par \((X_i,U_i)\): linealidad, independencia lineal (\(\mathrm{Var}(X)\neq0\)) y homocedasticidad \(Var[U_i\mid\boldsymbol X]=\sigma^2\,\mathit1\); más la exogeneidad estricta \(E[U_i\mid\boldsymbol X]=\mathit0\), que en la lección 9 obteníamos sin supuesto adicional.³

Sobre el supuesto \(\mathrm{Var}(X)\neq0\) conviene una precisión, porque es fácil que el símbolo ``\(X\)'' induzca a confusión una vez que ya solo hablamos de \(X_1,\ldots,X_n\). La letra \(X\), sin subíndice, sigue denotando, como en la lección 9, la variable poblacional de la que \(X_1,\ldots,X_n\) son copias. El supuesto \(\mathrm{Var}(X)\neq0\) se enuncia sobre esa variable poblacional, y se aplica a cada copia \(X_i\) porque, al ser copias idénticas, cada \(X_i\) tiene la misma distribución que \(X\) (y, en particular, la misma varianza).

Fíjese que la exogeneidad estricta tampoco es introducida aquí como un supuesto adicional, aunque hoy descansa sobre dos propiedades del modelo (en lugar de solo una): en primer lugar, la definición de \(U_i\) da \(U_i\perp\) funciones de \(X_i\); y, en segundo lugar, el muestreo aleatorio da \(U_i\perp\) funciones de las demás copias \(X_j\) con \(j\ne i\) (la independencia, con el producto escalar del curso, es ortogonalidad entre funciones centradas: apéndice, sección 1.5 (html)). Esta es la primera consecuencia que extraemos del muestreo aleatorio; la segunda viene a continuación.

La segunda consecuencia del muestreo aleatorio es aún más directa: si \((X_i,U_i)\) y \((X_j,U_j)\) son independientes para \(i\neq j\), entonces, en particular, \(U_i\) y \(U_j\) son independientes, y dos variables independientes tienen covarianza cero. Condicionando en \(\boldsymbol X\) hace falta el mismo argumento que para la exogeneidad estricta, y está en el apéndice, sección 6.1 (html):⁴ \[ Cov[U_i,U_j\mid\boldsymbol X]=\mathit 0 \qquad (i\neq j). \] No se trata, por tanto, de un supuesto añadido ex novo: es la traducción, en términos de covarianzas, de algo que ya habíamos dado por sentado desde la lección 9 al hablar de copias ``idénticas e independientes'' (lo que su curso de Estadística, el curso anterior, llamaba muestreo aleatorio simple). Hoy es la primera vez que necesitamos esta consecuencia de forma explícita, porque es la primera vez que trabajamos con varias perturbaciones \(U_1,\ldots,U_n\) simultáneamente, en lugar de con una sola \(U\) genérica. Con el producto escalar de la lección 9: las perturbaciones \(U_1,\ldots,U_n\) son ortogonales dos a dos y todas de longitud \(\sigma\), una familia ortogonal de variables aleatorias. Es todo lo que usan la insesgadez y la varianza de esta sesión; la independencia completa, que es más, solo hará falta en la lección 12 (apéndice, secciones 6.1 (html) y 7.1).

Por último, al enunciar el supuesto de homocedasticidad, la varianza de cada \(U_i\) se condiciona a toda la matriz \(\boldsymbol X\), no solo a \(X_i\). Es la forma que hace falta para todo lo que sigue y, como la exogeneidad estricta, se deduce de la homocedasticidad poblacional de la lección 9 y del muestreo aleatorio: \(U_i^2-\sigma^2\,\mathit1\) es una función centrada de la copia \(i\), ortogonal a toda función de las demás copias (apéndice, sección 6.1 (html)).

Para profundizar: Wooldridge, J. M. (2020), cap. 2, sección 2.5, supuesto SLR.2 (muestreo aleatorio).

Antes de seguir, conviene fijar una distinción que hasta ahora el curso no había requerido. Cuando escribimos \(\hat\beta_2=\frac{\sigma_{\boldsymbol{x}\boldsymbol{y}}}{\sigma_{\boldsymbol{x}}^2}=\frac{\sum_i(x_i-\mu_{\boldsymbol x})y_i}{\sum_j(x_j-\mu_{\boldsymbol x})^2}\) (lección 7 (html)) y evaluamos esa fórmula con dos vectores de datos concretos \(\boldsymbol x\) e \(\boldsymbol y\), obtenemos un número: la estimación \(\hat\beta_2\) de \(\beta_2\). Si aplicamos la misma fórmula a las muestras aleatorias \(\boldsymbol X\) y \(\boldsymbol Y\), el resultado es una función de variables aleatorias, es decir, una variable aleatoria⁵: el estimador \(\hat\beta_2\) de \(\beta_2\).⁶

Su curso de Estadística ya hizo esta distinción con la media: sus tablas tenían tres columnas, parámetro, estimador y estimación, con \(\mu\), la media muestral y el número calculado con los datos. Hoy es la misma tabla con \(\beta_2\), \(\hat\beta_2(\boldsymbol X,\boldsymbol Y)\) y \(\hat\beta_2(\boldsymbol x,\boldsymbol y)\). Una diferencia de escritura: allí la media muestral se escribía casi siempre \(\bar x\), fuese un número o una variable aleatoria; aquí la variable aleatoria se escribe con mayúscula, \(\overline X\), y la minúscula, \(\mu_{\boldsymbol x}\), es siempre un número.

Precisemos qué significa ``sustituir datos por variables aleatorias en una fórmula''. Una fórmula como \(\mu_{\boldsymbol x}=f(x_1,\ldots,x_n)=\frac1n\sum_ix_i\) es, matemáticamente, una función que toma \(n\) números y devuelve un solo número: la media. Pero nada impide evaluar esa MISMA fórmula con otro tipo de argumento (si la operación sigue estando bien definida): si en lugar de \(n\) números sus argumentos son \(n\) variables aleatorias \(X_1,\ldots,X_n\), el resultado \(f(X_1,\ldots,X_n)=\frac1n\sum_iX_i\) ya no es un número, ahora es una variable aleatoria. A esta nueva variable aleatoria la llamamos media muestral, y la denotamos con \({\overline{X}}\); es el estimador natural del valor esperado \(\mathrm{E}(X)\). Su definición emplea la MISMA fórmula aritmética que en la lección 4 usamos para definir la media de un vector de datos, pero ahora la fórmula es aplicada a la muestra aleatoria, las \(n\) variables aleatorias \(X_1,\ldots,X_n\) (de ahí el nombre de media muestral).

Esta observación guía toda la sesión, y no encierra más complejidad que la enunciada: nos limitamos a definir nuevas variables aleatorias mediante la aplicación de fórmulas preexistentes (desarrolladas en su momento en \(\mathbb{R}^n\)) a una muestra aleatoria. Dichas variables aleatorias se conocen como estadísticos o estadísticos muestrales.

Con esto aclarado, retomamos la fórmula de la pendiente de la lección 7, \(\hat\beta_2=\sigma_{\boldsymbol x\boldsymbol y}/\sigma_{\boldsymbol x}^2\), obtenida de las dos condiciones del residuo. La vía alternativa (html) de esa lección la escribió como cociente de productos escalares, cambiando a los generadores ortogonales \(\boldsymbol 1\) y \(\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol 1\): para dos vectores de datos \(\boldsymbol x\) e \(\boldsymbol y\), \[ \hat\beta_2(\boldsymbol x,\boldsymbol y)=\frac{\langle\boldsymbol y,(\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol1)\rangle_s}{\langle(\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol1),(\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol1)\rangle_s}=\frac{\sum_i(x_i-\mu_{\boldsymbol x})y_i}{\sum_j(x_j-\mu_{\boldsymbol x})^2}. \] El lado izquierdo de esta igualdad (\(\langle\cdot,\cdot\rangle_s\)) es geometría: un cociente de dos productos escalares, con todo su significado y papel en la proyección ortogonal. El lado derecho, en cambio, ya no necesita esos conceptos para ser evaluado: es una simple expresión aritmética (los factores \(1/n\) de cada producto escalar se cancelan al dividir, así que ni siquiera hace falta escribirlos). Hoy nos quedamos con esta expresión aritmética, prescindiendo de la geometría subyacente, y sustituimos directamente las observaciones \(x_i, y_i\) por las variables aleatorias \(X_i, Y_i\); y reescribimos la expresión como una suma ponderada:⁷ \[ \hat\beta_2(\boldsymbol X,\boldsymbol Y)=\frac{\sum_i(X_i-\overline{X})Y_i}{\sum_j(X_j-\overline{X})^2}=\sum_{i=1}^n\underbrace{\left(\frac{(X_i-\overline{X})}{\sum_j(X_j-\overline{X})^2}\right)}_{W_i}Y_i =\sum_{i=1}^n {W_i}Y_i. \] Escribimos los pesos aleatorios \(W_i\) con mayúscula por ser estadísticos (i.e., variables aleatorias).

Respecto a la media muestral, fijémonos que como \(\overline{X}=\frac1n\sum_iX_i\), entonces, por una parte, \(\sum_i X_i=n\overline{X}\) y por otra \(\sum_{i=1}^n \overline{X}=\underbrace{\overline{X}+\dots+\overline{X}}_{n\text{ veces}}=n\overline{X}\); así \[ \sum_i (X_i - \overline{X}) = \sum_i X_i - \sum_i \overline{X} = n\overline{X} - n\overline{X} = \mathit 0. \] Usaremos esta propiedad de la media muestral en ``Dos propiedades de los pesos''.

Para profundizar: Wooldridge, J. M. (2020), cap. 2, sección 2.5 (donde \(\hat\beta_2\) se escribe, con la misma idea, como \(\sum w_iy_i\) mediante sumatorios).

Antes de sustituir el modelo poblacional en \(\hat\beta_2=\sum_iW_iY_i\), necesitamos las dos propiedades de los pesos \(W_i\) que enuncia la transparencia: \(\sum_iW_i=\mathit0\) y \(\sum_iW_iX_i=\mathit1\). Las dos se obtienen dividiendo una suma por el denominador común de los pesos, \(\sum_j(X_j-\overline{X})^2\): la primera, la suma \(\sum_i(X_i-\overline{X})=\mathit0\) de ``\(\hat\beta_2\): la misma fórmula, aplicada a variables aleatorias''; la segunda, la suma \(\sum_i(X_i-\overline{X})X_i\), que vale \(\sum_i(X_i-\overline{X})^2\), como se comprueba más abajo. Ninguna de las dos es nueva, como dice la transparencia: son las mismas sumas que ya hicimos con datos en las lecciones 4 y 7, y lo que se traslada de los datos a las copias es la cuenta aritmética, no la geometría, como explica el párrafo siguiente.

Un punto clave, para no perder la distinción entre estimador y estimación de ``\(\hat\beta_2\): la misma fórmula, aplicada a variables aleatorias'': estas dos propiedades no son afirmaciones probabilísticas, sino identidades algebraicas. Tome \(n\) números cualesquiera \(x_1,\ldots,x_n\), su media \(\mu_{\boldsymbol x}\) y los pesos \(w_i=(x_i-\mu_{\boldsymbol x})\big/\sum_j(x_j-\mu_{\boldsymbol x})^2\). Las igualdades \(\sum_iw_i=0\) y \(\sum_iw_ix_i=1\) se cumplen sea cual sea la elección de esos números, iguales o distintos entre sí, positivos o negativos, porque se deducen solo de las definiciones de \(\mu_{\boldsymbol x}\) y \(w_i\), sin usar ninguna propiedad estadística de los números. Por eso, cuando en lugar de \(n\) números ponemos las \(n\) copias \(X_1,\ldots,X_n\), con \(\overline{X}\) en el lugar de \(\mu_{\boldsymbol x}\) y \(W_i\) en el de \(w_i\), las igualdades siguen siendo ciertas sin ningún argumento adicional: en cada suceso elemental \(\omega\) las copias toman \(n\) números, y para ellos la identidad se cumple.⁸ Conviene retener la regla, porque se usará muchas veces: por este camino solo pasan las identidades, las igualdades ciertas para toda lista de números. Las tres sumas que usa la lección, \(\sum_iW_i\), \(\sum_iW_iX_i\) y, más adelante, \(\sum_iW_i^2\), pasan por él.

Primera propiedad: \(\sum_iW_i=\mathit 0\). Como \(W_i=\frac{(X_i-\overline{X})}{\sum_j(X_j-\overline{X})^2}\) y el denominador es común a todos los términos, \(\sum_iW_i=\frac{\sum_i(X_i-\overline{X})}{\sum_j(X_j-\overline{X})^2}\); y el numerador es nulo: \(\sum_i(X_i-\overline{X})=\mathit 0\).

Segunda propiedad: \(\sum_iW_iX_i=\mathit 1\). Usando de nuevo que \(\sum_i(X_i-{\overline{X}})=\mathit 0\) \[ \sum_i(X_i-{\overline{X}})X_i=\sum_i(X_i-{\overline{X}})(X_i-\overline{X}+\overline{X})=\sum_i (X_i-{\overline{X}})(X_i-\overline{X})+\overline{X}\underbrace{\sum_i(X_i-{\overline{X}})}_{=\mathit 0}; \] donde hemos sacado factor común \(\overline{X}\) en el sumatorio \(\sum_i(X_i-{\overline{X}})\overline{X}\) para comprobar que es cero.

Por tanto \(\sum_iW_iX_i=\frac{\sum_i(X_i-{\overline{X}})X_i}{\sum_j(X_j-{\overline{X}})^2}=\frac{\sum_i(X_i-{\overline{X}})^2}{\sum_j(X_j-{\overline{X}})^2}=\mathit 1\).

Esta segunda identidad es la que la vía alternativa (html) de la lección 7 usaba sin nombrarla. Allí el coeficiente de \(\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol1\) era \(c_2=\langle\boldsymbol y,\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol1\rangle_s\big/\Vert\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol1\Vert_s^2\), y el denominador es también \(\langle\boldsymbol x,\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol1\rangle_s\): es la cuenta de arriba, con datos en lugar de copias. Aplicada a \(\boldsymbol y=\boldsymbol x\), la fórmula de la pendiente devuelve \(1\); eso es \(\sum_iw_ix_i=1\).

Para profundizar: Wooldridge, J. M. (2020), cap. 2, sección 2.5 (donde estas dos propiedades se verifican mediante sumatorios, sin distinguir explícitamente su estatus puramente algebraico).

Gracias a las ``Dos propiedades de los pesos'', el cálculo que resta es puramente mecánico. Partimos de \(\hat\beta_2=\sum_iW_iY_i\) (sección ``\(\hat\beta_2\): la misma fórmula, aplicada a variables aleatorias'') y sustituimos el modelo poblacional \(Y_i=\beta_1\,\mathit1+\beta_2X_i+U_i\) (sección ``El marco: muestra aleatoria'') en cada sumando: \[ \hat\beta_2(\boldsymbol X,\boldsymbol U)=\sum_iW_i(\beta_1\,\mathit1+\beta_2X_i+U_i)=\beta_1\sum_iW_i+\beta_2\sum_iW_iX_i+\sum_iW_iU_i. \] El primer término se anula (\(\sum_iW_i=\mathit 0\)); el segundo se reduce a \(\beta_2\,\mathit1\) (\(\sum_iW_iX_i=\mathit 1\)): \[ \hat\beta_2(\boldsymbol X,\boldsymbol U)=\beta_2\,\mathit1+\sum_{i=1}^nW_iU_i. \]

Esta identidad es el núcleo algebraico de la sesión: dice que el estimador \(\hat\beta_2\) es la variable aleatoria constante \(\beta_2\,\mathit1\) (donde \(\beta_2\) es el verdadero parámetro poblacional) más una ``suma ponderada'' de las perturbaciones \(U_1,\ldots,U_n\), con los pesos \(W_i\) que ya conocemos. Todo lo que necesitamos demostrar sobre \(\hat\beta_2\) (que su valor esperado sea \(\beta_2\), y que su dispersión sea tal o cual) se reduce, a partir de aquí, a estudiar el comportamiento de esa suma ponderada \(\sum_iW_iU_i\). Los \(W_i\) son funciones de \(X_1,\ldots,X_n\), como acabamos de comprobar. Por eso, al condicionar en \(\boldsymbol X\), podremos sacarlos fuera de la esperanza y de la varianza condicionales. Conviene ser preciso sobre qué autoriza ese paso, porque es tentador decir que ``condicionar en \(\boldsymbol X\) convierte los \(W_i\) en números'': no es así. Los \(W_i\) siguen siendo variables aleatorias, funciones de \(\omega\), antes y después de condicionar; lo que ocurre es que son funciones de aquello sobre lo que se condiciona, y el Lema de ``Insesgadez'' demuestra que tales factores salen fuera del operador \(E[\,\cdot\mid\boldsymbol X]\). El resultado se parece al de una combinación lineal con coeficientes fijos, pero la justificación no es esa: es el Lema, que a su vez sale de la caracterización geométrica de la esperanza condicional (lección 9 (html)).

El ejemplo numérico de la lección 7 es coherente con esta descomposición: allí, con \(\boldsymbol u=(1,-2,0,2,-1)\) diseñado deliberadamente con \(\sum w_iu_i=0\) (covarianza nula con el regresor), obtuvimos la estimación \(\hat\beta_2=\beta_2\) exactamente. La fórmula de hoy explica por qué ese resultado se debía al diseño del ejemplo y no es lo esperable en general: \(\hat\beta_2=\beta_2\,\mathit1+\sum_iW_iU_i\), y solo cuando esa suma se anula por construcción (como en aquel ejemplo, ya con datos y no con variables aleatorias) coinciden estimador y parámetro. Sobre la muestra aleatoria, \(\sum_iW_iU_i\) no es cero, sino una variable aleatoria con su propio valor esperado y su propia varianza, que es lo que estudiamos en ``Insesgadez'' y ``Varianza''.

Para profundizar: Wooldridge, J. M. (2020), cap. 2, ecuación (2.35) y comentario adyacente.

Partimos de \(\hat\beta_2=\beta_2\,\mathit1+\sum_iW_iU_i\) (``Sustituyendo el modelo poblacional'') y tomamos esperanza condicionada a \(\boldsymbol X\): el primer paso de la sesión que usa probabilidad.

La herramienta es la definición de \(E[Z\mid\boldsymbol X]\) de la lección 9, la función de \(\boldsymbol X\) que minimiza la distancia \(\|Z-g(\boldsymbol X)\|_P\), escrita como se escribe toda proyección: por la ortogonalidad del resto (lección 4 para una recta, lección 6 para un plano).

Caracterización de \(E[Z\mid\boldsymbol X]\). Es la única variable aleatoria (salvo, como advertimos en la lección 9, en un conjunto de sucesos de probabilidad nula) que cumple, a la vez:

1. Pertenencia: es una función de \(\boldsymbol X\).
2. Ortogonalidad del residuo: \(\mathrm{E}\Big((Z-E[Z\mid\boldsymbol X])h(\boldsymbol X)\Big)=0\) para toda función \(h(\boldsymbol X)\).

De esta caracterización salen, comprobando en cada caso que el candidato es función de \(\boldsymbol X\) y que el resto es ortogonal, las reglas que usaremos de aquí en adelante; las demostraciones están en el apéndice, sección 1.3 (html), y la linealidad de la esperanza sin condicionar es la regla 1 del apéndice, sección 1.6 (html). Linealidad: \(E[aZ+bW\mid\boldsymbol X]=a\,E[Z\mid\boldsymbol X]+b\,E[W\mid\boldsymbol X]\). Las funciones de \(\boldsymbol X\) quedan fijas: \(E[g(\boldsymbol X)\mid\boldsymbol X]=g(\boldsymbol X)\); en particular, \(E[\beta_2\,\mathit1\mid\boldsymbol X]=\beta_2\,\mathit1\). Y el Lema de la transparencia, que generaliza la anterior:

Lema (sacar fuera de la esperanza condicionada las funciones de variables sobre las que se condiciona). Si \(c(\boldsymbol X)\) es una función de la lista de variables aleatorias \(\boldsymbol X\), \[ E[c(\boldsymbol X)Z\mid\boldsymbol X]=c(\boldsymbol X)E[Z\mid\boldsymbol X]. \]

Aplicamos el Lema con \(c(\boldsymbol X)=W_i\) y con \(Z=U_i\): \[ E[\hat\beta_2\mid\boldsymbol X]=\beta_2\,\mathit1+\sum_iE[W_iU_i\mid\boldsymbol X]=\beta_2\,\mathit1+\sum_iW_i\,E[U_i\mid\boldsymbol X]=\beta_2\,\mathit1+\sum_iW_i\,\mathit0=\beta_2\,\mathit1, \] donde hemos usado la exogeneidad estricta \(E[U_i\mid\boldsymbol X]=\mathit0\) de la sección ``El marco: muestra aleatoria''.

Falta pasar de la esperanza condicional a la incondicional: queremos \(\mathrm{E}(\hat\beta_2)\), no \(E[\hat\beta_2\mid\boldsymbol X]\). Es la Ley de las Esperanzas Iteradas de la transparencia, \(\mathrm{E}\big(E[Z\mid\boldsymbol X]\big)=\mathrm{E}(Z)\) para cualquier \(Z\), que sale de la caracterización con \(h(\boldsymbol X)=\mathit1\): la constante es una función de \(\boldsymbol X\), así que el resto es ortogonal a \(\mathit1\) y las dos esperanzas coinciden. Es la misma idea con la que la lección 9 dedujo \(\mathrm{E}(U)=0\) de \(U\perp\mathit1\); en el apéndice, sección 1.3 (html) se lee como proyectar en dos pasos sobre subespacios anidados: primero sobre las funciones de \(\boldsymbol X\) y después sobre la recta de las constantes.

Aplicándola a \(Z=\hat\beta_2\), y usando que \(E[\hat\beta_2\mid\boldsymbol X]=\beta_2\,\mathit1\) es constante: \[ \mathrm{E}(\hat\beta_2)=\mathrm{E}\big(E[\hat\beta_2\mid\boldsymbol X]\big)=\mathrm{E}(\beta_2\,\mathit1)=\beta_2. \] \(\hat\beta_2\) es, por tanto, un estimador insesgado de \(\beta_2\): en promedio, sobre todas las muestras posibles que podríamos haber observado, ni sobreestima ni subestima el verdadero parámetro poblacional.

Para profundizar: Wooldridge, J. M. (2020), cap. 2, Teorema 2.1 (insesgadez de \(\hat\beta_1,\hat\beta_2\)).

La insesgadez nos dice que \(\hat\beta_2\) está bien ``centrado'' en \(\beta_2\). Pero un estimador insesgado puede, aun así, ser muy poco fiable en una muestra concreta si su dispersión es grande. Necesitamos, por tanto, calcular \(Var[\hat\beta_2\mid\boldsymbol X]\).

Partimos de \(\hat\beta_2=\beta_2\,\mathit1+\sum_iW_iU_i\). Como \(\beta_2\,\mathit1\) es una variable aleatoria constante: \(Var[\hat\beta_2\mid\boldsymbol X]=Var\big[\sum_iW_iU_i\mid\boldsymbol X\big]\). Nos queda, por tanto, desarrollar la varianza de una suma de \(n\) sumandos. Si su curso de Estadística no llegó a la varianza de una suma, lea antes la regla 3 del apéndice, sección 1.6 (html): aquí se hace la misma cuenta con la esperanza condicional. Lo haremos en dos pasos: primero calculamos la varianza y la covarianza de cada sumando por separado (aquí interviene el Lema), y después desarrollamos la suma completa.

Calculemos primero, para un único sumando, \(Var[W_iU_i\mid\boldsymbol X]\). Ya vimos que \(E[W_iU_i\mid\boldsymbol X]=\mathit0\) (Lema, con \(c(\boldsymbol X)=W_i\)). Por tanto, la definición de varianza condicional (\(Var[Z\mid\boldsymbol X]=E[(Z-E[Z\mid\boldsymbol X])^2\mid\boldsymbol X]\)) se simplifica como en la lección 9 (\(Var[U\mid X]=E[U^2\mid X]\), porque también allí \(E[U\mid X]=\mathit0\)): \[ Var[W_iU_i\mid\boldsymbol X]=E[(W_iU_i)^2\mid\boldsymbol X]=E[W_i^2U_i^2\mid\boldsymbol X]=W_i^2\,E[U_i^2\mid\boldsymbol X]=W_i^2\,Var[U_i\mid\boldsymbol X], \] donde la penúltima igualdad es, de nuevo, el Lema (con \(c(\boldsymbol X)=W_i^2\), sobre \(Z=U_i^2\)), y la última vuelve a usar que \(E[U_i\mid\boldsymbol X]=\mathit0\).

Por el mismo argumento, para \(i\neq j\) (usando la covarianza condicional definida en ``El marco: muestra aleatoria'', \(Cov[Z,W\mid\boldsymbol X]=E[(Z-E[Z\mid\boldsymbol X])(W-E[W\mid\boldsymbol X])\mid\boldsymbol X]\), análoga a la varianza): \[ Cov[W_iU_i,W_jU_j\mid\boldsymbol X]=E[W_iU_iW_jU_j\mid\boldsymbol X]=W_iW_j\,E[U_iU_j\mid\boldsymbol X]=W_iW_j\,Cov[U_i,U_j\mid\boldsymbol X], \] usando el Lema con \(c(\boldsymbol X)=W_iW_j\).

Con estas dos piezas ya podemos desarrollar la suma entera. Abreviando \(Z_i=W_iU_i\) (de modo que \(E[Z_i\mid\boldsymbol X]=\mathit0\) para todo \(i\), como acabamos de comprobar), la definición de varianza condicional da \[ Var\Big[\sum_iZ_i\,\Big|\,\boldsymbol X\Big]=E\Big[\Big(\sum_iZ_i\Big)^2\,\Big|\,\boldsymbol X\Big]=E\Big[\sum_i\sum_jZ_iZ_j\,\Big|\,\boldsymbol X\Big]=\sum_i\sum_jE[Z_iZ_j\mid\boldsymbol X], \] donde solo hemos desarrollado el cuadrado de la suma y usado después la linealidad de la esperanza condicional (recordada junto al Lema, en la sección ``Insesgadez''), aplicada ahora a una suma de \(n^2\) términos. Basta ya con separar los términos de la diagonal (\(i=j\)) del resto: como todas las \(Z_i\) tienen esperanza condicional nula, \(E[Z_iZ_j\mid\boldsymbol X]\) es \(Var[Z_i\mid\boldsymbol X]\) cuando \(i=j\), y \(Cov[Z_i,Z_j\mid\boldsymbol X]\) cuando \(i\neq j\). Sustituyendo en ambos casos las dos piezas calculadas más arriba: \[ Var\Big[\sum_iW_iU_i\,\Big|\,\boldsymbol X\Big]=\sum_iW_i^2\,Var[U_i\mid\boldsymbol X]+\sum_{i\neq j}W_iW_j\,Cov[U_i,U_j\mid\boldsymbol X]. \]

Ahora intervienen, por primera vez en la sesión, la homocedasticidad (\(Var[U_i\mid\boldsymbol X]=\sigma^2\,\mathit 1\) para todo \(i\), supuesto de la lección 9) y la ausencia de covarianza cruzada (\(Cov[U_i,U_j\mid\boldsymbol X]=\mathit 0\) para \(i\neq j\), consecuencia del muestreo aleatorio, sección ``El marco: muestra aleatoria''). Con ambas, la doble suma se reduce a \[ Var[\hat\beta_2\mid\boldsymbol X]=\sigma^2\sum_iW_i^2. \]

Calculemos \(\sum_iW_i^2\). Como \(W_i=\frac{X_i-{\overline{X}}}{\sum_j(X_j-{\overline{X}})^2}\): \[ \sum_iW_i^2=\sum_i\left(\frac{X_i-{\overline{X}}}{\sum_j(X_j-{\overline{X}})^2}\right)^2=\frac{\sum_i(X_i-{\overline{X}})^2}{\left(\sum_j(X_j-{\overline{X}})^2\right)^2}=\frac{1}{\sum_j(X_j-{\overline{X}})^2}. \] Sustituyendo: \[ Var[\hat\beta_2\mid\boldsymbol X]=\frac{\sigma^2}{\sum_i(X_i-{\overline{X}})^2}. \]

Esta expresión admite una segunda lectura, útil para su interpretación. Como \(\sum_i(X_i-{\overline{X}})^2=n\cdot\frac1n\sum_i(X_i-{\overline{X}})^2=n\,S^2\) (la varianza muestral del regresor, con la convención estadística del curso, \(S^2=\frac1n\sum_i(X_i-{\overline{X}})^2\)), podemos escribir, equivalentemente, \[ Var[\hat\beta_2\mid\boldsymbol X]=\frac{\sigma^2}{n\,S^2}. \] Esta segunda forma hace explícitos los tres ingredientes que determinan la precisión de \(\hat\beta_2\). (i) Cuanto mayor sea \(\sigma^2\) (mayor varianza de la perturbación), menor será la precisión. (ii) Cuanto mayor sea \(n\) (más observaciones), mayor será la precisión. (iii) Cuanto mayor sea \(S^2\) (más dispersión en los valores del regresor), mayor será la precisión: una muestra donde \(X\) apenas varía impide medir la pendiente con precisión. Evaluada en la muestra observada, esta varianza es \(\sigma^2\) dividido por \(\|\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol 1\|_e^2\), la longitud euclídea al cuadrado del regresor en desviaciones, el mismo vector con el que la lección 7 calculó la pendiente: cuanto más largo, menor la varianza. Es la forma que usará la lección 12 para el error estándar.

Su curso de Estadística enunció sin demostrar dos propiedades de la media muestral: \(\mathrm{E}(\bar x)=\mu\) y \(\sigma_{\bar x}=\sigma/\sqrt n\), el ``error de muestreo''. El argumento de hoy las demuestra. Tome el modelo con un único regresor, la constante: \(Y_i=\beta_1\,\mathit1+U_i\). Su ajuste es el vector de medias (lección 4), así que el estimador de \(\beta_1\) es la media muestral \(\overline Y=\sum_i\frac1nY_i\): una suma ponderada con pesos \(1/n\), que son números y no variables aleatorias. Sustituyendo el modelo, \(\overline Y=\beta_1\,\mathit1+\sum_i\frac1nU_i\). Su esperanza es \(\beta_1\), porque cada \(U_i\) tiene esperanza cero; y su varianza, por la misma cuenta de esta transparencia con \(W_i=1/n\) y sin necesidad de condicionar, es \(\sum_i\frac1{n^2}\sigma^2=\sigma^2/n\). Son las dos propiedades de su curso con \(\beta_1\) en el papel de \(\mu\). Las dos varianzas tienen la misma forma: la de la media muestral es \(\sigma^2/\Vert\boldsymbol 1\Vert_e^2\), porque \(n=\Vert\boldsymbol 1\Vert_e^2\); la de la pendiente, evaluada en la muestra observada, es \(\sigma^2/\Vert\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol 1\Vert_e^2\). En los dos casos, \(\sigma^2\) dividido por la longitud euclídea al cuadrado de la parte del regresor ortogonal a los demás regresores: en la media muestral, \(\boldsymbol 1\) es el único regresor y esa parte es él entero; en la pendiente, es \(\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol 1\), la parte de \(\boldsymbol x\) ortogonal a \(\boldsymbol 1\). La lección 12 enunciará esta forma para cualquier número de regresores.

Nótese, por último, que \(Var[\hat\beta_2\mid\boldsymbol X]\) es una variable aleatoria, una función de \(\boldsymbol X\): en cada suceso elemental \(\omega\) toma un valor, el número \(\sigma^2\big/\sum_i\big(X_i(\omega)-\overline X(\omega)\big)^2\), mayor o menor según cuánto se dispersen en ese \(\omega\) los valores de las copias. El número que informa un programa es el de la muestra observada. La varianza incondicional, un único número para todas las muestras, sale de la descomposición de la varianza del apéndice, sección 1.3 (html), el Pitágoras de la lección 9 aplicado a \(\hat\beta_2\) condicionando en \(\boldsymbol X\): \[ \mathrm{Var}(\hat\beta_2)=\mathrm{E}\big(Var[\hat\beta_2\mid\boldsymbol X]\big)+\mathrm{Var}\big(E[\hat\beta_2\mid\boldsymbol X]\big). \] El segundo sumando es cero, porque \(E[\hat\beta_2\mid\boldsymbol X]=\beta_2\,\mathit1\) es constante (sección ``Insesgadez''); el primero, \(\mathrm{E}\big(\sigma^2/(nS^2)\big)\), depende de la distribución de \(X\) y no tiene una fórmula general. Por eso, en la práctica y en el resto del curso, se trabaja con la fórmula condicional evaluada en la muestra observada: es lo que hace cualquier programa estadístico al informar del error estándar de un coeficiente.

Para profundizar: Wooldridge, J. M. (2020), cap. 2, Teorema 2.2 (varianza de \(\hat\beta_1,\hat\beta_2\) bajo los supuestos SLR.1-SLR.5).

Con insesgadez y varianza ya establecidas, cerramos con dos observaciones que esta sesión enuncia y el apéndice demuestra, y que conviene conocer.

La primera es el Teorema de Gauss–Markov: bajo los tres supuestos del Modelo Clásico de Regresión Lineal (y el muestreo aleatorio de esta sesión), \(\hat\beta_2\) no es solo insesgado; es, además, el estimador de menor varianza entre todos los estimadores lineales e insesgados. Lineal quiere decir de la forma \(\sum_iC_iY_i\), donde \(Y_1,\ldots,Y_n\) son la muestra aleatoria (no los datos observados \(y_1,\ldots,y_n\)) y los pesos \(C_i\) no dependen de \(\boldsymbol Y\) (van con mayúscula porque, igual que los \(W_i\), pueden ser funciones de \(\boldsymbol X\)). Este resultado se resume con el acrónimo BLUE (Best Linear Unbiased Estimator, ``el mejor estimador lineal insesgado''). La demostración está en el apéndice (sección 7.3) (html) y no necesita matrices. Aquí basta con lo que dice: cualquier otra regla que combine linealmente las \(Y_i\) y esté centrada en \(\beta_2\) tiene más varianza que \(\hat\beta_2\). Es la justificación teórica de la elección de mínimos cuadrados entre los estimadores lineales e insesgados.

La segunda observación es más práctica: la fórmula \(Var[\hat\beta_2\mid\boldsymbol X]=\sigma^2/\sum_i(X_i-{\overline{X}})^2\) depende de \(\sigma^2\), la varianza de la perturbación poblacional, que no conocemos. Para usarla en la práctica (algo que haremos en la lección 12, al construir errores estándar) necesitamos estimar \(\sigma^2\) a partir de los residuos \(\boldsymbol{\mathop{\widehat e}}\). Estos residuos observados se interpretan aquí como la realización, sobre nuestra muestra concreta, de la lista de residuos \((\hat E_1,\ldots,\hat E_n)\), con \(\hat E_i=Y_i-\hat\beta_1\,\mathit1-\hat\beta_2X_i\); es el mismo paso de variable aleatoria a dato que hemos dado varias veces en esta sesión. Esas componentes aproximan, sin ser idénticas a ellas, a las perturbaciones \(U_i\) del modelo poblacional.⁹

La estimación natural sería \(\langle\boldsymbol{\mathop{\widehat e}},\boldsymbol{\mathop{\widehat e}}\rangle_s=\mathrm{SRC}/n\), la varianza de los residuos con nuestra convención habitual. Pero ese estimador, la misma fórmula evaluada sobre la lista de residuos \((\hat E_1,\ldots,\hat E_n)\), es sesgado: subestima \(\sigma^2\) en promedio.¹⁰ La razón es geométrica. Véala primero en el caso que su curso de Estadística ya usaba. Con la constante como único regresor, el residuo es el vector en desviaciones, que vive en \(\mathcal L(\boldsymbol 1)^\perp\), de dimensión \(n-1\) (lección 4); \(\mathrm{SRC}=\sum_i(U_i-\overline U)^2\) tiene esperanza \((n-1)\sigma^2\) (apéndice, sección 7.2 (html)), y dividir por \(n-1\) da un estimador insesgado: es el divisor \(n-1\) con el que su curso de Estadística definía la varianza de la muestra. Allí se dio sin motivo; el motivo es este. Con \(k\) regresores, por las ecuaciones normales (lección 10), los residuos viven en el subespacio ortogonal a las columnas de \(\boldsymbol{\mathsf X}\), que tiene dimensión \(n-k\) (apéndice, sección 5.1 (html)); en una base ortonormal de ese subespacio, \(\mathrm{SRC}\) es una suma de \(n-k\) cuadrados, y cada uno, evaluado sobre la muestra aleatoria, tiene esperanza \(\sigma^2\) (de nuevo el apéndice, sección 7.2). Así que \(\mathrm{SRC}\) tiene esperanza \((n-k)\sigma^2\), \(\mathrm{SRC}/n\) subestima \(\sigma^2\), y dividir por \(n-k\) es lo que da un estimador insesgado.

Ese divisor introduce un tercer producto escalar en la familia que el curso construye desde la lección 2: junto al euclídeo \(\langle\cdot,\cdot\rangle_e\) (divisor \(1\)) y al estadístico \(\langle\cdot,\cdot\rangle_s=\langle\cdot,\cdot\rangle_n\) (divisor \(n\)), definimos \[ \langle\boldsymbol v,\boldsymbol w\rangle_{n-k}=\frac{1}{n-k}\langle\boldsymbol v,\boldsymbol w\rangle_e. \] Sigue siendo un producto escalar (multiplicar por una constante positiva conserva la simetría, la linealidad y la positividad),¹¹ y con él definimos la cuasivarianza de los residuos \[ \mathfrak s^2=\langle\boldsymbol{\mathop{\widehat e}},\boldsymbol{\mathop{\widehat e}}\rangle_{n-k}=\frac{\mathrm{SRC}}{n-k}, \] que es un estimador insesgado de \(\sigma^2\), por el argumento del apéndice (sección 7.2) resumido más arriba. Los tres divisores tienen motivos distintos. El \(1\) es la geometría euclídea. El \(n\) se eligió en la lección 4 para que \(\|\boldsymbol1\|_s=1\), un motivo geométrico. El \(n-k\) se elige por un motivo estadístico, la insesgadez, y su lectura geométrica es la razón: la dimensión del subespacio donde vive \(\boldsymbol{\mathop{\widehat e}}\), el número de coordenadas del vector de residuos que entran en \(\mathrm{SRC}\). Los manuales de estadística escriben esta cantidad \(s^2\). Aquí usamos la ese gótica, \(\mathfrak s^2\), para que no se confunda con la varianza muestral \(S^2\) de esta lección, que divide por \(n\).

La expresión \(n-k\) recibe, en la terminología habitual de la estadística, el nombre de grados de libertad del modelo: el número de observaciones menos el número de parámetros ya estimados. En esta sesión, con dos regresores en total, \(k=2\), así que \(\mathfrak s^2=\mathrm{SRC}/(n-2)\). Volveremos sobre los grados de libertad, con más detalle, en la lección 12.

Para profundizar:

• Wooldridge, J. M. (2020), cap. 2, Teorema 2.2 (parte final: BLUE) y cap. 3, sección 3.5 (Teorema de Gauss-Markov, versión general con \(k\) regresores).
• Wooldridge, J. M. (2020), cap. 3, sección 3.4 (estimación insesgada de \(\sigma^2\), grados de libertad).

Todo lo demostrado en esta sesión se ha limitado, deliberadamente, al caso con dos regresores: la constante \(\mathit1\) y un único regresor no constante \(X\). Con \(k\) regresores (lección 10), el resultado análogo existe, y su enunciado, sin demostración, es la generalización matricial natural de lo que hoy hemos probado: \[ E[\boldsymbol{\mathop{\widehat{\beta}}}\mid\boldsymbol X]=\boldsymbol\beta\,\mathit1,\qquad Var[\boldsymbol{\mathop{\widehat{\beta}}}\mid\boldsymbol X]=\sigma^2(\boldsymbol X^\top\boldsymbol X)^{-1}. \] Aquí \(\boldsymbol X\) es la misma matriz aleatoria de regresores que fijamos al abrir la sesión, solo que ahora con \(k\) columnas en lugar de dos; \(\boldsymbol{\mathsf X}\) sigue denotando, como en la lección 10, la matriz de regresores observada. La primera igualdad generaliza la insesgadez de la sección ``Insesgadez'': \(\boldsymbol\beta\,\mathit1\) denota el vector cuyas componentes son las variables aleatorias constantes \(\beta_1\,\mathit1,\ldots,\beta_k\,\mathit1\), el análogo, para un vector de parámetros, de la constante \(\beta_2\,\mathit1\) que obtuvimos en la sección ``Insesgadez''. La segunda generaliza la varianza de la sección ``Varianza'': es una matriz \(k\times k\) que ocupa el lugar que antes ocupaba el escalar \(1/\sum_i(X_i-{\overline{X}})^2\); en su diagonal contiene las varianzas \(Var[\hat\beta_1\mid\boldsymbol X],\ldots,Var[\hat\beta_k\mid\boldsymbol X]\) (con \(Var[\hat\beta_2\mid\boldsymbol X]\) como caso particular, ya conocido, en la posición \((2,2)\)), y fuera de la diagonal, las covarianzas \(Cov[\hat\beta_i,\hat\beta_j\mid\boldsymbol X]\) entre cada par de coeficientes. Esta fórmula matricial se enuncia sin demostrar. Lo que sí está demostrado con material del curso, en el apéndice, sección 7.1 (html), es su diagonal: la insesgadez y la varianza de cada coeficiente por separado, con cualquier número de regresores, usando la parte propia del regresor que define la lección 14.

Al evaluar esta fórmula en una muestra ya observada, la matriz aleatoria \(\boldsymbol X\) toma su valor en el \(\omega\) que ocurrió, la matriz de regresores observada \(\boldsymbol{\mathsf X}\), con lo que queda por calcular \((\boldsymbol{\mathsf X}^\top\boldsymbol{\mathsf X})^{-1}\). Multiplicada por \(\mathfrak s^2\) (la estimación de \(\sigma^2\) de ``MCO es BLUE; estimando \(\sigma^2\)'', pues \(\sigma^2\) sigue siendo desconocido) da \(\mathfrak s^2(\boldsymbol{\mathsf X}^\top\boldsymbol{\mathsf X})^{-1}\): la fórmula que Gretl (y cualquier otro programa estadístico) usa internamente para calcular los errores estándar que veremos en la lección 12.

Es razonable preguntarse si esta fórmula, presentada aquí sin demostración, es compatible con lo que sí hemos demostrado hoy. La respuesta es sí, y podemos comprobarlo con un cálculo elemental. Para \(k=2\) (constante más un único regresor no constante), la matriz \(\boldsymbol{X}^\top\boldsymbol{X}\) (análogo aleatorio de la \(\boldsymbol{\mathsf X}^\top\boldsymbol{\mathsf X}\) de la lección 10) es \[ \boldsymbol{X}^\top\boldsymbol{X}=\begin{pmatrix}n\,\mathit1 & n\overline{X}\\ n\overline{X} & \sum_iX_i^2\end{pmatrix}. \] Usando la fórmula general para invertir una matriz \(2\times2\), obtenemos¹² \[ (\boldsymbol{X}^\top\boldsymbol{X})^{-1}=\frac{1}{n\sum_i(X_i-\overline{X})^2}\begin{pmatrix}\sum_iX_i^2 & -n\overline{X}\\ -n\overline{X} & n\,\mathit1\end{pmatrix}. \] El elemento \((2,2)\) de esta matriz, el que corresponde a la varianza condicional del segundo coeficiente, \(\hat\beta_2\), vale \(n\,\mathit1\big/\big(n\sum_i(X_i-\overline{X})^2\big)=\mathit1\big/\sum_i(X_i-\overline{X})^2\). Multiplicando por \(\sigma^2\): \[ \sigma^2\big[(\boldsymbol{X}^\top\boldsymbol{X})^{-1}\big]_{22}=\frac{\sigma^2}{\sum_i(X_i-\overline{X})^2}, \] la fórmula de la sección ``Varianza''. Además, la misma matriz da las otras dos cantidades que esta sesión no ha llegado a calcular, al habernos centrado, como anunciamos en la primera transparencia, en \(\hat\beta_2\): el elemento \((1,1)\), multiplicado por \(\sigma^2\), da \(Var[\hat\beta_1\mid\boldsymbol{X}]=\sigma^2\sum_iX_i^2\big/\big(n\sum_i(X_i-\overline{X})^2\big)\); y el elemento \((1,2)=(2,1)\), multiplicado por \(\sigma^2\), da \(Cov[\hat\beta_1,\hat\beta_2\mid\boldsymbol{X}]=-\sigma^2\overline{X}\big/\sum_i(X_i-\overline{X})^2\). La generalización matricial, aunque no la hayamos demostrado, es consistente con todo lo que sí hemos probado en esta sesión, y añade dos fórmulas más que no habíamos calculado en la lección.

Para profundizar: Wooldridge, J. M. (2020), Apéndice E.2 (fórmulas matriciales de insesgadez y varianza para el modelo de regresión múltiple).

Esta sesión tiene pocos ingredientes nuevos. Hemos demostrado dos propiedades, insesgadez y varianza de \(\hat\beta_2\), con piezas que ya teníamos. La fórmula de la pendiente de la lección 7, covarianza sobre varianza, nos dio \(\hat\beta_2\) como suma ponderada de los datos, \(\sum_iw_iy_i\). La esperanza condicional de la lección 9 nos permitió tomar esperanzas y varianzas ``condicionando en \(\boldsymbol X\)''. Y la independencia entre observaciones, anunciada en esa misma lección 9 (``copias idénticas e independientes''), nos dio la incorrelación entre perturbaciones.

Lo único nuevo es esto: tomar una fórmula ARITMÉTICA ya obtenida (geométricamente, en la lección 7, sobre datos fijos) y evaluarla en variables aleatorias en lugar de en datos. Eso es lo que convierte una estimación (un número, calculado a partir de una muestra concreta) en un estimador (una variable aleatoria, cuya distribución depende de qué muestra hubiéramos observado). Hemos sustituido números por variables aleatorias dentro de una fórmula ya conocida, y hemos reservado la herramienta probabilística de la lección 9 (esperanza condicional, independencia) para el momento en que era necesaria: al tomar esperanzas y varianzas de esa expresión calculada sobre una muestra aleatoria.

La tabla resume las dos propiedades centrales, junto con los supuestos exactos que cada una requiere: la insesgadez solo necesita linealidad y \(\mathrm{Var}(X)\neq0\) (más el muestreo aleatorio, que es lo que eleva la exogeneidad estricta al condicionamiento en toda la matriz \(\boldsymbol X\)); la varianza necesita, además, homocedasticidad y la ausencia de covarianza cruzada entre perturbaciones (también consecuencia del muestreo aleatorio). Conviene tener presente esta jerarquía: cada propiedad exige un subconjunto distinto de los tres supuestos del Modelo Clásico. Si se pusiera en duda alguno de ellos (la homocedasticidad, por ejemplo), sabríamos qué propiedad de \(\hat\beta_2\) deja de estar garantizada y cuál sigue intacta.

Queda, sin embargo, una limitación importante que esta sesión no resuelve. Saber que \(\hat\beta_2\) está bien centrado en \(\beta_2\) (insesgadez) y saber cuánto se dispersa alrededor de ese centro (varianza) NO basta para responder preguntas del tipo ``si \(\beta_2\) valiese cero, ¿sería \(\hat\beta_2=0{,}5\) una estimación demasiado rara?'' o ``¿en qué rango de valores podemos confiar razonablemente que está el verdadero \(\beta_2\)?''. Para responderlas (son los contrastes de hipótesis y los intervalos de confianza que ocuparán buena parte del resto del curso) no basta con el valor esperado y la varianza de \(\hat\beta_2\): hace falta conocer, además, la forma completa de su distribución. Esa es la tarea de la lección 12: enunciar, apoyándonos en un supuesto adicional sobre la distribución de la perturbación \(U\), la distribución de \(\hat\beta_2\) (la demostración está en el apéndice (sección 9) (html)), y a partir de ella construir el error estándar, el intervalo de confianza y el contraste \(t\).

Para profundizar: Wooldridge, J. M. (2020), cap. 2, sección 2.5 (Teoremas 2.1 y 2.2) y cap. 3, secciones 3.3 y 3.4 (los mismos resultados con \(k\) regresores).

Las preguntas que más le conviene trabajar son la 7 (la Ley de las Esperanzas Iteradas es una consecuencia inmediata de la definición geométrica de esperanza condicional de la lección 9) y la 9 (la incorrelación entre perturbaciones es una consecuencia del muestreo aleatorio anunciado en esa misma lección). La 12 le pide distinguir qué se ha demostrado hoy y qué se ha enunciado solo por analogía matricial. Repase también la 8: la lectura de la fórmula de la varianza (qué la hace grande o pequeña) es la que más usará en las prácticas de laboratorio.

La distinción entre \(\hat\beta_2(\boldsymbol X,\boldsymbol Y)\) y \(\hat\beta_2(\boldsymbol x,\boldsymbol y)\) es:

1. Una diferencia sin importancia, ambas notaciones significan siempre lo mismo.
2. \(\hat\beta_2(\boldsymbol X,\boldsymbol Y)\) es el estimador (variable aleatoria); \(\hat\beta_2(\boldsymbol x,\boldsymbol y)\) es la estimación (un número).
3. \(\hat\beta_2(\boldsymbol X,\boldsymbol Y)\) es la estimación; \(\hat\beta_2(\boldsymbol x,\boldsymbol y)\) es el estimador.
4. Solo tiene sentido hablar de \(\hat\beta_2(\boldsymbol x,\boldsymbol y)\); el estimador no existe como objeto matemático.

La condición \(Cov[U_i,U_j\mid\boldsymbol X]=\mathit 0\) para \(i\neq j\) es:

1. Un supuesto completamente nuevo, no relacionado con nada visto antes.
2. Consecuencia de la homocedasticidad.
3. Consecuencia de la independencia entre observaciones (``copias idénticas e independientes''), ya anunciada en la lección 9.
4. Una consecuencia de la insesgadez de \(\hat\beta_2\).

Los pesos \(W_i=(X_i-{\overline{X}})/\sum_j(X_j-{\overline{X}})^2\) que aparecen en \(\hat\beta_2(\boldsymbol X,\boldsymbol Y)=\sum_iW_iY_i\) provienen de:

1. Una definición completamente nueva, exclusiva de esta sesión.
2. Evaluar, sobre la muestra aleatoria, la MISMA fórmula aritmética que la lección 7 obtuvo geométricamente sobre datos fijos.
3. El teorema de Gauss-Markov.
4. La cuasivarianza de los residuos.

La propiedad \(\sum_iW_i=\mathit 0\) se deduce de:

1. La homocedasticidad de la perturbación.
2. Que \(X_i-{\overline{X}}\) suma cero por pura aritmética: la misma cuenta que en la lección 4, aplicada ahora a \(n\) variables aleatorias en lugar de a \(n\) datos.
3. Que \(\hat\beta_2\) es insesgado.
4. La independencia entre \(U_i\) y \(U_j\).

Al sustituir \(Y_i=\beta_1\,\mathit1+\beta_2X_i+U_i\) en \(\hat\beta_2=\sum_iW_iY_i\), el término con \(\beta_1\) desaparece porque:

1. \(\beta_1\) siempre vale cero.
2. \(\sum_iW_i=\mathit 0\).
3. \(\sum_iW_iX_i=\mathit 1\).
4. \(W_i\) no depende de \(\beta_1\).

La propiedad \(E[c(\boldsymbol X)Z\mid\boldsymbol X]=c(\boldsymbol X)E[Z\mid\boldsymbol X]\), usada para justificar que \(W_i\) ``sale'' de la esperanza condicionada, se demuestra (en el apéndice):

1. Citando un teorema de un curso de probabilidad más avanzado, no visto en esta asignatura.
2. A partir de la propia definición de \(E[Z\mid\boldsymbol X]\) como proyección ortogonal sobre las funciones de \(\boldsymbol X\).
3. Solo es válida si \(Z\) es independiente de \(\boldsymbol X\).
4. Es una consecuencia de la homocedasticidad.

La igualdad \(\mathrm{E}\big(E[Z\mid\boldsymbol X]\big)=\mathrm{E}(Z)\) se justifica en esta sesión porque:

1. Es un axioma que se acepta sin más.
2. \(\mathit1\) es una función de \(\boldsymbol X\), y \(E[Z\mid\boldsymbol X]\) se define como la proyección de \(Z\) sobre todas las funciones de \(\boldsymbol X\); por tanto \(Z-E[Z\mid\boldsymbol X]\perp\mathit1\).
3. Solo es cierta cuando \(Z=\hat\beta_2\).
4. Es consecuencia de la homocedasticidad.

Según \(Var[\hat\beta_2\mid\boldsymbol X]=\sigma^2/(nS^2)\), la precisión de \(\hat\beta_2\) (menor varianza) aumenta cuando:

1. \(\sigma^2\) aumenta.
2. \(n\) disminuye.
3. \(S^2\) (la varianza muestral del regresor) aumenta.
4. \(\beta_2\) aumenta.

Si \(Cov[U_i,U_j\mid\boldsymbol X]\neq\mathit0\) para algún \(i\neq j\), ¿qué parte de la derivación de esta sesión dejaría de ser válida?

1. La insesgadez de \(\hat\beta_2\).
2. Nada; todo el desarrollo es independiente de este supuesto.
3. La fórmula de la varianza, \(Var[\hat\beta_2\mid\boldsymbol X]=\sigma^2/\sum_i(X_i-{\overline{X}})^2\), que dejaría de reducirse a esa expresión tan simple.
4. La propia definición de \(\hat\beta_2\) como combinación lineal de los datos.

El divisor \(n-k\) de \(\langle\cdot,\cdot\rangle_{n-k}\) se elige, a diferencia del divisor \(n\) de \(\langle\cdot,\cdot\rangle_s\), por un motivo:

1. Geométrico, igual que el divisor \(n\) (para que \(\|\boldsymbol1\|_s=1\)).
2. Estadístico: para que \(\mathfrak s^2=\mathrm{SRC}/(n-k)\) sea un estimador insesgado de \(\sigma^2\).
3. Arbitrario, sin ninguna justificación.
4. Relacionado con el teorema de Gauss-Markov.

Que MCO sea BLUE significa que:

1. \(\hat\beta_2\) acierta siempre el verdadero valor de \(\beta_2\).
2. \(\hat\beta_2\) tiene la menor varianza entre todos los estimadores lineales e insesgados de \(\beta_2\).
3. \(\hat\beta_2\) es el único estimador insesgado posible.
4. \(\hat\beta_2\) no depende de los supuestos del modelo clásico.

Respecto a la generalización a \(k\) regresores (\(E[\boldsymbol{\mathop{\widehat{\beta}}}\mid\boldsymbol X]=\boldsymbol\beta\,\mathit1\), \(Var[\boldsymbol{\mathop{\widehat{\beta}}}\mid\boldsymbol X]=\sigma^2(\boldsymbol X^\top\boldsymbol X)^{-1}\)), esta sesión:

1. La demuestra íntegramente, generalizando paso a paso el argumento de los pesos \(W_i\).
2. La presenta como aserción, sin demostrarla, y solo verifica, con un cálculo elemental de una inversa \(2\times2\), que es consistente con lo demostrado para \(k=2\).
3. No la menciona en absoluto.
4. La demuestra solo para el caso \(k=3\).