Lección 11. ¿Es \(\boldsymbol{\mathop{\widehat{\beta}}}\) un buen estimador? Insesgadez y varianza

Esta sesión cierra un hilo que llevamos arrastrando desde hace varias lecciones. En la lección 9 (``El puente'') dimos sentido, por primera vez, a la pregunta ``¿\(\hat\beta_2\) estima bien al verdadero \(\beta_2\) poblacional?'', al construir el modelo poblacional \(Y=\beta_1\,\mathit1+\beta_2X+U\) y reinterpretar las fórmulas de la lección 7 como estimadores por el método de los momentos. En la lección 10 (regresión múltiple) esa misma pregunta se generalizó a \(k\) regresores, pero se dejó explícitamente sin respuesta —una sola frase en la recapitulación, sin fórmula ni supuestos generalizados—, precisamente para retomarla hoy con calma, en el caso más sencillo posible: \(k=2\), es decir, dos regresores en total —la constante \(\mathit1\) y un único regresor no constante \(X\).

La estrategia de esta sesión no introduce ninguna geometría nueva. Vamos a reutilizar, tal cual, la fórmula de \(\hat\beta_2\) que obtuvimos en la lección 7 mediante la ``vía alternativa'' (proyección sobre generadores ortogonales, vía Cauchy–Schwarz). Esa fórmula, una vez concluido el cálculo geométrico, quedó escrita como una expresión puramente aritmética: una suma de productos dividida por una suma de cuadrados. Precisamente por ser aritmética —y ya no geométrica—, podemos evaluarla en cualquier conjunto de \(2n\) números que le demos como argumento. Hoy le daremos, en lugar de datos fijos \(x_1,\ldots,x_n,y_1,\ldots,y_n\), las variables aleatorias de una muestra \(X_1,\ldots,X_n,Y_1,\ldots,Y_n\). El resultado de esa sustitución ya no es un número: es una nueva variable aleatoria, el estimador \(\hat\beta_2(\boldsymbol X,\boldsymbol Y)\).

Conviene ser honestos, desde el principio, sobre qué NO vamos a hacer. No vamos a definir un nuevo producto escalar \(\langle\cdot,\cdot\rangle\) sobre ``vectores cuyas componentes son variables aleatorias'', ni vamos a apelar de nuevo a Cauchy–Schwarz para justificar la fórmula de \(\hat\beta_2\): esa demostración geométrica ya se hizo, una vez, en la lección 7, sobre datos fijos, y no hay que repetirla ni reinventarla sobre un objeto distinto. Lo único que hacemos hoy es sustituir números por variables aleatorias dentro de una fórmula ya obtenida —una operación mucho más modesta que una nueva demostración geométrica, y que no exige comprobar ninguna propiedad de producto escalar—. Es la diferencia entre demostrar un teorema y usar la fórmula que el teorema produjo: hoy solo hacemos lo segundo.

Conviene también ser explícitos, desde el principio, sobre el alcance de esta sesión: demostramos insesgadez y la expresión de la varianza solo para \(\hat\beta_2\) en la regresión con dos regresores (el modelo lineal simple). La generalización a \(k\) regresores existe (y la citaremos, sin demostrarla, al final de la sesión), pero requiere álgebra matricial que para este curso he preferido no desarrollar.¹ Lo que sí haremos, como cierre, es comprobar que la fórmula general, evaluada en el caso particular \(k=2\), coincide con lo que aquí probamos sin matrices.

Para profundizar: Wooldridge, J. M. (2020), cap. 2, secciones 2.4-2.5: insesgadez y varianza de los estimadores MCO en regresión simple (Teoremas 2.1 y 2.2).

La lección 9 introdujo, de pasada, una frase que hoy se convierte en el ingrediente central de la sesión: ``asumiremos que nuestros \(n\) datos son el resultado de observar la realización de \(n\) copias idénticas e independientes de esa variable \(Y\)''. Allí esa frase servía únicamente para justificar por qué tenía sentido tratar cada dato \(y_i\) como la realización de una variable aleatoria. Hoy la necesitamos con mucho más detalle, porque para hablar de la distribución de \(\hat\beta_2\) —de cuánto varía de una muestra a otra— necesitamos imaginar que la muestra entera podría haber sido distinta.

Formalicemos esa idea. Desde la lección 4 venimos usando \(\boldsymbol x=(x_1,\ldots,x_n)\) para el vector de datos observados (y, desde la lección 6, para el vector de datos observados de un regresor), y en la lección 10 agrupamos los regresores observados en la matriz de datos \(\boldsymbol{\mathsf X}\) (en el modelo lineal simple, \(\boldsymbol{\mathsf X}=[\boldsymbol1;\;\boldsymbol x]\), dos columnas). Hoy introducimos su análogo aleatorio: la matriz² \(\boldsymbol X\). Este es el objeto sobre el que condicionaremos todos los momentos a lo largo de la sesión. Cada columna de \(\boldsymbol X\) corresponderá al muestreo de uno de los regresores poblacionales. En el modelo lineal simple son \(\mathit 1\) y \(X\); por tanto, la segunda columna de \(\boldsymbol X\) está formada por las \(n\) variables aleatorias \(X_1,\ldots,X_n\): cada una copia idéntica e independiente de la variable poblacional \(X\) de la lección 9.³ Es la misma relación dato/variable aleatoria que venimos usando desde la lección 9 (entre \(y_i\) e \(Y\)), aplicada componente a componente a los \(n\) elementos de la muestra correspondiente a cada columna.

Una precisión de uso. Durante casi toda la sesión no necesitaremos ninguna operación matricial con \(\boldsymbol X\): bastarán sumatorios sobre las \(X_i\), y ``condicionar en \(\boldsymbol X\)'' significará siempre proyectar sobre el espacio de funciones cuyo argumento son, simultáneamente, todas las variables aleatorias presentes en \(\boldsymbol X\). La estructura de matriz de \(\boldsymbol X\) reaparecerá puntualmente al justificar el divisor \(n-k\) (sección ``MCO es BLUE; estimando \(\sigma^2\)'', donde hablaremos de las columnas de \(\boldsymbol{\mathsf X}\)) y, con más de 2 columnas, en la generalización final a \(k\) regresores. Es decir: el símbolo \(\boldsymbol X\) significa lo mismo al principio y al final de la sesión; lo único que cambia es cuántas columnas tiene.

Para cada observación \(i\), el modelo poblacional de la lección 9 se aplica sin ningún cambio, con subíndice \(i\) añadido: \[ Y_i=\beta_1\,\mathit1+\beta_2X_i+U_i, \qquad i=1,\ldots,n, \] con los tres supuestos del Modelo Clásico de Regresión Lineal aplicados a cada par \((X_i,U_i)\): linealidad, independencia lineal (\(\mathrm{Var}(X)\neq0\)) y homocedasticidad \(Var[U_i\mid\boldsymbol X]=\sigma^2\,\mathit1\); más la exogeneidad estricta \(E[U_i\mid\boldsymbol X]=\mathit0\), que en la lección 9 obteníamos gratis.⁴

Sobre el supuesto \(\mathrm{Var}(X)\neq0\) conviene una precisión, porque es fácil que el símbolo ``\(X\)'' despiste una vez que ya solo hablamos de \(X_1,\ldots,X_n\). \(X\), sin subíndice, sigue denotando —como en la lección 9— la variable poblacional de la que \(X_1,\ldots,X_n\) son copias. El supuesto \(\mathrm{Var}(X)\neq0\) se enuncia sobre esa variable poblacional, y se aplica a cada copia \(X_i\) porque, al ser copias idénticas, cada \(X_i\) tiene la misma distribución que \(X\) (y, en particular, la misma varianza).

En resumen: la exogeneidad estricta sigue sin ser un supuesto, pero hoy descansa sobre dos cosas y no sobre una. La definición de \(U_i\) da \(U_i\perp\) funciones de \(X_i\); el muestreo aleatorio da \(U_i\perp\) funciones de las demás copias. Es la primera consecuencia que le sacamos al muestreo aleatorio; la segunda viene a continuación. Nótese, además, que la homocedasticidad de cada \(U_i\) también se condiciona a toda la matriz \(\boldsymbol X\), no solo a \(X_i\): es más fuerte que condicionar solo al regresor de esa observación, y es lo que hace falta para todo lo que sigue; pero aquí no hay corolario que valga: la estamos imponiendo directamente en esa forma más fuerte.

La segunda consecuencia del muestreo aleatorio es aún más directa: si \((X_i,U_i)\) y \((X_j,U_j)\) son independientes para \(i\neq j\), entonces, en particular, \(U_i\) y \(U_j\) son independientes, y dos variables independientes tienen covarianza cero:⁵ \[ Cov[U_i,U_j\mid\boldsymbol X]=\mathit 0 \qquad (i\neq j). \] No se trata, por tanto, de un supuesto añadido ex novo: es la traducción, en términos de covarianzas, de algo que ya habíamos dado por sentado desde la lección 9 al hablar de copias ``idénticas e independientes'' (lo que su curso de estadística del cuatrimestre anterior llamaba, seguramente, muestreo aleatorio simple). Hoy es la primera vez que necesitamos esta consecuencia de forma explícita, porque es la primera vez que trabajamos con varias perturbaciones \(U_1,\ldots,U_n\) simultáneamente, en lugar de con una sola \(U\) genérica.

Para profundizar: Wooldridge, J. M. (2020), cap. 2, sección 2.5, supuesto SLR.2 (muestreo aleatorio).

Antes de seguir, conviene fijar una distinción que hasta ahora el curso no había requerido. Cuando escribimos \(\hat\beta_2=\sigma_{\boldsymbol{x}\boldsymbol{y}}/\sigma_{\boldsymbol{x}}^2=\frac{\sum_i(x_i-\mu_{\boldsymbol x})y_i}{\sum_j(x_j-\mu_{\boldsymbol x})^2}\) (lección 7) y evaluamos esa fórmula empleando dos vectores de datos concretos \(\boldsymbol x\) e \(\boldsymbol y\), obtenemos un número —la estimación \(\hat\beta_2\) de \(\beta_2\). Pero esa fórmula con sumatorios, aplicada a dos muestras \(\boldsymbol X\) y \(\boldsymbol Y\) resulta ser una función de variables aleatorias; es decir, ella misma es una variable aleatoria⁶: en tal caso es el estimador \(\hat\beta_2\) de \(\beta_2\).⁷

Detengámonos, con todo el cuidado que merece, en qué significa exactamente ``sustituir datos por variables aleatorias en una fórmula''. Una fórmula como \(\mu_{\boldsymbol x}=f(x_1,\ldots,x_n)=\frac1n\sum_ix_i\) es, matemáticamente, una función que toma \(n\) números y devuelve un solo número: la media. Pero nada impide evaluar esa MISMA fórmula con otro tipo de argumento (si la operación sigue estando bien definida): si en lugar de \(n\) números le damos \(n\) variables aleatorias \(X_1,\ldots,X_n\), el resultado \(f(X_1,\ldots,X_n)=\frac1n\sum_iX_i\) ya no es un número, ahora es una variable aleatoria. A esta nueva variable aleatoria la llamamos estimador de la media o sencillamente media muestral, y la denotamos con \({\overline{X}}\). Su definición emplea la MISMA fórmula aritmética que en la lección 4 usamos para definir la media de un vector de datos, pero ahora la fórmula es aplicada a las \(n\) variables aleatorias de la muestra (de ahí el nombre de media muestral).

Dicha observación —sencilla pero sustancial— guiará el desarrollo de la presente sesión. Conviene enunciarla explícitamente para evitar atribuirle una complejidad que no tiene: nos limitamos a definir nuevas variables aleatorias mediante la aplicación de fórmulas preexistentes (desarrolladas en su momento en \(\mathbb{R}^n\)) a las variables aleatorias de una muestra. Dichas variables aleatorias se conocen como estadísticos o estadísticos muestrales.

Con esto aclarado, retomamos la fórmula de la ``vía alternativa'' de la lección 7. Allí, cambiando a los generadores ortogonales \(\boldsymbol 1\) y \(\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol 1\), obtuvimos, para dos vectores de datos \(\boldsymbol x\) e \(\boldsymbol y\), \[ \hat\beta_2(\boldsymbol x,\boldsymbol y)=\frac{\langle\boldsymbol y,(\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol1)\rangle_s}{\langle(\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol1),(\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol1)\rangle_s}=\frac{\sum_i(x_i-\mu_{\boldsymbol x})y_i}{\sum_j(x_j-\mu_{\boldsymbol x})^2}. \] El lado izquierdo de esta igualdad (\(\langle\cdot,\cdot\rangle_s\)) es geometría: un cociente de dos productos escalares, con todo su significado y papel en la proyección ortogonal. El lado derecho, en cambio, ya no necesita esa maquinaria para ser evaluado: es una simple expresión aritmética (los factores \(1/n\) de cada producto escalar se cancelan al dividir, así que ni siquiera hace falta llevar la cuenta del divisor). Hoy nos quedamos con esta expresión aritmética —prescindiendo de la geometría subyacente— y sustituimos directamente las observaciones \(x_i, y_i\) por las variables aleatorias \(X_i, Y_i\); y reescribimos la expresión como una suma ponderada:⁸ \[ \hat\beta_2(\boldsymbol X,\boldsymbol Y)=\frac{\sum_i(X_i-\overline{X})Y_i}{\sum_j(X_j-\overline{X})^2}=\sum_{i=1}^n\underbrace{\left(\frac{(X_i-\overline{X})}{\sum_j(X_j-\overline{X})^2}\right)}_{W_i}Y_i =\sum_{i=1}^n {W_i}Y_i. \] Escribimos los pesos aleatorios \(W_i\) con mayúscula por ser estadísticos (i.e., variables aleatorias).

Respecto a la media muestral, fijémonos que como \(\overline{X}=\frac1n\sum_iX_i\), entonces \(\sum_i X_i=n\overline{X}\) y que \(\sum_{i=1}^n \overline{X}=\underbrace{\overline{X}+\dots+\overline{X}}_{n\text{ veces}}=n\overline{X}\); así \[ \sum_i (X_i - \overline{X}) = \sum_i X_i - \sum_i \overline{X} = n\overline{X} - n\overline{X} = \mathit 0. \] Usaremos esta propiedad de la media muestral en la siguiente transparencia.

Para profundizar: Wooldridge, J. M. (2020), cap. 2, sección 2.4 (donde \(\hat\beta_2\) se escribe, con la misma idea, como \(\sum w_iy_i\) mediante sumatorios).

Antes de sustituir el modelo poblacional en \(\hat\beta_2=\sum_iW_iY_i\), necesitamos dos propiedades de los pesos \(W_i\) que, en realidad, ya conocemos aunque nunca las hayamos escrito con este nombre. La primera es, literalmente, \(\langle\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol1,\boldsymbol1\rangle_s=0\) (lección 4: el vector en desviaciones tiene media cero), dividida por el denominador común de los \(W_i\). La segunda es lo que, en la ``vía alternativa'' de la lección 7, hacía que al proyectar \(\boldsymbol y\) sobre \(\boldsymbol x-\mu_{\boldsymbol x}\boldsymbol1\) el coeficiente obtenido fuera la pendiente \(\hat\beta_2\) (allí no aislamos unos ``pesos''; nos limitamos a escribir la fórmula como cociente de productos escalares).

Conviene subrayar, antes de nada, un punto que puede pasar desapercibido y que es clave para no reintroducir la confusión entre estimador y estimación de la transparencia anterior: estas dos propiedades NO son afirmaciones probabilísticas. Son identidades algebraicas, del mismo tipo que ``\(2+3=5\)'': se cumplen para cualquier elección de \(n\) números \(x_1,\ldots,x_n\) —iguales o distintos entre sí, positivos o negativos, no importa—, porque se deducen únicamente de la propia definición de \(\overline{X}\) y \(W_i\), nunca de ninguna propiedad estadística de esos números. Por eso, cuando sustituimos \(x_i\) por la variable aleatoria \(X_i\), la identidad sigue siendo cierta sin necesidad de ningún argumento adicional (salvo, quizá, en el caso extremo de que todos los \(X_i\) coincidieran, en cuyo caso \(\sum_j(X_j-{\overline{X}})^2=\mathit 0\) y \(W_i\) ni siquiera estaría definido).⁹

Primera propiedad: \(\sum_iW_i=\mathit 0\). Como \(W_i=\frac{(X_i-\overline{X})}{\sum_j(X_j-\overline{X})^2}\) y el denominador es común a todos los términos, \(\sum_iW_i=\frac{\sum_i(X_i-\overline{X})}{\sum_j(X_j-\overline{X})^2}\); y donde el numerador sabemos que es nulo: \(\sum_i(X_i-\overline{X})=\mathit 0\).

Segunda propiedad: \(\sum_iW_iX_i=\mathit 1\). Usando de nuevo que \(\sum_i(X_i-{\overline{X}})=\mathit 0\) \[ \sum_i(X_i-{\overline{X}})X_i=\sum_i(X_i-{\overline{X}})(X_i-\overline{X}+\overline{X})=\sum_i (X_i-{\overline{X}})(X_i-\overline{X})+\overline{X}\underbrace{\sum_i(X_i-{\overline{X}})}_{=\mathit 0}; \] y donde hemos sacado factor común \(\overline{X}\) en el sumatorio \(\sum_i(X_i-{\overline{X}})\overline{X}\) para comprobar que es cero.

Por tanto \(\sum_iW_iX_i=\frac{\sum_i(X_i-{\overline{X}})X_i}{\sum_j(X_j-{\overline{X}})^2}=\frac{\sum_i(X_i-{\overline{X}})^2}{\sum_j(X_j-{\overline{X}})^2}=\mathit 1\).

Para profundizar: Wooldridge, J. M. (2020), cap. 2, sección 2.4 (donde estas dos propiedades se verifican mediante sumatorios, sin distinguir explícitamente su estatus puramente algebraico).

Con las dos propiedades de la transparencia anterior —propiedades puramente algebraicas, válidas para cualquier valor que tomen \(X_1,\ldots,X_n\)—, el cálculo es puramente mecánico. Partimos de \(\hat\beta_2=\sum_iW_iY_i\) (sección ``\(\hat\beta_2\): la misma fórmula, aplicada a variables aleatorias'') y sustituimos el modelo poblacional \(Y_i=\beta_1\,\mathit1+\beta_2X_i+U_i\) (sección ``El marco: muestra aleatoria'') en cada sumando: \[ \hat\beta_2(\boldsymbol X,\boldsymbol U)=\sum_iW_i(\beta_1\,\mathit1+\beta_2X_i+U_i)=\beta_1\sum_iW_i+\beta_2\sum_iW_iX_i+\sum_iW_iU_i. \] El primer término se anula (\(\sum_iW_i=\mathit 0\)); el segundo se reduce exactamente a \(\beta_2\,\mathit1\) (\(\sum_iW_iX_i=\mathit 1\)): \[ \hat\beta_2(\boldsymbol X,\boldsymbol U)=\beta_2\,\mathit1+\sum_{i=1}^nW_iU_i. \]

Esta identidad es el corazón algebraico de toda la sesión, y merece leerse con detenimiento: dice que el estimador \(\hat\beta_2\) es la variable aleatoria constante \(\beta_2\,\mathit1\) (donde \(\beta_2\) es el verdadero parámetro poblacional) más una ``suma ponderada'' de las perturbaciones \(U_1,\ldots,U_n\) —con los pesos \(W_i\) que ya conocemos—. Todo lo que necesitamos demostrar sobre \(\hat\beta_2\) (que su valor esperado sea \(\beta_2\), y que su dispersión sea tal o cual) se reduce, a partir de aquí, a estudiar el comportamiento de esa suma ponderada \(\sum_iW_iU_i\). Y como los \(W_i\), según acabamos de comprobar, son —al margen de toda probabilidad— sencillamente funciones de \(X_1,\ldots,X_n\), al condicionar en \(\boldsymbol X\) podremos sacarlos fuera de la esperanza y de la varianza condicionales. Conviene ser preciso sobre qué autoriza ese paso, porque es tentador decir que ``condicionar en \(\boldsymbol X\) convierte los \(W_i\) en números'': no es así. Los \(W_i\) siguen siendo variables aleatorias —funciones de \(\omega\)— antes y después de condicionar; lo que ocurre es que son funciones de aquello sobre lo que se condiciona, y el Lema de la sección siguiente demuestra que tales factores salen fuera del operador \(E[\,\cdot\mid\boldsymbol X]\). El resultado se parece al de una combinación lineal con coeficientes fijos, pero la justificación no es esa: es el Lema, que a su vez sale de la caracterización geométrica de la esperanza condicional (lección 9).

Merece la pena notar, de pasada, la coherencia con el ejemplo numérico de la lección 7: allí, con \(\boldsymbol u=(1,-2,0,2,-1)\) diseñado deliberadamente con \(\sum w_iu_i=0\) (covarianza muestral nula con el regresor), obtuvimos la estimación \(\hat\beta_2=\beta_2\) exactamente. La fórmula de hoy explica por qué ese resultado era una casualidad de diseño y no lo esperable en general: \(\hat\beta_2=\beta_2\,\mathit1+\sum_iW_iU_i\), y solo cuando esa suma se anula por construcción (como en aquel ejemplo, ya con datos y no con variables aleatorias) coinciden estimador y parámetro. En una muestra genuinamente aleatoria, \(\sum_iW_iU_i\) no será cero, sino una variable aleatoria con su propia media y su propia dispersión —que es lo que estudiamos en las dos transparencias siguientes.

Para profundizar: Wooldridge, J. M. (2020), cap. 2, ecuación (2.35) y comentario adyacente.

Partimos de \(\hat\beta_2=\beta_2\,\mathit1+\sum_iW_iU_i\) (transparencia anterior) y tomamos esperanza condicionada a \(\boldsymbol X\) —el primer paso de la sesión que de verdad usa probabilidad—.

Antes de seguir, conviene explicitar algo que en la lección 9 quedó implícito en la propia definición de \(E[Z\mid\boldsymbol X]\) como la función de \(\boldsymbol X\) que minimiza la distancia \(\|Z-g(\boldsymbol X)\|_P\). Exactamente igual que en \(\mathbb R^n\) (lección 4 para una recta, y lección 6 al pasar a un plano: minimizar la distancia de un vector a un subespacio equivale a que el residuo sea ortogonal a todo el subespacio —a cada uno de sus generadores—), esa minimización es equivalente a esta caracterización, que usaremos repetidamente de aquí en adelante:

Caracterización de \(E[Z\mid\boldsymbol X]\). Es la única variable aleatoria (salvo, como advertimos en la lección 9, en un conjunto de sucesos de probabilidad nula) que cumple, a la vez:

1. Pertenencia: es una función de \(\boldsymbol X\).
2. Ortogonalidad del residuo: \(\mathrm{E}\Big((Z-E[Z\mid\boldsymbol X])h(\boldsymbol X)\Big)=0\) para toda función \(h(\boldsymbol X)\).

De esta caracterización salen, con el mismo tipo de comprobación (verificar que el candidato pertenece al espacio y que el residuo es ortogonal), dos propiedades que usaremos continuamente sin volver a citarlas: \(E[\,\cdot\mid\boldsymbol X]\) es lineal, \(E[aZ+bW\mid\boldsymbol X]=a\,E[Z\mid\boldsymbol X]+b\,E[W\mid\boldsymbol X]\), y deja fijas las funciones de \(\boldsymbol X\), \(E[g(\boldsymbol X)\mid\boldsymbol X]=g(\boldsymbol X)\) —en particular, \(E[\beta_2\,\mathit1\mid\boldsymbol X]=\beta_2\,\mathit1\)—. Y con esta misma caracterización podemos demostrar el siguiente lema:

Lema (sacar fuera de la esperanza condicionada las funciones de variables sobre las que se condiciona). Si \(c(\boldsymbol X)\) es una función de la lista de variables aleatorias \(\boldsymbol X\), \[ E[c(\boldsymbol X)Z\mid\boldsymbol X]=c(\boldsymbol X)E[Z\mid\boldsymbol X]. \]

Demostración. Comprobamos que el candidato \(c(\boldsymbol X)E[Z\mid\boldsymbol X]\) cumple las DOS propiedades que caracterizan a \(E[c(\boldsymbol X)Z\mid\boldsymbol X]\):

• Pertenencia: el producto \(c(\boldsymbol X)E[Z\mid\boldsymbol X]\) es función de \(\boldsymbol X\) (producto de funciones de \(\boldsymbol X\)).
• Ortogonalidad: para cualquier \(h(\boldsymbol X)\),

\[ \mathrm{E}\Big(\big(c(\boldsymbol X)Z - c(\boldsymbol X)E[Z\mid \boldsymbol{X}]\big)\,h(\boldsymbol{X})\Big) = \mathrm{E}\Big(\big(Z - E[Z\mid \boldsymbol{X}]\big)\,\underbrace{c(\boldsymbol X)h(\boldsymbol{X})}_{\text{función de }\boldsymbol X}\Big)=0 \] porque \(c(\boldsymbol X)h(\boldsymbol X)\) es, ella misma, función de \(\boldsymbol X\), y ya sabemos que \(Z-E[Z\mid\boldsymbol X]\) es ortogonal a cualquiera de ellas.

Como \(c(\boldsymbol X)E[Z\mid\boldsymbol X]\) cumple las dos propiedades que caracterizan a \(E[c(\boldsymbol X)Z\mid\boldsymbol X]\), concluimos \(E\big[c(\boldsymbol X)Z\mid\boldsymbol X\big]=c(\boldsymbol X)E[Z\mid\boldsymbol X]\). \(\blacksquare\)

Aplicamos el lema con \(c(\boldsymbol X)=W_i\) y con \(Z=U_i\): \[ E[\hat\beta_2\mid\boldsymbol X]=\beta_2\,\mathit1+\sum_iE[W_iU_i\mid\boldsymbol X]=\beta_2\,\mathit1+\sum_iW_i\,E[U_i\mid\boldsymbol X]=\beta_2\,\mathit1+\sum_iW_i\,\mathit0=\beta_2\,\mathit1, \] donde hemos usado la exogeneidad estricta \(E[U_i\mid\boldsymbol X]=\mathit0\) de la sección ``El marco: muestra aleatoria''.

Falta un último paso, pasar de la esperanza condicional a la esperanza incondicional: queremos encontrar \(\mathrm{E}(\hat\beta_2)\), no \(E[\hat\beta_2\mid\boldsymbol X]\). Aquí es donde entra la Ley de las Esperanzas Iteradas, que —como puede comprobarse— es, en realidad, la misma idea que ya usamos en la lección 9 para deducir \(\mathrm{E}(U)=0\) a partir de \(U\perp\mathit1\). En general: la función constante \(\mathit1\) es, trivialmente, una función de \(\boldsymbol X\); aplicando la ortogonalidad del residuo (recordada más arriba) con \(h(\boldsymbol X)=\mathit1\), obtenemos \(Z-E[Z\mid\boldsymbol X]\perp\mathit1\) para cualquier \(Z\) \[ \mathrm{E}\Big(\big(Z-E[Z\mid\boldsymbol X]\big)\,\mathit 1 \Big)=0 \iff \mathrm{E}(Z)-\mathrm{E}\big(E[Z\mid\boldsymbol X]\big)=0, \] es decir, \(\mathrm{E}\big(E[Z\mid\boldsymbol X]\big)=\mathrm{E}(Z)\) —sin ninguna restricción sobre \(Z\)—. Esta es la Ley de las Esperanzas Iteradas, una consecuencia inmediata de nuestra propia definición geométrica de esperanza condicional.

Aplicándola a \(Z=\hat\beta_2\), y usando que \(E[\hat\beta_2\mid\boldsymbol X]=\beta_2\,\mathit1\) es constante: \[ \mathrm{E}(\hat\beta_2)=\mathrm{E}\big(E[\hat\beta_2\mid\boldsymbol X]\big)=\mathrm{E}(\beta_2\,\mathit1)=\beta_2. \] \(\hat\beta_2\) es, por tanto, un estimador insesgado de \(\beta_2\): en promedio, sobre todas las muestras posibles que podríamos haber observado, ni sobreestima ni subestima el verdadero parámetro poblacional.

Para profundizar: Wooldridge, J. M. (2020), cap. 2, Teorema 2.1 (insesgadez de \(\hat\beta_1,\hat\beta_2\)).

La insesgadez nos dice que \(\hat\beta_2\) está bien ``centrado'' en \(\beta_2\). Pero un estimador insesgado puede, aun así, ser muy poco fiable en una muestra concreta si su dispersión es enorme. Necesitamos, por tanto, calcular \(Var[\hat\beta_2\mid\boldsymbol X]\).

Partimos de \(\hat\beta_2=\beta_2\,\mathit1+\sum_iW_iU_i\). Como \(\beta_2\,\mathit1\) es una variable aleatoria constante: \(Var[\hat\beta_2\mid\boldsymbol X]=Var\big[\sum_iW_iU_i\mid\boldsymbol X\big]\). Nos queda, por tanto, desarrollar la varianza de una suma de \(n\) sumandos. Lo haremos en dos pasos: primero calculamos la varianza y la covarianza de cada sumando por separado (aquí interviene el Lema), y después desarrollamos la suma completa. Calculemos primero, para un único sumando, \(Var[W_iU_i\mid\boldsymbol X]\). Ya vimos que \(E[W_iU_i\mid\boldsymbol X]=\mathit0\) (Lema, con \(c(\boldsymbol X)=W_i\)). Por tanto, la definición de varianza condicional (\(Var[Z\mid\boldsymbol X]=E[(Z-E[Z\mid\boldsymbol X])^2\mid\boldsymbol X]\)) se simplifica exactamente como en la lección 9 (\(Var[U\mid X]=E[U^2\mid X]\), porque también allí \(E[U\mid X]=\mathit0\)): \[ Var[W_iU_i\mid\boldsymbol X]=E[(W_iU_i)^2\mid\boldsymbol X]=E[W_i^2U_i^2\mid\boldsymbol X]=W_i^2\,E[U_i^2\mid\boldsymbol X]=W_i^2\,Var[U_i\mid\boldsymbol X], \] donde la penúltima igualdad es, de nuevo, el Lema (con \(c(\boldsymbol X)=W_i^2\), sobre \(Z=U_i^2\)), y la última vuelve a usar que \(E[U_i\mid\boldsymbol X]=\mathit0\).

Por el mismo argumento, para \(i\neq j\) (usando la covarianza condicional definida en ``El marco: muestra aleatoria'', \(Cov[Z,W\mid\boldsymbol X]=E[(Z-E[Z\mid\boldsymbol X])(W-E[W\mid\boldsymbol X])\mid\boldsymbol X]\), análoga a la varianza): \[ Cov[W_iU_i,W_jU_j\mid\boldsymbol X]=E[W_iU_iW_jU_j\mid\boldsymbol X]=W_iW_j\,E[U_iU_j\mid\boldsymbol X]=W_iW_j\,Cov[U_i,U_j\mid\boldsymbol X], \] usando el Lema con \(c(\boldsymbol X)=W_iW_j\).

Con estas dos piezas ya podemos desarrollar la suma entera. Abreviando \(Z_i=W_iU_i\) —de modo que \(E[Z_i\mid\boldsymbol X]=\mathit0\) para todo \(i\), como acabamos de comprobar—, la definición de varianza condicional da \[ Var\Big[\sum_iZ_i\,\Big|\,\boldsymbol X\Big]=E\Big[\Big(\sum_iZ_i\Big)^2\,\Big|\,\boldsymbol X\Big]=E\Big[\sum_i\sum_jZ_iZ_j\,\Big|\,\boldsymbol X\Big]=\sum_i\sum_jE[Z_iZ_j\mid\boldsymbol X], \] donde solo hemos desarrollado el cuadrado de la suma y usado después la linealidad de la esperanza condicional (recordada junto al Lema, en la sección ``Insesgadez''), aplicada ahora a una suma de \(n^2\) términos. Basta ya con separar los términos de la diagonal (\(i=j\)) del resto: como todas las \(Z_i\) tienen esperanza condicional nula, \(E[Z_iZ_j\mid\boldsymbol X]\) es \(Var[Z_i\mid\boldsymbol X]\) cuando \(i=j\), y \(Cov[Z_i,Z_j\mid\boldsymbol X]\) cuando \(i\neq j\). Sustituyendo en ambos casos las dos piezas calculadas más arriba: \[ Var\Big[\sum_iW_iU_i\,\Big|\,\boldsymbol X\Big]=\sum_iW_i^2\,Var[U_i\mid\boldsymbol X]+\sum_{i\neq j}W_iW_j\,Cov[U_i,U_j\mid\boldsymbol X]. \]

Ahora entran en juego, por fin, la homocedasticidad (\(Var[U_i\mid\boldsymbol X]=\sigma^2\,\mathit 1\) para todo \(i\), supuesto de la lección 9) y la ausencia de covarianza cruzada (\(Cov[U_i,U_j\mid\boldsymbol X]=\mathit 0\) para \(i\neq j\), consecuencia del muestreo aleatorio, sección ``El marco: muestra aleatoria''). Con ambas, la doble suma se reduce a \[ Var[\hat\beta_2\mid\boldsymbol X]=\sigma^2\sum_iW_i^2. \]

Calculemos \(\sum_iW_i^2\). Como \(W_i=\frac{X_i-{\overline{X}}}{\sum_j(X_j-{\overline{X}})^2}\): \[ \sum_iW_i^2=\sum_i\left(\frac{X_i-{\overline{X}}}{\sum_j(X_j-{\overline{X}})^2}\right)^2=\frac{\sum_i(X_i-{\overline{X}})^2}{\left(\sum_j(X_j-{\overline{X}})^2\right)^2}=\frac{1}{\sum_j(X_j-{\overline{X}})^2}. \] Sustituyendo: \[ Var[\hat\beta_2\mid\boldsymbol X]=\frac{\sigma^2}{\sum_i(X_i-{\overline{X}})^2}. \]

Esta expresión admite una segunda lectura, útil para su interpretación. Como \(\sum_i(X_i-{\overline{X}})^2=n\cdot\frac1n\sum_i(X_i-{\overline{X}})^2=n\,S^2\) (la varianza muestral del regresor, con la convención estadística del curso, \(S^2=\frac1n\sum_i(X_i-{\overline{X}})^2\)), podemos escribir, equivalentemente, \[ Var[\hat\beta_2\mid\boldsymbol X]=\frac{\sigma^2}{n\,S^2}. \] Esta segunda forma hace explícitos los tres ingredientes que determinan la precisión de \(\hat\beta_2\). (i) Cuanto mayor sea \(\sigma^2\) (más ruido en la perturbación), menor será la precisión. (ii) Cuanto mayor sea \(n\) (más observaciones), mayor será la precisión. (iii) Cuanto mayor sea \(S^2\) (más dispersión en los valores del regresor), mayor será la precisión: una muestra donde \(X\) apenas varía da muy poca información sobre la pendiente que relaciona \(X\) con \(Y\).¹⁰

Nótese, por último, que este resultado es condicional a \(\boldsymbol X\): distintas muestras, con distintos valores del regresor, tendrían distinta precisión. Si quisiéramos la varianza incondicional \(\mathrm{Var}(\hat\beta_2)\), tendríamos que aplicar la ley de la varianza total, que no es sino la identidad pitagórica de la lección 9 (allí enunciada para \(Y\), condicionando en \(X\)), aplicada ahora a \(Z=\hat\beta_2\) condicionando en \(\boldsymbol X\). Para cualquier variable aleatoria \(Z\) con varianza finita, \(E[Z\mid\boldsymbol X]\) es la proyección ortogonal de \(Z\) sobre las funciones de \(\boldsymbol X\), así que \(Z=E[Z\mid\boldsymbol X]+\big(Z-E[Z\mid\boldsymbol X]\big)\) descompone \(Z\) en dos partes ortogonales entre sí. Aplicando Pitágoras a esa descomposición, y la ley de las esperanzas iteradas para escribir \(\mathrm{E}\big((Z-E[Z\mid\boldsymbol X])^2\big)\) como \(\mathrm{E}\big(Var[Z\mid\boldsymbol X]\big)\), se obtiene \[ \mathrm{Var}(\hat\beta_2)=\mathrm{E}\big(Var[\hat\beta_2\mid\boldsymbol X]\big)+\mathrm{Var}\big(E[\hat\beta_2\mid\boldsymbol X]\big), \] donde el segundo sumando es cero (pues \(E[\hat\beta_2\mid\boldsymbol X]=\beta_2\,\mathit1\) es constante, sección ``Insesgadez'', y la varianza de una constante es cero). Pero el primer sumando, \(\mathrm{E}\big(\sigma^2/(nS^2)\big)\), es la esperanza de un cociente, y no se simplifica en general (la esperanza de \(1/S^2\) no es \(1/\mathrm{E}(S^2)\)). Por eso, en la práctica —y en el resto de este curso—, trabajaremos siempre con la fórmula condicional recién obtenida, evaluada en la muestra efectivamente observada: es, de hecho, exactamente lo que hace cualquier programa estadístico al reportar el error estándar de un coeficiente.

Para profundizar: Wooldridge, J. M. (2020), cap. 2, Teorema 2.2 (varianza de \(\hat\beta_1,\hat\beta_2\) bajo los supuestos SLR.1-SLR.5).

Con insesgadez y varianza ya establecidas, cerramos con dos observaciones importantes que, por su naturaleza, no vamos a demostrar en este curso, pero que conviene conocer con precisión.

La primera es el Teorema de Gauss–Markov: bajo los tres supuestos del Modelo Clásico de Regresión Lineal (y el muestreo aleatorio de esta sesión), \(\hat\beta_2\) no es solo insesgado; es, además, el estimador de menor varianza entre todos los estimadores lineales e insesgados. Lineal quiere decir de la forma \(\sum_iC_iY_i\), donde \(Y_1,\ldots,Y_n\) son las variables aleatorias de la muestra (no los datos observados \(y_1,\ldots,y_n\)) y los pesos \(C_i\) no dependen de \(\boldsymbol Y\) (van con mayúscula porque, igual que los \(W_i\), pueden ser funciones de \(\boldsymbol X\)). Este resultado se resume con el acrónimo BLUE (Best Linear Unbiased Estimator, ``el mejor estimador lineal insesgado''). No lo demostraremos: la demostración general requiere comparar \(\hat\beta_2\) con un estimador lineal insesgado arbitrario, con maquinaria matricial que este curso no desarrolla. Pero merece una mención explícita, porque es la justificación teórica última de por qué, entre todas las rectas que podríamos ajustar de otras maneras, elegimos la de mínimos cuadrados.

La segunda observación es más práctica: la fórmula \(Var[\hat\beta_2\mid\boldsymbol X]=\sigma^2/\sum_i(X_i-{\overline{X}})^2\) depende de \(\sigma^2\), la varianza de la perturbación poblacional, que no conocemos. Para usarla en la práctica (algo que haremos en la próxima sesión teórica, al construir errores estándar) necesitamos estimar \(\sigma^2\) a partir de los residuos \(\boldsymbol{\mathop{\widehat e}}\). Estos residuos observados se interpretan aquí como la realización, sobre nuestra muestra concreta, del vector aleatorio de residuos \(\boldsymbol{\mathop{\widehat{E}}}\), cuyas componentes son \(\hat E_i=Y_i-\hat\beta_1\,\mathit1-\hat\beta_2X_i\); es el mismo paso de variable aleatoria a dato que hemos dado varias veces en esta sesión. Esas componentes aproximan, sin ser idénticas a ellas, a las perturbaciones \(U_i\) del modelo poblacional.¹¹

La estimación natural sería \(\langle\boldsymbol{\mathop{\widehat e}},\boldsymbol{\mathop{\widehat e}}\rangle_s=\mathrm{SRC}/n\) —la varianza de los residuos, con nuestra convención estadística habitual—. Pero puede demostrarse (no lo haremos aquí) que el estimador subyacente a esta fórmula —es decir, la misma fórmula, evaluada sobre la muestra aleatoria \(\boldsymbol{\mathop{\widehat{E}}}\) en lugar de sobre los datos observados \(\boldsymbol{\mathop{\widehat e}}\)— es sesgado: subestima \(\sigma^2\) en promedio.¹² La razón de este sesgo es geométrica, y ya la conocemos en parte: por construcción (ecuaciones normales, lección 10), los residuos \(\boldsymbol{\mathop{\widehat e}}\) no son un vector arbitrario de \(\mathbb R^n\), sino que viven siempre en el subespacio ortogonal a las columnas de \(\boldsymbol{\mathsf X}\). Como ese subespacio de regresores tiene dimensión \(k\) (hay \(k\) regresores, incluida la constante), su complemento ortogonal tiene dimensión \(n-k\) —la misma cuenta informal de dimensión que empleamos ya en la lección 4 para \(\mathcal L(\boldsymbol1)^\perp\), de dimensión \(n-1\), el caso particular \(k=1\)—. Dicho de otro modo: aunque \(\boldsymbol{\mathop{\widehat e}}\) tiene \(n\) componentes, solo \(n-k\) de ellas son realmente ``libres''; las \(k\) restantes quedan fijadas por las \(k\) condiciones de ortogonalidad \(\boldsymbol{\mathsf X}^\top\boldsymbol{\mathop{\widehat e}}=\boldsymbol 0\). Dividir por \(n-k\), en vez de por \(n\), es la manera de tener en cuenta esta pérdida de \(k\) grados de libertad, y es lo que hace insesgado al estimador resultante. El estimador que sí resulta insesgado usa, por tanto, ese divisor distinto: \(n-k\) (el número de observaciones menos el número total de coeficientes estimados, incluida la constante) en vez de \(n\).¹³

Esto nos lleva, de forma natural, a introducir un tercer producto escalar en la familia que el curso ha ido construyendo desde la lección 2: junto al euclídeo \(\langle\cdot,\cdot\rangle_e\) (divisor \(1\)) y al estadístico \(\langle\cdot,\cdot\rangle_s=\langle\cdot,\cdot\rangle_n\) (divisor \(n\)), definimos \[ \langle\boldsymbol v,\boldsymbol w\rangle_{n-k}=\frac{1}{n-k}\langle\boldsymbol v,\boldsymbol w\rangle_e. \] Sigue siendo, técnicamente, un producto escalar legítimo (multiplicar por una constante positiva no rompe simetría, linealidad ni positividad),¹⁴ y con él definimos la cuasivarianza de los residuos \[ \mathfrak s^2=\langle\boldsymbol{\mathop{\widehat e}},\boldsymbol{\mathop{\widehat e}}\rangle_{n-k}=\frac{\mathrm{SRC}}{n-k}, \] que sí es un estimador insesgado de \(\sigma^2\) (afirmación que no demostramos). Merece la pena subrayar que el motivo último de cada uno de los tres divisores es distinto. El divisor \(1\) no obedece a ningún motivo particular (es la geometría euclídea sin más). El divisor \(n\) se eligió, en la lección 4, para que \(\|\boldsymbol1\|_s=1\): un motivo puramente geométrico. El divisor \(n-k\) se elige aquí por un motivo estadístico —lograr insesgadez—, aunque, como acabamos de ver, admite también una lectura geométrica: es la dimensión del subespacio donde vive \(\boldsymbol{\mathop{\widehat e}}\). El símbolo \(\mathfrak s^2\) (con la ese gótica) se reserva para esta cantidad, para no confundirla con la varianza muestral \(S^2\) (introducida hoy) ni con la \(s^2\) de los manuales clásicos de estadística, que suele denotar esto mismo con otra convención tipográfica.

La expresión \(n-k\) recibe, en la jerga habitual de la estadística, el nombre de grados de libertad del modelo: el número de observaciones menos el número de parámetros ya estimados. En esta sesión, con dos regresores en total, \(k=2\), así que \(\mathfrak s^2=\mathrm{SRC}/(n-2)\). Volveremos sobre los grados de libertad, con más detalle, en la próxima sesión teórica.

Para profundizar: Wooldridge, J. M. (2020), cap. 2, Teorema 2.2 (parte final: BLUE) y cap. 3, sección 3.5 (Teorema de Gauss-Markov, versión general con \(k\) regresores).

• Wooldridge, J. M. (2020), cap. 3, sección 3.6 (estimación insesgada de \(\sigma^2\), grados de libertad).

Todo lo demostrado en esta sesión se limita, deliberadamente, al caso con dos regresores: la constante \(\mathit1\) y un único regresor no constante \(X\). Con \(k\) regresores (lección 10), el resultado análogo existe, y su enunciado —sin demostración— es la generalización matricial natural de lo que hoy hemos probado: \[ E[\boldsymbol{\mathop{\widehat{\beta}}}\mid\boldsymbol X]=\boldsymbol\beta\,\mathit1,\qquad Var[\boldsymbol{\mathop{\widehat{\beta}}}\mid\boldsymbol X]=\sigma^2(\boldsymbol X^\top\boldsymbol X)^{-1}. \] Aquí \(\boldsymbol X\) es la misma matriz aleatoria de regresores que fijamos al abrir la sesión, solo que ahora con \(k\) columnas en lugar de dos; \(\boldsymbol{\mathsf X}\) sigue denotando, como en la lección 10, la matriz de datos observados. La primera igualdad generaliza la insesgadez de la sección ``Insesgadez'': \(\boldsymbol\beta\,\mathit1\) denota el vector cuyas componentes son las variables aleatorias constantes \(\beta_1\,\mathit1,\ldots,\beta_k\,\mathit1\) —el análogo, para un vector de parámetros, de la constante \(\beta_2\,\mathit1\) que obtuvimos en la sección ``Insesgadez''—. La segunda generaliza la varianza de la sección ``Varianza'': es una matriz \(k\times k\) que ocupa el lugar que antes ocupaba el escalar \(1/\sum_i(X_i-{\overline{X}})^2\); en su diagonal contiene las varianzas \(Var[\hat\beta_1\mid\boldsymbol X],\ldots,Var[\hat\beta_k\mid\boldsymbol X]\) (con \(Var[\hat\beta_2\mid\boldsymbol X]\) como caso particular, ya conocido, en la posición \((2,2)\)), y fuera de la diagonal, las covarianzas \(Cov[\hat\beta_i,\hat\beta_j\mid\boldsymbol X]\) entre cada par de coeficientes.

Al evaluar esta fórmula en una muestra ya observada, sustituimos la matriz aleatoria \(\boldsymbol X\) por la matriz de datos \(\boldsymbol{\mathsf X}\), con lo que queda por calcular \((\boldsymbol{\mathsf X}^\top\boldsymbol{\mathsf X})^{-1}\). Multiplicada por \(\mathfrak s^2\) (la estimación de \(\sigma^2\) de la transparencia anterior, pues \(\sigma^2\) sigue siendo desconocido) da \(\mathfrak s^2(\boldsymbol{\mathsf X}^\top\boldsymbol{\mathsf X})^{-1}\): la fórmula que Gretl (y cualquier otro programa estadístico) usa internamente para calcular los errores estándar que veremos en la próxima sesión teórica.

Es razonable preguntarse si esta fórmula, presentada aquí sin demostración, es compatible con lo que sí hemos demostrado hoy. La respuesta es sí, y podemos comprobarlo con un cálculo elemental. Para \(k=2\) (constante más un único regresor no constante), la matriz \(\boldsymbol{X}^\top\boldsymbol{X}\) (análogo aleatorio de la \(\boldsymbol{\mathsf X}^\top\boldsymbol{\mathsf X}\) de la lección 10) es \[ \boldsymbol{X}^\top\boldsymbol{X}=\begin{pmatrix}n\,\mathit1 & n\overline{X}\\ n\overline{X} & \sum_iX_i^2\end{pmatrix}. \] Usando la fórmula general para invertir una matriz \(2\times2\), obtenemos¹⁵ \[ (\boldsymbol{X}^\top\boldsymbol{X})^{-1}=\frac{1}{n\sum_i(X_i-\overline{X})^2}\begin{pmatrix}\sum_iX_i^2 & -n\overline{X}\\ -n\overline{X} & n\,\mathit1\end{pmatrix}. \] El elemento \((2,2)\) de esta matriz —el que corresponde a la varianza condicional del segundo coeficiente, \(\hat\beta_2\)— vale \(n\,\mathit1\big/\big(n\sum_i(X_i-\overline{X})^2\big)=\mathit1\big/\sum_i(X_i-\overline{X})^2\). Multiplicando por \(\sigma^2\): \[ \sigma^2\big[(\boldsymbol{X}^\top\boldsymbol{X})^{-1}\big]_{22}=\frac{\sigma^2}{\sum_i(X_i-\overline{X})^2}, \] exactamente la fórmula de la sección ``Varianza''. Y, de propina, la misma matriz nos da las otras dos cantidades que esta sesión no ha llegado a calcular —al habernos centrado, como anunciamos al abrir, en \(\hat\beta_2\)—: el elemento \((1,1)\), multiplicado por \(\sigma^2\), da \(Var[\hat\beta_1\mid\boldsymbol{X}]=\sigma^2\sum_iX_i^2\big/\big(n\sum_i(X_i-\overline{X})^2\big)\); y el elemento \((1,2)=(2,1)\), multiplicado por \(\sigma^2\), da \(Cov[\hat\beta_1,\hat\beta_2\mid\boldsymbol{X}]=-\sigma^2\overline{X}\big/\sum_i(X_i-\overline{X})^2\). La generalización matricial, aunque no la hayamos demostrado, es consistente con todo lo que sí hemos probado en esta sesión —y nos regala, sin coste adicional, dos fórmulas más que no habíamos calculado en la lección.

Para profundizar: Wooldridge, J. M. (2020), Apéndice E.2 (fórmulas matriciales de insesgadez y varianza para el modelo de regresión múltiple).

El recorrido de esta sesión, visto en conjunto, es notablemente corto en ingredientes nuevos. Hemos demostrado dos propiedades —insesgadez y varianza de \(\hat\beta_2\)— con piezas que ya teníamos. La fórmula de la ``vía alternativa'' de la lección 7 nos dio \(\hat\beta_2\) como combinación lineal de los datos. La esperanza condicional de la lección 9 nos permitió tomar esperanzas y varianzas ``condicionando en \(\boldsymbol X\)''. Y la independencia entre observaciones anunciada en esa misma lección 9 (``copias idénticas e independientes'').

Conviene decir con claridad qué es lo único genuinamente nuevo, porque es fácil confundirlo con algo más sofisticado: tomar una fórmula ARITMÉTICA ya obtenida —geométricamente, en la lección 7, sobre datos fijos— y evaluarla en variables aleatorias en lugar de en datos. Eso, sin más, es lo que convierte una estimación (un número, calculado a partir de una muestra concreta) en un estimador (una variable aleatoria, cuya distribución depende de qué muestra hubiéramos observado). No hemos definido ningún producto escalar nuevo sobre ``vectores de variables aleatorias'', ni hemos vuelto a demostrar Cauchy–Schwarz sobre un objeto distinto. Sencillamente, hemos sustituido números por variables aleatorias dentro de una fórmula que ya sabíamos cierta, y hemos reservado la maquinaria probabilística de la lección 9 (esperanza condicional, independencia) para el momento en que de verdad hacía falta: al tomar esperanzas y varianzas de esa suma ponderada.

La tabla resume las dos propiedades centrales, junto con los supuestos exactos que cada una requiere: la insesgadez solo necesita linealidad (más el muestreo aleatorio, que es lo que eleva la exogeneidad estricta al condicionamiento en toda la matriz \(\boldsymbol X\)); la varianza necesita, además, homocedasticidad y la ausencia de covarianza cruzada entre perturbaciones (también consecuencia del muestreo aleatorio). Esta jerarquía de supuestos —cada propiedad exige un subconjunto distinto de los tres supuestos del Modelo Clásico— es importante tenerla presente: en las próximas sesiones, cuando alguno de estos supuestos se ponga en duda (más adelante, al tratar la heterocedasticidad, por ejemplo), sabremos exactamente qué propiedad de \(\hat\beta_2\) queda en entredicho y cuál sigue intacta.

Queda, sin embargo, una limitación importante que esta sesión no resuelve. Saber que \(\hat\beta_2\) está bien centrado en \(\beta_2\) (insesgadez) y saber cuánto se dispersa alrededor de ese centro (varianza) NO basta para responder preguntas del tipo ``¿es \(\hat\beta_2=0{,}5\) una estimación compatible con \(\beta_2=0\)?'' o ``¿en qué rango de valores podemos confiar razonablemente que está el verdadero \(\beta_2\)?''. Para responderlas —son los contrastes de hipótesis y los intervalos de confianza que ocuparán buena parte del resto del curso— no basta con la media y la varianza de \(\hat\beta_2\): hace falta conocer, además, la forma completa de su distribución. Esa es la tarea de la próxima sesión teórica: enunciar (sin demostrarla desde cero, apoyándonos en un supuesto adicional sobre la distribución de la perturbación \(U\)) la distribución de \(\hat\beta_2\), y a partir de ella construir el error estándar, el intervalo de confianza y el contraste \(t\).

Para profundizar: Wooldridge, J. M. (2020), cap. 2, sección 2.6 (unidades de medida y forma funcional; transición natural hacia la inferencia del capítulo 4).

Las preguntas más valiosas pedagógicamente son la 7 (obliga a entender que la Ley de las Esperanzas Iteradas no es un teorema traído de fuera, sino una consecuencia inmediata de la propia definición geométrica de esperanza condicional de la lección 9) y la 9 (exige reconocer que la incorrelación entre perturbaciones no es un supuesto añadido, sino una consecuencia del muestreo aleatorio ya anunciado en esa misma lección). La 12 es la más discriminadora: distingue con precisión qué se ha demostrado hoy y qué se ha solo enunciado por analogía matricial. Conviene comentar en clase la 8, porque la lectura de la fórmula de la varianza (qué la hace grande o pequeña) es la que más se usará en las prácticas de laboratorio venideras.

La distinción entre \(\hat\beta_2(\boldsymbol X,\boldsymbol Y)\) y \(\hat\beta_2(\boldsymbol x,\boldsymbol y)\) es:

1. Una diferencia sin importancia, ambas notaciones significan siempre lo mismo.
2. \(\hat\beta_2(\boldsymbol X,\boldsymbol Y)\) es el estimador (variable aleatoria); \(\hat\beta_2(\boldsymbol x,\boldsymbol y)\) es la estimación (un número).
3. \(\hat\beta_2(\boldsymbol X,\boldsymbol Y)\) es la estimación; \(\hat\beta_2(\boldsymbol x,\boldsymbol y)\) es el estimador.
4. Solo tiene sentido hablar de \(\hat\beta_2(\boldsymbol x,\boldsymbol y)\); el estimador no existe como objeto matemático.

La condición \(Cov[U_i,U_j\mid\boldsymbol X]=\mathit 0\) para \(i\neq j\) es:

1. Un supuesto completamente nuevo, no relacionado con nada visto antes.
2. Consecuencia de la homocedasticidad.
3. Consecuencia de la independencia entre observaciones (``copias idénticas e independientes''), ya anunciada en la lección 9.
4. Una consecuencia de la insesgadez de \(\hat\beta_2\).

Los pesos \(W_i=(X_i-{\overline{X}})/\sum_j(X_j-{\overline{X}})^2\) que aparecen en \(\hat\beta_2(\boldsymbol X,\boldsymbol Y)=\sum_iW_iY_i\) provienen de:

1. Una definición completamente nueva, exclusiva de esta sesión.
2. Evaluar, sobre las variables aleatorias de la muestra, la MISMA fórmula aritmética que la ``vía alternativa'' de la lección 7 obtuvo geométricamente sobre datos fijos.
3. El teorema de Gauss-Markov.
4. La cuasivarianza de los residuos.

La propiedad \(\sum_iW_i=\mathit 0\) se deduce de:

1. La homocedasticidad de la perturbación.
2. Que \(X_i-{\overline{X}}\) suma cero por pura aritmética —la misma cuenta que en la lección 4, aplicada ahora a \(n\) variables aleatorias en lugar de a \(n\) datos—.
3. Que \(\hat\beta_2\) es insesgado.
4. La independencia entre \(U_i\) y \(U_j\).

Al sustituir \(Y_i=\beta_1\,\mathit1+\beta_2X_i+U_i\) en \(\hat\beta_2=\sum_iW_iY_i\), el término con \(\beta_1\) desaparece porque:

1. \(\beta_1\) siempre vale cero.
2. \(\sum_iW_i=\mathit 0\).
3. \(\sum_iW_iX_i=\mathit 1\).
4. \(W_i\) no depende de \(\beta_1\).

La propiedad \(E[c(\boldsymbol X)Z\mid\boldsymbol X]=c(\boldsymbol X)E[Z\mid\boldsymbol X]\), usada para justificar que \(W_i\) ``sale'' de la esperanza condicionada, se demuestra:

1. Citando un teorema de un curso de probabilidad más avanzado, no visto en esta asignatura.
2. A partir de la propia definición de \(E[Z\mid\boldsymbol X]\) como proyección ortogonal sobre las funciones de \(\boldsymbol X\).
3. Solo es válida si \(Z\) es independiente de \(\boldsymbol X\).
4. Es una consecuencia de la homocedasticidad.

La igualdad \(\mathrm{E}\big(E[Z\mid\boldsymbol X]\big)=\mathrm{E}(Z)\) se justifica en esta sesión porque:

1. Es un axioma que se acepta sin más.
2. \(\mathit1\) es una función de \(\boldsymbol X\), y \(E[Z\mid\boldsymbol X]\) se define como la proyección de \(Z\) sobre todas las funciones de \(\boldsymbol X\); por tanto \(Z-E[Z\mid\boldsymbol X]\perp\mathit1\).
3. Solo es cierta cuando \(Z=\hat\beta_2\).
4. Es consecuencia de la homocedasticidad.

Según \(Var[\hat\beta_2\mid\boldsymbol X]=\sigma^2/(nS^2)\), la precisión de \(\hat\beta_2\) (menor varianza) aumenta cuando:

1. \(\sigma^2\) aumenta.
2. \(n\) disminuye.
3. \(S^2\) (la varianza muestral del regresor) aumenta.
4. \(\beta_2\) aumenta.

Si \(Cov[U_i,U_j\mid\boldsymbol X]\neq0\) para algún \(i\neq j\), ¿qué parte de la derivación de esta sesión dejaría de ser válida?

1. La insesgadez de \(\hat\beta_2\).
2. Nada; todo el desarrollo es independiente de este supuesto.
3. La fórmula de la varianza, \(Var[\hat\beta_2\mid\boldsymbol X]=\sigma^2/\sum_i(X_i-{\overline{X}})^2\), que dejaría de reducirse a esa expresión tan simple.
4. La propia definición de \(\hat\beta_2\) como combinación lineal de los datos.

El divisor \(n-k\) de \(\langle\cdot,\cdot\rangle_{n-k}\) se elige, a diferencia del divisor \(n\) de \(\langle\cdot,\cdot\rangle_s\), por un motivo:

1. Geométrico, igual que el divisor \(n\) (para que \(\|\boldsymbol1\|_s=1\)).
2. Estadístico: para que \(\mathfrak s^2=SRC/(n-k)\) sea un estimador insesgado de \(\sigma^2\).
3. Arbitrario, sin ninguna justificación.
4. Relacionado con el teorema de Gauss-Markov.

Que MCO sea BLUE significa que:

1. \(\hat\beta_2\) acierta siempre el verdadero valor de \(\beta_2\).
2. \(\hat\beta_2\) tiene la menor varianza entre todos los estimadores lineales e insesgados de \(\beta_2\).
3. \(\hat\beta_2\) es el único estimador insesgado posible.
4. \(\hat\beta_2\) no depende de los supuestos del modelo clásico.

Respecto a la generalización a \(k\) regresores (\(E[\boldsymbol{\mathop{\widehat{\beta}}}\mid\boldsymbol X]=\boldsymbol\beta\,\mathit1\), \(Var[\boldsymbol{\mathop{\widehat{\beta}}}\mid\boldsymbol X]=\sigma^2(\boldsymbol X^\top\boldsymbol X)^{-1}\)), esta sesión:

1. La demuestra íntegramente, generalizando paso a paso el argumento de los pesos \(W_i\).
2. La presenta como aserción, sin demostrarla, y solo verifica —con un cálculo elemental de una inversa \(2\times2\)— que es consistente con lo demostrado para \(k=2\).
3. No la menciona en absoluto.
4. La demuestra solo para el caso \(k=3\).