Lección 16. Variables indicadoras e interacciones: leer las diferencias entre grupos¶

Author: Marcos Bujosa

La indicadora de un suceso, ${\mathsf{1}\mkern-3.5mu\mathsf{l}}_A$ de la lección 12, es hoy un regresor más, que señala una característica de la unidad observada. Su coeficiente es una diferencia entre grupos, en unidades del regresando o porcentual si está en logaritmos. Dos indicadoras complementarias suman la constante, y de ahí la trampa de las variables ficticias. Una interacción permite que una pendiente cambie de grupo, y el contraste de Chow pregunta si los parámetros $\beta$ del modelo son iguales en dos grupos.

``El coeficiente de una indicadora no es un efecto por unidad: es un salto entre grupos.''

  • (slides) — (html) — (pdf)

De dónde venimos: la indicadora de un suceso como regresor¶

La lección 12 definió la indicadora de un suceso $A$: ${\mathsf{1}\mkern-3.5mu\mathsf{l}}_A(\omega)=1$ si $\omega\in A$ y $0$ si no; su esperanza es la probabilidad $\mathrm P(A)$, y la variable aleatoria constante es la indicadora del suceso seguro, $\mathit 1={\mathsf{1}\mkern-3.5mu\mathsf{l}}_\Omega$.

Hoy la indicadora señala una característica de la unidad observada. Si $A$ es el suceso formado por los $\omega$ en los que la persona observada es mujer, ${\mathsf{1}\mkern-3.5mu\mathsf{l}}_{\text{mujer}}={\mathsf{1}\mkern-3.5mu\mathsf{l}}_A$ vale $1$ si es mujer y $0$ si es hombre, y entra como un regresor más del modelo de la lección 10: $$\log(\text{wage})=\beta_1\,\mathit 1+\beta_2\,{\mathsf{1}\mkern-3.5mu\mathsf{l}}_{\text{mujer}}+\beta_3\,\text{educ}+\cdots+U.$$ En la muestra es la columna $\boldsymbol d_{\text{mujer}}$, con un $1$ en las filas de las mujeres y un $0$ en las de los hombres. En los ficheros: female, chas.

Se llama también variable dicotómica, binaria, ficticia o dummy. Lo nuevo de hoy es la interpretación del parámetro que la acompaña, $\beta_2$.

Hoy: qué dice el coeficiente de una indicadora, en niveles y en logaritmos; qué ocurre con dos indicadoras complementarias; cómo una interacción cambia una pendiente. Geometría nueva: solo una observación sobre dos indicadoras ortogonales.

Una indicadora desplaza el intercepto: el río Charles¶

Boston original ($506$ barrios; medv, precio mediano en miles de dólares; chas, $1$ en los $35$ barrios que limitan con el río Charles): $$\widehat{\text{medv}}=\underset{(0{,}42)}{22{,}09}+\underset{(1{,}59)}{6{,}35}\,\text{chas},\qquad t=4{,}00.$$ Los valores ajustados son las medias de cada grupo, y el coeficiente es su diferencia.

img

La geometría: $\boldsymbol d_{\text{no río}}=\boldsymbol 1-\boldsymbol d_{\text{río}}$, así que $\mathcal L(\boldsymbol 1,\boldsymbol d_{\text{río}})=\mathcal L(\boldsymbol d_{\text{río}},\boldsymbol d_{\text{no río}})$: el mismo subespacio con otra base.

Las dos indicadoras son ortogonales, $\langle\boldsymbol d_{\text{río}},\boldsymbol d_{\text{no río}}\rangle_s=0$, porque ningún barrio está en los dos grupos a la vez. Como en la familia ortogonal de la lección 10, cada coeficiente se calcula por separado con la fórmula de la proyección sobre un generador, $\langle\boldsymbol y,\boldsymbol d\rangle_s/\langle\boldsymbol d,\boldsymbol d\rangle_s$, que aquí es la media de su grupo: $$\boldsymbol{\mathop{\widehat y}}=28{,}44\,\boldsymbol d_{\text{río}}+22{,}09\,\boldsymbol d_{\text{no río}}=22{,}09\,\boldsymbol 1+6{,}35\,\boldsymbol d_{\text{río}}.$$

Con más regresores, medv sobre rm y chas: $$\widehat{\text{medv}}=\underset{(2{,}62)}{-34{,}11}+\underset{(0{,}42)}{8{,}97}\,\text{rm}+\underset{(1{,}15)}{4{,}08}\,\text{chas},\qquad t=3{,}55.$$ El coeficiente de chas ya no es una diferencia de medias, sino la diferencia de precio entre barrios con el mismo número medio de habitaciones por vivienda.

Con más regresores: la diferencia con lo demás fijo¶

wage1 ($526$ trabajadores, salario por hora en dólares de 1976; $274$ hombres y $252$ mujeres). Medias: $7{,}10$ dólares los hombres, $4{,}59$ las mujeres. wage sobre la constante y female: coeficiente $-2{,}51$, la diferencia de medias.

wage sobre… coef. $\mathrm{ee}$ $t$
constante $-1{,}568$ $0{,}725$ $-2{,}16$
female $-1{,}811$ $0{,}265$ $-6{,}84$
educ $0{,}572$ $0{,}049$ $11{,}58$
exper $0{,}025$ $0{,}012$ $2{,}20$
tenure $0{,}141$ $0{,}021$ $6{,}66$

Lectura: entre un hombre y una mujer con la misma educación, experiencia y antigüedad, el salario de la mujer es $1{,}81$ dólares por hora menor, en promedio. De la diferencia bruta de $2{,}51$, los $0{,}70$ restantes corresponden a diferencias en esas tres variables (antigüedad media: $6{,}5$ años los hombres, $3{,}6$ las mujeres).

``Lo demás fijo'' solo cubre lo que está en el modelo.

En log-nivel: una diferencia porcentual¶

El mismo modelo con el logaritmo del salario (lwage) como regresando:

lwage sobre… coef. $\mathrm{ee}$ $t$
constante $0{,}501$ $0{,}102$ $4{,}92$
female $-0{,}301$ $0{,}037$ $-8{,}09$
educ $0{,}0875$ $0{,}0069$ $12{,}60$
exper $0{,}0046$ $0{,}0016$ $2{,}85$
tenure $0{,}0174$ $0{,}0030$ $5{,}84$

Aproximación (lección 15): con lo demás fijo, el salario de una mujer es menor en la fracción $0{,}30$, un $30$ %. Cálculo exacto: $e^{-0{,}301}-1=-0{,}260$, un $26$ % menor; para un cambio grande, la aproximación se aleja del valor exacto. Intervalo al 95 % para el coeficiente de female: $[-0{,}374,\,-0{,}228]$, del $-31$ % al $-20$ % en diferencia exacta.

La lectura depende de la categoría base: el salario de un hombre es un $35$ % mayor que el de una mujer con la misma educación, experiencia y antigüedad, porque $e^{0{,}301}-1=0{,}351$. El mismo coeficiente da dos porcentajes, porque cada uno se calcula sobre el salario de un grupo distinto.

La trampa de las variables ficticias¶

La indicadora de ser hombre es ${\mathsf{1}\mkern-3.5mu\mathsf{l}}_{\text{hombre}}=\mathit 1-{\mathsf{1}\mkern-3.5mu\mathsf{l}}_{\text{mujer}}$: las dos suman la indicadora del suceso seguro, ${\mathsf{1}\mkern-3.5mu\mathsf{l}}_{\text{mujer}}+{\mathsf{1}\mkern-3.5mu\mathsf{l}}_{\text{hombre}}={\mathsf{1}\mkern-3.5mu\mathsf{l}}_\Omega=\mathit 1$. En la muestra, $\boldsymbol d_{\text{mujer}}+\boldsymbol d_{\text{hombre}}=\boldsymbol 1$.

Poner las tres columnas en $\boldsymbol{\mathsf X}$ es la colinealidad exacta de la lección 10: tres columnas que generan un subespacio de dimensión dos. Gretl avisa: «Omitidas debido a colinealidad exacta: =male=».

Tres escrituras del mismo modelo, lwage sobre el sexo (sin otros regresores):

Regresores Coeficientes Lectura
constante, female $1{,}814$; $-0{,}397$ media de los hombres; diferencia mujeres $-$ hombres
constante, male $1{,}416$; $+0{,}397$ media de las mujeres; diferencia hombres $-$ mujeres
female, male $1{,}416$; $1{,}814$ media de cada grupo

El mismo subespacio y el mismo ajuste ($\mathrm{SRC}=127{,}6$) con otra base: cambia la categoría base de la lectura. En la tercera, $\boldsymbol 1$ no es columna, pero está en el subespacio (lección 10).

Varias categorías: una indicadora menos que grupos¶

Con female y married de wage1 se construyen cuatro indicadoras, una por grupo: $86$ hombres solteros, $188$ casados, $120$ mujeres solteras y $132$ casadas. Suman $\boldsymbol 1$: con la constante entran tres; categoría base, los hombres solteros.

lwage sobre… coef. $\mathrm{ee}$ $t$ $e^{\beta}-1$
hombre casado $0{,}292$ $0{,}055$ $5{,}27$ $+34$ %
mujer casada $-0{,}120$ $0{,}058$ $-2{,}07$ $-11$ %
mujer soltera $-0{,}097$ $0{,}057$ $-1{,}68$ $-9$ %
educ, exper, tenure $0{,}0835$; $0{,}0032$; $0{,}0157$

Lectura: con la misma educación, experiencia y antigüedad, y respecto de lo que cobra un hombre soltero, un hombre casado cobra un $34$ % más, una mujer casada un $11$ % menos y una mujer soltera un $9$ % menos.

Comparar dos grupos que no son la categoría base: una mujer casada frente a una soltera. La diferencia es la resta de sus coeficientes, $-0{,}120-(-0{,}097)=-0{,}023$: la casada cobra un $2$ % menos. Su $\mathrm{ee}$ no está en la tabla. Se obtiene estimando de nuevo con las mujeres solteras como categoría base: $\mathrm{ee}=0{,}053$ y $t=-0{,}45$. Datos como estos no serían raros si casadas y solteras cobrasen lo mismo.

Interacciones: la pendiente cambia de grupo¶

Una indicadora desplaza el intercepto; su producto por otro regresor, la interacción, desplaza una pendiente: $$\log(\text{wage})=\beta_1\,\mathit 1+\beta_2\,{\mathsf{1}\mkern-3.5mu\mathsf{l}}_{\text{mujer}}+\beta_3\,\text{educ}+\beta_4\,\text{exper}+\beta_5\,{\mathsf{1}\mkern-3.5mu\mathsf{l}}_{\text{mujer}}\cdot\text{exper}+\beta_6\,\text{tenure}+U.$$ Pendiente de exper: $\beta_4$ para los hombres, $\beta_4+\beta_5$ para las mujeres. Diferencia de interceptos: $\beta_2$.

lwage sobre… coef. $\mathrm{ee}$ $t$
female $-0{,}190$ $0{,}059$ $-3{,}25$
exper $0{,}0084$ $0{,}0022$ $3{,}76$
female*exper $-0{,}0067$ $0{,}0027$ $-2{,}44$
educ, tenure $0{,}0896$; $0{,}0158$

Lectura, con la misma educación y antigüedad: un año más de experiencia se acompaña de un salario un $0{,}84$ % mayor para los hombres y un $0{,}84+(-0{,}67)=0{,}17$ % para las mujeres. Con la misma experiencia, la diferencia de la mujer respecto del hombre es $-0{,}190-0{,}0067\,\text{exper}$ en logaritmos, y $e^{-0{,}190-0{,}0067\,\text{exper}}-1$ en porcentaje exacto. Con $t=-2{,}44$, datos como estos serían raros si las dos pendientes fuesen iguales.

img

Una indicadora: dos rectas paralelas. Una indicadora y una interacción: dos rectas distintas. Sin ninguna de las dos: una sola recta para todos.

El contraste de Chow: ¿la misma ecuación?¶

Para que cada sexo tenga su propio intercepto y sus propias pendientes, se añaden al modelo común (lwage sobre educ, exper y tenure) female y su producto por cada regresor: female*educ, female*exper y female*tenure. El ajuste es el de dos regresiones separadas, una por sexo. $H_0$: los coeficientes de female y de las tres interacciones valen cero ($q=4$). Es el $F$ de la lección 13: $$F=\frac{(\mathrm{SRC}_r-\mathrm{SRC})/q}{\mathrm{SRC}/(n-k)},\qquad \mathrm{SRC}=\mathrm{SRC}_{\text{hombres}}+\mathrm{SRC}_{\text{mujeres}}.$$

Modelo común, $\mathrm{SRC}_r=101{,}46$; hombres ($n=274$), $49{,}55$; mujeres ($n=252$), $39{,}04$. Así, $F=\dfrac{(101{,}46-88{,}58)/4}{88{,}58/518}=18{,}8$, frente a $F_c=2{,}39$ al 5 %.

Lectura: datos como estos serían muy raros si hombres y mujeres compartiesen la ecuación. El contraste dice que algo difiere, no qué: con las ocho columnas ningún $t$ supera $2$, porque female y female*educ tienen correlación $0{,}96$ (lección 14).

El uso original: con datos ordenados en el tiempo, si la relación cambia a partir de una fecha (cambio estructural); los grupos son el antes y el después.

Qué dice y qué no dice el coeficiente de una indicadora¶

Modelo El coeficiente mide… Lectura, con los demás regresores fijos
$y$ en niveles la diferencia entre el grupo señalado y la categoría base el grupo señalado tiene $\beta$ unidades de $y$ más que la categoría base
$\log y$ esa diferencia en logaritmos tiene un $100(e^{\beta}-1)$ % más, aproximadamente $100\beta$ % si $\beta$ es pequeño
varias categorías la diferencia de cada grupo con la categoría base la diferencia entre dos grupos que no son la categoría base es la resta de sus coeficientes
interacción ${\mathsf{1}\mkern-3.5mu\mathsf{l}}\cdot x$ la diferencia entre las pendientes de $x$ la pendiente de $x$ es $\beta_x$ en la categoría base y $\beta_x+\beta$ en el grupo señalado

Lo que no dice. Una indicadora no tiene unidades: su coeficiente no es el efecto de ``una unidad más'', sino la diferencia entre dos grupos. Qué grupo vale $1$ lo decide quien codifica los datos; cambiarlo cambia el signo y la categoría base, no el ajuste. Una indicadora no se transforma logarítmicamente: su logaritmo no existe en $0$.

``Con los demás regresores fijos'' quiere decir con los del modelo, y nada más. El $26$ % entre sexos compara trabajadores con la misma educación, experiencia y antigüedad; no mide la discriminación, porque faltan variables como la ocupación o la jornada.

Recapitulación y guiño a la lección siguiente¶

Pieza Fórmula Lectura
Indicadora como regresor ${\mathsf{1}\mkern-3.5mu\mathsf{l}}_A$ en la población, $\boldsymbol d$ en la muestra su coeficiente es un salto entre grupos
Dos grupos complementarios $\boldsymbol d_A+\boldsymbol d_{A^c}=\boldsymbol 1$; $\langle\boldsymbol d_A,\boldsymbol d_{A^c}\rangle_s=0$ sin otros regresores, coeficientes = medias; con $\boldsymbol 1$, trampa
Log-nivel $e^{\beta}-1$ diferencia exacta respecto de la categoría base, en tanto por uno
Interacción pendiente del grupo señalado: $\beta_4+\beta_5$ en el ejemplo de exper pendiente de la categoría base más diferencia de pendientes
Contraste de Chow $F$ de la lección 13 con $\mathrm{SRC}=\mathrm{SRC}_{\text{grupo 1}}+\mathrm{SRC}_{\text{grupo 2}}$ ¿la misma ecuación en los dos grupos?

Geometría nueva: solo la ortogonalidad de dos indicadoras complementarias. Nada enunciado sin demostrar. Lección 17: residuos de wage sobre female, educ, exper y tenure: desviación típica $3{,}42$ en los hombres y $2{,}32$ en las mujeres; con lwage, $0{,}43$ y $0{,}40$. Varianza de la perturbación distinta por grupo: heterocedasticidad.