Lección 3. El lenguaje geométrico del curso (parte II)¶

Author: Marcos Bujosa

Ángulo, ortogonalidad y teorema de Pitágoras en $\mathbb{R}^n$.

``La ortogonalidad es la piedra angular de la regresión.''

  • (slides) — (html) — (pdf)

De dónde venimos y qué añadimos hoy¶

  • En la lección 2: vectores, producto escalar, norma —justificada con Pitágoras en $\mathbb{R}^2$ y $\mathbb{R}^3$ (dado por conocido).
  • Hoy añadimos la otra magnitud geométrica: el ángulo.
  • Y su caso estrella para nosotros: la ortogonalidad (ángulo recto).
  • Programa:
    1. El coseno del ángulo: $\cos\theta = \frac{\langle\boldsymbol{a},\boldsymbol{b}\rangle}{\|\boldsymbol{a}\|\|\boldsymbol{b}\|}$.
    2. Ortogonalidad: $\langle\boldsymbol{a},\boldsymbol{b}\rangle = 0$.
    3. Teorema de Pitágoras en $\mathbb{R}^n$ —demostración seria; con rigor y sin dibujo.
    4. Cauchy–Schwarz: lo que legitima la fórmula del coseno en $\mathbb{R}^n$.
    5. El ángulo, ya con todo rigor; y la desigualdad triangular.

El coseno mide la abertura del ángulo¶

img

  • $\cos\theta = 1$: ángulo nulo (misma dirección y sentido).
  • $\cos\theta = 0$: ángulo recto.
  • $\cos\theta = -1$: ángulo de $180^o$ (sentidos opuestos).
  • El coseno decrece de $1$ a $-1$ a medida que el ángulo se abre.

¿Cómo medimos el ángulo entre dos vectores a partir de sus componentes?

La respuesta es una de las fórmulas más bellas y útiles del curso: $$ \cos\theta = \frac{\langle\boldsymbol{a}, \boldsymbol{b}\rangle}{\|\boldsymbol{a}\|\,\|\boldsymbol{b}\|}. $$

Caso unitario ($\|\boldsymbol{a}\| = \|\boldsymbol{b}\| = 1$): aplicando Pitágoras en los dos triángulos rectángulos:

img

$$ x^2 + h^2 = 1 \quad\text{ y }\quad (1-x)^2 + h^2 = c^2 \quad\implies\quad x = \frac{2-c^2}{2}. $$

Y como $c^2 = \|\boldsymbol{a}-\boldsymbol{b}\|^2 = 2 - 2\,\langle\boldsymbol{a}\,,\boldsymbol{b}\rangle$: $\quad\cos\theta = x = \langle\boldsymbol{a}\,,\boldsymbol{b}\rangle$.

Caso general: normalizando $\boldsymbol{a}$ y $\boldsymbol{b}$ tenemos: $ \quad \boxed{\;\cos\theta = \Big\langle\frac{\boldsymbol{a}}{\|\boldsymbol{a}\|},\,\frac{\boldsymbol{b}}{\|\boldsymbol{b}\|}\Big\rangle = \dfrac{\langle\boldsymbol{a}\,,\boldsymbol{b}\rangle}{\|\boldsymbol{a}\|\,\|\boldsymbol{b}\|}\;} $

¡La fórmula es consecuencia de T. de Pitágoras!

Ortogonalidad en $\mathbb{R}^n$¶

El ángulo es recto cuando $\cos\theta = 0$, es decir, cuando el numerador $\langle\boldsymbol{a},\,\boldsymbol{b}\rangle$ se anula:

Definición. $\boldsymbol{a}, \boldsymbol{b} \in \mathbb{R}^n$ son ortogonales (perpendiculares) si $$ \langle\boldsymbol{a},\,\boldsymbol{b}\rangle = 0. $$Entonces se escribe: $\quad\boldsymbol{a}\perp\boldsymbol{b}$.

  • El vector $\boldsymbol{0}$ es ortogonal a todos los vectores.

  • La ortogonalidad es una noción central del curso: en la regresión, el residuo (datos menos ajuste) será ortogonal a los regresores (los vectores con que se construye el ajuste).

Teorema de Pitágoras en $\mathbb{R}^n$¶

Teorema: $ \quad \boldsymbol{x}\perp\boldsymbol{y} \;\iff\; \|\boldsymbol{x}+\boldsymbol{y}\|^2 = \|\boldsymbol{x}\|^2 + \|\boldsymbol{y}\|^2. $

Demostración:

\begin{multline*} \|\boldsymbol{x}+\boldsymbol{y}\|^2 = \big\langle(\boldsymbol{x}+\boldsymbol{y}),\,(\boldsymbol{x}+\boldsymbol{y})\big\rangle = \langle\boldsymbol{x},\,\boldsymbol{x}\rangle + 2 \langle\boldsymbol{x},\,\boldsymbol{y}\rangle + \langle\boldsymbol{y},\,\boldsymbol{y}\rangle \\ = \|\boldsymbol{x}\|^2 + 2\langle\boldsymbol{x},\,\boldsymbol{y}\rangle + \|\boldsymbol{y}\|^2. \end{multline*}

La igualdad pitagórica se cumple $\;\Leftrightarrow\;$ el término central $2\langle\boldsymbol{x},\,\boldsymbol{y}\rangle = 0 \;\Leftrightarrow\; \boldsymbol{x}\perp\boldsymbol{y}$. $\blacksquare$

El cuadrado del binomio vectorial: $$\|\boldsymbol{x}+\boldsymbol{y}\|^2 = \|\boldsymbol{x}\|^2 + 2\langle\boldsymbol{x},\,\boldsymbol{y}\rangle + \|\boldsymbol{y}\|^2$$ aparecerá más veces en el curso.

Desigualdad de Cauchy–Schwarz¶

¿Qué asegura que $\cos\theta = \frac{\langle\boldsymbol{a},\,\boldsymbol{b}\rangle}{\|\boldsymbol{a}\|\|\boldsymbol{b}\|} \in [-1,1]$ en $\mathbb{R}^n$?

Lo hace la desigualdad de Cauchy–Schwarz: $\quad|\langle\boldsymbol{a},\,\boldsymbol{b}\rangle| \leq \|\boldsymbol{a}\|\,\|\boldsymbol{b}\|$.

img

Idea de la demostración: construir $\boldsymbol{h} = \boldsymbol{b} - \alpha\boldsymbol{a}$ ortogonal a $\boldsymbol{a}$: $$ \langle\boldsymbol{a},\,\boldsymbol{h}\rangle = 0 \;\Longrightarrow\; \boxed{\alpha = \frac{\langle\boldsymbol{a},\,\boldsymbol{b}\rangle}{\langle\boldsymbol{a},\,\boldsymbol{a}\rangle}}. $$ Por Pitágoras, $\|\boldsymbol{b}\|^2 = \|\boldsymbol{h}\|^2 + \alpha^2\|\boldsymbol{a}\|^2 \geq \alpha^2\|\boldsymbol{a}\|^2$, de donde sale la desigualdad.

  • Igualdad $\Leftrightarrow$ vectores alineados;$\quad$ ortogonales $\Leftrightarrow$ $\langle\boldsymbol{a},\,\boldsymbol{b}\rangle=0$.

Ángulo, alineación, normalización¶

Dado que se verifica Cauchy–Schwarz en $\mathbb{R}^n$, es legítima la definición: $$ \cos\theta = \frac{\langle\boldsymbol{a},\,\boldsymbol{b}\rangle}{\|\boldsymbol{a}\|\,\|\boldsymbol{b}\|}, \qquad -1 \leq \cos\theta \leq 1. $$

  • Vector unitario: norma $1$.
    • Un vector $\boldsymbol{a}$, no nulo, se normaliza dividiendo por su longitud: $\frac{1}{\|\boldsymbol{a}\|}\boldsymbol{a}$.
  • Vectores alineados ($\boldsymbol{b} = \lambda\boldsymbol{a}$): $\cos\theta = \frac{\lambda}{|\lambda|} = \pm 1$.
    • Caso opuesto a la ortogonalidad.
    • Avance: regresores muy correlacionados $\approx$ vectores casi alineados $\rightarrow$ lo veremos en la lección 14, al hablar de colinealidad.

Desigualdad triangular y distancia¶

Desigualdad triangular (aplicación de Cauchy–Schwarz): $$ \|\boldsymbol{a}+\boldsymbol{b}\|^2 = \|\boldsymbol{a}\|^2 + 2\langle\boldsymbol{a},\,\boldsymbol{b}\rangle + \|\boldsymbol{b}\|^2 \leq \big(\|\boldsymbol{a}\| + \|\boldsymbol{b}\|\big)^2. $$

$$ \Longrightarrow \quad \|\boldsymbol{a}+\boldsymbol{b}\| \leq \|\boldsymbol{a}\| + \|\boldsymbol{b}\|. $$

Distancia entre vectores: $$ d(\boldsymbol{x}, \boldsymbol{y}) = \|\boldsymbol{x} - \boldsymbol{y}\|. $$

Recapitulación y guiño a la lección 4¶

Concepto Fórmula matemática / definición algebráica
Coseno del ángulo $\cos\theta = \frac{\langle\boldsymbol{a},\,\boldsymbol{b}\rangle}{\Vert \boldsymbol{a}\Vert \Vert\boldsymbol{b}\Vert}$
Ortogonalidad $\langle\boldsymbol{a},\,\boldsymbol{b}\rangle = 0$
Pitágoras $\boldsymbol{x}\perp\boldsymbol{y}\iff\mbox{$\Vert\boldsymbol{x}+\boldsymbol{y}\Vert^2=\Vert\boldsymbol{x}\Vert^2+\Vert\boldsymbol{y}\Vert^2$}$
Cauchy–Schwarz $\lvert\langle\boldsymbol{a},\,\boldsymbol{b}\rangle\rvert \leq \Vert\boldsymbol{a}\Vert \Vert\boldsymbol{b}\Vert$
Distancia $d(\boldsymbol{x},\boldsymbol{y}) = \Vert \boldsymbol{x}-\boldsymbol{y}\Vert$

Hoy, $\alpha=\frac{\langle\boldsymbol{a},\,\boldsymbol{b}\rangle}{\langle\boldsymbol{a},\,\boldsymbol{a}\rangle}$ fue un truco auxiliar; pero en la lección 4 será la proyección ortogonal que, con $\boldsymbol{a}=\boldsymbol{1}$, dará lugar a la media aritmética.