Varianza y desviación estándar

Ficha del modelo

Contexto

La media dice dónde está el centro; la varianza dice cuán APIÑADOS o DISPERSOS están los datos a su alrededor —y dos conjuntos con la misma media pueden ser completamente distintos si uno está concentrado y el otro esparcido—. La idea natural sería promediar las desviaciones respecto a la media, pero eso da siempre cero (las desviaciones se cancelan, e17). La solución es elevarlas al CUADRADO antes de promediar: así todas son positivas y, de paso, las desviaciones grandes pesan mucho más —la varianza castiga los datos lejanos—. El resultado, la varianza, queda en unidades al cuadrado (soles², cm²), poco intuitivas; por eso se toma su raíz, la DESVIACIÓN ESTÁNDAR, que vuelve a las unidades originales y es directamente comparable con la media. Hay una fórmula equivalente muy útil, Var = E[X²]−μ² (la media de los cuadrados menos el cuadrado de la media), que aparecerá una y otra vez. Y hay una sutileza famosa que confunde a todo estudiante: al estimar la varianza de una POBLACIÓN a partir de una MUESTRA, dividir entre n subestima sistemáticamente el verdadero σ². La razón intuitiva: usamos la media MUESTRAL x (no la poblacional μ) como referencia, y x está —por construcción— más cerca de sus propios datos que μ, así que las desviaciones respecto a x salen artificialmente pequeñas. La corrección de Bessel divide entre n−1 en vez de n, y el laboratorio lo demuestra por simulación: sobre miles de muestras, s²ₙ₋₁ se centra exactamente en σ² mientras que s²ₙ se queda corta por el factor (n−1)/n. Con n grande la diferencia es trivial; con n pequeño, importa mucho.

Supuestos

• Datos cuantitativos: la dispersión al cuadrado exige distancias con sentido (no aplica a categorías).
• σ² poblacional se conoce SOLO aquí (para comparar); en la práctica se estima con s² —y por eso importa que sea insesgada (n−1)—.
• La media es la referencia (dispersión respecto al centro de e17); usar la media muestral en vez de la poblacional es justo lo que obliga a la corrección de Bessel.

Ecuaciones

varianza

$$\sigma^2 = \tfrac{1}{N}\sum (x_i-\mu)^2$$

promedio de las desviaciones al cuadrado; se elevan al cuadrado para que no se cancelen (Σ(xᵢ−x)=0) y para castigar más lo lejano.

desviación estándar

$$\sigma = \sqrt{\sigma^2}$$

la raíz de la varianza: devuelve las unidades originales, así que es comparable con la media (la varianza queda en unidades²).

corrección de Bessel

$$s^2 = \tfrac{1}{n-1}\sum (x_i-\bar x)^2 \;\Rightarrow\; E[s^2]=\sigma^2$$

usar x (no μ) subestima la dispersión; dividir entre n−1 en lugar de n corrige el sesgo — la varianza muestral insesgada.

Intuición

La desviación estándar es la 'regla' natural de los datos: dice, en las mismas unidades que la media, cuánto se aparta típicamente una observación del centro. En una normal, ~68% de los datos caen a ±1 desviación de la media y ~95% a ±2 —la regla empírica que hace de σ una unidad de medida universal—. Por eso la desviación (no la varianza) es la que se reporta y la que alimenta el coeficiente de variación (e29, dispersión relativa) y los puntajes z. Sobre Bessel, la intuición que lo desmitifica: cuando calculas s² usando x, estás midiendo la dispersión respecto al punto que MINIMIZA esa dispersión (e17) —haces trampa a tu favor sin querer—, así que el resultado sale demasiado pequeño; dividir entre n−1 (un dato menos, el 'grado de libertad' que gastaste al estimar la media) lo compensa exactamente. No es una convención arbitraria: es la única manera de que, en promedio sobre todas las muestras posibles, aciertes σ². Y la moraleja para leer datos: la media sin la desviación es media verdad —'el vuelo promedio se retrasa 10 minutos' significa cosas muy distintas si la desviación es 2 minutos o 40—.

Limitaciones

• NO es robusta: como la media, se apoya en el cuadrado de las desviaciones, así que un outlier la dispara (su versión robusta es la MAD, e32).
• Unidades al cuadrado: la varianza no es directamente interpretable; hay que usar la desviación (√) para comparar con la media o entre variables.
• Bessel corrige el sesgo de s² (la varianza), pero s (la desviación, su raíz) sigue siendo levemente sesgada —la raíz es no lineal—; en la práctica se ignora salvo con n muy pequeño.

Qué viene después

Da la segunda dimensión de todo dato —dispersión, tras el centro de e17/e18—. Alimenta el coeficiente de variación (e29, dispersión relativa), la asimetría y curtosis (e30-31, momentos superiores), y es la base del error estándar σ/√n (e02) que sostiene la inferencia. Su fragilidad ante atípicos motiva la MAD y las medidas robustas (e32). Y el 'grado de libertad' de Bessel reaparece en toda la teoría de estimación (t de Student e62, regresión e135).

Fuentes y procedencia

La varianza y la desviación estándar: Karl Pearson acuñó 'desviación estándar' (1893); la corrección n−1: Friedrich Bessel / teoría de estimación insesgada — menciones. Conocimiento estadístico general.

Procedencia: sin procedencia declarada. El modelo pasa 4 verificaciones numéricas en el laboratorio (python3 main.py verificar); es un modelo pedagógico, no un pronóstico.

Código

El cálculo es el mismo que el del laboratorio de escritorio (licencia MPL-2.0): estadistica/modelos/nivel_02/e27_varianza.py, sobre el motor base.py y el adaptador navegador.py.