La desviación estándar en uso: regla empírica y puntaje z

Ficha del modelo

Contexto

La desviación estándar no es solo un número que resume la dispersión (eso lo hizo e27): es la UNIDAD DE MEDIDA natural con la que se juzga cuán lejos está un dato de lo normal, y este modelo muestra sus dos usos que aparecen en todas partes. El primero es la REGLA EMPÍRICA, o regla 68-95-99.7: en cualquier distribución aproximadamente normal (y muchísimas lo son, por el teorema central del límite, e67), alrededor del 68% de los datos caen a menos de una desviación estándar de la media, el 95% a menos de dos, y el 99.7% a menos de tres. Esto convierte a σ en una regla graduada: un dato a 1σ es común, a 2σ es notable (solo 5% está más lejos), a 3σ es raro (0.3%), y a 5σ o 6σ es prácticamente imposible por azar —de ahí que la física exija '5 sigmas' para anunciar un descubrimiento y la industria hable de 'six sigma' para la calidad casi perfecta—. El segundo uso es la ESTANDARIZACIÓN o puntaje z: z = (x − μ)/σ expresa cada dato como el número de desviaciones que lo separan de la media, sin unidades. Su poder es hacer COMPARABLES cosas incomparables: un puntaje z permite decir si estuviste mejor en el examen de matemáticas (donde sacaste 80 sobre media 60, desv 10, z=+2) o en el de lenguaje (85 sobre media 82, desv 5, z=+0.6) —en matemáticas, mucho mejor—, aunque las escalas brutas no se parezcan. Es la operación que subyace a los tests estandarizados, a la normalización de datos en machine learning (e227) y a toda la inferencia (los estadísticos de prueba son puntajes z, e106). Y para los escépticos de la normalidad, la COTA DE CHEBYSHEV da una garantía universal, sin suponer forma alguna: en CUALQUIER distribución, al menos 1 − 1/k² de los datos caen dentro de ±kσ (al menos 75% a ±2σ, 89% a ±3σ) —más floja que la regla empírica, pero siempre cierta—. En ambos casos, la desviación estándar es la vara: sin ella, 'lejos de la media' no significa nada.

Supuestos

• La REGLA EMPÍRICA (68-95-99.7) supone distribución aproximadamente NORMAL; en distribuciones muy sesgadas o de colas pesadas no aplica (ahí vale la cota de Chebyshev, universal pero más floja).
• El puntaje z usa la media y la desviación, así que hereda su NO robustez: un outlier infla σ y distorsiona los z (la versión robusta usa mediana y MAD, e32).
• Estandarizar hace comparables las POSICIONES relativas dentro de cada distribución, no las magnitudes absolutas.

Ecuaciones

puntaje z / estandarización

$$z = \frac{x - \mu}{\sigma}$$

cuántas desviaciones separan a x de la media: convierte cualquier variable a una escala sin unidades (media 0, desv 1), haciendo comparables cosas de escalas distintas.

regla empírica (normal)

$$P(|z| \le 1,2,3) \approx 0.68,\ 0.95,\ 0.997$$

en una normal, la desviación gradúa la rareza: a 1σ común, a 2σ notable, a 3σ raro — la regla 68-95-99.7 que hace de σ una vara de medir.

cota de Chebyshev (universal)

$$P(|z| \le k) \ge 1 - 1/k^2$$

sin suponer normalidad, al menos 1−1/k² cae dentro de ±kσ en CUALQUIER distribución: una garantía siempre válida, aunque más floja que la regla empírica.

Intuición

La desviación estándar es la que le da sentido a la palabra 'raro'. Sin ella, saber que alguien mide 190 cm o ganó 200 no dice nada —¿es mucho? ¿poco?—; con ella, saber que está a 2.5 desviaciones de la media lo dice todo: está en el 1% superior. Esa es la magia de estandarizar: traduce cualquier medida a un idioma común —'desviaciones respecto a lo normal'— en el que todo es comparable. Un jugador de básquet muy alto y un jugador de fútbol muy rápido pueden compararse por su z: quién es más excepcional en su disciplina. La regla 68-95-99.7 es la tabla de conversión mental que todo estadístico lleva puesta: 1σ, normalito; 2σ, ceja levantada; 3σ, esto merece explicación; 5σ, descubrimiento o error. Y la cota de Chebyshev es la red de seguridad para cuando no puedes suponer normalidad: aunque no sepas nada de la forma, la desviación te garantiza que la mayoría de los datos no puede estar muy lejos de la media —matemáticamente, no por fe—. Toda la inferencia estadística que viene después (pruebas de hipótesis, intervalos) es, en el fondo, aplicar esta idea: medir qué tan lejos está lo observado de lo esperado, en unidades de desviación (el error estándar, e89).

Limitaciones

• La regla 68-95-99.7 SOLO vale para distribuciones ~normales: con sesgo o colas pesadas engaña (ahí, Chebyshev, universal pero flojo).
• No robusta: el puntaje z usa μ y σ, que un outlier distorsiona (infla σ y aplasta los z) — la detección robusta usa mediana y MAD (e32).
• Estandarizar borra las unidades y las magnitudes: dos datos con el mismo z pueden ser muy distintos en valor absoluto; el z habla de posición relativa, no de cantidad.

Qué viene después

Pone en uso la desviación de e27 como unidad de medida (regla empírica) y herramienta de comparación (puntaje z), apoyándose en la normal (e58) y anticipando por qué tantas cosas son normales (el TCL, e67). El coeficiente de variación (e29) lleva esta idea a la dispersión RELATIVA. La estandarización es la base de la inferencia (los estadísticos de prueba son puntajes z, e106) y del preprocesamiento en machine learning (e227).

Fuentes y procedencia

La estandarización y la regla empírica: Gauss y la distribución normal (s. XIX); la desigualdad de Chebyshev (1867), que acota sin suponer normalidad — menciones. Conocimiento estadístico general.

Procedencia: sin procedencia declarada. El modelo pasa 4 verificaciones numéricas en el laboratorio (python3 main.py verificar); es un modelo pedagógico, no un pronóstico.

Código

El cálculo es el mismo que el del laboratorio de escritorio (licencia MPL-2.0): estadistica/modelos/nivel_02/e28_desviacion_estandar.py, sobre el motor base.py y el adaptador navegador.py.