Correzione di Bessel

La correzione di Bessel è la convenzione di dividere per N−1 invece di N nel calcolo della varianza campionaria e della deviazione standard campionaria. La correzione compensa la sottostima sistematica della varianza della popolazione che deriva dall’uso della media campionaria (che è più vicina ai dati rispetto a quanto sarebbe la vera media della popolazione sconosciuta) come punto di centratura.

Prende il nome da Friedrich Bessel, astronomo e matematico tedesco del XIX secolo. La dimostrazione matematica: E[Σ(x − x̄)²] = (N−1)σ² dove σ² è la vera varianza della popolazione e l’aspettazione scorre su tutti i possibili campioni di dimensione N. Dividendo la somma osservata per N−1 si produce uno stimatore non distorto di σ².

Per grandi N la correzione è trascurabile (1/N vs 1/(N−1) differiscono meno dell’1% oltre N=100). Per piccoli N è significativa — a N=5 la varianza corretta è il 25% più grande della versione non corretta. Il nostro calcolatore statistico usa per default la forma corretta con Bessel perché il dataset incollato è quasi sempre un campione, non una popolazione completa.

Quando non applicare la correzione di Bessel: quando si ha genuinamente l’intera popolazione, non un campione estratto da essa. Se si calcola la varianza dei punteggi del test per ogni studente di una classe e ci si preoccupa solo di quella classe, si divide per N. Se si usa quella classe per stimare la varianza sull’intera popolazione studentesca, si divide per N−1. I pacchetti statistici non concordano sul default: np.var() di NumPy usa N; .var() di pandas e var() di R usano N−1. Leggere la documentazione prima di citare un numero.

La correzione di Bessel rimuove la distorsione dalla varianza ma la deviazione standard campionaria derivata (la radice quadrata) è ancora leggermente distorta — la radice quadrata è una funzione non lineare e vale la disuguaglianza di Jensen. Per la maggior parte degli scopi pratici questa distorsione residua viene ignorata; per lavori su piccoli campioni dove è importante, usare un fattore di correzione c4. Si veda anche deviazione standard campionaria e varianza.

Perché è importante: un esempio pratico

Si considerino cinque punteggi del test: 72, 78, 80, 84, 86. La media è 80. La somma degli scarti quadratici dalla media è (72−80)² + (78−80)² + (80−80)² + (84−80)² + (86−80)² = 64 + 4 + 0 + 16 + 36 = 120. Senza la correzione di Bessel la varianza è 120 ÷ 5 = 24; con la correzione di Bessel è 120 ÷ (5−1) = 30, una stima del 25% più grande. Le corrispondenti deviazioni standard sono √24 ≈ 4,90 e √30 ≈ 5,48. Se si tratta questo come un campione estratto da una popolazione studentesca più ampia, 5,48 è la stima non distorta della dispersione della popolazione; 4,90 la sottostima sistematicamente. A N = 30 il divario scende al 3,4%; a N = 100 è l’1%; a N = 1000 è lo 0,1%. La correzione guadagna la sua complessità solo per campioni genuinamente piccoli.

Perché è importante: intervalli di confidenza e t-test

Qualsiasi procedura che usa la deviazione standard campionaria come stima della deviazione standard della popolazione dipende dall’applicazione della correzione di Bessel. Gli intervalli di confidenza intorno a una media, i t-test a due campioni, le F-statistiche ANOVA e gli errori standard di regressione assumono tutti il denominatore non distorto N−1. Dimenticare la correzione produce intervalli di confidenza più stretti di quanto la realtà giustifichi e gonfia i tassi di errore di Tipo I — una fonte silenziosa ma reale di risultati irriproducibili in lavori empirici su piccoli campioni. Riferimento: NIST/SEMATECH e-Handbook of Statistical Methods §1.3.5.6 — Deviazione standard.