Percentile

Un percentile è il valore al di sotto del quale ricade una percentuale data di osservazioni in un dataset. Il 90° percentile è il valore che supera il 90% dei dati; la mediana è il 50° percentile.

I percentili sono utili quando la distribuzione non è normale — che è la maggior parte delle volte. Media e deviazione standard descrivono bene una distribuzione normale; i percentili descrivono qualsiasi distribuzione riportando dove si trova la sua massa. La distribuzione del reddito, le misurazioni di latenza e i punteggi dei test sono tutti comunemente riportati tramite percentili per questo motivo.

Calcolare un percentile è semplice in teoria, complicato nella pratica. L’approccio ingenuo “il valore al rango p × n nei dati ordinati” funziona quando p × n è un intero; altrimenti è necessario interpolare. Il metodo piú comune è l’interpolazione lineare tra i due ranghi piú vicini, che è il valore predefinito in NumPy (linear) e il riferimento NIST. R supporta nove diversi algoritmi per i percentili tramite il parametro type — tipicamente differiscono di meno di mezzo punto percentile.

I quartilisono il 25°, 50° e 75° percentile (Q1, Q2 = mediana, Q3). L’intervallo interquartile (IQR) = Q3 − Q1 è una misura robusta di dispersione — robusta perché ignora il 25% esterno dei dati su ciascun lato, dove gli outlier fanno i danni.

Usa il nostro calcolatore di statistiche per qualsiasi percentile su un dataset incollato.

Percentile vs rango percentile — la confusione facile: un percentileè un valore del dataset (il 90° percentile dei punteggi dei test è “il punteggio al di sotto del quale ricade il 90% degli studenti”, ad es. 87). Un rango percentileè l’inverso — dato un valore, quale frazione dei dati si trova al di sotto di esso (Alice ha ottenuto 87 → il suo rango percentile è 90). I report dei test standardizzati (SAT, GMAT, GRE) riportano quasi sempre il rango percentile piuttosto che il percentile grezzo del punteggio, che è il numero piú utile per il candidato. I due sono correlati ma la distinzione è importante quando si leggono distribuzioni pubblicate.

Perché p99 e p99.9 sono diventati standard dei livelli di servizio: per i servizi web, il 99° e il 99,9° percentile della latenza catturano l’esperienza degli utenti che accedono ai percorsi piú lenti. Un servizio con media 100 ms ma con un p99 di 5 s sembra rotto per l’1% delle richieste che finiscono nella coda. Gli SLO (Service Level Objectives) sono tipicamente espressi come “99% delle richieste entro 200 ms nell’arco di 28 giorni” — la convenzione Google SRE — perché gli utenti percepiscono la latenza di coda piú della latenza media. Riferimento: NIST/SEMATECH e-Handbook — Percentile.

Esempio pratico

Calcola il 90° percentile di 20 tempi di risposta (ms): [12, 15, 18, 19, 22, 24, 25, 28, 30, 33, 36, 40, 44, 48, 55, 62, 75, 90, 140, 410] (già ordinati). Usando il metodo linear di NumPy: la posizione è (n−1) × p = 19 × 0,9 = 17,1. Interpola tra il 18° e il 19° valore (indicizzati a zero: indici 17 e 18 = 90 e 140): 90 + 0,1 × (140 − 90) = 95 ms. Quindi p90 = 95 ms. La media aritmetica degli stessi dati è 64,8 ms — alzata dall’outlier di 410 ms — e la mediana (p50) è 34,5 ms. Riportare questi tre insieme (p50 = 34,5, p90 = 95, max = 410) racconta una storia coerente di latenza; riportare solo la media nasconderebbe completamente la coda lunga.

Quando e perché è importante

Gli SLO basati sui percentili sono il linguaggio operativo del moderno SRE perché gli SLO basati sulla media mentono sull’esperienza utente. Un servizio con media 100 ms e p99 di 200 ms è un prodotto diverso da un servizio con media 100 ms e p99 di 5 secondi, ma entrambi riportano la stessa media. Un budget di latenza scritto come “p99 < 300 ms nell’arco di 28 giorni” ti dice su cosa fare alert e cosa ottimizzare. Al di fuori del SRE: test standardizzati (il “75° percentile per l’altezza” di un bambino su una curva di crescita pediatrica), politica economica (la quota di reddito dell’1% piú ricco è un’affermazione di percentile) e valutazione ML (i tassi di errore per percentile espongono problemi di equità nel caso peggiore invisibili alla media). L’abitudine difensiva quando si consuma qualsiasi numero “medio” è chiedere la distribuzione o almeno p50/p90/p99. Riferimento: Google SRE Book — Service Level Objectives.