Perché il livello di archiviazione di ChatGPT è passato da Python a Rust
Pubblicato: · Sergey Zhadov
ChatGPT non risponde da un singolo computer magico. Aprire una chat, accedere o controllare le impostazioni scatena molte letture, quindi un livello dati lento manda rapidamente tutto il prodotto in tilt.
La scala nasce da piccole letture
Habitat sostiene prodotti usati ogni settimana da oltre un miliardo di persone in quasi 40 regioni. Un accesso o una nuova chat può richiedere instradamento, autorizzazione e diverse letture. Moltiplica un piccolo ritardo per quel traffico e ottieni un casino enorme.
La piattaforma è cresciuta da una libreria Python collegata a un database a un sistema distribuito. La domanda è aumentata di oltre dieci volte anno su anno per tre anni. A quel punto aggiungere una cache e incrociare le dita non bastava più.
Perché la libreria è diventata un servizio
Quando la logica viveva nei client, una modifica al routing doveva raggiungere decine di servizi. Un rollback poteva riportare una vecchia versione difettosa. Il servizio centrale ha creato un unico punto per rilascio, osservabilità, permessi e limiti.
È ingegneria poco glamour, ed è proprio per questo che funziona. I team non devono mantenere copie diverse della logica critica e le applicazioni non ricevono accesso diretto a ogni risorsa di archiviazione.
Python ha sofferto nelle code di latenza
Il servizio Python ha superato 20 milioni di richieste al secondo al picco. Il guaio peggiore era il ritardo di scheduling in asyncio, insieme a lavoro CPU, attività in background e pool di connessioni sbilanciati. La media sembrava buona, ma le richieste lente rovinavano tutto.
Gli ingegneri hanno misurato il ritardo dell'event loop, limitato la concorrenza per processo, distribuito gli aggiornamenti nel tempo e regolato il riuso delle connessioni. Senza queste mosse, un processo sovraccarico attirava altro traffico e scavava la propria fossa.
Rust è stato l'ultimo passo, non magia
Nel secondo trimestre 2026 due ingegneri, aiutati da Codex e GPT-5.5, hanno riscritto il servizio in Rust. Ora gestisce il 95 percento del traffico di produzione e viene indicato come sei volte più efficiente sulla CPU e quindici volte sulla memoria.
Questo non significa che ogni progetto Python vada riscritto domani. Prima rendi prevedibile il carico, aggiungi telemetria utile e trova il vero collo di bottiglia. Altrimenti ricrei la stessa porcheria architetturale in un linguaggio più veloce.
