OpenAI Habitat: od Python biblioteke do skladišta za milijardu korisnika
Habitat prelazi granice početne arhitekture
OpenAI je svoju platformu za onlajn skladištenje podataka Habitat doveo do više od 70 miliona zahteva u sekundi. Platforma podržava proizvode koje svake nedelje koristi više od milijardu ljudi u gotovo 40 geografskih regiona i upravlja sa više od 500 PB podataka. Habitat je počeo sredinom 2024. kao mala Python biblioteka povezana sa Azure Cosmos DB, a danas je distribuirani sloj za pristup podacima.
Svaka prijava, promena podešavanja u Codexu ili pokretanje razgovora u ChatGPT-u može zahtevati više zasebnih čitanja podataka. Zato spor ili neuspešan pristup skladištu neposredno utiče na rad proizvoda. Habitat od produktnih timova skriva operacije kao što su pronalaženje šeme, rutiranje, autorizacija, šifrovanje, serijalizacija, oblikovanje zahteva i upravljanje vezama.
Rast je bio neuobičajeno brz: OpenAI navodi rast veći od deset puta na godišnjem nivou tokom poslednje tri godine. Takav tempo je zahtevao istovremeno rešavanje kapaciteta za skladištenje i obradu, kao i postavljanje temelja zrelije platforme.
Zašto je biblioteka postala servis
Do sredine 2025. klijentska biblioteka više nije bila dovoljna. Izmene protokola uz očuvanje kompatibilnosti tražile su koordinaciju kroz desetine servisa. Pri prelasku važnih skupova podataka na regionalno raspoređene Azure Cosmos DB naloge, svaka izmena rutiranja, uključivanje funkcionalnosti zastavicom ili ispravka greške zavisili su od zasebnih primena kod brojnih timova.
Izdvajanje Habitat-a u samostalan servis dalo je jednu tačku za primene, posmatranje rada sistema i unapređenja platforme. Ujedno je omogućilo centralno sprovođenje politika pristupa, evidentiranje revizijskih zapisa i ograničavanje pristupa osnovnim skladišnim resursima. Ta centralizacija je bila važna i za zaštitu korisničkih podataka od neovlašćenog pristupa spoljašnjih, unutrašnjih i agentskih aktera.
Python pod opterećenjem i prelazak na Rust
OpenAI je prvo zadržao Python kako bi brže uspostavio stabilnu platformu i osnovne API-je, iako je znao da će mrežno kašnjenje, CPU i memorijski troškovi servisa biti veći nego kod lokalne biblioteke. Poseban problem predstavljala je repna latencija: asyncio omogućava istovremenu obradu I/O poslova, ali ne donosi CPU paralelizam mimo Python GIL-a.
Habitat zato prati kašnjenje raspoređivanja asyncio petlje. Rutiranje, kompresija, šifrovanje, kontrolne sume, provere zdravlja, senčenje zahteva i hedžing mogu zauzeti CPU, pa odgovor iz skladišta može čekati ponovno raspoređivanje odgovarajuće korutine. Rešenje je bilo ograničavanje broja istovremenih zahteva po procesu i znatno širenje broja Python radnih procesa.
Profilisanje je otkrilo i da periodično parsiranje velikih JSON konfiguracija za Statsig može povećati latenciju. Ciljane manje konfiguracije, duži interval osvežavanja i nasumično pomeranje pozadinskih zadataka smanjili su taj pritisak. Kod upravljanja vezama, OpenAI je utvrdio da LIFO ponovno korišćenje u aiohttp TCPConnector-u može koncentrisati saobraćaj na sporijim procesima; FIFO je prekinuo taj povratni efekat. Istio i Envoy sada služe za balansiranje, objedinjavanje veza, HTTP/2 multipleksiranje, ograničenja protoka i prekidače kola.
Predvidiv rad kao granica platforme
Habitat namerno nudi ograničen NoSQL API umesto proizvoljnih SQL upita. Klijenti definišu objekte i direktne veze, dok se složena pretraživanja izdvajaju u Rockset preko CDC toka promena. Time se onlajn skladište odvaja od zahtevnih analitičkih i pretraživačkih opterećenja, a trošak pojedinačnog zahteva ostaje predvidiviji.
Na vrhuncu je Python verzija obrađivala više od 20 miliona zahteva u sekundi. U drugom tromesečju 2026. dva inženjera su uz Codex i GPT-5.5 prepisala servis u Rust. Rust sada obrađuje 95% produkcionih zahteva, a OpenAI navodi šest puta veću CPU i 15 puta veću memorijsku efikasnost, uz niže prosečne i repne latencije. Poslovni zaključak je da hiperbrz rast zahteva centralizovanu kontrolu, strogo ograničen interfejs i stalno merenje uskih grla pre nego što se infrastruktura proširi.