OpenAI ubrzao Habitat: čitanja sa 120 na 10 milisekundi
OpenAI je u drugom delu opisa razvoja platforme Habitat naveo da je globalnu p50 latenciju čitanja smanjio sa približno 120 na približno 10 milisekundi, što predstavlja poboljšanje od 12 puta. Habitat obezbeđuje brz pristup podacima za proizvode kompanije, opslužuje više od milijardu korisnika u 40 geografskih regiona i radi sa više od 500 PB podataka.
Osnovu skladišnog sloja čini Azure Cosmos DB, dok Habitat objedinjuje keširanje, autorizaciju, pravila rezidentnosti podataka, rutiranje i obradu promena. OpenAI opisuje put na kojem je najpre rešavao pouzdanost za ključan promet, zatim performanse za globalne korisnike, a potom operativnu efikasnost pri velikom obimu rada.
Povratak višezakupničkom modelu
Rani oslonac na jedan podrazumevani Cosmos DB kontejner doneo je probleme sa logičkim ključevima particija i takozvanim bučnim susedima. Različita opterećenja mogla su da dele fizičku particiju, pa je intenzivan rad jednog ključa uticao na druge, nepovezane tokove zahteva. Dodatni problem nastajao je kada rast podataka podeli fizičku particiju, dok ukupan rezervisani protok kontejnera ostane isti.
Odvojeni kontejneri su poboljšali izolaciju, ali su prebacili planiranje kapaciteta na veliki broj produktnih timova. OpenAI je zato sa Azure timom razvio pristup sa zajedničkim kontejnerom kao podrazumevanim izborom. Ograničavanje najopterećenijih ključeva i QoS slojevi štite interaktivne zahteve od pozadinskih poslova, dok unapređeni serverless režim omogućava do 10.000 RU/s po fizičkoj particiji i podele zasnovane i na korišćenju resursa zahteva.
Prema navodima OpenAI-ja, najveći Azure Cosmos DB nalog sada skladišti desetine petabajta i opslužuje više od 20 miliona QPS. Rad na ovom obimu uključio je zajedničke testove, nadzorne table i direktne inženjerske kanale između OpenAI-ja i Azure tima, jer se pojedini kvarovi i oporavci pojavljuju tek pri produkcionom opterećenju takve veličine.
Keš, replikacija i Rust za brža globalna čitanja
Više od 90% zahteva u Habitateu odnosi se na čitanja. OpenAI zato najosetljivije i najmanje skupove podataka, poput metapodataka za autentikaciju, replicira u veliki broj regiona. Međutim, široka replikacija nije primenljiva na sve podatke zbog ograničenja kapaciteta, pa se za ostala opterećenja oslanja na distribuirani lookaside keš zasnovan na Valkey serverima blizu mesta obrade zahteva.
Svežina keša održava se preko change data capture mehanizma i Azure Cosmos DB change feed-a. Kada se osnovni podatak promeni, servis širi invalidaciju lokalnim kešovima u roku od nekoliko sekundi; naredno čitanje potom učitava noviju verziju. OpenAI je dodatno smanjio kašnjenje prepisivanjem Habitat servisa iz Pythona u Rust.
CDC infrastruktura obrađuje milione promena u sekundi kroz hiljade kontejnera i milione particija, uz više od stotinu Kafka tema. Ona služi i za sekundarne indekse, premeštanje podataka, analitiku i funkcije u realnom vremenu. Poslovni zaključak je da globalna dostupnost zahteva usklađivanje izolacije opterećenja, automatizovanog upravljanja kapacitetom, lokalnog keša i kontrolisanog širenja podataka, a ne oslanjanje na jednu bazu ili jednu optimizaciju.