OpenAI Pando skalira Git za paralelan rad u monorepo okruženju
OpenAI je u produkciju uveo Pando, novi backend za Git repozitorijume koji sada pokreće sav razvoj u kompanijskom monorepo okruženju. Sistem je smanjio medijalnu latenciju za push gotovo pet puta, isporučuje skoro petabajt Git podataka dnevno i u jednom satu je poslužio više od 57 TB Git paketa.
Pando je nastao kao odgovor na rast paralelnog rada koji je OpenAI povezao sa upotrebom Codex-a: više grana, push zahteva, spajanja izmena, fetch i clone operacija iz razvojnih okruženja, istraživačkih poslova i CI sistema. Pre zamene pozadinske infrastrukture, pouzdanost postojećeg sistema povremeno je padala ispod 90%, uz spore prenose i neuspešna spajanja izmena.
Git kompatibilnost uz drugačiju pozadinsku arhitekturu
OpenAI nije menjao način na koji inženjeri koriste Git niti je prekidao razvojni rad. Pando ostaje kompatibilan sa Git protokolom i klijentom, ali menja način skladištenja i posluživanja podataka. Cilj je istovremeno podržati veliki broj upisa na različite grane i visok protok čitanja iste istorije repozitorijuma.
Pri push zahtevu Pando prosleđuje dolazni packfile u blob skladište i čuva verziju reference u metapodacima. Ažuriranja nepovezanih grana mogu da se izvršavaju paralelno, dok se sukob javlja kada klijenti istovremeno pokušavaju da izmene istu referencu. Takav model zadržava serijalizaciju po pojedinačnoj referenci, ali ne garantuje jedinstveni vremenski presek svih grana u repozitorijumu.
Za fetch Pando bira već sačuvane packfile datoteke umesto da za svakog klijenta iznova računa i generiše paket objekata. Klijent može preuzeti i deo objekata koje već ima, ali server iste bajtove može isporučiti velikom broju klijenata uz malo dodatnog računanja. OpenAI za prenos koristi Git mogućnost packfile-uri, uz prazan paket u samom HTTP odgovoru i zasebna preuzimanja paketa.
Keširanje, kompakcija i mrežni protok
Pando koristi servis Express za regionalno keširanje packfile datoteka, dok se metapodaci takođe keširaju po klasterima. OpenAI navodi stopu pogodaka u kešu veću od 99% i potvrđeno zasićenje mrežnih veza od 10 Gbps pri clone i fetch operacijama na standardnim virtuelnim mašinama provajdera oblaka.
Veliki broj malih paketa vremenom bi usporio preuzimanje istorije, zato Pando u pozadini kombinuje pakete u veće celine kroz više nivoa kompakcije. Taj postupak smanjuje broj datoteka koje klijent mora da preuzme, poboljšava kompresiju i omogućava brže planiranje fetch zahteva. Packfile datoteke se pritom zadržavaju na svim nivoima, umesto da se odbacuju tokom čišćenja.
Uvođenje bez prekida rada
OpenAI je Pando izgradio za deset nedelja uz pomoć Codex-a, implementirao ga u Rust-u i proveravao usklađenost sa standardnim Git ponašanjem. Početno uvođenje bilo je realizovano kao proxy za čitanje i pisanje prema postojećem sistemu, kako bi oba sistema ostala sinhronizovana tokom postepene migracije bez zastoja.
Kompanija je zatim migrirala Git saobraćaj, integracije, webhookove, API-je i alate za pregled koda. Deo poboljšanja za preuzimanje, indeksiranje i praćenje packfile-uri prenosa već je prosleđen uzvodnom Git projektu. Za poslovne timove sa rastućim monorepo opterećenjem, primer Pando pokazuje da se kapacitet može povećati razdvajanjem koordinacije grana od isporuke sadržaja, uz očuvanje postojećeg Git toka rada.