Kako je OpenAI postigla nisku latenciju glasovnog AI u velikoj skali: arhitektura releja + transiver

Prijatelji, želim da podelim vest iz OpenAI ekosistema: inženjeri su opisali kako su smanjili latenciju u glasovnom AI pri globalnom skaliranju.

O čemu se radi:
- Problem: izlaganje portova i „lepljenje“ ICE/DTLS stanja pri skaliranju na Kubernetesu.
- Rešenje: podela na lagani relej (forwarding UDP) i stateful transiver, rutiranje po ICE-ufrag, globalne ulazne tačke.
- Dobit: manja javna UDP-površina, geo-ulaz za kratak prvi hop i očuvanje standardnog WebRTC za klijente.

Zašto je važno: omogućava živo, bez odlaganja glasovno interaktivno iskustvo i pojednostavljuje bezbednost i skaliranje.

Šta mislite o ovakvoj arhitekturi za Vaše realtime-servise?

#OpenAI #WebRTC #GlasovniAI #Infrastruktura