Как OpenAI добилась низкой задержки голосового ИИ в масштабе: архитектура реле + трансивер

Друзья, хочу поделиться новостью из экосистемы OpenAI: инженеры описали, как снизили задержки в голосовом ИИ при глобальном масштабе.

О чём речь:
- Проблемы: портовая экспозиция и «прилипание» состояния ICE/DTLS при масштабировании на Kubernetes.
- Решение: разделение на лёгкое реле (форвардинг UDP) и stateful трансивер, маршрутизация по ICE-ufrag, глобальные точки входа.
- Выигрыш: меньшая публичная UDP-поверхность, гео-вход для короткого первого хопа и сохранение стандартного WebRTC для клиентов.

Почему это важно: обеспечивает живое, без задержек голосовое взаимодействие и упрощает безопасность и масштабирование.

Что думаете о такой архитектуре для ваших realtime‑сервисов?

#OpenAI #WebRTC #VoiceAI #Инфраструктура