Accelerating Agent Cycles in Responses API via WebSockets

Ubrzanje agentskih ciklusa u Responses API preko WebSocket‑a

Poštovani, želim da podelim iz OpenAI ekosistema: Responses API je dobio WebSocket režim koji ubrzava agentske cikluse.

Pregledao sam materijal tima: uvedeno je stalno povezivanje i keš stanja kako se istorija ne bi ponovo sastavljala pri svakom zahtevu.

Ključne promene: keš renderovanih tokena; smanjenje mrežnih hopova; ubrzanje sigurnosnih klasifikatora; kompatibilnost sa response.create + previous_response_id.

Rezultat: agentski ciklusi do +40%, za GPT‑5.3‑Codex‑Spark postignuto ~1 000 TPS (u pikovima do 4 000 TPS). Alfa‑partneri potvrdili korist.

Zašto je to važno: da bi brzina modela stigla do korisnika, potrebno je smanjiti režijske troškove API‑ja.

Koje delove steka biste Vi ubrzali prvo?

#OpenAI #ResponsesAPI #WebSocketi #LLM