OpenAI unapredio keširanje promptova za GPT-6 agente
OpenAI je 22. septembra 2026. uz porodicu modela GPT-6 predstavio unapređeni sistem keširanja promptova za trajne agente. Sistem ponovo koristi zajednički kontekst između API zahteva, a za podobne zajedničke prefikse korišćene u periodu od 30 minuta nudi popust do 90% na keširane ulazne tokene.
Promena je namenjena aplikacijama čiji agenti rade satima nad složenim poslovima, kao što su refaktorisanje koda, priprema istraženih dokumenata i izrada prezentacija. Takvi sistemi kroz uzastopne zahteve često prenose ista uputstva, definicije alata i kontekst iz prethodnih koraka, pa ponovna obrada tog sadržaja povećava vreme odgovora i trošak.
Vidljivost nad pogocima i promašajima keša
Novi Prompt Caching Dashboard prikazuje koliki deo ulaza aplikacije stiže iz keša. Timovi mogu da prate stopu pogodaka tokom vremena i da na grafikonu sastava ulaza porede keširane i nekeširane tokene. To olakšava uočavanje pada stope pogodaka posle izmena u aplikaciji.
Za neočekivane promašaje predviđen je alat za dijagnostiku. On poredi zahtev sa skorijim odgovorom i ukazuje na promene modela, alata, podešavanja ili ulaza koje su sprečile ponovnu upotrebu. U prikazanom primeru promena alata dovela je do promašaja za 5.629 tokena, koliko je bilo i tokena dostupnih za poređenje.
Kontrole za stabilniji zajednički kontekst
OpenAI uvodi eksplicitne tačke prekida keša, kojima programeri biraju prefikse prompta za ponovno korišćenje. Dokumentacija objašnjava trajanje podobnosti keširanih prefiksa i uticaj promena alata i ulaznih podataka na ponovno korišćenje.
Na GPT-6 modelima moguće je menjati nivo napora rezonovanja između odgovora bez prekida keša: konfiguracija se dodaje kao configuration_update, dok podešavanje napora na nivou zahteva ostaje nepromenjeno. Time se za teži zadatak može povećati, a za rutinski nastavak smanjiti količina rezonovanja uz očuvanje zajedničkog konteksta.
Za promene u korišćenju alata OpenAI preporučuje stabilne definicije, šeme i redosled alata. Umesto uklanjanja definicija, relevantni alati mogu se ograničiti opcijom allowed_tools, dok se tool_choice može postaviti na none kada alat nije potreban. Nova razvojna uputstva dodaju se pri kraju konteksta kako bi nadjačala starija.
Rezultati koje su prijavili korisnici
GitHub Copilot je, prema izjavi glavnog direktora za proizvode Maria Rodrigueza, tokom više meseci smanjio za više od 50% udeo prompt tokena koji zahtevaju novu obradu kroz milijarde zahteva ka OpenAI modelima, u odnosu na prethodnu osnovu. Strawberry Browser je prijavio rast stopa pogodaka sa 83% na 91%, približno dve trećine manje upisa u keš i 36% niži trošak inferencije pri istom opterećenju.
Prethodno zagrevanje dodatno omogućava da se poznata uputstva, definicije alata ili referentni materijal obrade pri pokretanju aplikacije, pre prvog korisničkog zahteva. Praktičan poslovni zaključak je da timovi treba da mere stopu pogodaka, stabilan sadržaj zadrže u zajedničkom prefiksu, promenljivi deo smeste kasnije u prompt i svaku izmenu alata proveravaju dijagnostikom, kako bi smanjili čekanje korisnika i trošak inferencije.