Writer uvodi Palmyra X6 i optimizuje agentni okvir za niže troškove
Writer je predstavio vodeći AI model Palmyra X6 i značajno unapređenje svog standardnog agentnog okvira, uz procenu da kombinacija ova dva elementa može smanjiti troškove osnovnih zadataka za korisnike do 50%. Palmyra X6 je posttrening varijanta otvorenog modela GLM-5.2 kompanije Z.ai, a oba noviteta dostupna su klijentima Writer-a od četvrtka.
Model i okvir kao zajednička optimizacija
Kompanija se usmerava na složene zadatke sa više koraka, koje želi da izvršava brže i uz manju potrošnju tokena. U tom pristupu model nije jedina poluga: agentni okvir određuje kako sistem organizuje korake, koristi kontekst i upravlja izvršavanjem zadatka.
Palmyra X6 će u Writer okruženju raditi uz ostale modele kompanije, kao i uz spoljne modele koje korisnici unose preko Azure-a ili Amazon Bedrock-a. Time korisničko iskustvo ostaje nezavisno od konkretnog modela, dok Writer pozicionira novi sistem kao opciju za radna opterećenja kod kojih su trošak i višekoračno izvršavanje posebno važni.
Rezultati istraživanja o potrošnji tokena
Writer-ovo istraživanje testiralo je manje izmene efikasnosti agentnog okvira na više različitih modela. U velikom broju slučajeva, promene u okviru bile su pouzdaniji način za smanjenje troškova od samog izbora modela, a troškovi su kroz testiranja u proseku pali za 40%.
Zaključak istraživača je da se efikasnost okvira umnožava preko svakog modela koji organizacija koristi sada i ubuduće. To je važan ugao u tržištu na kojem otvoreni modeli mogu imati nižu cenu po tokenu, ali izbor odgovarajućeg modela za konkretan posao i dalje nije jednostavan.
Šta to znači za organizacije
Rasprava o otvorenim i zatvorenim modelima dobija dodatni operativni sloj kroz različite tržišne puteve razvoja AI rešenja različite tržišne puteve razvoja AI rešenja. Writer-ov potez pokazuje da se upravljanje troškom ne svodi samo na cenu tokena, već i na način na koji se model uključuje u agentni tok rada.
Za poslovanje je praktičan zaključak da pri proceni AI implementacije treba meriti celu putanju zadatka: broj koraka, obim konteksta, pozive alata i stvarnu potrošnju tokena. Izbor modela ostaje važan, ali optimizacija okvira može biti neposredan izvor uštede kroz više modela i radnih procesa.