Ramp uvodi Router za rutiranje zahteva između AI modela
Platforma za upravljanje poslovnim troškovima Ramp pokrenula je Router, servis za rutiranje zahteva ka velikim jezičkim modelima preko jednog API-ja. U SAD je dostupan pristup modelima kompanija OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI i Z.ai, a korišćenje usluge je besplatno do kraja 2026. godine, pri čemu korisnici i dalje plaćaju troškove inferencije. Ramp uz lansiranje nudi kredit od 26 dolara.
Jedan API i pravila za izbor modela
Router je namenjen korisnicima i kompanijama koje žele da menjaju modele bez promene integracije. Ramp navodi da je sistem koji sada nudi tržištu koristio za sopstvene potrebe AI upotrebe tokom prethodne tri godine.
Usluga uvodi nekoliko strategija rutiranja. Jedna može da daje prednost flex nivoima korišćenja koje nude provajderi modela. Druga prepušta Routeru izbor modela na osnovu najviše tri merila koja odredi korisnik.
Timovi mogu da postave i pravilo po kojem se samo složeniji problemi šalju skupljim modelima. Sistem je zamišljen i za lakše testiranje modela, bez ručnog prebacivanja između odvojenih usluga.
Troškovi, latencija i zadržavanje podataka
Kontrolna tabla prikazuje potrošnju tokena, trošak, latenciju i pokušaje preusmeravanja na rezervne opcije. Time se rutiranje povezuje sa Rampovim postojećim proizvodima za praćenje korišćenja AI tokena i upravljanje potrošnjom tokena.
Podaci se, međutim, podrazumevano zadržavaju: Router beleži ulaze u modele, izlaze i pozive alata tokom jedne godine, osim ako korisnik ne isključi tu opciju. Ramp navodi da uklanja podatke koji mogu da identifikuju osobu pre korišćenja sadržaja za unapređenje proizvoda.
Širi prostor za AI inferenciju
Funkcionalno, Router podseća na OpenRouter, ali trenutno nudi manji izbor modela. Tržište AI posrednika dobija dodatnu pažnju i zbog vesti da je OpenRouter predmet dogovora vrednog više od 7 milijardi dolara predmet dogovora vrednog više od 7 milijardi dolara, što naglašava poslovni značaj sloja između aplikacija i provajdera inferencije.
Za kompanije je praktičan zaključak da pre uvođenja ovakvog posrednika odrede pravila za izbor modela, granice potrošnje i politiku zadržavanja podataka. Jedinstven API može pojednostaviti eksperimente, ali ne uklanja potrebu za proverom troškova inferencije i načina obrade ulaza zaposlenih i korisnika.