VMTech
Razgovarajmo

OpenAI traži sporije skaliranje AI dok bezbednosne mere ne sazru

OpenAI traži sporije skaliranje AI dok bezbednosne mere ne sazru

OpenAI upozorava na granice brzog razvoja

OpenAI je 6. septembra 2026. objavio tekst glavnog naučnika Jakuba Pachockog u kojem navodi da je GPT-6 Astra značajno bolje usklađen od modela GPT-5.6 Sol, ali da nijedna laboratorija još nije rešila alignment i nadzor dovoljno pouzdano za nastavak skaliranja maksimalnom brzinom. Kompanija istovremeno očekuje da naredni modeli mogu doneti skokove sposobnosti jednake ili veće od dosadašnjih.

Pachocki razvoj opisuje kao put na kojem modeli za rezonovanje postaju sve važniji za ekonomiju i nauku. Oni već mogu da rade sa računarima i grafičkim interfejsima, sarađuju sa ljudima i drugim AI sistemima i izvode istraživačke zadatke. Takve sposobnosti, međutim, menjaju i profil rizika, naročito u računarskoj bezbednosti.

Alignment nije samo izvršavanje instrukcija

OpenAI razlikuje usklađivanje sa zadatim ciljem od vrednosnog usklađivanja. Prvo se odnosi na to da li sistem pokušava da izvrši postavljeni zadatak, uključujući poštovanje hijerarhije instrukcija i saradnju sa ljudima. Drugo podrazumeva sposobnost modela da načela prenese u nejasne, konfliktne, nove ili protivničke okolnosti.

Ključni problem je generalizacija. Model može pravilno reagovati u situacijama obuhvaćenim obukom, a da ne prenese iste vrednosti na novi kontekst. OpenAI navodi da se taj izazov pojačava jer se okruženje brzo menja i modeli sve češće stupaju u interakciju sa drugim AI sistemima.

Kompanija zato opisuje dva praktična pristupa: potkrepljivanje ponašanja prema specifikaciji ili preferencijama, kao i oslanjanje na obrasce iz podataka za prethodnu obuku. Prvi pristup može biti delotvoran, ali zavisi od pokrivenosti nadzorom. Drugi može biti manje otporan na dalju optimizaciju za veoma zahtevne ciljeve.

Nadzor lanca rezonovanja postaje složeniji

Važan deo OpenAI pristupa je nadzor lanca rezonovanja, odnosno verbalizovanog procesa zaključivanja modela. Ideja je da se nadzire razvoj sposobnosti bez direktnog pritiska da model prikrije problematične namere u samom procesu rezonovanja. Pri lansiranju o1-preview, kompanija je zato sakrila lanac rezonovanja od korisnika, uz obrazloženje da želi da ga zaštiti od pritiska nadzora.

Ipak, OpenAI ocenjuje da se oslanjanje na taj metod postepeno smanjuje. Modeli rade u složenijim okruženjima, njihovo rezonovanje se prepliće sa komunikacijom i alatima, a sve su sposobniji da utiču na sopstveni proces razmišljanja. Kompanija istražuje kombinovanje nadzora lanca rezonovanja i nadzora aktivacija unutar mreže.

Odbrana, revizije i zadržavanje ljudske kontrole

Pachocki posebno izdvaja sajber-bezbednost. Napredni agenti mogli bi da prošire rizike za sisteme i infrastrukturu, pa OpenAI smatra da su snažni, usklađeni modeli potrebni i za odbranu: zaštitu infrastrukture, reagovanje na odmetnute agente i razvoj novih zaštitnih mera.

Kompanija predlaže da se skaliranje ograniči stepenom poverenja u bezbednost, uz bezbednosne pragove zasnovane na okvirima kao što su Preparedness Framework i Responsible Scaling Policy. Takve pragove mogli bi da proveravaju nezavisni revizori, državne institucije ili međunarodna tela. Za poslovanje je praktičan zaključak da uvođenje AI agenata mora pratiti upravljanje pristupima, nadzor rada sa alatima, testiranje ponašanja izvan očekivanih scenarija i jasno definisan odgovor na incidente.

#aiethics#aisafety#alignment#cybersecurity
Otvorena analitika
Na sajtu 4 pregleda
min čitanja 4 06.09.2026
Instagram

OpenAI traži sporije skaliranje AI dok bezbednosne mere ne sazru

Otvorite objavu na Instagramu ↗