GPT-6 poboljšava rad sa COBOL-om, Fortranom i Visual Basicom
OpenAI je objavio rezultate prema kojima GPT-6 Astra na testu MultiLangBench ostvaruje prosečnu prolaznost od 87,4% kroz 20 programskih jezika, u poređenju sa 26,8% za GPT-5.6 Sol. Test obuhvata izradu SQLite-kompatibilnog motora baze od početka, a među jezicima sa manjom količinom dostupnog koda i dokumentacije nalaze se COBOL, Fortran, OCaml i Visual Basic.
U zasebnoj evaluaciji migracije COBOL koda, GPT-6.1 Sol dostiže 86,6% tačnosti pri niskom nivou rezonovanja, dok je GPT-5.6 Sol u istoj postavci ostvario 5,4%. Pri većem nivou rezonovanja rezultat GPT-6.1 Sol raste na 97,9%, a navedeni trošak API-ja pri niskom nivou rezonovanja iznosi 61% troška starijeg modela.
Testiranje izgradnje baze u 20 jezika
MultiLangBench od modela traži da u zadatom jeziku napravi sistem kompatibilan sa SQLite-om. Tokom duže sesije programiranja model mora da organizuje bazu koda, upravlja stanjem, obrađuje greške i dodaje funkcionalnosti bez narušavanja postojećeg ponašanja.
Kao zajednički interfejs koriste se fajlovi baze podataka. Kandidatski program prima početnu bazu i SQL upit, zatim isporučuje izmenjenu bazu, čiji se sadržaj proverava referentnom implementacijom SQLite-a. OpenAI je testove prilagodio postojećem SQLite testnom paketu, a meri se odnos funkcionalnosti koje prolaze testove i API trošak.
Pri maksimalnom nivou rezonovanja, Astra je podigla rezultat za COBOL sa 10,9% na 72,1%, za OCaml sa 25,6% na 85,8%, za Fortran sa 21,4% na 83,5% i za Visual Basic sa 27,5% na 89,4%. Model je prešao 83% u 19 od 20 jezika, dok je COBOL ostao najteži sa 72%.
GPT-6 Luna je na istom testu dostigao prosečnih 40,3%. OpenAI navodi procenjeni prosečni API trošak od 0,77 dolara po uzorku, u odnosu na 3,48 dolara za GPT-5.6 Sol, odnosno približno 78% manje. Postavka MultiLangBench i test paket biće objavljeni na GitHub-u zajedno sa rezultatima po jezicima.
Migracija COBOL-a zahteva očuvanje ponašanja
Druga evaluacija proverava prebacivanje COBOL programa u C++, Javu, Kotlin, Python ili Rust. Uspešna migracija ne svodi se na sintaksu: potrebno je sačuvati poslovnu logiku i specifična pravila jezika koja utiču na izlaz programa.
OpenAI kao primer navodi aritmetiku sa fiksnim zarezom u COBOL-u, gde se višak decimalnih cifara odbacuje ako zaokruživanje nije izričito zadato. Prepisani program može da radi bez greške, ali da proizvede drugačiji finansijski rezultat ako umesto odbacivanja cifara izvrši zaokruživanje.
Skriveni testovi zato zahtevaju podudarnost vidljivih izlaza bajt po bajt, a migracija je uspešna tek kada prođu svi testovi. Takav pristup je relevantan za sisteme koji obrađuju finansijske transakcije i poslovne evidencije, gde su detalji obrade često deo stvarnih poslovnih zahteva.
Praktična posledica za modernizaciju sistema
Rezultati ukazuju na napredak u radu modela sa jezicima koji podržavaju važnu infrastrukturu i usluge, ali OpenAI naglašava da produkciona primena i dalje zahteva stručni pregled i testiranje prema poslovnim pravilima i zavisnostima konkretnog sistema. Za poslovne timove najrazumniji korak je da ove modele procenjuju na ograničenim zadacima, uz postojeće testove i merljive kriterijume očuvanja ponašanja pre šire migracije.