OpenAI улучшила работу GPT-6 с COBOL, Fortran и другими редкими языками

OpenAI сообщила о прогрессе моделей GPT-6 в разработке и миграции программ на языках с ограниченным объёмом доступного кода и документации. В тесте MultiLangBench GPT-6 Astra достигла среднего показателя прохождения 87,4% по 20 языкам против 26,8% у GPT-5.6 Sol, а GPT-6.1 Sol в проверке миграции COBOL получила 86,6% точности при низком уровне усилий рассуждений.

Компания относит к таким языкам COBOL, Fortran и Visual Basic. Они используются в критически важных системах: OpenAI указывает, что COBOL поддерживает более 40% систем онлайн-банкинга, 80% очных операций по кредитным картам и 95% операций в банкоматах. Fortran применяется, в частности, в прогнозировании погоды и анализе безопасности ядерных записей.

Проверка разработки совместимого со SQLite движка

Для оценки способности создавать новый код OpenAI разработала MultiLangBench. В этой проверке модель должна с нуля собрать движок базы данных, совместимый со SQLite, на заданном языке программирования. Задание включает организацию кодовой базы, управление состоянием, обработку ошибок и добавление функций без нарушения уже реализованного поведения.

Общим интерфейсом для разных языков служат файлы базы данных. Программа получает исходную базу и SQL-запрос, а затем возвращает изменённую базу. Результат сравнивается с эталонной реализацией SQLite по ожидаемому содержимому, поэтому один набор тестов можно применять к реализациям на разных языках.

При максимальном уровне усилий рассуждений GPT-6 Astra показала 87,4% прохождения тестов в среднем по 20 языкам. Результаты улучшились по каждому из них. В COBOL показатель вырос с 10,9% до 72,1%, в OCaml — с 25,6% до 85,8%, в Fortran — с 21,4% до 83,5%, в Visual Basic — с 27,5% до 89,4%. В 19 из 20 языков Astra превысила 83%; самым сложным остался COBOL.

Более доступная GPT-6 Luna также превзошла GPT-5.6 Sol во всех проверенных языках. Её средний результат составил 40,3%, а расчётная средняя стоимость API на один образец — 0,77 доллара против 3,48 доллара у GPT-5.6 Sol, то есть примерно на 78% ниже.

Миграция COBOL без изменения поведения

Вторая оценка проверяет перенос программ COBOL в C++, Java, Kotlin, Python или Rust. Задача состоит не просто в переписывании синтаксиса: новая программа должна сохранять наблюдаемое поведение исходной системы.

OpenAI обращает внимание на специфику COBOL при обработке финансовых транзакций и деловых записей. Например, арифметика с фиксированной точкой отбрасывает лишние десятичные разряды, если округление не задано явно. Переписанная программа может выполняться без ошибок, но выдавать иной финансовый результат, если вместо этого округляет значения.

Поэтому скрытые тесты требуют побайтного совпадения наблюдаемых выходных данных, а перенос засчитывается только при прохождении всех проверок. GPT-6.1 Sol достигла 86,6% точности при низком уровне усилий рассуждений против 5,4% у GPT-5.6 Sol при той же настройке и при 61% её стоимости API. При более высоком уровне усилий показатель достиг 97,9%.

Что это меняет для команд

OpenAI опубликует на GitHub конфигурацию MultiLangBench и набор тестов, чтобы разработчики могли изучить покрытие и результаты по нужным языкам. При этом компания отдельно подчёркивает: применение миграции к производственным системам требует проверки специалистами и тестирования с учётом бизнес-правил и зависимостей.

Для бизнеса такие показатели дают способ оценивать ИИ-инструменты на поддержке и модернизации унаследованного кода, где документация может быть неполной, а важные правила сохранены только в программах. Результаты бенчмарков не отменяют инженерный контроль, но помогают сравнивать модели на задачах, где особенно важна точность сохранения поведения.