OpenAI가 10월 19일(현지시간) COBOL·Fortran·Visual Basic처럼 학습 자료가 적은 '저자원' 프로그래밍 언어에서 코딩 모델의 실력을 재는 평가 2종과 그 결과를 공개했다. 20개 언어로 SQLite 호환 데이터베이스 엔진을 처음부터 만드는 MultiLangBench에서 GPT-6 Astra는 평균 87.4%의 테스트를 통과했다.
핵심 정리
- MultiLangBench 평균 통과율은 GPT-5.6 Sol 26.8%에서 GPT-6 Astra 87.4%로 올랐고, COBOL은 10.9%에서 72.1%로 뛰었다.
- COBOL 코드를 C++·Java·Kotlin·Python·Rust로 옮기는 평가에서 GPT-6.1 Sol은 낮은 추론 강도로 86.6%, 높은 추론 강도로 97.9%를 기록했다.
- OpenAI는 MultiLangBench의 평가 환경과 테스트 세트를 GitHub에 Apache-2.0 라이선스로 공개했다.
저자원 프로그래밍 언어 코딩 평가, 무엇을 쟀나
OpenAI가 공개한 저자원 언어 코딩 연구 글은 새 소프트웨어를 만드는 능력과 기존 소프트웨어의 동작을 보존하는 능력을 따로 시험한다. 첫 번째 평가인 MultiLangBench는 모델에게 SQLite와 호환되는 데이터베이스 엔진을 지정된 언어로 직접 구현하게 한다. 대상은 C, COBOL, Common Lisp, Fortran, Lean, OCaml, Rust, Zig 등 20개 언어다.
언어와 관계없이 모델이 만든 프로그램이 초기 데이터베이스와 SQL 질의를 받아 결과 데이터베이스를 내놓으면, 실제 SQLite 3.40.1이 그 내용을 검증한다. MultiLangBench 저장소 설명에 따르면 SQLite의 TCL 테스트 약 5만 1천 개 가운데 약 2만 4천 개를 변환했고, 기본 평가에는 이 중 272개를 쓴다.
GPT-6 Astra·Luna 언어별 점수는
OpenAI가 최대 추론 강도로 측정한 결과 GPT-6 Astra는 20개 언어 중 19개에서 83% 넘는 통과율을 냈고, 가장 낮은 언어는 COBOL(72.1%)이었다. ChatGPT 무료·Go 요금제에 쓰이는 GPT-6 Luna는 평균 40.3%로 GPT-5.6 Sol(26.8%)보다 높았다. 샘플당 추정 API 비용은 Luna가 0.77달러로 GPT-5.6 Sol(3.48달러)보다 약 78% 낮았다.
| 언어 | GPT-5.6 Sol | GPT-6 Luna | GPT-6 Astra |
|---|---|---|---|
| 평균 | 26.8% | 40.3% | 87.4% |
| COBOL | 10.9% | 17.1% | 72.1% |
| Fortran | 21.4% | 31.4% | 83.5% |
| OCaml | 25.6% | 34.1% | 85.8% |
| Visual Basic | 27.5% | 41.6% | 89.4% |
COBOL 마이그레이션 정확도는 얼마나 올랐나
두 번째 평가는 COBOL 프로그램을 C++·Java·Kotlin·Python·Rust로 옮기면서 동작을 그대로 유지하는지 본다. 숨겨진 테스트가 출력이 바이트 단위까지 같은지 확인하며, 모든 테스트를 통과해야만 성공으로 친다. OpenAI는 COBOL이 기본적으로 남는 소수 자릿수를 잘라 버리는데 이를 반올림으로 옮기면 오류 없이도 금융 계산 결과가 달라진다는 예를 들었다.
이 평가에서 GPT-6.1 Sol은 낮은 추론 강도로 86.6%를 기록했다. 같은 설정의 GPT-5.6 Sol(5.4%)보다 높으면서 API 비용은 61% 수준이었다. 추론 강도를 높이면 97.9%까지 올라 OpenAI는 평가가 포화에 가깝다고 밝혔다.
왜 COBOL·Fortran인가
OpenAI는 이번 연구가 코딩 모델이 이런 언어에서 자주 헤맨다는 개발자·기업 고객의 피드백에서 출발했다고 설명했다. OpenAI가 인용한 수치로는 COBOL이 온라인 뱅킹 시스템의 40% 이상, 대면 카드 결제의 80%, ATM 거래의 95%를 떠받친다. Fortran은 기상 예보와 원자력 안전 분석에 쓰인다.
언어만 바꿔 같은 과제를 반복하는 설계는 주류 언어에 쏠렸던 벤치마크의 빈틈을 겨냥한다. 다만 결과는 OpenAI가 자사 모델로 직접 측정한 수치이며, 경쟁사 모델의 점수는 이번 글에 실리지 않았다.
레거시 시스템 현대화에 주는 의미
OpenAI는 이런 능력을 실제 운영 소프트웨어에 적용하려면 여전히 전문가 검토와 업무 규칙·의존성에 맞춘 테스트가 필요하다고 단서를 달았다. 평가 환경이 공개된 만큼 다른 모델 개발사나 연구자가 같은 조건으로 점수를 내 비교할 길도 열렸다. GPT-6 Astra의 다른 평가 결과는 마이크로소프트 OfficeTown 사무업무 완수율 평가 기사에서 볼 수 있다.
자주 묻는 질문
MultiLangBench는 누구나 쓸 수 있나?
그렇다. OpenAI는 평가 환경, 테스트 세트, 실행 스크립트를 GitHub 저장소 openai/MultiLangBench에 Apache-2.0 라이선스로 공개했다. 점수는 API 비용과 테스트 통과율을 함께 보고하도록 안내한다.
저자원 프로그래밍 언어란 무엇인가?
공개된 코드와 문서가 적어 AI 모델이 학습할 자료가 부족한 언어를 말한다. OpenAI는 COBOL, Fortran, Visual Basic을 대표 사례로 꼽았으며, 이들 언어는 금융·기상 등 핵심 인프라에서 여전히 쓰인다.
AI로 COBOL 코드를 바로 전환해도 되나?
OpenAI는 운영 소프트웨어에 적용하려면 전문가 검토와 업무 규칙에 맞춘 테스트가 필요하다고 밝혔다. 평가 점수가 높아도 실제 시스템의 의존성과 계산 규칙은 별도로 검증해야 한다.
