AI 코딩 에이전트 앱 완성률 최고 65%…ViBench 2.0

리플릿(Replit)이 10월 28일(현지시간) AI 코딩 에이전트가 빈 프로젝트에서 소프트웨어 제품 전체를 만들고, 자기가 짠 코드 위에 기능을 계속 덧붙일 수 있는지 시험하는 벤치마크 ViBench 2.0을 공개했다. 1위를 차지한 오픈AI의 GPT-6.1 Sol도 모든 테스트를 통과한 빌드는 65%에 그쳤고, 오픈웨이트 모델 가운데 완성 빌드를 낸 모델은 하나도 없었다.

핵심 정리

• ViBench 2.0은 우버·깃허브·구글 문서 같은 서비스를 본뜬 제품 17개, 기능 요청 241건, 브라우저 테스트 계획 544개로 구성됐다.
• GPT-6.1 Sol이 완성 빌드 비율 65%로 1위, GPT-6 Astra가 60%, 앤트로픽의 클로드 Opus 5.5가 49%였다.
• 상위 세 모델은 개별 테스트 계획의 90% 이상을 통과했다. 차이는 기능 하나도 깨뜨리지 않고 제품을 끝까지 완성하느냐에서 났다.

ViBench 2.0 벤치마크, 무엇을 시험하나

리플릿 발표에 따르면 ViBench 2.0에서는 에이전트가 빈 프로젝트에서 출발한다. 짧은 명세로 첫 버전을 만든 뒤, 자신이 작성한 코드 위에 최대 18개 기능을 차례로 더한다.

에이전트는 뒤에 어떤 기능이 올지 모르는 상태에서 데이터베이스 스키마와 경로를 먼저 정해야 한다. 테스트 계획은 차량 호출 앱에서 나눠 낸 요금의 합이 운임과 정확히 같은지, 환불이 두 번 처리되지 않는지 등을 단계별로 확인한다.

채점은 클로드 Opus 5.5 채점 에이전트가 실제 브라우저에서 모든 테스트 계획을 돌려 맡는다. 리플릿은 정상 빌드에 버그 34개를 하나씩 심어 시험했고, 버그가 보이는 상태에서 채점기가 통과 판정을 내린 적은 없었다고 밝혔다. GPT-6.1 Sol이 Opus의 통과 판정 477건을 다시 채점한 결과 99.2%가 일치했다.

ViBench 2.0 결과: GPT-6.1 Sol·GPT-6 Astra·클로드 Opus 5.5

공식 측정은 파이어웍스 AI가 모델마다 제품당 4회씩, 중간(medium) 추론 강도로 진행했다. 대표 지표인 pass@1은 모든 테스트 계획을 통과한 빌드만 성공으로 센다.

속도 차이도 컸다. Opus 5.5는 빌드당 약 70분이 걸렸고, Sol은 약 2.5배 느렸다. 리플릿은 차이 대부분이 API 제공 속도에서 나왔다고 설명했다. 파이어웍스의 전문 지능 지수(SII)에는 Sol이 pass@1 64.7%, 과제당 12.34달러·1만680초로 올라 있다.

저가 모델 중에서는 딥시크 V4.1 Flash가 빌드당 약 2.5달러로 테스트 계획의 77%를 통과했지만, 오픈웨이트 모델 중 완성 빌드를 낸 사례는 없었다.

AI 코딩 에이전트는 어디서 실패하나

상위 모델의 실패 빌드 가운데 4분의 3 가까이는 기능과 기능이 맞물리는 지점에서만 깨졌다. 상위 모델 빌드 약 40개 중 1개는 나중에 추가된 스키마 코드가 테이블을 만들기 전에 참조하는 바람에 빈 데이터베이스에서 아예 실행되지 않았다.

맥락: ViBench에서 ViBench 2.0으로

첫 ViBench는 리플릿과 조지언(Georgian) AI 랩이 함께 만들었다. 조지언에 따르면 발표 당시 클로드 Opus 4.6이 과제 45.7%를 통과해 1위였고, 9개 모델 중 7개가 깨끗한 참조 코드보다 자기 코드를 확장할 때 성적이 더 낮았다. 2.0은 이 '바이브 온 바이브' 조건을 긴 제품 개발 과정으로 늘린 셈이다.

전망

제품 8개는 깃허브에 하버(Harbor) 형식으로 공개돼 v2.0.6 릴리스에서 명령 한 줄로 재현할 수 있고, 나머지 9개는 비공개로 둔다. 리플릿은 상세 방법론 문서를 곧 내놓겠다고 했다. 지금까지의 결과는 리플릿과 협력사가 측정·발표한 것으로, 독립적으로 재현되지는 않았다.

자주 묻는 질문

ViBench 2.0은 무엇인가?
AI 에이전트가 제품 17개를 처음부터 만들고 제품마다 최대 18개 기능을 더하게 한 뒤, 브라우저 테스트 계획 544개로 채점하는 리플릿의 벤치마크다.

가장 높은 점수를 받은 모델은?
오픈AI의 GPT-6.1 Sol이다. 빌드의 65%가 모든 테스트 계획을 통과했고, 빌드당 비용은 약 12달러였다.

직접 돌려 볼 수 있나?
공개된 제품 8개는 v2.0.6 릴리스의 오픈핸즈(OpenHands) 기반 하네스로 실행할 수 있다. 나머지 9개는 공개되지 않는다.

참고 자료

• ViBench 2.0: A Benchmark for Long-Horizon Software Building — Replit(2026년 10월 28일)
• Specialized Intelligence Index — Fireworks AI(2026년 10월 28일 갱신)
• Vibe Check: Why Georgian and Replit Created a Benchmark on Vibe Coding — Georgian(2026년 6월 25일)