1위 AI 코딩 에이전트도 실제 수정 요청 26.4%만 완수

알리바바그룹과 푸단대 등 6개 기관 연구진이 실제 사용자의 웹앱 수정 요청으로 AI 코딩 에이전트를 시험한 결과, 1위 모델도 과제의 26.4%만 완전히 해냈다. 연구진은 10월 26일 아카이브(arXiv)에 '코디자인 벤치(Co-Design Bench)' 논문을 공개했고, 독일 IT 매체 더 디코더가 11월 8일 이를 보도했다.

핵심 정리

• 10개 모델 중 1위 GPT-6 아스트라도 요구사항 충족률은 평균 69.9%, 과제 완전 해결률은 26.4%에 그쳤다.
• 10개 모델 모두 변경 유형이 3~4개 섞인 저장소 수정에서 1~2개일 때보다 점수가 낮았다.
• 과제 273개는 실제 코딩 세션 2만6314개, 중복을 뺀 질의 3만7463건에서 골랐다.

코디자인 벤치, 무엇을 시험하나

코디자인 벤치는 실행되는 웹앱과 실제 사용자의 수정 요청을 함께 준다. 이미지·음성·영상·문서가 붙기도 한다.

과제는 두 갈래다. '멀티모달 편집' 100개는 영수증에서 금액을 읽어 관련 합계를 모두 고치는 식의 국소 수정이다. '저장소 편집' 173개는 컴포넌트·라우트·상태·데이터 흐름을 여러 파일에 걸쳐 함께 바꿔야 하며, 이 가운데 166개가 두 종류 이상의 수정을 요구한다.

연구진은 사용자가 요청을 여러 번 고쳐 쓰거나 변경을 되돌린 사례, 즉 실제로 에이전트가 애를 먹은 요청을 우선 골랐다.

AI 코딩 에이전트 채점 방식

전문가가 비공개 합격 기준 2331개를 작성했다. AI 심사관이 소스코드와 브라우저 실행 기록으로 기준별 통과 여부를 먼저 판정하고, 별도 LLM 검증기가 '통과'와 '부분 통과' 판정을 다시 따진다. 껍데기 기능이나 결과값을 코드에 박아 넣은 경우를 걸러내기 위해서다. 프런트엔드 전문가 2명도 채점을 점검했다.

모든 모델은 같은 클로드 코드(Claude Code) 하네스에서 돌렸고, 실행 시간은 과제당 최대 3시간으로 제한했다.

모델별 결과…GPT-6 아스트라 1위

종합 순위는 GPT-6 아스트라, 클로드 오퍼스 5, 큐원3.8-맥스 순이었다. 멀티모달 편집에서 GPT-6 아스트라의 완전 해결률은 41.0%로 큐원3.8-맥스(31.0%), 오퍼스 5(30.0%), 그록 4.6(6.0%)을 앞섰다. 그러나 저장소 편집에서는 17.9%로 떨어졌다.

갈래별 순위도 달랐다. 소형 모델 큐원3.8-27B가 저장소 편집 2위, 종합 4위에 올랐지만 연구진은 근소한 차이라 "일반적인 모델 우위를 입증하지 않는다"고 밝혔다.

멀티모달 편집에서 GLM-5.2는 과제당 중간값 69턴을 써 GPT-6 아스트라(32턴)의 두 배를 넘겼지만 점수는 더 낮았다.

배경: 포화 상태인 기존 벤치마크

에이전트가 코드를 직접 실행·수정하게 되면서 기존 웹 편집 벤치마크는 사실상 포화했다는 게 연구진 판단이다. 요청 대부분을 처리해도 세부 하나를 놓치면 결국 사람이 마무리해야 한다.

전망

연구진은 한계도 밝혔다. 과제마다 요청이 하나로 고정돼 있어 사용자의 후속 피드백은 반영하지 않으며, AI 기반 채점이 "판정 오류를 없앨 수는 없다"고 했다. 순위표에 요구사항 충족률과 완전 해결률을 함께 밝혀야 한다는 제안이다.

자주 묻는 질문

코디자인 벤치란?
실제 사용자 코딩 세션에서 뽑은 웹앱 수정 과제 273개를 전문가가 쓴 비공개 기준 2331개로 채점하는 벤치마크다.

가장 잘한 AI 코딩 에이전트는?
GPT-6 아스트라다. 과제별 요구사항의 평균 69.9%를 충족했지만 과제를 완전히 해결한 비율은 26.4%였다.

실제 요청에서 점수가 떨어지는 이유는?
레이아웃·스타일·상호작용·콘텐츠 변경이 한데 섞이기 때문이다. 이런 변경이 3~4가지 섞인 저장소 과제에서 10개 모델 모두 성적이 낮았다.

참고 자료

• Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models — arXiv, Xilin Wei 외(2026년 10월 26일)
• Co-Design Bench — Multimodal Collaborative Coding Evaluation for Agentic Models — 프로젝트 페이지
• AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test — The Decoder(2026년 11월 8일)