코딩 에이전트 하네스, 점수는 그대로 비용은 최대 3배

코딩 에이전트의 '하네스'를 바꿔도 점수는 거의 그대로지만 비용은 최대 3배 벌어진다는 연구가 나왔다. 중국 산둥대 연구진이 10월 3일 arXiv에 올린 논문으로, 미국 IT 매체 벤처비트가 23일(현지시간) 보도했다. 모델 5종을 클로드 코드·OpenCode·mini-SWE-agent에 넣어 SWE-bench Verified로 비교했다.

핵심 정리

• 447개 과제에서 가장 무거운 클로드 코드와 가장 가벼운 mini-SWE-agent의 점수 차는 두 모델 모두 5점 이내였다.
• 같은 모델·같은 과제·같은 가격표에서 과제당 비용은 하네스에 따라 최대 3배 차이 났다.
• 비용을 가른 것은 매 단계 다시 보내는 고정 프롬프트로, 클로드 코드 16,581토큰, OpenCode 7,025토큰, mini-SWE-agent 829토큰이었다.

코딩 에이전트 하네스 비교, 어떻게 했나

하네스는 모델을 감싸 시스템 프롬프트·도구·컨텍스트 관리를 맡는 실행 틀이다. 양쩌 류·중이 한 연구원은 모델을 고정하고 이 틀만 바꿨다. Qwen 두 모델은 447개 과제를, DeepSeek-V4-Flash·GLM-5.3-Flash·HY4-Preview를 포함한 다섯 모델은 어려운 과제 45개를 풀었다.

초기 웹 연결 실험에서 DeepSeek·Qwen 시도의 71%가 깃허브의 원래 수정 코드를 가져온 사실이 드러나 본 평가에선 네트워크를 막았다.

클로드 코드 vs mini-SWE-agent 점수

Qwen3.6-35B-A3B에서 클로드 코드는 채점 과제 445개 중 310개, mini-SWE-agent는 318개를 풀어 1.8점 차였다. Qwen3.8-27B에서는 444개 중 347개와 353개로 1.4점 차였다.

어려운 과제에서 하네스를 바꾸면 약 13%의 성패가 뒤집혔는데, 같은 하네스를 다시 돌렸을 때와 같은 비율이다. 잡음을 넘은 차이는 OpenCode가 최대 9점 뒤진 것뿐이었고, 한 모델에선 그 절반가량이 3만2,000토큰 출력 한도 탓이었다.

개발사 자체 하네스도 이점이 없었다. DeepSeek 공식 CLI는 45개 중 21개를 풀어 클로드 코드와 같았다. 연구진은 "모델 개발사가 자기 모델에 맞춘 하네스라도 점수 이점은 사지 못한다"고 썼다.

AI 코딩 에이전트 비용, 왜 하네스마다 다른가

비용은 하네스 자체 문구에 단계 수를 곱한 만큼 늘었다. GLM-5.3-Flash 기준 1회 시도 비용은 클로드 코드 1.81위안, mini-SWE-agent 0.97위안, OpenCode 0.56위안이었다.

단계 수도 변수다. DeepSeek-V4-Flash에서 mini-SWE-agent는 141단계, 클로드 코드는 104단계를 썼다. 입력 토큰의 96~99%가 캐시 처리됐지만 비용 순위는 바뀌지 않았다.

맥락: 버클리 HarnessTax도 같은 방향

별도 프로젝트 HarnessTax는 모델 7종과 클로드 코드·OpenAI 코덱스 CLI·Pi 등 21개 조합을 시험했다. 벤처비트는 이를 UC버클리 스카이 컴퓨팅 랩과 Arena의 연구로 소개하며 통과율은 몇 점 차였지만 비용은 최대 5배 벌어졌다고 전했다.

앞서 30만 줄 C 코드 리팩터링 사례에서도 하네스의 역할이 쟁점이 됐다.

전망: 벤치마크 해석은 더 신중해야

연구진은 작은 벤치마크의 한계를 경고했다. 과제 45개로는 13점 차이도 절반 정도만 잡아냈고, 447개로도 약 5점 차이까지만 구분됐다.

연구진은 하네스를 고를 때 첫 호출 크기, 단계당 증가량, 단계 수를 먼저 비교하라고 권했다.

자주 묻는 질문

클로드 코드를 쓰면 SWE-bench 점수가 오르나?

이번 연구에선 아니었다. Qwen 두 모델 모두 mini-SWE-agent가 근소하게 높았다.

하네스 비용 차이는 어디서 생기나?

주로 매 단계 다시 보내는 시스템 프롬프트와 도구 설명이다. 클로드 코드의 고정 프롬프트는 mini-SWE-agent의 약 20배였다.

참고 자료

• What Does a Harness Buy? Tokens, Mostly — arXiv, Yangze Liu·Zhongyi Han(2026년 10월 3일)
• HarnessTax: How Much Does the Harness Matter for Coding Agents? — HarnessTax 프로젝트 페이지
• A coding agent's harness can triple its cost without making it more accurate, study finds — 벤처비트(2026년 10월 23일)