구글 클라우드 AI 리서치와 노스웨스턴대 연구진이 모델 가중치는 건드리지 않고 에이전트를 둘러싼 실행 환경만 스스로 고쳐 성능을 끌어올리는 오픈소스 프레임워크 'Harness²'를 깃허브에 공개했다. 논문은 10월 9일 arXiv에 올라왔고, 해외 AI 매체 MarkTechPost가 18일(현지시간) 이를 보도했다.
핵심 정리
- Harness²는 시스템 프롬프트·가드레일·메모리·도구 안내·서브에이전트·스킬·스크립트·플러그인 등 8개 구성 요소만 고치며, 학습하는 파라미터는 0개다.
- GLM-5를 OpenCode에서 실행한 구성은 한 번의 개선으로 WorkBuddy-Bench 점수가 64.2에서 75.7로 11.5점 올랐다.
- 코드는 Apache 2.0 라이선스로 공개됐으며, 모델 호출에는 구글 클라우드 Vertex AI 설정이 필요하다.
Harness²는 무엇을 바꾸는 도구인가
Harness²는 언어 모델 자체가 아니라 모델을 감싸고 작업을 지시하는 '하네스'를 개선하는 도구다. 연구진은 AI 에이전트의 성능이 모델 능력뿐 아니라 프롬프트, 도구 설명, 메모리, 작업 분담 방식에 좌우된다고 본다. 그래서 파인튜닝 없이 바깥 구성만 고친다.
작동은 두 단계 재귀다. 과제 단위에서는 '제안(Propose)–탐색(Probe)–조합(Compose)' 과정을 돈다. 편집 모델이 수정안 후보를 내고, 실행해 본 뒤 행동 차이로 뒷받침되는 수정만 남긴다. 정답 데이터 없이 실행 결과의 대비만으로 판단한다.
상위 단계에서는 채택된 하네스와 검증된 교훈을 모아 다음 과제용 개선 하네스를 갱신한다. 논문에 따르면 편집 역할은 기본으로 Claude Opus 4.8이 맡았다.
Harness² 벤치마크 성능은 얼마나 올랐나
연구진이 arXiv 논문에 공개한 결과에 따르면 Harness²는 한 번의 개선(k=1)만으로 3개 벤치마크, 4개 모델·실행기 조합 모두에서 기본 하네스보다 높은 점수를 냈다. 수치는 3회 평균이다.
| 구성 | WorkBuddy-Bench | JobBench | LAB 부분 통과율 |
|---|---|---|---|
| Gemini 3.5 Flash · OpenCode | 72.4 → 77.5 | 31.5 → 36.0 | 79.9 → 81.9 |
| Gemini 3.5 Flash · Codex | 74.5 → 77.5 | 33.9 → 35.3 | 71.6 → 75.6 |
| GLM-5 · OpenCode | 64.2 → 75.7 | 20.6 → 24.2 | 59.6 → 71.4 |
| GLM-5 · Codex | 64.4 → 75.3 | 23.6 → 24.8 | 58.1 → 65.9 |
가장 큰 폭은 GLM-5·OpenCode 구성의 LAB 부분 통과율로 11.8%포인트 올랐다. 가장 작은 폭은 GLM-5·Codex 구성의 JobBench로 1.2점에 그쳤다. 탐색 예산을 k=5로 늘리면 Gemini 3.5 Flash·OpenCode 구성의 WorkBuddy-Bench 점수가 80.8까지 올랐다. 과제당 평균 실행 단계는 25.4회에서 21.9회(k=1)로 줄었다.
학습 데이터가 필요한 기존 방식과 무엇이 다른가
Harness²의 차별점은 학습용 데이터 분할 없이 배포 시점에 처음 보는 과제를 다룬다는 데 있다. 비교 대상인 Meta-Harness는 학습 데이터로 하네스를 미리 찾아 배포한다. 논문에서 Harness²(k=1)는 WorkBuddy-Bench와 JobBench의 4개 구성 모두에서 Meta-Harness를 앞섰다. 다만 LAB의 Gemini 3.5 Flash·Codex 구성에서는 Meta-Harness가 76.5로 Harness²의 75.6보다 높았다.
하네스 설계가 결과를 가른다는 관점은 업계에서도 꾸준히 나온다. 앞서 에이전트가 30만 줄 C 코드를 만점으로 끌어올린 사례에서도 핵심은 하네스였다는 분석이 나온 바 있다.
개발자가 써 보려면 무엇이 필요한가
Harness² 깃허브 저장소에 따르면 리눅스, Python 3.12, 패키지 관리자 uv가 기본 요건이다. 로컬 데모는 인증 정보 없이 돌릴 수 있지만 실제 모델 실행에는 Node.js 20 이상과 Google Cloud CLI, Vertex AI 설정이 필요하다. 저장소는 구글 공식 지원 제품이 아니라고 밝혔다.
보안 주의 사항도 있다. 저장소 안내에 따르면 실행기의 네트워크 접근은 제한되지 않으며 Codex는 샌드박스를 끈 채 실행된다. 연구진은 모델이 벤치마크 정답이나 채점 기준에 닿지 않도록 평가 전 네트워크를 제한하라고 권고했다.
저장소는 18일 기준 별 2,600여 개를 받았다. 탐색 예산을 늘릴수록 성능이 더 오르는 만큼 비용과의 균형이 실사용의 관건이 될 전망이다. 세부 내용은 Harness² arXiv 논문에서 확인할 수 있다.
자주 묻는 질문
Harness²는 모델을 새로 학습시키는가?
아니다. Harness²는 모델 가중치를 고정한 채 시스템 프롬프트, 메모리, 도구 안내 등 8개 하네스 구성 요소만 수정한다. 학습하는 파라미터가 없어 파인튜닝 비용이 들지 않는다.
Harness²는 무료로 쓸 수 있는 오픈소스인가?
코드는 Apache 2.0 라이선스로 깃허브에 공개돼 있다. 다만 실제 모델 실행은 구글 클라우드 Vertex AI를 거치므로 모델 호출 비용은 따로 든다. 포함된 벤치마크와 데이터셋은 각자의 원래 라이선스를 따른다.
어떤 모델과 함께 쓸 수 있나?
논문은 Gemini 3.5 Flash와 GLM-5를 OpenCode·Codex 실행기에서 시험했다. 연구진은 별도 실험에서 GLM-5부터 Claude Opus 5까지 실행 모델과 편집 모델을 같은 모델로 둔 경우에도 모든 벤치마크에서 성능이 올랐다고 밝혔다.
