GitHub의 새로운 Copilot 실험에서 가장 흥미로운 숫자는 품질 점수가 아니라 청구서다. 까다로운 터미널 벤치마크에서 비용은 67% 적게 쓰면서 점수는 Claude Opus 5보다 4.9%포인트 높게 나왔다. GitHub가 프로젝트 하이드라퓨전(Project HydraFusion)에 대해 공개한 대표 결과다. 이 리서치 프리뷰는 코딩 작업을 어떤 모델에 맡길지 묻기를 그만두고, 몇 개의 모델을 어떤 순서로 투입할지를 묻기 시작했다.
핵심 요약
- 하이드라퓨전은 TerminalBench 2.1에서 Claude Opus 5 기준선을 4.9%포인트 앞서면서 추정 비용은 67% 낮췄고, 다른 두 벤치마크에서는 각각 36%·65% 적은 비용으로 대등한 성적을 냈다.
- 모델 하나를 고르는 대신, 요청마다 초안 작성·상위 모델 승급·경쟁 모델 계열의 읽기 전용 비평가 투입을 조합한 실행 계획을 짠다.
- 모든 Copilot 요금제에서 Copilot CLI를 통해 켤 수 있고, 실제로 호출된 모델의 일반 토큰 요금 외에 추가 비용은 없다.
품질보다 비용 줄이 중요한 이유
에이전트 코딩에는 벤치마크 표가 잘 드러내지 않는 경제성 문제가 있다. 길고 도구 호출이 많은 작업을 프런티어 모델에 통째로 맡기는 팀은 루프의 모든 구간에 프런티어 가격을 낸다. 값싼 모델로도 충분히 끝났을 구간까지 포함해서다. 하이드라퓨전은 구간별로 가격을 따로 매기려는 GitHub의 시도다.
GitHub가 공개한 근거는 에이전트 벤치마크 세 종의 오프라인 실행 결과다. Opus 5와 GPT-5.6 Sol을 기준선으로 두고 모든 모델의 추론 수준을 중간으로 고정했다. 세 결과 중 둘은 사실상 "같은 성능을 더 싸게" 산 경우다. 저장소 전반을 넘나드는 작업을 부하로 거는 DeepSWE에서는 Opus 5와 1.5점 이내 차이로 36% 저렴하게 끝냈고, CheckpointBench에서는 0.1점 차이로 65% 저렴했다. 명확한 품질 우위가 나온 것은 TerminalBench 2.1뿐인데, GitHub는 이 벤치마크가 비교적 포화 상태라고 덧붙였다. 나머지 둘을 함께 돌린 이유도 여기에 있다.
CheckpointBench는 GitHub가 자체 제작했다는 점에서 한 번 더 들여다볼 만하다. 실제 Copilot 세션 기록을 모아 만들었고, 각 대화를 공개 저장소의 특정 커밋에 고정해 재현 실행이 가능하도록 했으며, 언어·작업 유형·난이도를 고르게 배분했다. 공개 리더보드보다 실제 트래픽에 가깝지만, 동시에 GitHub 외부의 누구도 검증할 수 없다.
개발 기록에는 이례적으로 솔직한 각주가 붙었다. 8월 11일부터 25일 사이 평가 환경에서 두 차례 운영 장애가 발생해 무효 실행이 나왔고, 추세선을 그리기 전에 해당 데이터를 걷어냈다는 내용이다.
프롬프트 하나가 다중 모델 계획이 되는 과정
하이드라퓨전은 추론 깊이, 코드 생성, 디버깅, 도구 사용 같은 역량 신호를 읽은 뒤 기준을 넘길 수 있다고 판단되는 세 가지 형태 중 가장 저렴한 쪽을 고른다. 모델 하나가 그냥 답할 수도 있다. 빠른 모델이 초안을 쓰고 품질 게이트가 그대로 내보낼지 더 강한 모델로 승급할지 결정할 수도 있다. 혹은 GitHub가 러버덕 리뷰에 비유한 방식이 있다. 초안 작성 모델이 결과물을 내놓으면 다른 계열의 비평 모델이 도구 없이 그것을 읽고, 초안 작성 모델은 구조화된 수정 기회를 딱 한 번 얻는다.
이 임계값은 사람이 손으로 정하지 않았다. GitHub는 고정된 기준선을 놓고 역량별 점수에 빔 서치를 돌렸고, 특정 벤치마크 하나를 좇는 대신 세 종을 동시에 놓고 조정했다. 대표 성적이 나온 벤치마크가 하필 포화된 쪽일 때 의미를 갖는 선택이다.
지금까지 [하이드라퓨전의] 추론과 문제 해결 역량은 Opus와 같거나 그 이상이다.
내부 테스트를 진행한 마이크로소프트의 수석 소프트웨어 엔지니어가 내린 평가다.
먼저 잠가둬야 했던 것들
여러 모델을 하나의 작업 트리에 붙이면 단일 모델 루프에는 없던 실패 양상이 생긴다. 심사를 맡은 모델이 심사 대상 코드를 고쳐버리거나, 중단된 실행이 절반만 적용된 패치를 남기거나, 비용이 여섯 구간에 흩어져 아무도 귀속시키지 못하는 식이다. GitHub의 답은 강한 제약을 거는 것이다. 비평 모델은 도구 없이 실행되며 쓰기 권한이 없다. 검증에 걸리거나 실행이 취소되면 패치는 부분 적용이 아니라 통째로 폐기한다. 모든 구간에 타임아웃과 취소 핸들을 두고, 실행 전에 모델 바인딩을 검증한다. 토큰 사용량은 초안·비평·수정·승급·재시도·폴백을 모두 합산해 워크플로 전체에 하나의 숫자로 붙는다.
켜는 법, 그리고 아직 못 하는 일
접근 경로는 Copilot CLI다. 클라이언트를 업데이트하고 실험 플래그를 켜면 모델 선택 목록에 하이드라퓨전이 나타난다. 다만 두 번 승급하거나 비평 단계를 거치는 작업은 한 번에 끝난 같은 작업보다 비싸다. 과금이 실제 호출된 모델을 따라가기 때문이다.
GitHub는 초기 사용자에게 범위가 분명하고 규모가 큰 단일 프롬프트 작업을 권하고 있으며, 긴 반복 세션은 다음 엔지니어링 과제라고 밝혔다. 스스로 인정한 거친 부분도 있다. 프리뷰는 일관된 답 하나가 완성될 때까지 중간 초안을 내보내지 않는다. 폐기될 작업이 완성된 것처럼 보여선 안 된다는 이유인데, 실제로는 무슨 일이 벌어지는지 모른 채 진행 표시만 바라보게 된다는 뜻이다. 의견은 Copilot 커뮤니티 스레드에서 수렴하고 있다.
전망
이 숫자들은 결론이 아니라 가설로 봐야 한다. 오프라인 측정이고, 특정 모델 풀과 특정 가격 가정에 묶여 있다. 프리뷰 자체가 실제 개발자들이 지저분한 작업을 던졌을 때도 이 숫자가 유지되는지 확인하려고 존재한다. 유지된다면 경쟁의 질문은 누구의 모델이 가장 강한가에서 누가 가장 잘 배분하는가로 옮겨간다. 단일 연구소보다 여러 공급자를 쓸 수 있는 플랫폼 사업자에게 훨씬 유리한 이동이다. 게다가 이 실험은 GitHub가 자체 인프라 전반에서 에이전트발 물량 급증을 감당하는 와중에 나왔다. 관련 내용은 커밋 증가세를 다룬 기사에서 짚은 바 있다.
자주 묻는 질문
프로젝트 하이드라퓨전을 GitHub Copilot CLI 밖에서도 쓸 수 있나?
아직은 아니다. Copilot CLI 안에서 실험 설정을 켠 경우에만 제공된다. IDE 확장이나 Copilot 앱으로 확대할 일정은 공개되지 않았다.
Copilot 구독료에 더해 추가 비용이 드나?
별도 요금은 없다. 워크플로가 호출한 각 모델에 대해 평소의 토큰 요금을 낸다. 따라서 작업 가격은 완료까지 몇 개 구간을 거쳤는지에 따라 달라진다.
하이드라퓨전은 어떤 모델을 쓰나?
GitHub는 모델 풀을 공개하지 않았고 여러 공급자에 걸쳐 있다고만 설명했다. 비평 모델은 초안 작성 모델과 의도적으로 다른 계열에서 가져온다고 밝혔다. Opus 5와 GPT-5.6 Sol은 평가 기준선이었을 뿐, 반드시 풀에 포함된 모델이라는 뜻은 아니다.
