마이크로소프트 리서치 아시아(MSRA)와 우한대 등 공동 연구진이 10월 16일 가상 조직 안에서 AI 에이전트의 사무 업무 능력을 재는 시뮬레이션 프레임워크 'OfficeTown'과 벤치마크 'OfficeTown Bench'를 arXiv에 공개했다. 13개 모델을 시험한 결과 1위 GPT-6 Astra의 과제 완수율은 74.4%였고, Claude Opus 5.5는 50.7%, 오픈 모델 DeepSeek V4-Pro는 18.5%에 그쳤다.
핵심 정리
- OfficeTown Bench는 23개 가상 조직·8개 전문 분야에서 뽑은 406개 과제와 4,836개 평가 기준으로 구성됐다.
- 필수 기준을 모두 충족해야 통과하는 Pass@1에서 GPT-6 Astra 74.4%, Grok-4.7 58.4%, Claude Opus 5.5 50.7% 순이었다.
- OfficeTown 데이터로 학습한 Qwen3.5-9B는 외부 벤치마크 GDPval 점수가 65.75에서 73.65로 7.90점 올랐다.
OfficeTown은 어떤 벤치마크인가
OfficeTown은 조직의 목적과 활동을 자연어로 설명하면 구성원과 업무 흐름을 갖춘 가상 회사를 자동으로 만들어 주는 프레임워크다. 가상 구성원은 일을 조율하고, 범위가 정해진 과제를 보조 AI 에이전트에게 맡긴 뒤 결과물을 검토한다. 이전 업무에서 나온 문서·결정·미해결 이슈가 다음 업무로 이어지고, 구성원마다 맡은 책임과 권한에 따라 볼 수 있는 파일과 할 수 있는 일이 달라진다.
연구진은 이 과정에서 생긴 업무 요청과 맥락, 검토 피드백을 평가용 과제와 학습 데이터로 바꿨다. arXiv에 공개된 OfficeTown 논문에 따르면 과제당 평가 기준은 평균 11.91개다. 71명의 분야 전문가가 과제의 현실성과 기준의 정확성을 검토하고, 각 기준을 치명(P0)부터 선택(P3)까지 4단계 중요도로 매겼다. 예시 과제로는 두 가지 고정·클램핑 방식을 비교해 편집 가능한 워크북과 재현 가능한 계산 코드로 제출하는 기계 설계 업무가 소개됐다.
GPT-6 Astra·Claude Opus 5.5 점수는 얼마인가
OfficeTown Bench의 Pass@1에서 GPT-6 Astra가 74.4%로 1위를 차지했다. Grok-4.7이 58.4%, Claude Opus 5.5가 50.7%로 뒤를 이었고 GPT-5.6 Terra는 39.4%였다. 오픈 모델은 DeepSeek V4-Pro 18.5%, DeepSeek V4-Flash 13.5%, Kimi-K2.5 4.9%, Mistral-Large-3 1.2%로 상위권과 격차가 컸다.
| 모델 | Pass@1(%) |
|---|---|
| GPT-6 Astra | 74.4 |
| Grok-4.7 | 58.4 |
| Claude Opus 5.5 | 50.7 |
| GPT-5.6 Terra | 39.4 |
| DeepSeek V4-Pro | 18.5 |
| Mistral-Large-3 | 1.2 |
연구진은 1위 모델도 과제의 약 4분의 1을 완전히 끝내지 못했다고 짚었다. 치명(P0) 기준을 하나 이상 놓친 비율은 GPT-6 Astra 20.8%, Grok-4.7 33.3%, Claude Opus 5.5 41.4%, GPT-5.6 Terra 53.3%였다.
가상 회사 데이터로 작은 모델도 나아지나
연구진은 DeepSeek-V4-Flash에서 뽑은 실행 기록 2,202건으로 Qwen3.5-9B를 지도 학습(파인튜닝)하고, 828개 과제·환경 쌍으로 온폴리시 증류(OPD)를 추가했다. 그 결과 GDPval 공통 79개 과제의 루브릭 점수는 65.75에서 73.65로 올랐다. 다만 OfficeTown Bench Pass@1은 1.48%에서 4.68%로 늘어나는 데 그쳐, 소형 모델이 복잡한 사무 업무를 끝까지 해내기는 여전히 어렵다는 점도 드러났다.
업무를 지시·검토하는 주체와 실행하는 보조 에이전트를 나눈 'OfficeTown 하네스'는 GPT-5.5 기준으로 Codex·MetaGPT·CAMEL보다 PRDBench, GDPevo 등 5개 지표에서 모두 높은 점수를 냈다. GDPevo에서는 74.70으로 Codex(64.51)를 약 10점 앞섰다.
업무용 AI 평가에 주는 의미
OfficeTown은 단발성 질문 대신 권한과 이력이 있는 조직 안에서 일을 끝까지 해내는지를 본다는 점에서 기존 벤치마크와 다르다. GPT-6 Astra와 비교된 Elorian의 시각 추론 모델처럼 최상위 모델 비교가 잦아진 가운데, 실무형 평가에서도 격차가 뚜렷했다. 공동 저자 다수가 마이크로소프트 소속이며, 프로젝트 페이지는 OfficeTown을 '곧 공개'로 표시해 두었다. 코드와 데이터가 공개되면 기업용 에이전트를 학습·검증하는 공통 시험장이 될 수 있다.
자주 묻는 질문
OfficeTown Bench는 누구나 쓸 수 있나?
10월 20일 기준으로 논문은 arXiv에 공개됐지만 OfficeTown 코드와 데이터는 아직 배포되지 않았다. 연구 프로그램 페이지는 OfficeTown 항목을 '곧 공개'로 표시하고 있다.
OfficeTown Bench의 Pass@1은 무엇을 뜻하나?
한 번 시도해 과제에 해당하는 필수 평가 기준을 모두 충족한 비율이다. 기준 일부만 채운 경우는 통과로 치지 않으며, 부분 점수는 별도의 Weighted Score로 집계한다.
가장 높은 점수를 받은 모델은?
GPT-6 Astra가 Pass@1 74.4%로 가장 높았다. 그래도 치명 기준을 하나 이상 놓친 과제가 20.8%에 달했다.
