KAIST와 고려대학교 공동 연구진이 문서·채팅·슬라이드가 계속 수정되는 사내 업무 공간에서 AI 에이전트가 최신 정보를 제대로 가려내는지 시험하는 벤치마크 'MMEnterprise-Bench'를 21일 arXiv에 공개했다. 최고 성적을 낸 GPT-5.6 Sol도 기본 설정에서 정답률이 52.6%에 그쳤고, 여러 장의 이미지를 근거로 답해야 하는 문제에서는 27.5%까지 떨어졌다.
핵심 정리
- MMEnterprise-Bench는 30개 가상 협업 프로젝트, 7,140건의 업무 기록 위에서 1,613개 질문을 던지는 KAIST·고려대 공동 벤치마크다.
- 평가한 10개 멀티모달 모델 중 1위인 GPT-5.6 Sol의 정답률은 검색 기록 10건 기준 52.6%, 50건 기준 68.0%였다.
- 검색 기록 10건 기준 출처 간 충돌·시점 충돌 문제와 이미지 2장 이상이 필요한 문제에서 모든 모델의 정답률이 30%대 이하로 떨어졌다.
MMEnterprise-Bench는 무엇을 시험하나
MMEnterprise-Bench는 팀 협업 과정에서 같은 정보의 여러 버전이 쌓이는 업무 공간을 AI 에이전트가 얼마나 정확히 다루는지 측정한다. 연구진이 공개한 프로젝트 페이지에 따르면 기록은 팀 채팅, 이메일, 회의록, 트래커, 보고서, 슬라이드, 데이터베이스 항목 등으로 구성되며, 수정 전 값도 지우지 않고 남겨 둔다. 실제 회사처럼 예산이나 일정이 바뀌어도 옛 문서가 검색에 함께 걸리는 상황을 재현한 셈이다.
전체 7,140건의 기록 가운데 1,415건이 PDF 페이지·슬라이드·이미지 같은 시각 자료다. 질문 1,613개는 근거 추론(1,102개), 충돌 해결(424개), 답변 불가 판별(87개) 3개 범주, 8개 과제로 나뉜다. 답변 불가 문제는 정상 질문의 조건 하나를 바꿔 어떤 기록으로도 답할 수 없게 만든 것으로, 모델이 그럴듯한 답을 지어내는 대신 모른다고 말하는지를 본다.
GPT-5.6 Sol·Gemini·Qwen 정답률 비교
연구진은 Qwen3-VL-Embedding 2B 검색기로 관련 기록을 찾아 넣은 뒤 10개 멀티모달 모델의 답을 GPT-5.6 Luna로 채점했다. 상위 모델의 전체 정답률은 다음과 같다.
| 모델 | 기록 10건(k=10) | 기록 50건(k=50) |
|---|---|---|
| GPT-5.6 Sol | 52.6% | 68.0% |
| GPT-5.6 Luna | 51.3% | 65.8% |
| Gemini 3.8 Flash | 47.6% | 63.9% |
| Gemini 3.1 Pro | 45.9% | 62.5% |
| Qwen3.5-27B | 38.6% | 50.3% |
오픈 모델 중에서는 Qwen3.5-27B가 k=50에서 50.3%로 가장 높았다. 반면 Kimi-VL-16B-A3B-Instruct와 Qwen3.5-2B는 두 설정 모두 20%대에 머물렀다.
AI 에이전트가 가장 약한 부분은 '충돌'과 '여러 장의 이미지'
프로젝트 페이지의 k=10 결과에서 GPT-5.6 Sol은 단순 정보 추출 문제를 67.5% 맞혔지만 출처 간 충돌 문제는 36.3%, 시점 충돌 문제는 32.5%만 맞혔다. 근거 형태별로 보면 텍스트 기록 1건으로 풀리는 문제는 83.3%였으나 이미지 1장이 필요하면 52.9%, 이미지 2장 이상이면 27.5%로 내려갔다. 텍스트와 이미지를 함께 엮어야 하는 문제는 25.6%였다.
검색 범위를 넓힌다고 문제가 풀리지도 않았다. 2B 검색기에서 k를 50에서 100으로 늘리자 근거 재현율은 57.0%에서 64.8%로 올랐지만 Qwen3.5-2B의 정답률은 25.0%에서 22.2%로 오히려 떨어졌다. 연구진은 더 큰 8B 검색기도 재현율은 높였으나 정답률을 일관되게 끌어올리지는 못했다고 밝혔다.
기업용 AI 에이전트 도입에 주는 시사점
사내 문서 검색형 에이전트를 도입하려는 기업에는 '최신본 판별'이 핵심 과제라는 점을 수치로 보여 준다. 업무 자동화 평가로는 앞서 마이크로소프트의 사무업무 벤치마크 OfficeTown도 나왔지만, MMEnterprise-Bench는 서로 어긋나는 기록 사이에서 어느 쪽을 믿을지에 초점을 맞췄다. 다만 채점을 OpenAI 모델이 맡았고 업무 공간이 실제 기업 데이터가 아닌 가상 시뮬레이션이라는 점은 결과를 해석할 때 감안해야 한다.
데이터셋 공개 일정과 전망
GitHub 저장소에 따르면 현재는 논문과 검색 순위, 채점 프롬프트가 먼저 공개됐고 데이터셋·평가 도구·생성 파이프라인·공개 리더보드는 '곧 공개' 상태다. 라이선스는 코드가 MIT, 주석과 가상 기록이 CC BY 4.0이다. 리더보드가 열리면 새 모델들이 충돌 해결 점수를 얼마나 끌어올리는지가 기업용 에이전트 경쟁의 새 비교 지표가 될 전망이다.
자주 묻는 질문
MMEnterprise-Bench는 누가 만들었나?
KAIST MLV Lab과 고려대학교 연구진 7명이 함께 만들었다. 제1저자는 Seohyun Lee, 교신저자는 KAIST의 Hyunwoo J. Kim이다.
MMEnterprise-Bench 데이터셋은 지금 내려받을 수 있나?
아직 아니다. GitHub 저장소 기준으로 데이터셋과 평가 도구, 공개 리더보드는 '곧 공개'로 표시돼 있고, 현재는 논문과 검색 결과 순위, 채점 프롬프트만 공개됐다.
가장 높은 점수를 받은 AI 모델은?
OpenAI의 GPT-5.6 Sol이 검색 기록 10건 기준 52.6%, 50건 기준 68.0%로 1위였다. 오픈 모델 중에서는 Qwen3.5-27B가 50건 기준 50.3%로 가장 높았다.
