AI 팀원 능력 시험…최상위 모델도 갈등 합의 14%

미국 스탠퍼드대와 영국 옥스퍼드대, MIT 연구진이 2일(현지시간) AI 모델이 '팀원'으로서 얼마나 제 몫을 하는지 측정하는 240개 과제 벤치마크 'Collaborative Intelligence Benchmark'를 공개했다. 평가한 18개 모델 가운데 만점에 가까운 모델은 없었고, 구글·OpenAI·앤트로픽의 최상위 모델들은 갈등 상황 시험에서 팀 전체에 가장 좋은 합의를 이끌어 낸 비율이 14%에 그쳤다.

핵심 정리

• 폐쇄형·오픈 웨이트 모델 18개를 8개 협업 능력, 240개 과제로 평가했고 최고 점수는 100점 만점에 82.2점이었다.
• 최상위 모델들은 위험한 지름길을 거의 언제나 거부하고 부정행위를 보고했지만, 감성 지능 시험 통과율은 45%에 머물렀다.
• 일반 성능이 거의 같은 모델끼리도 팀원 점수는 최대 11점까지 벌어졌다.

AI 협업 능력 벤치마크, 무엇을 시험하나

Sean Wu, James Zou 등 연구진 9명이 arXiv에 올린 논문은 AI가 주로 '혼자서 얼마나 잘하나'로만 평가돼 왔다며, 인간 팀 연구의 성과를 AI 평가에 끌어왔다.

평가 항목은 ▲위험한 압력 거부 ▲부정행위 보고 ▲정보 공유·요청 ▲감성 지능 ▲팀의 목표 유지 ▲갈등 대처 ▲주도성 ▲문제가 생긴 작업 넘겨받기 등 8가지다. 항목마다 과제 30개(공개 20개, 비공개 평가용 10개)를 뒀다.

과제는 미국 교통안전위원회(NTSB)와 NASA의 안전 보고서, 임상 사례 보고, 미국 식품의약국(FDA)·연구부정 조사 결과, 협상 데이터셋, 코딩 벤치마크 등 실제 기록을 바탕으로 만들었다. 결과는 모두 코드로 검증된다. 개인 실력과 협업 능력을 떼어 보려고, 정보를 다 주면 혼자 풀 수 있는 과제만 채점했다.

제미나이 4 Argon·GPT-6 Astra·클로드 Opus 5.5 점수

논문의 기본 추론 설정 결과에서는 구글 Gemini 4 Argon이 76.6점으로 1위, OpenAI GPT-6 Astra가 76.5점, GPT-6.1 Sol이 74.5점, 앤트로픽 Claude Opus 5.5가 71.0점이었다. 최고점 82.2점은 Gemini 4 Argon을 높은 추론 강도로 돌렸을 때 나왔다. 꼴찌는 OpenAI의 오픈 웨이트 모델 gpt-oss-120b로 19.1점이었다.

다만 모델 12개를 올린 프로젝트 GitHub 리더보드에서는 현재 GPT-6 Astra가 78.0점으로 1위여서, 상위권 순위는 평가 버전·설정에 따라 바뀔 수 있다.

AI 에이전트가 팀원으로서 약한 부분

가장 두드러진 약점은 동료의 압박이었다. 연구진은 "최상위 모델은 위험한 압력에는 좀처럼 굴복하지 않지만, 갈등 상황에서 입장을 지키는 데는 어려움을 겪는다"고 썼다. 감성 지능 시험에서도 이들 모델의 통과율은 45%였다.

남이 하던 일을 넘겨받을 때도 허점이 드러났다. 성능이 낮은 모델이 꼼수를 쓴 작업을 이어받으면 통과율이 81%로, 같은 과제를 처음부터 직접 할 때의 97%보다 낮았다.

업무용 AI 에이전트 도입에 주는 의미

혼자 푸는 과제 위주의 순위표로는 공동 작업 속 에이전트의 행동을 가늠하기 어렵다는 뜻이다. 마이크로소프트의 사무업무 벤치마크 OfficeTown이 업무 수행 능력을 봤다면, 이번 벤치마크는 팀 안의 판단에 초점을 맞췄다.

전망

코드는 MIT 라이선스, 과제 데이터 대부분은 CC BY 4.0으로 공개됐고 시나리오 7개는 비영리 라이선스가 붙었다. 비공개 과제 80개는 정답이 학습 데이터로 새지 않도록 계속 공개하지 않는다.

자주 묻는 질문

Collaborative Intelligence Benchmark는 무엇인가?
스탠퍼드·옥스퍼드·MIT 연구진이 만든 240개 과제 벤치마크로, 위험한 지름길 거부부터 갈등 대처까지 8가지 협업 능력으로 AI 모델의 팀원 자질을 평가한다.

팀원으로 가장 뛰어난 AI 모델은?
논문 기준 Gemini 4 Argon이 높은 추론 강도에서 82.2점, 기본 설정에서 76.6점으로 가장 높았다. GPT-6 Astra가 76.5점으로 근소하게 뒤였다.

개발자가 직접 돌려 볼 수 있나?
그렇다. 공개 과제 160개와 평가 코드가 GitHub에 올라 있다.

참고 자료

• Measuring AI Agents as Teammates with Collaborative Intelligence — arXiv(2026년 11월 2일)
• zou-group/collaborative-intelligence — GitHub
• Collaborative Intelligence project page — Zou Group, 스탠퍼드대