AI 에이전트 실무 시험 GDPx…최고 모델도 12점

미국 반도체·AI 리서치 업체 세미애널리시스(SemiAnalysis)가 2일(현지시간) 칩 설계부터 법률 문서 작업까지 11개 고부가가치 분야에서 AI 에이전트의 실무 능력을 재는 벤치마크 'GDPx'를 공개했다. 1위는 앤트로픽의 클로드 오퍼스 5.5였지만 점수는 12.0에 그쳤다.

핵심 정리

• GDPx 1.0은 14개 데이터 업체와 만든 과제 206개로 11개 분야를 평가해 모델 13종의 순위를 매겼다.
• 클로드 오퍼스 5.5가 12.0으로 1위, 구글 제미나이 4 카본(10.9)과 오픈AI GPT-6 아스트라(9.6)가 뒤를 이었다.
• 세미애널리시스는 안전 분류기 탓에 오퍼스 5.5와 GPT-6 아스트라가 사이버보안·생물학·정렬 분야에서 점수를 잃었다고 밝혔다.

GDPx 벤치마크, 무엇을 평가하나

발표문에 따르면 평가 분야는 칩 설계, 사이버보안, 생물학, 금융, 법률, 퀀트 트레이딩, 재귀적 자기개선(RSI), 하드웨어 설계, 소재과학, 정렬, 소프트웨어 공학이다. 정부·부동산·보험은 뺐다.

과제 하나의 기본 제한 시간은 8시간이다. 모델별 전용 실행 환경(오퍼스 5.5는 클로드 코드, GPT-6 아스트라는 코덱스)을 쓰고, 없으면 오픈코드를 쓴다. 점수는 세 번 시도한 pass@1의 평균이며 분야별 비중은 같다. 세미애널리시스는 "GDPx는 진정한 최전선급 벤치마크로, 최고 모델조차 12%에 그친다"고 했다.

GDPx 순위: 오퍼스 5.5·제미나이 4 카본·GPT-6 아스트라

그 아래로 GPT 6.1 솔 8.4, 그록 4.7 3.9였고 GLM 5.3이 2.7로 최하위였다. 유나이트AI는 과제당 평균 비용을 오퍼스 5.5 51.41달러, GPT-6 아스트라 53.99달러, 제미나이 4 카본 16.29달러로 전했다.

오퍼스 5.5는 "최고의 만능 모델"로 평가받으며 퀀트 트레이딩·하드웨어 설계·칩 설계에서 1위였다. RSI와 소재과학은 GPT-6 아스트라, 생물학은 제미나이 4 카본, 사이버보안은 메타의 뮤즈 원더 풀이 앞섰다.

안전 분류기가 점수를 깎았다

세미애널리시스는 "오퍼스 5.5와 GPT-6 아스트라 같은 일부 모델은 안전 분류기 때문에 전체 점수가 낮게 나왔다"고 했다. 세 분야를 뺀 별도 순위에서는 순서가 달라진다.

금융·법률이 가장 어려웠다. 저자들은 "금융·법률 과제는 너무 어려워 사실상 모든 모델이 정확히 0점"이라고 썼다. 점검 항목 11개짜리 금융 과제는 25번 시도에서 완전히 푼 모델이 없었고, 최고 기록은 8개 통과였다. 부분 점수를 주는 시리즈 B 투자계약서 수정 과제에서는 오퍼스 5.5가 평균 44%, GPT-6 아스트라가 25%를 받았다.

배경: GDPval의 후속을 자처

세미애널리시스는 오픈AI가 2025년 9월 25일 내놓은 GDPval이 에이전트 평가에 맞지 않는다고 지적했다. "과제마다 분야별 모의 업무 환경이 없다는 점이 GDPval의 가장 큰 문제"라며, 핵심 표본에서 인간 전문가 간 평가 일치율도 71%에 그쳤다고 했다.

전망

리더보드는 1.0 버전으로 '실시간' 표시가 붙어 있다. 다만 과제 대부분이 비공개라 외부 검증이 어렵고, 지금까지의 점수는 모두 세미애널리시스와 협력사가 직접 돌린 결과다.

자주 묻는 질문

GDPx란 무엇인가?
세미애널리시스가 만든 벤치마크로, 칩 설계·사이버보안·생물학·금융·법률 등 11개 분야의 장시간 에이전트 과제 206개로 구성된다.

GDPx 1위 AI 모델은?
클로드 오퍼스 5.5(12.0)이며, 제미나이 4 카본(10.9)과 GPT-6 아스트라(9.6)가 뒤를 잇는다.

왜 점수가 이렇게 낮나?
최대 8시간짜리 모의 업무 과제를 엄격하게 채점하고, 민감 분야에서는 안전 필터가 작업을 막기도 했다.

참고 자료

• GDPx: Measuring Frontier Model Capabilities — SemiAnalysis(2026년 11월 2일)
• GDPx Leaderboard — SemiAnalysis(v1.0)
• SemiAnalysis Launches GDPx Benchmark Spanning 11 Agentic Domains — Unite.AI(2026년 11월 2일)