물리학자와 컴퓨터과학자 51명이 널리 쓰이는 물리 벤치마크 6종을 다시 채점한 결과, 프런티어 모델이 이들 평가에서 받은 낮은 점수는 모델이 아니라 벤치마크 자체를 측정한 값에 가까운 것으로 나타났다. 전문가들이 잘못된 정답 풀이를 바로잡고 결함 있는 문제를 고치거나 빼자, GPT-5.6-Sol의 HLE-Physics mean@4 점수는 47.3%에서 78.7%로 올랐다.
핵심 요약
- HLE-Physics에서 GPT-5.6-Sol의 mean@4는 전문가 재채점 후 47.3%에서 78.7%로 올랐고, CMT-Benchmark에서는 61.0%에서 87.2%로 상승했다.
- 전문가 검토를 통과한 CritPt 문제 54개에서는 보정 pass@4가 94.4%에 이르렀다. 저자들은 이를 사실상 포화 상태로 본다.
- 논문은 낮은 물리 점수가 만들어낸 인상, 즉 Artificial Analysis Intelligence Index(2026)가 남긴 인상을 정면으로 반박한다. 감사에서 확인된 오류 대부분이 추론 실패가 아니라 채점 과정의 결함이었다는 것이다.
감사팀이 실제로 한 일
이 연구는 arXiv:2609.13009으로 공개됐다. 출발점은 저자들이 거듭 목격한 불일치였다. 공개된 벤치마크 결과는 프런티어 모델이 고급 물리에서 여전히 고전한다고 말했지만, 같은 모델을 연구에 쓰는 물리학자들의 경험은 달랐다.
연구팀은 일화에 기대는 대신 프런티어 모델을 벤치마크 6종에 돌린 뒤 그 결과를 해당 분야 전문가들에게 넘겼다. 세부 전공을 갖춘 교수와 대학원 연구자들이 문제 서술과 정답 풀이, 모델 응답을 하나씩 읽었다. 대상은 텍스트로만 이뤄지고 최종 답을 검증할 수 있는 문제로 한정했다.
이들의 임무는 오답을 네 갈래로 나누는 것이었다. 진짜 모델 오류, 채점 오류, 잘못된 정답 풀이, 그리고 답을 정당화할 수 없을 만큼 모호하거나 조건이 부족한 문제다. 핵심 결론은 처음에 오답으로 매겨진 사례 대부분이 뒤의 세 갈래에 속했다는 것이다.
보정 점수가 이만큼 오른 이유
전문가들이 틀린 정답 풀이를 고치고 망가진 문제를 손보거나 제외하자 점수는 전반에 걸쳐 가파르게 올랐다. 가장 큰 상승 폭 두 건은 GPT-5.6-Sol의 것이다. HLE-Physics가 47.3%에서 78.7%로, CMT-Benchmark가 61.0%에서 87.2%로 올랐다. 둘 다 mean@4 기준이다.
CritPt에서는 검토 후 남은 문제 54개에 대한 보정 pass@4가 94.4%를 기록했다. 저자들은 UGPhysics와 PRISM-Physics, PHYBench의 감사 대상 부분집합에서도 점수가 크게 올랐다고 밝혔다. 다만 보정 점수는 남은 부분집합에서만 계산한 값이다. 원래의 전체 문제 집합이 아니라 전문가 검증을 통과한 문제에서의 성능을 가리킨다.
이 결과가 드러낸 측정의 문제
이번 결과는 공개된 대규모 언어 모델 리더보드가 무엇을 재고 있느냐는 현재진행형 논쟁 위에 떨어졌다. 벤치마크의 정답이 틀렸다면 제대로 추론한 모델이 감점을 받고, 그 벤치마크 위에 쌓아 올린 종합 지수는 오류를 그대로 독자에게 전달한다.
이런 실패는 물리에만 국한되지 않는다. 평가를 둘러싼 장치가 점수를 좌우한 사례는 반복돼 왔다. Nvidia의 AVO 하네스는 모델을 전혀 바꾸지 않고도 Claude Opus 5의 ARC-AGI-3 점수를 30%에서 만점으로 끌어올렸다. 이번에 도마에 오른 장치는 채점 그 자체다.
포화 이후에 남는 것
저자들은 보정된 수치를 모델 능력 전반에 대한 면죄부로 제시하지 않는다. 결론은 더 좁고 날카롭다. 지금의 벤치마크는 잘 정의된 폐쇄형 물리 문제에서 프런티어 모델의 실력을 상당히 과소평가하고 있으며, 그런 문제는 신호원으로서 거의 고갈됐다는 것이다.
이는 더 어렵고 전문가가 검증한 평가로 가야 한다는 뜻이다. 검증 가능한 최종 답이 존재하지 않는 개방형 연구 과제, 숫자를 맞춰보는 대신 전문가가 추론 과정을 판단해야 하는 과제다. 이런 평가를 만드는 비용은 문제 세트를 긁어모으는 것보다 훨씬 크다. 결함 있는 벤치마크가 그대로 돌아다닌 이유도 여기에 있다.
자주 묻는 질문
어떤 물리 벤치마크가 감사 대상이었나
HLE-Physics와 CMT-Benchmark, CritPt, UGPhysics, PRISM-Physics, PHYBench 등 6종이다. 감사는 텍스트로만 이뤄지고 최종 답을 검증할 수 있는 문제를 다뤘으며, 보정 점수는 전문가 검토 후 남은 부분집합에서 계산했다.
프런티어 모델이 물리를 정복했다는 뜻인가
아니다. 논문의 주장은 검증 가능한 답이 있는 폐쇄형 물리 문제에서 모델이 포화에 가깝다는 것이고, 이는 물리 연구의 좁은 일부다. 저자들은 문제가 풀렸다고 선언하는 대신 더 까다롭고 전문가가 검증한 평가가 필요하다고 명시했다.
원래 벤치마크 점수가 틀렸다면 그 수치는 왜 중요한가
종합 지수가 그 수치를 그대로 옮기기 때문이다. Artificial Analysis Intelligence Index(2026)에 실린 낮은 물리 점수는 모델 추론 능력에 대한 대중의 판단을 형성했다. 바탕이 된 채점이 잘못됐다면 그 판단도 잘못된 것이다.
