Ai2 스테이트벤치…최상위 AI도 장문 추적 13%

미국 앨런인공지능연구소(Ai2)가 3일(현지시간) 긴 문서 속에서 대상의 정보가 바뀌는 과정을 언어모델이 얼마나 정확히 따라가는지 측정하는 공개 벤치마크 '스테이트벤치(StateBench)'를 내놨다. Ai2에 따르면 클로드 오퍼스 5.5, 제미나이 3.8 플래시, 오픈AI의 GPT-6 솔·루나 등 최상위 모델도 가장 어렵고 긴 문제에서 정답률이 13% 이하로 떨어졌다.

핵심 정리

• 스테이트벤치는 같은 변수 할당 기록에서 파생한 4단계 난이도로 장문 '상태 추적' 능력을 잰다.
• 값을 참조로 넘기고 서로 맞바꾸는 최고 난도 '일반 유한' 단계의 가장 긴 문제에서 최상위 모델 정답률이 13% 이하였다.
• 2억7500만 파라미터 실험에서 트랜스포머는 최고 난도를 끝내 학습하지 못했고, 게이티드 델타넷(Gated DeltaNet) 계열은 학습 길이를 훨씬 넘겨서도 잘 버텼다.

스테이트벤치는 무엇을 측정하나

Ai2는 이 벤치마크를 "긴 문서 속 대상에 관한 정보가 변해 갈 때 언어모델이 이를 얼마나 잘 추적하는지"를 보는 시험이라고 설명했다. 숨긴 사실 하나를 찾는 대신, 긴 갱신 과정을 거친 변수의 현재 값을 묻는다.

난이도는 4단계다. 'R-트리비얼'은 let x = 4처럼 한 번 정하면 바뀌지 않는 할당이고, '비주기'는 값의 재할당, '가해(soluble)'는 x = x + 5 같은 자기참조 갱신을 더한다. 마지막 '일반 유한'은 참조에 의한 할당과 값 맞바꾸기까지 포함하며, Ai2는 이를 "네 단계 중 가장 어렵다"고 밝혔다.

스테이트벤치 구성과 공개 범위

깃허브 저장소는 아파치 2.0 라이선스로 공개됐다. 같은 기록을 정수 코드, 스프레드시트 셀, 방을 옮겨 다니는 사람 등 여러 형식으로 바꿔 출제한다. 테스트 세트는 340개 원본 샘플을 최대 6만4000회 할당까지 12개 길이 구간에 나눠 담았고, 무관한 채움 문장 비율을 0%에서 90%까지 달리했다.

트랜스포머가 상태 추적에 약한 이유

Ai2는 구조 차이를 보려고 2억7500만 파라미터 모델을 처음부터 학습시켰다. 트랜스포머 2종, 하이브리드 2종, 게이티드 델타넷 2종이다. 학습에는 최대 256회 할당 길이를 썼고, 평가는 학습 길이의 250배인 6만4000회까지 늘렸다.

게이티드 델타넷과 하이브리드 모델은 쉬운 세 단계에서 "거의 완벽하게 일반화"했다. 일반 유한 단계에서도 메모리 갱신 방식이 더 유연한 게이티드 델타넷 변형은 최장 학습 길이의 약 10배까지 거의 완벽한 성능을 유지했다. 반면 Ai2는 발표 글에서 "트랜스포머는 달랐다. 직접 학습시켜도 가장 어려운 단계는 결코 배우지 못했다"고 썼다.

사전학습 모델도 시험했다. 70억 파라미터급 트랜스포머 '올모 3'와 게이티드 델타넷 층을 더한 '올모 하이브리드', 2억7500만·27억 파라미터 소형 모델이다. 사전학습된 하이브리드·게이티드 델타넷 모델은 RULER 방식의 R-트리비얼 문제에선 만점에 가까웠지만, 같은 문제를 스프레드시트 편집 형식으로 바꾸자 무작위 수준에 머물렀다.

맥락: 긴 컨텍스트와 기억력은 다르다

이번 결과는 컨텍스트 창 길이가 실제 장문 처리 능력을 과대평가하게 만든다는 근거를 더한다. 이번 주 초 발표된 별도의 AI 에이전트 실무 벤치마크에서도 1위 모델이 전체 과제 중 일부만 해냈다.

전망

Ai2는 현재 틀이 변수 수가 고정됐다고 가정하며 그 수가 바뀌는 상황은 "아직 다루지 못한다"고 밝혔다. 고윳값이 음수가 아닌 게이티드 델타넷이 이 위계에서 어디에 놓이는지도 열린 질문으로 남겼다. Ai2는 "연구자들에게 북극성 같은 역할을 하길 바란다"고 했다.

자주 묻는 질문

스테이트벤치란?
최대 6만4000회 할당에 이르는 긴 문서에서 언어모델이 변수 값 변화를 추적하는지 평가하는 Ai2의 벤치마크다.

최상위 모델 성적은?
Ai2에 따르면 클로드 오퍼스 5.5, 제미나이 3.8 플래시, GPT-6 솔·루나 모두 가장 긴 일반 유한 문제에서 13% 이하로 떨어졌다.

직접 돌려볼 수 있나?
그렇다. 생성 코드는 깃허브에 아파치 2.0으로, 평가 데이터는 허깅페이스에 공개돼 있다.

참고 자료

• StateBench: Testing how language models track state changes over long documents — Ai2, 허깅페이스 블로그(2026년 11월 3일)
• allenai/state-bench — 깃허브