에이전트를 배포하기 전에 같은 과제를 다섯 번 돌려 보는 편이 낫다. 지금 인용하고 있는 정확도 수치는 사용자가 실제로 마주할 시스템과 거의 확실히 다른 시스템을 설명하고 있기 때문이다. IBM 리서치의 새 연구가 내놓은 실질적인 결론이다. 연구진은 ReAct 에이전트가 AppWorld 벤치마크에서 평균 77.4%의 성공률을 기록하는 것을 확인한 뒤, 그 과제 가운데 다섯 번 모두 정답을 낸 것은 53.0%에 그친다는 사실을 발견했다.
핵심 요약
- 두 수치 사이의 24.4%포인트 간극, IBM이 일관성 격차라고 부르는 이 차이는 디코딩 온도를 0으로 고정하고 과제 조건을 전혀 바꾸지 않은 상태에서 나타났다.
- Consistency Analyzer라는 진단 도구는 이미 기록된 실행 기록 한 건만으로 불안정한 단계를 찾아낸다. 의사결정마다 모델 호출 한 번이 더 필요할 뿐, 정답 라벨도 채점기도 환경 재실행도 요구하지 않는다.
- 이 진단에서 뽑아낸 가이드라인을 적용하자 다섯 번 모두 통과하는 비율이 69.0%로 올랐고, 평균 정확도도 동시에 81.0%까지 높아졌다. 도구는 깃허브에 공개돼 있다.
평균 점수는 잘못된 계약서다
리더보드는 Mean@k를 인용한다. 전체 과제를 k번 돌려 통과율을 평균 내 발표하는 방식이다. 전형적인 동작을 설명하는 지표로는 공정하지만, 실제 업무 흐름이 약속하는 바를 설명하기에는 부실하다. 거래를 대사하거나 계약 조항을 확인하는 일은 여러 번 시도해 가장 좋은 결과만 취할 수 있는 종류의 작업이 아니다.
그 약속에 맞는 지표는 Pass^k다. 에이전트가 k번의 실행에서 단 한 번도 틀리지 않은 과제의 비율이다. IBM은 이 지표를 코드 생성 논문에서 익숙한 낙관적 지표 Pass@k와 혼동해서는 안 된다고 못 박는다. Pass@k는 k번 중 한 번만 맞히면 된다. AppWorld의 168개 과제로 구성된 test_normal 분할에서 지표를 앞의 것에서 뒤의 것으로 바꾸면 대표 수치가 4분의 1 가까이 깎이고, 가장 어려운 난도에서는 격차가 약 30%포인트까지 벌어진다.
샘플링 버그가 아니라 분포의 문제다
이 발견이 껄끄러운 이유는 흔히 쓰는 조정 수단이 문제에 닿지 않는다는 데 있다. 그리디 디코딩과 고정 시드는 확률 분포를 토큰 하나로 좁히는 방식을 정할 뿐이다. 분포 자체가 두 개의 그럴듯한 다음 행동에 거의 같은 확률을 부여하고 있다면 손쓸 도리가 없다. 호스팅 인프라에서는 부동소수점 비결합성이나 요청 배치 처리 같은 평범한 수치 요동만으로도 그 근소한 차이의 순서가 실행마다 뒤집힌다. 이런 판단을 수십 개 이어 붙이면 단계별로는 작은 뒤집힘 확률이 실행 단위에서는 큰 값이 된다.
IBM의 정리는 신뢰성이 성능과 다른 축에 놓여 있다는 것이다. 모델을 상위 버전으로 바꾸려는 반사적 대응이 번지수를 잘못 짚었다는 뜻이기도 하다. 더 강한 AI 에이전트는 평균을 끌어올리지만 반드시 더 반복 가능해지지는 않는다.
뒤집히는 지점을 값싸게 찾는 법
Consistency Analyzer는 에이전트가 이미 만들어 낸 실행 궤적 하나를 거꾸로 훑는다. 그 기록 속 각 의사결정마다 저장된 맥락을 놓고 완성본 다섯 개를 요청하는 호출을 한 번 보내, 출력이 얼마나 흔들리는지 점수를 매기고 단계별 점수표에 적는다. 환경에 대고 무언가를 다시 실행하지 않고, 정답도 필요 없으며, 모델 내부에도 손대지 않는다. 과제를 처음부터 끝까지 재현하는 일이 대개 불가능한 운영 트래픽에서도 쓸 수 있는 이유다.
표시된 단계는 ALTK-Evolve의 기존 형식에 맞춘 가이드라인으로 바뀌어 추론 시점에 불려 나온다. 공개된 예시는 정답지라기보다 엔지니어링 습관에 가깝다. 체크박스 표시를 셀 때는 정규식을 줄 시작에 고정하라, 검색이 올바른 레코드를 반환했는지 확인한 뒤 행동하라 같은 내용이다. 중요한 점은 이 도구가 실패가 아니라 불안정성을 쫓는다는 데 있다. 검사 대상 실행에서 우연히 맞힌 단계도 잡아낸다.
무엇이 얼마나 움직였나
과제당 기준 궤적 하나에서 가이드라인을 만들고 새로 다섯 번 실행해 시험한 결과, Pass^5는 53.0%에서 69.0%로, Mean@5는 77.4%에서 81.0%로 올랐다. 격차는 12.0%포인트로 절반이 됐고, 이전까지 들쭉날쭉하던 과제의 3분의 1 가까이가 매번 통과하는 과제로 바뀌었다. 절대 상승폭은 중간 난도가 22.9%포인트로 가장 컸고, 어려운 과제 14.3%포인트, 쉬운 과제 12.2%포인트가 뒤를 이었다. 어느 난도에서도 평균 정확도가 뒷걸음질 치지 않았는데, 이는 IBM이 의도적으로 건 제약이다. 정확도를 내주고 일관성을 사면 불안정성이 자리만 옮길 뿐이기 때문이다.
전이 효과도 실재하는 것으로 보인다. 같은 시나리오의 다른 과제에 동일한 가이드라인을 적용했을 때도 Pass^5가 13.0%포인트 올랐다. 성능이 더 낮은 gpt-oss-120b에서는 유사 과제 상승폭 8.7%포인트가 동일 과제 상승폭 6.0%포인트를 오히려 앞질렀다. 실행 하나를 외운 결과라기보다 재사용 가능한 실패 유형을 포착했다는 쪽에 더 들어맞는 양상이다.
벤치마크 하나를 넘어서는 의미
기업 구매자들은 올해 내내 단발 점수로 에이전트를 권유받아 왔다. 이 연구는 그런 주장을 따져 물을 구체적이고 값싼 도구를 준다. 공급사에 Pass^3 수치를 요구하고 무엇이 돌아오는지 보면 된다. IBM은 분석기와 가이드라인 생성 기능을 ALTK-Evolve 저장소에 오픈소스로 공개했고, 방법론은 arXiv 기술 보고서에 상세히 담고 허깅페이스 글로 요약했다.
올해 에이전트 평가에서 반복되는 흐름과도 맞아떨어진다. 대표 성능 수치는 검증을 견디는데 그 뒤의 행동은 견디지 못하는 일이 이어지고 있다. 25턴 압박 시험에서 추론은 버티는데 태도는 무너진 모델들이 확인된 것과 같은 맥락이다.
자주 묻는 질문
Pass^k와 Pass@k는 무엇이 다른가
Pass@k는 k번 시도 가운데 하나만 성공해도 해결로 친다. 출력을 검증하고 재시도할 수 있는 상황에서는 타당한 지표다. Pass^k는 k번이 모두 성공해야만 해결로 센다. 같은 질문을 두 번 던지는 사용자의 경험에 더 가깝다. Pass^k는 언제나 둘 중 낮은 값이다.
온도를 낮추면 에이전트의 불일치가 해결되나
아니다. 24.4%포인트 격차는 온도 0.0에서 측정됐다. 디코딩 파라미터는 분포를 토큰으로 바꾸는 방식을 정할 뿐 분포 자체는 건드리지 않고, 호스팅 엔드포인트는 그와 무관하게 실행마다 확률을 조금씩 흔든다.
Consistency Analyzer는 지금 쓸 수 있나
쓸 수 있다. ALTK-Evolve 저장소에 오픈소스로 공개돼 있다. 이미 보유한 실행 기록을 대상으로 동작하고, 의사결정 단계마다 모델 호출 한 번만 더 필요하며 정답 라벨은 요구하지 않는다. 첫 측정 비용이 낮다.
