Qwen 가중치 직접 고치니 수학 29%P 상승…큰 모델선 미미

상하이 인공지능연구소(Shanghai AI Lab)와 퉁지대, 푸단대 연구진이 GPT-6 Astra에게 소형 Qwen 모델의 가중치를 직접 고치게 했더니 MATH-500 정확도가 29.45%포인트 올랐다는 논문을 11월 6일 아카이브에 제출했다. 다만 더 큰 모델에서는 효과가 크게 줄었고, 편집 시도 16건 중 6건은 원래 가중치를 그대로 두는 것으로 끝났다.

논문 제목은 「Exploring Weight-Space Programming: Capabilities, Generalization, and Limitations」다. MIT CSAIL 연구진이 11월 2일 소개한 ‘가중치 공간 프로그래밍’을 여러 벤치마크와 모델 크기로 넓혀 검증했다. 동료 심사를 거치지 않은 사전 공개 논문이다.

핵심 정리

• Qwen3.5-0.8B의 한 열에서 값 1,023개만 바꿔 MATH-500 평가셋 정확도가 8.35%에서 37.80%로 올랐다.
• 더 강한 Qwen3.5-9B에서는 유지된 편집의 상승폭이 1.54~3.03%포인트에 그쳤고, 7건 중 4건은 원본으로 되돌렸다.
• 같은 수학 과제를 세 번 따로 탐색했더니 구조가 전혀 다른 편집이 나왔고, 최고 성과는 그중 하나뿐이었다.

가중치 공간 프로그래밍이란

모델을 고칠 때는 보통 경사 하강법으로 학습을 돌려 파라미터를 조정한다. 가중치 공간 프로그래밍은 추론 모델이 파라미터를 들여다보고 수정값을 직접 써넣는 방식이다. 이번 실험에서 GPT-6 Astra는 최대 추론 강도로 탐색 1회당 모델 실행 요청 50회와 파이썬 분석 최대 300회를 쓸 수 있었고, 경사나 옵티마이저는 쓰지 않았다. 최종 체크포인트는 개발용 데이터만 보고 골랐다.

연구진은 알리바바의 Qwen3.5 0.8B와 9B 두 모델, 7개 벤치마크에서 16건의 편집 궤적을 돌렸다.

Qwen 가중치 편집 벤치마크 결과

최대 수학 성과는 23번째 층 MLP 투영의 한 열에서 나왔다. 1,024개 값 가운데 1,023개가 바뀌었다. 같은 과제의 재실행 두 건은 각각 1,037,572개, 1,981,083개를 바꾸고도 상승폭이 더 작았다. 연구진은 바꾼 값의 개수만으로는 효과를 예측할 수 없다고 해석했다.

큰 모델에서 효과가 작았던 이유

Qwen3.5-9B는 편집 전 MATH-500에서 이미 97.70%를 기록해 오를 여지가 적었다. 수학 편집 후보는 개발 단계에서 54.69%에서 84.38%로 뛰었지만 평가셋에서는 97.35%로 오히려 내렸고, Astra는 원본을 유지했다.

원본 유지로 끝난 6건은 0.8B 모델 2건, 9B 모델 4건이다. 연구진은 개발 단계 수치가 적응적으로 선택됐고 다중 비교 보정을 하지 않았다고 밝혔다.

편집 하나가 다른 능력도 바꿨다

수학용으로 고친 0.8B 체크포인트는 추가 수정 없이 GPQA Diamond 3.03%포인트, IFEval 12.18%포인트, SciBench 20.10%포인트가 올랐다. SciBench는 21.48%로, SciBench를 겨냥한 편집의 18.49%보다 높았다. SciCode는 변화가 없었고, 일부 전이에서는 성능이 떨어졌다.

MIT 결과와의 비교

MIT CSAIL 글은 Astra가 가중치 131,072개를 바꿔 같은 0.8B 모델의 MATH-500을 7.9%에서 48.1%로 올렸다고 보고했다. 추론 반복 문제를 고친 것이 주효했다. 이번 논문의 기준값은 8.35%여서 두 수치를 그대로 맞비교할 수는 없다. 논문은 MIT 팀도 뚜렷한 결함이 없는 모델에서는 성과가 제한적이었다고 짚었다.

전망

연구진은 성공한 편집의 작동 원리가 아직 불분명하고, 긴 호흡의 추론이나 복잡한 에이전트 과제에서는 체계적으로 평가되지 않았다고 밝혔다. 논문과 함께 프로젝트 페이지와 깃허브 저장소를 공개했다.

FAQ

가중치 직접 편집이 파인튜닝을 대체하나?
이번 연구로는 그렇게 말할 수 없다. 성능이 낮은 소형 모델에서는 효과가 컸지만 강한 모델에서는 작거나 없었다.

연습 문제에만 맞춘 결과는 아닌가?
보고된 상승폭은 편집 모델이 보지 못한 평가셋 기준이다. 다만 시도마다 결과 차이가 컸다.

참고 자료

• Exploring Weight-Space Programming: Capabilities, Generalization, and Limitations — Hu 외, arXiv(2026년 11월 6일 제출)
• Exploring Weight-Space Programming: Capabilities, Generalization, and Limitations (전문) — arXiv HTML
• Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights — Takehi·Teoh·Zhang·Khattab, MIT CSAIL(2026년 11월 2일)
• Exploring Weight-Space Programming — 프로젝트 페이지