GPT-6 Astra, 학습 없이 Qwen 가중치 고쳐 수학 48%

미국 MIT 컴퓨터과학·인공지능연구소(CSAIL) 연구진 4명이 11월 2일(현지시간) 오픈AI의 GPT-6 Astra가 소형 신경망의 가중치를 직접 읽고 고칠 수 있다는 실험 결과를 공개했다. 경사하강법이나 추가 학습 없이 알리바바의 Qwen3.5-0.8B 가중치 0.016%만 손봐 수학 벤치마크 MATH-500 점수를 7.9%에서 48.1%로 끌어올렸다는 내용이다.

리키야 다케히, 제이든 테오, 알렉스 장, 오마르 카타브의 이 연구는 동료 심사 논문이 아닌 블로그 글 'Sparks of Weight-Space Programming'으로 발표됐다. 실험 기록과 코드는 깃허브에 공개됐다.

핵심 정리

• GPT-6 Astra는 Qwen3.5-0.8B의 반복 출력 원인을 찾아 가중치 13만1072개를 고쳤다. MATH-500은 7.9%→48.1%, GSM8K는 13.8%→67.1%로 올랐다.
• 가중치를 모두 0으로 둔 상태에서 Astra가 직접 쓴 '브레이크아웃' 게임 신경망은 517.4점을 기록했다. PPO로 5억 스텝 학습한 신경망은 25.3점이었다.
• 연구진 스스로 "매우 초기" 결과라고 밝혔다. 반복 결함이 없는 모델에서는 효과가 거의 없었고, 가중치만으로는 아첨하는 모델을 가려내지 못했다.

가중치 공간 프로그래밍이란

신경망은 보통 옵티마이저가 수많은 숫자를 오차가 줄어드는 쪽으로 조금씩 조정해 만든다. 연구진은 이 과정 없이 언어모델에 자연어 목표를 주고 가중치를 직접 읽고 쓰게 했다.

깃허브 저장소 설명에 따르면 사용 모델은 'gpt-6-astra'이며 오픈AI의 코덱스(Codex) CLI에서 내장 도구를 끈 채 실행됐다. 일부 실험에서는 신경망을 돌려 볼 수 있는 '순전파' 기회를 소량 줬다. Qwen 실험의 순전파 1회는 연습 문제 최대 512개에 답하는 것이다.

GPT-6 Astra, Qwen 수학 점수를 어떻게 올렸나

사고 모드를 켠 기본 Qwen은 답변의 93%가 반복에 빠져 출력 한도(3만2768토큰)에 걸렸다. Astra는 그 원인을 15층과 19층 MLP 블록이 쓰는 방향 하나로 찾아냈고, 각 층의 출력 열 64개에서 그 방향을 빼냈다.

같은 방식은 구글의 Gemma 3 270M에서는 통하지 않았다. MATH-500이 6.8%에서 최고 7.7%로 움직이는 데 그쳤다. 이 모델은 애초에 토큰 한도에 걸린 답변이 8.5%뿐이었다. 연구진은 "가중치 편집은 능력을 가리던 장애물을 없앨 수는 있지만, 모델에 없던 능력을 더하지는 못했다"고 적었다.

처음부터 직접 쓴 신경망

다른 실험에서 Astra는 게임 규칙과 소스 코드만 받고 가중치 0에서 출발해 게임용 소형 신경망을 직접 썼다. 한 번에 쓴 브레이크아웃 신경망은 517.4점이었다. 시퀘스트(53.1점)와 아스테릭스(53.2점)에서는 5억 스텝 PPO 신경망(88.9점, 55.2점)보다 낮았다.

연구진이 밝힌 한계

Astra는 게임 신경망 4개의 게임 종류를 가중치만 보고 모두 맞혔다. 그러나 똑같이 미세조정한 Gemma 모델 두 개 가운데 아첨하는 쪽을 고르라는 과제에서는 가중치만으로 네 번 모두 실패했다. 어텐션 패턴을 본 뒤에야 세 쌍 모두 맞혔다.

연구진은 능력이 "흥미롭지만 아직 제한적"이라고 평가했다. 실험한 가장 큰 모델도 8억 매개변수 규모였다.

전망

연구진은 가중치 공간 프로그래밍용 벤치마크와 실험 환경을 만들고 있다고 밝혔다. 숨은 백도어 점검, 데이터 없는 언러닝 등을 향후 과제로 들었다. 11월 3일 기준 더 큰 모델에서 독립적으로 재현했다는 보고는 없다.

자주 묻는 질문

GPT-6 Astra가 Qwen을 다시 학습시킨 것인가?
아니다. 학습 과정 없이 가중치 13만1072개를 직접 분석해 고쳤다.

이 방법으로 어떤 모델이든 똑똑해지나?
현재 근거로는 아니다. 성능 향상은 반복 결함을 없앤 데서 나왔고, 그런 결함이 없는 Gemma 모델에서는 의미 있는 개선이 없었다.

참고 자료

• Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights — Takehi, Teoh, Zhang, Khattab, MIT CSAIL(2026년 11월 2일)
• RikiyaT/lm_understand-logs — GitHub(2026년 11월 3일 확인)
• MIT Researchers Show GPT-6 Astra Can Rewrite Another AI's Brain Without Training It — Startup Fortune(2026년 11월 3일)