퍼플렉시티 JOLT 공개…한 모델이 교사·학생 겸해 토큰 6.5배 절감

퍼플렉시티가 10월 21일(현지시간) 공식 블로그에서 한 모델이 교사와 학생 역할을 동시에 맡아 스스로 가르치며 배우는 학습법 JOLT(Joint On-policy Learning and Teaching)를 공개했다. 글은 퍼플렉시티 리서치와 엔비디아 명의로 실렸고, 연구진은 보상 항을 더한 변형 JOLT+가 수학·코딩·도구 사용·터미널 작업 5개 설정 모두에서 기존 강화학습·증류 방식보다 높은 평균 점수를 냈다고 밝혔다.

핵심 정리

• 퍼플렉시티는 10월 21일 한 모델이 정답을 아는 교사와 정답을 모르는 학생을 함께 연기하는 학습법 JOLT를 공개했다.
• 보상 항을 더한 JOLT+는 GRPO 대비 AppWorld에서 9.9%p, MATH에서 4.2%p 정확도를 높였다.
• MATH에서 같은 정확도 63.44%에 도달하는 데 JOLT는 GRPO보다 학습 토큰을 약 6.5배 적게 썼다.

JOLT는 어떤 학습법인가

JOLT는 하나의 언어 모델이 '정답을 아는 교사'와 '정답을 모르는 학생'을 번갈아 맡으며 스스로를 가르치는 학습법이다. 교사 역할일 때는 검증된 정답, 풀이, 이전 시도 요약 같은 특권 정보를 받는다. 학생은 이런 정보 없이 문제를 풀고, 교사는 학생이 만든 답안의 토큰 하나하나에 점수를 매긴다. 학생은 교사가 선호하는 토큰을 강화하는 방향으로 학습한다.

퍼플렉시티는 이 구조를 기존 온폴리시 자기 증류(OPSD)의 확장으로 설명했다. 문제는 정답을 아는 교사가 학생이 따라 할 수 없는 지름길을 쓸 수 있다는 점이다. 교사가 문제를 더 잘 풀어도 그 가르침이 학생 성적으로 이어지지 않을 수 있다. JOLT는 교사도 함께 학습시켜, 교사의 지도가 학생의 실제 보상을 높이는 방향과 일치하도록 맞춘다. 교사가 학생 수준에 맞춰 가르치도록 만드는 셈이다.

강화학습 GRPO보다 얼마나 나은가

연구진이 공개한 결과에 따르면 학생 보상 항을 더한 변형 JOLT+는 5개 설정 모두에서 GRPO, OPSD, π-Distill보다 높은 평균 점수를 기록했다. 실험에는 DeepSeek-V2-Lite와 Qwen3 계열 0.6B·8B·4B·30B-A3B 모델이 쓰였다. GRPO 대비 정확도 향상폭은 다음과 같다.

보상 항이 없는 기본 JOLT는 결과가 엇갈렸다. GSM8K·MATH·코딩에서는 GRPO를 앞섰지만 AppWorld와 Terminal-Bench 2.1에서는 GRPO에 뒤졌다. 연구진은 Terminal-Bench 2.1에서 OPSD가 기반 모델보다도 낮은 점수를 냈다고 밝혔다.

학습 비용은 얼마나 줄어드나

퍼플렉시티 블로그에 따르면 MATH 정확도 63.44%에 도달할 때 GRPO는 처리 토큰 840만 개를 썼고, JOLT는 추정 곡선 기준 약 130만 개로 같은 수준에 이르렀다. 약 6.5배 차이다. 생성 토큰 기준으로는 약 13배 적었고, 목표 정확도를 바꿔 가며 비교하면 생성 토큰은 9.5~14.4배, 처리 토큰은 4.3~7.4배 줄었다.

보상 신호 부족 문제와 맥락

강화학습은 최종 결과가 맞았는지만 알려 주기 때문에 길고 어려운 작업에서는 학습 신호가 드물다. 연구진은 arXiv 논문에서 이 한계를 지적하고, 토큰 단위로 촘촘한 지도를 주는 증류를 대안으로 제시했다. 별도의 큰 교사 모델 없이 같은 모델이 교사를 겸한다는 점에서 소형 모델 학습 비용을 낮출 수 있다. 자기 대전으로 실력을 키운 사례는 RTX 3090 한 장으로 워크래프트3를 학습한 AI에서도 볼 수 있다.

코드 공개와 향후 전망

퍼플렉시티는 공식 블로그 글에서 코드를 곧 오픈소스로 공개하겠다고 밝혔지만, 10월 22일 현재 저장소 주소는 나오지 않았다. 실험이 300억 파라미터 이하 모델에 집중된 만큼, 더 큰 모델과 실제 서비스 에이전트에서 같은 효과가 나는지는 코드 공개 뒤 외부 검증이 필요하다.

자주 묻는 질문

JOLT는 오픈소스인가?

논문은 arXiv에 공개됐지만 코드는 아직 나오지 않았다. 퍼플렉시티는 10월 21일 블로그에서 코드를 곧 오픈소스로 공개하겠다고 밝혔다.

JOLT와 GRPO는 무엇이 다른가?

GRPO는 답안 전체의 정답 여부로만 보상을 주는 강화학습 방식이다. JOLT는 정답을 아는 교사 역할이 학생 답안의 토큰마다 점수를 매겨 더 촘촘한 신호를 주며, 교사도 학생 성적이 오르는 방향으로 함께 학습한다.

JOLT는 어떤 모델로 실험했나?

DeepSeek-V2-Lite와 Qwen3-0.6B, Qwen3-8B, Qwen3-4B-Instruct, Qwen3-30B-A3B-Instruct로 실험했다. 평가는 GSM8K, MATH, LiveCodeBench v6, AppWorld, Terminal-Bench 2.1에서 했다.