AWS SageMaker, 학습 루프는 직접 짜고 GPU만 맡긴다

아마존웹서비스(AWS)가 10월 22일(현지시간) 개발자가 노트북의 파이썬 코드로 대규모언어모델(LLM) 학습 루프를 직접 짜고, GPU 연산은 AWS가 대신 돌려주는 'SageMaker AI 학습 세션 API(training session APIs)'를 공개했다. AWS 머신러닝 블로그에 따르면 GPU 클러스터 관리 없이 알고리즘을 자유롭게 바꿀 수 있다.

핵심 정리

• 순전파·역전파(forward_backward), 옵티마이저 갱신(optim_step) 같은 GPU 단계 하나하나가 모델을 올려 둔 채 유지되는 '세션'에 대한 API 호출로 처리된다.
• 지원 모델은 GPT-OSS-20B, Gemma-4-31B-it, Qwen-3.6-27B 3종이다.
• 요금은 처리한 토큰 수 기준이며, 보상 계산처럼 로컬 코드가 도는 동안의 GPU 시간은 과금되지 않는다.

SageMaker 학습 세션 API는 어떻게 작동하나

AWS 저자 4명은 블로그에서 LLM 파인튜닝이 "대개 학습 루프 통제권과 운영 단순성 사이에서 양자택일을 강요한다"고 짚었다. 새 API에 대해 AWS는 "알고리즘이 아니라 컴퓨팅을 추상화했다"고 표현했다.

개발자는 SageMaker 파이썬 SDK의 클라이언트 3개를 쓴다. ServiceClient는 IAM 역할·S3 저장 경로 같은 설정을 담고 세션을 연다. TrainingClient는 forward·forward_backward·optim_step 실행과 체크포인트 저장을, SamplingClient는 sample·compute_logprobs로 문장 생성과 점수 계산을 맡는다.

손실 함수는 지도 파인튜닝(SFT)용 교차 엔트로피와 강화학습(RL)용 PPO·중요도 샘플링·CISPO가 기본 제공된다. 학습은 LoRA 어댑터 방식이며 AWS 예제는 랭크 32를 썼다. 분산 실행·장애 복구·체크포인트 보관은 AWS가 맡는다.

지원 모델·리전·이용 한도

SageMaker 개발자 가이드에 따르면 GPT-OSS-20B는 미국 동부(버지니아 북부)·미국 서부(오리건)·아시아태평양(뭄바이) 리전에서, Gemma-4-31B-it와 Qwen-3.6-27B는 오리건·뭄바이에서만 제공된다. 서울 리전은 목록에 없다. 요금은 프리필·샘플·학습 토큰으로 나뉘며 단가는 가이드에 적혀 있지 않다. 동시 세션은 계정당 기본 2개이며 한도 상향을 신청할 수 있다.

체크포인트는 모델 패키지 그룹에 버전으로 등록돼 실시간 엔드포인트 배포나 LoRA 어댑터 서빙에 바로 쓸 수 있다.

AWS 자체 실험 결과

AWS에 따르면 GPT-OSS 20B에 GRPO를 적용한 GSM8K 수학 예제에서 40문제로 10스텝만 학습해도 검증 정확도가 56%에서 75%로 올랐다. 스텝당 128문제, 문제당 응답 8개로 50스텝을 돌린 코딩 강화학습에서는 검증용 200문제 정확도가 40%에서 50.5%로 높아졌다. 독립 검증 결과는 아니다.

맥락: 낯익은 API 구조

설계는 Thinking Machines Lab의 파인튜닝 API 'Tinker'와 매우 닮았다. Tinker의 TrainingClient 문서에도 forward_backward, optim_step, save_weights_for_sampler 같은 같은 이름의 핵심 메서드가 있다. 다만 AWS 발표문은 Tinker를 언급하지 않았다. AWS는 최근 에이전트 하네스 Strands도 공개했다.

전망

AWS는 Tulu 3·UltraChat 파인튜닝, GSM8K·코딩 강화학습, KTO 선호 정렬 레시피를 담은 쿡북을 GitHub에 함께 공개했다. 정식 출시(GA)인지 프리뷰인지와 토큰당 단가는 발표문에 나오지 않았다. 지원 모델이 3종뿐이라는 점은 당분간 제약이 될 전망이다.

자주 묻는 질문

GPU 인스턴스를 직접 골라야 하나?
아니다. 인스턴스 선택이 없는 서버리스 방식이다.

요금은 어떻게 매기나?
처리한 토큰 수 기준이며 프리필·샘플·학습으로 나뉜다.

참고 자료

• Write your own training loop, without managing GPUs, with Amazon SageMaker training session APIs — AWS 머신러닝 블로그(2026년 10월 22일)
• Training session APIs — Amazon SageMaker AI 개발자 가이드
• GitHub - aws/sagemaker-training-sessions-cookbook — AWS
• TrainingClient API reference — Thinking Machines Lab Tinker 문서