🇺🇸 English 🇰🇷 한국어 🇯🇵 日本語
홈 › SaaS & 클라우드
SaaS & 클라우드

AWS 세이지메이커, KV 캐시 기반 라우팅…첫 토큰 최대 97%↓

AWS가 11월 17일 세이지메이커 AI 실시간 엔드포인트에 KV 캐시 인지 라우팅을 추가했다. 라마 3.1 70B 시험에서 첫 토큰 시간(중앙값)은 무작위 라우팅 대비 최대 97% 줄고 처리량은 최대 234% 늘었다. 추가 요금은 없지만 vLLM 기반 AWS 컨테이너가 필요하다.

아마존웹서비스(AWS)가 11월 17일(현지시간) 아마존 세이지메이커 AI 실시간 엔드포인트에 'KV 캐시 인지 라우팅'을 추가했다. 대규모언어모델(LLM) 요청을 그 프롬프트를 가장 길게 캐시해 둔 인스턴스로 보내는 방식이다. AWS 머신러닝 블로그에 따르면 라마 3.1 70B 시험에서 첫 토큰까지 걸린 시간(중앙값)이 무작위 라우팅보다 최대 97% 줄었다.

랙에 설치된 GPU 컴퓨팅 클러스터 서버와 케이블, 표시등
GPU 서버 클러스터(자료사진) · 사진: ChrisDag / Flickr(CC BY 2.0)

핵심 정리

  • 새 라우팅 전략 KV_AWARE는 요청 문자열로 추측하지 않고 모델 컨테이너가 보고한 실제 캐시 상태를 쓴다.
  • ml.p5.48xlarge 7대 시험에서 첫 토큰 시간(중앙값)은 최대 97% 줄고 처리량은 최대 234% 늘었다(무작위 라우팅 대비).
  • 추가 요금은 없고, 세이지메이커 실시간 추론을 지원하는 모든 상용 리전에서 쓸 수 있다. 단 vLLM 기반 AWS 컨테이너가 필요하다.

KV 캐시 라우팅은 어떻게 작동하나

LLM은 프롬프트를 처리하며 중간 계산 결과인 KV 캐시를 GPU 메모리에 저장한다. 같은 앞부분이 같은 인스턴스에 다시 오면 이 계산을 건너뛸 수 있다. 하지만 인스턴스가 여러 대면 요청이 흩어져 캐시 재사용이 어렵다.

KV 인지 라우팅에서는 모델 컨테이너가 캐시를 저장하거나 지울 때마다 이벤트를 보낸다. 세이지메이커는 이를 관리형 인덱스로 유지한다. AWS는 인덱스에 인스턴스와 연결된 단방향·축약 해시만 담기고 프롬프트, 토큰 ID, 요청 본문, KV 텐서는 저장하지 않는다고 밝혔다.

요청이 들어오면 엔드포인트는 프롬프트를 토큰으로 나눠 인덱스를 조회하고, 인스턴스별 캐시 일치 길이와 혼잡도를 함께 따진다. 쓸 만한 일치가 없거나 후보가 모두 바쁘면 부하 기준 라우팅으로 넘어간다.

접두사 라우팅과 무엇이 다른가

AWS는 9월 요청 앞부분 바이트를 해시해 같은 인스턴스로 보내는 '접두사 인지 라우팅'을 내놨다. 이 방식은 메모리 부족으로 캐시가 지워진 사실을 알 수 없고, 대화 초반의 짧은 요청을 다른 인스턴스로 흩뜨릴 수 있다.

KV 인지 라우팅은 실제 캐시된 토큰 기준으로 맞추므로 접두사 길이를 조정할 필요가 없다. 대신 부담이 조금 더 든다. 접두사 라우팅은 요청당 1.3~1.9밀리초였고, 새 방식은 짧은 프롬프트에 수 밀리초, 긴 프롬프트엔 그보다 더 걸린다. 대부분 토큰화 시간이다.

세이지메이커 성능 시험 결과

AWS는 사용자 20명 또는 100명이 여러 턴 대화와 문서 질의응답을 하는 30분 시험을 돌렸다. 프롬프트는 최대 약 6만4000토큰이었다. KV 캐시 적중률은 무작위 라우팅의 3~48%에서 80~93%로 올랐다.

ml.g5.xlarge 2대에서 Qwen3-4B-Instruct-2507로 한 소규모 시험에서는 평균 모델 지연이 두 차례 실행에서 4124·5100밀리초에서 1235·1314밀리초로 줄었다. 세이지메이커 자체 부가 지연은 평균 14~19밀리초 늘었다. 모두 AWS가 직접 한 시험이며, AWS도 결과는 작업 부하에 따라 다르다고 밝혔다.

조건과 한계

출시 시점에는 AWS vLLM 딥러닝 컨테이너(vLLM 0.33.0 이상)와 오픈AI 호환 Completions·Chat Completions 형식 요청만 지원한다. 인스턴스 2대 이상 또는 추론 컴포넌트 사본 2개 이상이 있어야 작동한다. 양방향 스트리밍은 지원하지 않고, cache_salt 값이 있는 요청은 400 오류로 거부된다.

전망

사용자는 모델에 SM_VLLM_KV_EVENTS_CONFIG 환경변수를 넣고 엔드포인트 설정에서 RoutingStrategy를 KV_AWARE로 바꾸면 된다. AWS는 실제 트래픽으로 접두사 라우팅과 비교해 보고, 성능이 비슷하면 더 단순한 접두사 라우팅을 쓰라고 권했다.

자주 묻는 질문

추가 비용이 드나?
아니다. AWS는 추가 요금이 없고 엔드포인트 인스턴스 비용만 낸다고 밝혔다.

인스턴스가 1대여도 효과가 있나?
없다. 인스턴스가 하나면 모든 요청이 그곳으로 가므로 설정해도 달라지지 않는다.

참고 자료

#AWS #아마존 세이지메이커 #KV 캐시 #KV 인지 라우팅 #접두사 라우팅 #LLM 추론 #vLLM #첫 토큰 지연 #클라우드
정
정승
AI Newsway · 개발자

AI Newsway의 편집 책임자이자 개발자입니다. 인공지능·개발 도구·클라우드·생산성 기술 기사를 씁니다.

기자의 다른 기사 ›
저작권자 © AI Newsway 무단전재 및 재배포, AI학습 및 활용 금지
공유
f X K

댓글 0

현재 댓글 작성이 비활성화되어 있습니다.

첫 댓글을 남겨보세요.