DeepSeek가 552B 파라미터 멀티모달 전문가 혼합(MoE) 모델 DeepSeek-V4.1-Flash를 공개했다. 이 모델이 내세운 핵심 수치는 벤치마크 점수가 아니라 저장 용량이다. 토큰당 글로벌 키-값(KV) 캐시 890바이트. 같은 시퀀스 길이에서 이전 세대가 쓰던 양의 약 4분의 1이며, 장비 한 대가 동시에 몇 개의 에이전트 세션을 감당하는지를 가르는 숫자다. 가중치와 기술 리포트는 MIT 라이선스로 Hugging Face에 올라와 있다.
핵심 요약
- DeepSeek-V4.1-Flash는 글로벌 KV 캐시를 토큰당 890바이트로 압축했다. DeepSeek-V4-Flash의 약 4분의 1 수준이고, 영구 캐시는 8분의 1까지 내려간다.
- Causal Encoder-Decoder 구조 덕분에 프리필에서는 8B 파라미터만, 디코드에서는 16B가 활성화된다. 출력보다 입력이 압도적으로 많은 에이전트 워크로드를 겨냥한 설계다.
- 공개된 점수는 GPQA Diamond 90.9, Terminal-Bench 2.1 90.6%, Codeforces 레이팅 3471이며 컨텍스트 윈도는 100만 토큰이다.
KV 캐시가 병목이 된 이유
장기 실행 에이전트 워크플로가 기존 비용 모델을 무너뜨렸다. 도구 호출이 한 번 늘 때마다 컨텍스트가 길어지고, 이전의 모든 키와 값을 담아둔 캐시도 함께 불어난다. 이 캐시는 가속기의 HBM을 차지하다가, 접두사 재사용을 위해 세션을 보존하는 순간 호스트 메모리와 SSD까지 넘쳐흐른다. 희소 어텐션이 긴 시퀀스 처리의 연산량은 이미 줄였지만, 저장 용량과 그 데이터를 옮기는 데 쓰이는 대역폭은 그대로 남았다. 지금 서빙 비용이 몰려 있는 곳이 바로 여기다.
DeepSeek은 한 가지를 파고드는 대신 캐시를 세 축에서 동시에 공략했다. 헤드 수를 줄여 항목 하나의 크기를 낮추고, 블록 단위 압축으로 항목 개수를 줄이며, 레이어 간 공유로 중복 사본을 아예 없앴다. 40개 레이어 전체에서 모델이 들고 있는 캐시는 인코더 3개와 디코더 1개뿐이다. 여기에 16채널 단위 스케일링 팩터를 적용한 E2M1 형식의 FP4 양자화가 남은 바이트를 한 번 더 깎는다.
인코더-디코더 분리가 하는 일
바탕에 깔린 구조 변경은 Causal Encoder-Decoder(CED)다. You Only Cache Once 계열 연구를 변형한 설계다. 모델의 40개 레이어는 절반씩 나뉜다. 아래쪽 20개는 재사용 가능한 컨텍스트 표현을 만드는 인코더 역할을 하고, 위쪽 20개는 자체 계산 대신 인코더의 최종 은닉 상태를 투영해 키-값 항목을 얻는다.
그 결과 긴 프롬프트의 대부분 위치는 네트워크를 절반만 통과한다. 프리필은 토큰당 8B 파라미터를, 디코드는 16B를 활성화한다. 에이전트 트래픽이 입력 중심이라는 점에서 이 비대칭은 의미가 크다. 큰 컨텍스트를 다시 읽고 짧은 도구 호출만 뱉는 모델은 연산의 대부분을 방금 싸진 쪽에 쓰게 된다.
인코더 내부 어텐션에는 DeepSeek이 CSA2라 부르는 방식이 들어갔다. 지역 문맥용 128토큰 슬라이딩 윈도에 전역 희소 검색과 레이어 간 재사용을 결합한 구조다. 각 레이어에는 Full·Reindex·Reuse 중 하나가 고정 모드로 배정돼, 희소 어텐션 인덱스를 새로 계산할지 물려받을지가 미리 정해진다. 검색 결정을 마흔 번씩 되풀이하지 않아도 되는 이유다. 배포 단계의 또 다른 기법인 슬라이딩 윈도 캐시의 제한적 리플레이는 영구 저장량을 이전 세대의 8분의 1 수준까지 끌어내린다.
점수는 어떻게 나왔나
추론 강도를 1부터 100까지 조절하는 다이얼을 최대로 올렸을 때, DeepSeek은 GPQA Diamond 90.9, MMLU-Pro 74.1%, Codeforces 레이팅 3471을 보고했다. 강점은 에이전트 평가 쪽이다. Terminal-Bench 2.1에서 90.6%, CyberGym에서 88.1%를 기록했고 DeepSWE v1.1에서는 이슈의 74.2%를 해결했다. 코딩 벤치마크는 상대적으로 낮아 HumanEval 79.4%, BigCodeBench 60.6%에 머물렀다.
희소성 설정은 공격적이다. 각 레이어는 공유 전문가 1개와 라우팅 전문가 384개를 두고 토큰당 6개만 활성화한다. 멀티모달 경로에는 패치 크기 14의 32레이어 비전 트랜스포머가 붙었고 이미지당 시각 토큰은 1,024개로 제한된다. 사전학습에 쓴 데이터는 45조 토큰이다. zartbot이라는 이름으로 글을 쓰는 엔지니어는 독자적으로 구조를 분석해 실측 속도를 초당 약 420토큰으로 측정했고, 변화 폭이 커서 소수점 버전 이름이 오히려 모델을 과소평가한다고 지적했다.
오픈웨이트 서빙에 던지는 의미
경쟁 구도의 초점은 리더보드 순위가 아니라 배포 경제성에 있다. MIT 조건으로 풀린 오픈웨이트 모델이 캐시 사용량을 4분의 1로 줄이면 자체 호스팅 비용 계산이 달라진다. 고정된 GPU 예산에서 동시 세션 수를 결정하는 것은 순수 연산 성능이 아니라 메모리와 캐시 대역폭이기 때문이다. DeepSeek은 이 카드를 이미 한 번 써봤다. V4 Pro를 프런티어 모델의 일부 가격으로 정식 출시하며 쓸 만한 가중치와 이례적으로 낮은 서빙 비용을 묶어 내놨다.
남은 물음은 품질 저하다. 레이어 간 재사용과 4비트 캐시 양자화는 둘 다 구조적으로 손실을 동반한다. 100만 토큰 세션 깊숙이 들어가야 드러나는 성능 저하를 잡아내기에 종합 벤치마크는 무딘 도구다. 토큰당 890바이트가 긴 에이전트 실행에서도 버티는지는 평가 스위트가 아니라 실제 배포가 판가름할 문제다.
자주 묻는 질문
DeepSeek-V4.1-Flash는 오픈소스인가
가중치는 MIT 라이선스로 Hugging Face에 공개돼 상업적 이용과 수정, 재배포가 모두 가능하다. 다만 대부분의 오픈웨이트 공개가 그렇듯 학습 데이터와 전체 학습 파이프라인은 포함되지 않았다. 완전한 오픈소스라기보다 오픈웨이트에 가깝다.
DeepSeek-V4-Flash보다 KV 캐시가 얼마나 줄었나
글로벌 KV 캐시는 토큰당 약 890바이트로, 같은 시퀀스 길이에서 이전 모델의 4분의 1 수준이다. 접두사 재사용을 위해 세션을 저장할 때 중요한 영구 캐시는 슬라이딩 윈도 캐시의 제한적 리플레이 덕분에 8분의 1까지 더 내려간다.
프리필과 디코드의 활성 파라미터 수가 왜 다른가
Causal Encoder-Decoder 설계에서 위쪽 20개 레이어는 키-값 항목을 직접 계산하지 않고 인코더 출력에서 투영해 빌려 쓴다. 긴 프롬프트는 네트워크의 앞쪽 절반만 거치면 되므로 8B 파라미터가 활성화되고, 토큰을 하나씩 생성하는 단계에서는 전체 스택이 돌아 16B가 쓰인다.
