4비트 미만 압축은 보통 추론 모델이 추론을 멈추는 지점이다. 사고 사슬이 짧아지고, 도구 호출이 실패하기 시작하며, 벤치마크 평균이 급락한다. PrismML은 목요일 그 선보다 한참 아래에 있으면서도 제대로 작동한다고 주장하는 모델을 공개했다.
Bonsai 2 27B는 알리바바의 오픈웨이트 모델 Qwen3.8-27B를 FP16 기준 약 54GB에서 5.95GB로 줄였다. 일반 노트북이나 GPU 한 장에 올릴 만한 크기다. Hugging Face에 올라온 모델 카드에 따르면 원본이 기록한 성능의 98.2%를 지킨다.
핵심 요약
- Bonsai 2 27B는 사고 모드 벤치마크 14종에서 평균 84.78을 기록했다. 같은 베이스 모델을 더 큰 용량으로 양자화한 기존 IQ2_XXS 빌드의 72.59를 크게 앞선다.
- 이 모델은 모든 언어 모델 가중치를 −1, 0, +1 셋 중 하나로 저장해 가중치당 1.72비트에 도달했다. FP16 대비 약 9.3배 줄어든 수치다.
- 칼텍 교수 바박 하시비가 이끄는 PrismML은 Khosla Ventures, Cerberus Capital, 칼텍으로부터 2225만 달러 규모의 시드 라운드를 유치했다.
3진 가중치가 실제로 얻어내는 것
일반적인 모델은 가중치 하나를 16비트 숫자로 저장한다. PrismML은 −1, 0, +1 세 값만 허용하고, 가중치 128개 묶음마다 공유 스케일 인자 하나를 둔다. 3진 값 하나가 담는 정보량은 약 1.585비트이며, 여기에 공유 스케일과 높은 정밀도로 남겨둔 소수의 텐서를 함께 계산에 넣으면 모델 전체가 가중치당 1.72비트에 안착한다.
흥미로운 대목은 PrismML이 무엇을 예외로 두지 않았는가다. 임베딩, 어텐션 프로젝션, MLP 프로젝션, LM 헤드까지 모두 3진이다. 저비트 빌드들이 민감한 텐서는 높은 정밀도로 남겨둔 채 낮은 숫자만 내세우는 관행을 생각하면 의미가 있다. 모델 카드는 이 비교를 직접 명시한다. 같은 Qwen3.8-27B 베이스를 쓴 널리 알려진 "2비트" 빌드가 실제로는 가중치당 2.8비트이고 디스크 용량은 9.4GB라는 것이다. Bonsai 2에서 3진을 벗어난 부분은 언어 모델의 약 0.0976%뿐이고, 이 몫도 1.72라는 수치 옆에 따로 숨기지 않고 안에 포함해 계산했다.
여기까지 가는 데는 기저 변환이 쓰인다. 각 가중치 행렬은 값을 배정하기 전에 직교 아다마르 변환으로 블록 단위 회전을 거치고, 실행 시점에는 활성값에 대응하는 변환이 적용된다. 회전은 오프라인에서 저장 가중치에 접어 넣으므로 추가 비트를 쓰지 않는다. 다만 그 대가로 표준 llama.cpp로는 이 파일을 아예 실행할 수 없다. PrismML은 필요한 커널을 담은 포크를 함께 배포하면서, 수정하지 않은 빌드는 두 가지 3진 패킹을 알 수 없는 타입으로 거부하고 구형 Q2_0 파일은 아무 경고 없이 불러들여 쓸모없는 출력을 내놓는다고 경고한다.
벤치마크가 가리키는 지점
대표 수치는 사고 모드 벤치마크 14종 평균 84.78이다. 이 숫자에 의미를 주는 비교 대상은 72.59에 그친 IQ2_XXS 빌드다. 같은 베이스 모델을 기존 방식으로 저비트 양자화한 이 빌드는 용량을 1.5배 넘게 쓰고도 12점을 밑돌았다. Bonsai 2는 용량이 세 배인 UD-Q4_K_XL 빌드와도 0.4점 차 안으로 붙었다.
영역별로 보면 수학은 96.57로 전정밀도와 0.5점 이내 차이를 유지했고, 코딩은 89.42로 기준선과 같은 수준이다. 에이전트 도구 호출은 74.92로 셋 중 가장 약했다. 이 모델로 로컬 에이전트를 돌릴 계획이라면 눈여겨볼 대목이다. 처�� 속도는 애플 M5 Max 노트북에서 초당 약 47토큰이고, 26만 2000토큰 컨텍스트 창은 압축 후에도 살아남았다. 백본의 약 75%가 선형 어텐션이라 온디바이스에서도 이 길이를 감당한다.
모델을 만든 회사
PrismML은 칼텍 연구진이 세운 회사로, 압축을 연구 분야로 삼아 온 칼텍 교수 하시비가 이끈다. Databricks 공동창업자이자 버클리 Sky Computing Lab을 이끄는 이온 스토이카가 자문을 맡고 있다. 하시비는 TechCrunch에 3월에 내놓은 첫 Bonsai가 베이스 모델 점수의 95%를 따라갔다고 밝혔다. 98.2%로 올라선 것은 한 세대만큼의 개선인 셈이다. 그는 회사가 애플과 논의 중이라는 보도에 대해서는 언급을 피했다.
사용 지표는 이 기술이 이미 퍼지고 있음을 보여준다. 최초 모델은 1100만 회 넘게 내려받았고, 더 작은 모델들에서도 260만 회가 추가로 집계됐다. 스토이카는 온디바이스 지능의 이점을 두 가지로 정리한다. 하드웨어를 이미 샀으니 공짜이고, 아무것도 서버로 나가지 않으니 사적이라는 것이다.
다음에 볼 것
하시비는 두어 달 안에 나올 다음 릴리스가 수천억 파라미터급 모델을 겨냥한다고 말했다. 그는 규모가 커질수록 압축이 어려워지기보다 쉬워질 것으로 본다. 큰 모델일수록 덜어낼 중복이 많다는 이유에서다. 이 전망이 맞는다면 로컬에서 돌릴 수 있는 모델의 상한선이 크게 올라가고, 실무 쟁점은 성능에서 유통으로 옮겨간다. 어느 런타임이 이 포맷을 지원하느냐, 그리고 얼마나 빨리 지원하느냐다. 지금 시점의 정직한 단서는 이 숫자들이 자체 포크에서 회사가 직접 측정해 발표한 값이라는 점이다. 알리바바가 오픈소스로 공개한 Qwen3.8 베이스 위에서 제3자가 재현해 보는 것이 남은 관문이다. PrismML은 결과 재현의 기준이라고 밝힌 백서와 데모 저장소를 공개했다.
자주 묻는 질문
Bonsai 2 27B를 일반 노트북에서 돌릴 수 있나
언어 모델은 가장 조밀한 패킹 기준 5.95GB를 차지한다. 일반 노트북이나 GPU 한 장에 무리 없이 올라가는 크기다. PrismML은 애플 M5 Max에서 초당 약 47토큰을 측정했다. 선택 사항인 0.63GB 비전 모듈은 이미지를 실제로 넣을 때만 올라오므로, 텍스트만 쓰면 이 용량을 부담하지 않는다.
표준 llama.cpp에서 작동하나
작동하지 않는다. 3진 패킹은 전용 커널과 아다마르 활성 변환에 기대는데 표준 llama.cpp에는 둘 다 구현돼 있지 않다. 표준 빌드는 3진 패킹 PTQ1_0과 PQ2_0을 알 수 없는 타입으로 거부하고, Q2_0 파일은 경고 없이 불러들이지만 아다마르 활성 런타임이 없어 쓸모없는 출력을 낸다. 따라서 PrismML의 llama.cpp 포크나 MLX 빌드가 필요하다.
실제로 잃는 품질은 얼마나 되나
PrismML은 FP16 성능의 98.2%를 유지한다고 밝혔다. 사고 모드 벤치마크 14종 평균으로 전정밀도 대비 84.78이다. 수학과 코딩이 원본에 가장 가깝고, 74.92를 기록한 에이전트 도구 호출에서 격차가 가장 크다. 모두 회사가 직접 측정해 백서와 함께 공개한 수치이며, 아직 외부의 독립 재현은 이뤄지지 않았다.
