화웨이, 122B 모델 64분 만에 4비트 양자화

화웨이 연구팀이 1220억(122B) 파라미터 모델을 64분 만에 4비트로 압축했다는 양자화 도구 'MACaQ'를 오픈소스로 공개했다. 작업에 쓴 GPU 메모리는 32.5GB였다. 코드는 아파치 2.0 라이선스로 깃허브에 공개됐고 논문은 11월 7일 arXiv에 실렸다. AI 뉴스레터 AI 위클리가 12일 보도했다. 아래 수치는 모두 연구팀이 논문과 README에 직접 밝힌 것으로, 외부 검증은 아직 없다.

핵심 정리

• 16비트 가중치만 약 244GB인 Qwen3.5-122B-A10B를 96GB GPU 한 장에서 양자화했고, 결과물(74GB)은 같은 GPU에서 돌아간다.
• Llama-3-8B에서 MR-GPTQ·DuQuant++보다 낮은 퍼플렉서티를 냈고, 두 방식의 최고 성적을 11분의 1 시간에 따라잡았다고 주장한다.
• llama.cpp·vLLM·Diffusers·파이토치를 모두 지원해 텍스트·이미지·영상·음성 모델에 쓸 수 있다.

GPU보다 큰 모델을 어떻게 양자화하나

MACaQ(Model Agnostic Calibrated Quantization)는 가중치와 활성값을 모두 4비트 부동소수점 형식인 MXFP4로 바꾸는 W4A4 방식이다. 기존 방식과 달리 MACaQ는 채널별 스케일링과 블록 하다마드 회전을 각 선형층 안에 남겨 추론 때 바로 계산한다.

덕분에 층마다 따로 보정·양자화할 수 있어, GPU에는 한 번에 한 층만 올리고 나머지는 시스템 메모리에 둔다. 이어 '플립 리파인먼트(Flip-Refinement)' 단계가 오차를 줄이는 방향으로 4비트 값을 이웃 값으로 하나씩 옮긴다.

로렌츠 뮐러(Lorenz K. Muller) 등 6명이 쓴 논문에 따르면 122B 실험에는 보정 토큰 51만2000개를 썼다. 위키텍스트-2 퍼플렉서티는 원본 5.06에서 양자화 후 5.14로 올랐다.

MACaQ 벤치마크, GPTQ 계열과 비교

연구팀은 이 방식의 추가 부담이 vLLM의 Qwen3-32B에서 2.3%라고 밝혔다.

로컬 AI에 4비트 도구가 중요한 이유

깃허브 저장소는 용도별로 나뉜다. llama.cpp용 2·3·4비트 GGUF(CPU 실행 가능), vLLM 서빙용 W4A4·가중치 전용 체크포인트, 확산·음성 모델용 W4A4다. 기존 GGUF 파일을 다듬되 표준 llama.cpp 호환을 유지하는 'MACaQ-R'도 함께 냈다.

다만 속도 향상은 4비트 연산을 지원하는 하드웨어가 전제다. 논문 실험은 메모리 96GB GPU(모델명 비공개)에서 했다.

한계도 있다. 층 사이 오차 보정은 불가능하고, 0.6B 소형 모델에서는 변환 부담이 약 8%로 커진다.

전망

AI뉴스웨이 확인 시점 저장소는 별 35개, 커밋 16건으로 외부 벤치마크는 아직 적다. 화웨이 어센드 칩 지원은 커널이 풀 리퀘스트 단계로, 모델 전체 실행에는 런타임 연동이 더 필요하다.

자주 묻는 질문

일반 PC에서도 쓸 수 있나?

README에 따르면 llama.cpp 경로는 GGUF 파일을 만들고 CPU 실행도 지원한다. 다만 122B 모델은 양자화 후에도 GPU 메모리 74GB가 필요하다.

상업적으로 써도 되나?

코드는 상업적 이용을 허용하는 아파치 2.0 라이선스다.

참고 자료

• GitHub - huawei-csl/MACaQ — GitHub
• MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations — arXiv(2026년 11월 7일)
• Huawei Open-Sources MACaQ, Quantizes 122B Model in 64 Minutes — AI Weekly(2026년 11월 12일)