Edge0-145B 공개…1450억 모델, GPU 한 장서 구동

온디바이스 AI 개발사 Edge0가 11월 12일(현지시간) 1450억 파라미터 규모의 언어모델 'Edge0-145B'와 1200억 파라미터의 'Edge0-120B' 가중치를 공개했다. 회사는 두 모델이 소비자용 그래픽카드 한 장이나 사양이 충분한 노트북에서 코딩·에이전트 작업을 돌릴 수 있다고 밝혔다. 성능 수치는 모두 자체 측정치다.

핵심 정리

• Edge0-145B는 1450억 파라미터 가운데 토큰당 약 100억 개만 쓰는 전문가 혼합(MoE) 구조이며, 처음부터 4비트 정밀도로 학습됐다.
• Edge0는 노트북에서 최대 메모리 29GB, 초당 80토큰 이상, RTX 5090 D(24GB)에서 에이전트 생성 속도 초당 98.3토큰을 냈다고 밝혔다.
• 프레임워크는 Apache-2.0이지만 가중치는 상업용 서비스·재판매를 막는 별도 라이선스를 따른다.

1450억 모델을 GPU 한 장에 넣은 방법

허깅페이스에 올라온 Edge0-145B 모델 카드에 따르면 이 모델은 48개 층, 층마다 512개 전문가로 이뤄졌다. 토큰 하나를 처리할 때는 라우팅된 전문가 10개와 공유 전문가 1개만 작동해 활성 파라미터는 101억2000만 개다. 문맥 길이는 25만6000(256K) 토큰이고, 기반 모델은 알리바바의 Qwen3.8-Flash-Next다.

Edge0는 이 설계를 '잠재(latent) MoE'라고 부른다. 공식 발표문에 따르면 전문가 64개가 한 묶음으로 큰 행렬 두 개를 함께 써 저장·이동할 데이터를 줄였다. 자주 쓰는 전문가만 GPU 메모리에 두고 나머지는 시스템 메모리와 SSD에서 불러온다.

모델 카드의 측정표에서 에이전트 작업 생성 속도는 RTX 5090 D(Q3_K 빌드)가 초당 121.2토큰, RTX 4090이 91.7토큰이었다.

클라우드 모델과 벤치마크 비교

Edge0는 코딩 평가인 DeepSWE 1.1에서 64.6점을 받아 Qwen3.8-Flash-Next(58.7점), DeepSeek-V4-Flash-0731(54.4점)을 앞섰다고 밝혔다. 터미널 작업 평가 Terminal-Bench 2.1에서는 86.52점으로 Claude-Opus-4.6(Max)의 78.2점보다 높았다.

고난도 추론에서는 뒤졌다. '인류의 마지막 시험(HLE)'은 35.4점으로 Claude의 40.0점에, GPQA-Diamond는 90.4점으로 Qwen의 91.7점에 못 미쳤다. 회사는 이 점수들이 자체 평가 결과이며, 경쟁 모델 메모리 사용량(Qwen3.8-Flash-Next 약 70GB 등)도 추정치라고 밝혔다.

스마트폰 35B에서 PC 145B로

이번 공개는 9월 첫 오픈소스 공개의 후속이다. 당시 Edge0 깃허브 저장소에는 SSD에서 전문가 가중치를 불러오는 35B·8B 미리보기 모델이 올라왔다.

라이선스 제약과 전망

모델 카드에 따르면 Edge0 자체 기여분은 'Edge0 커뮤니티 모델 라이선스 1.0', Qwen 관련 부분은 Qwen 커뮤니티 라이선스를 따른다. 개인·연구·사내 사용은 허용되지만 모델 판매, 상업용 모델 서비스 운영, 독립된 상업용 코딩·사무 비서 제공에는 별도 서면 라이선스가 필요하다.

지원 환경도 발표문보다 좁다. 모델 카드는 빌드 안내가 리눅스·윈도의 CUDA 13 기반 엔비디아 GPU용이라고 적었다. Edge0는 평가 환경을 담은 기술 보고서를 공개하는 중이라고 밝혔다.

자주 묻는 질문

Edge0-145B를 스마트폰에서 쓸 수 있나?
아니다. Edge0는 145B 모델은 사양을 갖춘 노트북·PC용이고, 스마트폰용은 35B·8B 모델이라고 설명한다.

상업적으로 자유롭게 써도 되나?
일부만 가능하다. 사내 사용과 생성 결과물의 상업 이용은 허용되지만, 상업용 모델 서비스나 재판매에는 별도 라이선스가 필요하다.

참고 자료

• Edge0-145B: Open-Source On-Device AI with 145B Parameters — Edge0(2026년 11월 12일)
• Edge0/Edge0-145B-NVFP4 — 허깅페이스 모델 카드
• GitHub - Edge0-AI/Edge0 — 깃허브