🇺🇸 English 🇰🇷 한국어 🇯🇵 日本語
홈 › AI & 머신러닝
AI & 머신러닝

싱킹머신즈, 노트북용 루프형 모델 Inkling 2 Mini 공개

싱킹머신즈랩이 11월 20일 가운데 층을 세 번 반복하는 264억 파라미터 루프형 모델 Inkling 2 Mini를 아파치 2.0 오픈웨이트로 공개했다. 메모리 32GB급 노트북에서 돌릴 수 있고, 반복 횟수를 바꿀 수 있는 연구용 모델도 함께 내놨다.

미라 무라티가 이끄는 미국 AI 스타트업 싱킹머신즈랩(Thinking Machines Lab)이 11월 20일(현지시간) 파라미터 264억 개 규모의 오픈웨이트 모델 'Inkling 2 Mini'를 공개했다. 모델 가운데 층을 토큰마다 세 번씩 반복해 돌리는 '루프형 트랜스포머'로, 용량이 약 20GB라 노트북에서도 인터넷 연결 없이 돌릴 수 있다는 게 회사 설명이다. 가중치는 아파치 2.0 라이선스로 허깅페이스에 올라왔다.

책상 위 노트북 화면에 터미널 창과 실행 중인 코드가 보인다
터미널에서 코드를 실행 중인 노트북(자료사진). Inkling 2 Mini는 메모리 32GB급 기기에서 로컬로 돌리도록 만들어졌다. · 사진: shabdaly / Flickr(CC BY 2.0)

핵심 정리

  • 전체 파라미터 264억 개, 활성 34억 개다. 반복 연산까지 치면 토큰당 54억 개 가중치가 쓰인다.
  • 회사 발표 기준 DeepSWE v1.1 48.2%, Vals Index v2.2 46.5%로 1000억 파라미터 미만 오픈 모델 가운데 가장 높다.
  • 반복 횟수를 1~5회로 바꿀 수 있는 연구용 모델도 함께 공개했다.

루프형 트랜스포머 Inkling 2 Mini, 어떻게 작동하나

모델은 24개 층을 6개씩 4개 블록으로 나눴다. 싱킹머신즈의 공식 발표문에 따르면 첫 블록과 마지막 블록은 한 번만 거치고, 가운데 두 블록은 같은 가중치로 세 번 반복한다. 토큰 하나당 층을 48번 통과하는 셈이다.

회사는 가운데 12개 층을 반복한 쪽이 마지막 12개 층을 반복한 쪽보다 28개 평가 중 27개에서 더 나았다고 밝혔다. 반복하지 않는 모델은 학습 연산이 7.5% 적게 들었지만, 51만2000토큰 길이 에이전트 작업 기록에서 같은 손실값을 내려면 추론 연산이 140% 더 필요했다.

노트북 로컬 실행 사양

가중치 대부분은 학습 단계부터 4비트(NVFP4)로 만들어졌고 마지막 4개 층만 8비트(MXFP8)다. 허깅페이스 모델 카드는 메모리 32GB 이상 애플 실리콘 맥, 엔비디아 DGX 스파크 1대, VRAM 32GB 이상 GPU를 권장 사양으로 꼽았다. 문맥 길이는 최대 100만 토큰이고 텍스트와 이미지를 입력받는다.

올라마(Ollama)·vLLM·SGLang 등에서 돌릴 수 있고 llama.cpp용 GGUF 파일도 나왔다. 회사 플랫폼 팅커(Tinker)에서는 미세조정도 된다.

성능과 한계

수치는 모두 회사 자체 발표다. DeepSWE v1.1에서 48.2%로 알리바바 Qwen3.8-27B(42.2%)를 앞섰고, SWE-bench Verified에서도 79.2%로 77.8%를 웃돌았다. 아티피셜 애널리시스 지수(v5.0)는 20.1로 두 모델이 같았다.

회사는 반복이 추론력은 높이지만 저장된 지식을 늘리지는 않는다고 설명했다. 다회차 대화(MultiChallenge 50.0%)와 복잡한 조건 지시(ComplexConstraints v1.1 33.4%)에서는 Qwen3.8-27B에 뒤졌다. 모델 카드는 확인 없이 파일을 지우거나 덮어쓸 수 있다며 에이전트를 샌드박스에서 돌리라고 권했다.

맥락: 반복하면 '생각'이 숨겨지나

루프형 모델은 중간 단계를 글로 쓰지 않고 더 많이 계산할 수 있어 사고과정(CoT) 감시가 약해질 수 있다는 우려가 있다. 싱킹머신즈는 반복 횟수를 바꿀 수 있는 연구용 모델 TML-d24-varloop-research로 이를 시험했다. 사고과정 없이 풀 수 있는 과제 길이는 1회 반복 때 16초에서 3회 때 37초로 늘었고, 이후로는 거의 같았다.

GPQA Diamond 문제에서 평균 추론 길이는 1회 반복 3703토큰에서 5회 반복 1661토큰으로 줄었지만, 문장 길이와 사전에 있는 단어 비율은 변하지 않았다. 리눅스아레나(LinuxArena) 방해 공작 시험에서도 반복 횟수에 따른 뚜렷한 경향은 없었다.

전망

이번 모델은 11월 5일 공개한 5940억 파라미터(활성 170억) 모델 Inkling 2 Small에 이은 것이다. 회사는 미국 국가심층추론패브릭(NDIF)과 함께 연구자들이 루프형 모델을 쉽게 쓰도록 할 계획이다.

자주 묻는 질문

Inkling 2 Mini는 상업적으로 써도 되나?
가중치가 아파치 2.0 라이선스로 공개돼 상업적 이용이 가능하다.

어떤 컴퓨터에서 돌릴 수 있나?
메모리 32GB 이상 애플 실리콘 맥, 엔비디아 DGX 스파크, VRAM 32GB 이상 GPU가 권장 사양이다.

참고 자료

#싱킹머신즈 #Thinking Machines Lab #Inkling 2 Mini #루프형 트랜스포머 #오픈웨이트 #로컬 LLM #허깅페이스 #미라 무라티 #사고과정 감시
정
정승
AI Newsway · 개발자

AI Newsway의 편집 책임자이자 개발자입니다. 인공지능·개발 도구·클라우드·생산성 기술 기사를 씁니다.

기자의 다른 기사 ›
저작권자 © AI Newsway 무단전재 및 재배포, AI학습 및 활용 금지
공유
f X K

댓글 0

현재 댓글 작성이 비활성화되어 있습니다.

첫 댓글을 남겨보세요.