아랍에미리트 무함마드 빈 자이드 인공지능대학교(MBZUAI) 산하 파운데이션모델연구소(IFM) 연구진이 10월 16일 같은 트랜스포머 층을 여러 번 되풀이해 쓰는 '루프형 언어 모델'의 설계 요소를 하나씩 비교한 논문을 arXiv에 공개했다. 연구진은 가장 나은 구조로 꼽은 Huginn 방식이 비교 대상인 Ouro 방식을 730M 규모 실험의 10개 벤치마크에서 모두 앞섰다고 밝혔고, 학습 코드와 체크포인트를 함께 내놓았다.
핵심 정리
- IFM 연구진은 730M 파라미터·336B 토큰 실험에서 Huginn 방식이 Ouro 방식을 10개 벤치마크 전부에서 앞섰다고 보고했다.
- 같은 학습·추론 연산량 조건에서 Huginn 방식 MoE 모델은 112층 일반 MoE 모델보다 메모리에 올려 두는 파라미터가 75% 적었다.
- 코드는 Apache 2.0으로 GitHub에 공개됐고, Part I·II 두 연구의 체크포인트 49개가 Hugging Face에 올라왔다.
루프형 언어 모델이란 무엇인가
루프형 언어 모델은 물리적으로는 적은 수의 트랜스포머 블록을 두고, 이를 여러 번 반복 통과시켜 논리적으로 깊은 모델처럼 작동하게 만드는 구조다. 층을 새로 쌓지 않고 같은 가중치를 재사용하므로 저장해야 할 파라미터는 늘지 않고 계산 깊이만 늘어난다. 최근 이 구조는 답을 글자로 길게 풀어 쓰지 않고 모델 내부에서 '생각'을 반복하는 잠재 추론 방법으로 주목받았다.
대표 사례가 이번 논문이 비교한 두 계열이다. Huginn은 메릴랜드대 연구진 등이 2025년 공개한 3.5B 파라미터 모델로, 앞단(prelude)·반복 블록·뒷단(coda)으로 나뉜 '샌드위치' 구조를 쓴다. Ouro는 ByteDance Seed 등이 7.7T 토큰으로 학습한 1.4B·2.6B 모델로, 최대 12B급 모델과 비슷한 성적을 냈다고 발표된 바 있다.
세 가지 설계 요소를 따로 떼어 비교했다
IFM 연구진은 루프형 모델의 설계를 세 축으로 나눴다. 반복을 모델의 어느 위치에 둘지, 원래 입력을 반복할 때마다 다시 넣어 줄지(입력 주입), 반복 상태를 어떻게 구성할지다. 파라미터 수와 논리적 깊이, 학습 토큰 수를 맞춘 모델을 처음부터 학습시켜 요소 하나씩의 효과를 쟀다.
arXiv에 올라온 논문 'Towards Looped Models Done Right, Part I'에 따르면 샌드위치 구조는 문맥에서 정보를 뽑아내는 과제와 추론 비중이 큰 과제에서 꾸준히 성능을 높였다. 입력 주입은 주로 지식 검색과 문맥 활용에 도움이 됐다. 반면 반복 상태의 무작위 초기화나 상위·하위(H/L) 상태를 분리하는 방식은 효과가 엇갈리거나 오히려 성능을 떨어뜨렸다.
MoE로 키워도 효과가 유지되나
연구진은 결과가 전문가 혼합(MoE) 구조에서도 통하는지 확인하려고 총 8B·활성 0.8B 모델을 500B 토큰으로 학습했다. 반복을 펼쳐 계산하면 총 32B·활성 3B 규모에 해당한다. 이 실험에서도 Huginn 방식은 지식·추론·코딩 벤치마크 대부분에서 Ouro 방식을 앞섰고, 전문가 라우팅도 더 고르게 분산됐다.
효율 비교에서는 학습·추론 연산량(FLOPs)을 같게 맞췄을 때 Huginn 방식 모델이 112층 일반 MoE 모델보다 상주 파라미터를 75% 적게 썼다. 성능은 DROP과 GSM8K에서 앞섰고 MATH500에서는 같았으며 나머지 과제에서는 비슷한 수준이었다.
개발자가 바로 써 볼 수 있는 공개 범위
GitHub 저장소 xLLM-Loop에는 학습·평가·내보내기·증류 코드가 Apache 2.0 라이선스로 올라왔다. 체크포인트는 Hugging Face에 IFM/LoopedLM-P1·P2 이름으로 49개가 공개됐으며, 가중치에는 별도 라이선스 파일이 붙었다. 체크포인트는 Transformers 라이브러리가 아닌 저장소 자체 코드로 불러와야 한다. 실험은 엔비디아 H200 GPU에서 진행됐고 PyTorch 2.11, CUDA 12.8 이상이 필요하다.
전망: 메모리 부담 줄인 추론 모델의 설계 기준 될까
이번 연구는 새 모델의 최고 성적보다 '어떤 설계가 왜 효과적인가'를 같은 조건에서 가려낸 데 의미가 있다. 메모리에 올릴 파라미터를 줄이면서 계산 깊이를 늘리는 방식은 기기 안에서 돌리는 모델이나 추론 비용을 아끼려는 기업에 관심사다. 다만 실험 규모는 730M과 활성 0.8B 수준이어서 수십억~수천억 파라미터급에서도 같은 결과가 나오는지는 아직 확인되지 않았다. 대형 MoE 경쟁 흐름은 Reflection의 501B 오픈모델 Beam 공개 기사에서 볼 수 있다.
자주 묻는 질문
루프형 언어 모델은 일반 LLM과 무엇이 다른가?
일반 LLM은 층마다 다른 가중치를 쌓지만 루프형 모델은 같은 블록을 여러 번 반복 통과시킨다. 그래서 저장할 파라미터는 적게 두고 계산 깊이를 늘릴 수 있다.
xLLM-Loop 모델은 오픈소스인가?
코드는 Apache 2.0 라이선스로 공개됐다. 체크포인트 49개도 Hugging Face에 올라왔지만 가중치에는 별도 라이선스가 적용되므로 사용 전 LICENSE.weights 파일을 확인해야 한다.
Huginn 방식이 Ouro 방식보다 나은 이유는?
논문에 따르면 앞단·반복 블록·뒷단으로 나눈 샌드위치 구조가 문맥 추출과 추론 과제 성능을 높였다. 여기에 반복마다 입력을 다시 넣는 방식이 지식 검색을 도왔다.
