신규MBZUAI 연구진, 루프형 LLM 설계 비교…상주 파라미터 75%↓
MBZUAI IFM 연구진이 루프형 언어 모델의 설계 요소를 비교한 결과, Huginn 방식이 Ouro를 앞서고 MoE에서 상주 파라미터를 75% 줄였다. 코드와 체크포인트 49개도 공개됐다.
Seung Jung·
3분#Looped Language Model
신규신규신규MBZUAI IFM 연구진이 루프형 언어 모델의 설계 요소를 비교한 결과, Huginn 방식이 Ouro를 앞서고 MoE에서 상주 파라미터를 75% 줄였다. 코드와 체크포인트 49개도 공개됐다.