프랑스 AI 기업 LightOn이 10월 19일 Hugging Face 블로그에 희소(sparse) 검색 모델 SlideOn과 mSlideOn을 공개했다. 기존 밀집(dense)·후기 상호작용(late-interaction) 검색 모델을 희소 모델로 바꾸는 방식으로 만들었고, 다국어 장문 검색 벤치마크에서 원래 모델보다 10점 넘게 앞섰다.
핵심 정리
- 영어용 SlideOn(1억 7,400만 파라미터)은 BEIR-15 평균 nDCG@10 56.68점으로 출발 모델 DenseOn(56.20점)을 앞섰다.
- 다국어용 mSlideOn(3억 3,900만 파라미터)은 MLDR 장문 검색에서 61.68점을 기록해 mDenseOn(51.50점)보다 약 10.2점 높았다.
- LightOn은 두 모델과 희소 오토인코더(SAE) 체크포인트, 학습 코드를 Hugging Face와 GitHub에 함께 공개했다.
SlideOn은 어떤 검색 모델인가
SlideOn은 질의와 문서를 대부분 값이 0인 희소 벡터로 바꿔 찾는 검색 모델이다. LightOn이 Hugging Face 블로그에 올린 기술 글에 따르면 벡터는 3만 2,768개 특징(latent)으로 이뤄지고, 토큰마다 값이 큰 상위 32개만 남긴다. 0이 아닌 특징마다 그 특징이 켜진 문서 목록(역색인)을 만들어 두면, 검색할 때 질의와 겹치는 특징을 가진 문서만 살피면 된다. 전체 문서를 훑지 않아도 되므로 문서 수가 아주 많을수록 유리하다는 것이 LightOn의 설명이다.
일반적인 벡터 검색은 문서마다 768차원 같은 밀집 임베딩을 저장하고 거리를 계산한다. 희소 방식은 기존 키워드 검색 엔진의 역색인 구조를 그대로 쓸 수 있고, 어떤 특징이 결과를 끌어냈는지 들여다보기도 쉽다. LightOn은 학습된 특징이 "자동차"와 "승용차"처럼 표현이 다른 같은 개념을 묶거나, 언어가 달라도 같은 내용을 맞춰 준다고 밝혔다.
밀집 모델을 희소 모델로 바꾸는 방법
LightOn은 새 모델을 처음부터 학습하지 않고, 자사 밀집 모델 DenseOn과 다국어 후기 상호작용 모델 mLateOn을 출발점으로 삼았다. 먼저 출발 모델을 고정한 채 토큰 표현 위에 희소 오토인코더를 학습해 특징 사전을 만든다. 이후 디코더를 버리고 본체와 희소 인코더를 함께 미세 조정한다. 학습 데이터는 아랍어·독일어·영어·스페인어·프랑스어·이탈리아어·노르웨이어·포르투갈어·스웨덴어 9개 언어와 코드를 합친 약 1,630만 개 질의·정답 쌍이다.
mSlideOn은 질의와 문서를 최대 8,192토큰까지 받는다. 두 모델 모두 마트료시카(Matryoshka) 방식 가지치기를 지원해, 벡터에서 값이 큰 상위 항목만 남겨 색인 크기와 응답 속도를 줄일 수 있다.
SlideOn 성능은 SPLADE와 어떻게 다른가
LightOn이 공개한 영어 벤치마크 BEIR-15 결과에서 SlideOn은 56.68점으로 대표적인 희소 검색 모델 SPLADE-v3(50.46점)보다 6점 넘게 높았다. 다만 같은 회사의 후기 상호작용 모델 LateOn(57.22점)에는 0.54점 못 미쳤다. 검색 연산량 지표(FLOPS)는 SlideOn이 30.87로 SPLADE-v3(5.55)보다 커서, 정확도를 얻는 대신 계산 비용을 더 쓰는 구조다.
| 모델 | 파라미터 | BEIR-15 | FLOPS |
|---|---|---|---|
| SlideOn | 1억 7,400만 | 56.68 | 30.87 |
| DenseOn(밀집) | 1억 4,900만 | 56.20 | - |
| LateOn(후기 상호작용) | 1억 4,900만 | 57.22 | - |
| SPLADE-v3 | 1억 3,300만 | 50.46 | 5.55 |
다국어 모델 mSlideOn은 18개 언어 MIRACL에서 62.78점, 코드 검색 MTEB Code에서 74.78점을 기록해 각각 mDenseOn보다 4.76점, 3.25점 높았다. 반면 영어 BEIR-15에서는 56.00점으로 mDenseOn(56.70점)에 뒤졌다.
RAG 개발자에게 의미와 한계
희소 검색 모델은 검색 증강 생성(RAG) 시스템에서 기존 검색 엔진 인프라를 살리면서 의미 검색 품질을 끌어올리는 선택지가 된다. 앞서 Ai2가 인용 리포트 작성 시간을 줄인 8B 모델을 공개한 것처럼, 검색 품질은 AI 답변의 근거를 좌우하는 요소로 꼽힌다. 다만 LightOn은 시스템마다 하드웨어와 설정이 달라 지연 시간·색인 크기의 절대 수치는 글에 밝히지 않았다. 다국어 학습 데이터도 일부 언어에 치우쳐 있어 한국어 등 다른 언어 성능은 일반화 결과에 기대야 한다. 블로그는 "허용적 라이선스"로 공개했다고 밝혔지만, 이 기사 작성 시점 모델 페이지에서는 구체적인 라이선스 이름을 확인하지 못했다.
자주 묻는 질문
SlideOn은 오픈소스인가?
LightOn은 SlideOn·mSlideOn 모델과 SAE 체크포인트, 학습·평가 코드를 Hugging Face와 GitHub에 공개했다. 블로그는 허용적 라이선스라고 밝혔으므로, 상업적으로 쓰기 전에는 모델 페이지에서 정확한 라이선스 조건을 확인하는 것이 좋다.
희소 검색과 벡터 검색은 무엇이 다른가?
벡터 검색은 모든 값이 채워진 밀집 벡터 사이 거리를 계산한다. 희소 검색은 대부분 값이 0인 벡터를 역색인에 넣고, 질의와 겹치는 특징을 가진 문서만 찾아 계산량과 색인 메모리를 줄일 수 있다.
SlideOn은 한국어를 지원하나?
mSlideOn의 학습 데이터에는 한국어가 포함되지 않았다. 학습 언어는 영어·프랑스어·독일어 등 9개 언어와 코드이며, 그 밖의 언어 성능은 별도로 검증해 봐야 한다.
