단순 RAG가 복잡한 AI 메모리 이겼다…7개 중 6개 1위

중국 시안교통대(Xi'an Jiaotong University) 연구진이 10월 22일 arXiv에 공개한 논문 'Is Complex Agentic Memory Always Needed?'에서, 대화 기록을 가공하지 않고 그대로 검색하는 단순 RAG가 정교한 에이전트 메모리 시스템보다 장기 대화 이해 성적이 좋다는 실험 결과를 내놨다. 연구진이 'Raw-RAG'라고 부른 이 기준선은 벤치마크와 모델을 조합한 7개 조건 중 6개에서 1위를 차지했다.

핵심 정리

• Raw-RAG는 LoCoMo·LongMemEval·MEME·MemoryAgentBench 4개 벤치마크, 7개 조건 중 6개에서 비교 대상 메모리 시스템을 앞섰다.
• 가장 강한 에이전트 메모리 대비 격차는 0.13~5.53점이며, MemoryAgentBench에서 DeepSeek-V4-Flash를 썼을 때 53.41점 대 47.88점으로 가장 컸다.
• 연구진은 원문을 보존해 필요한 근거를 더 많이 확보하는 '커버리지'가 승부를 갈랐다며 단순 RAG를 필수 기준선으로 삼아야 한다고 결론 내렸다.

단순 RAG는 어떻게 에이전트 메모리를 이겼나

Raw-RAG는 대화 기록을 요약하거나 고쳐 쓰지 않고 원문 그대로 검색해 답을 만든다. 연구진이 GitHub에 공개한 구현 코드 설명에 따르면, 원문을 겹치는 구간(윈도)으로 잘라 임베딩한 뒤 코사인 유사도로 상위 구간을 고르고, 크로스 인코더로 순위를 다시 매겨 답변 모델에 넘긴다. 구축·검색·재순위화·읽기의 네 단계가 전부다.

비교 대상은 기억을 수정·삭제하거나, 구조화해 정리하거나, 검색 방식을 학습하는 에이전트 메모리 시스템이다. 각 조건에서 가장 강했던 상대는 MemMachine, EverMemOS, Memora였다. 답변 모델로는 OpenAI의 GPT-4o-mini와 GPT-4.1-mini, 딥시크의 DeepSeek-V4-Flash를 썼다.

벤치마크별 점수는 얼마나 차이 났나

연구진이 공개한 결과표에서 Raw-RAG가 진 조건은 MEME 벤치마크에 DeepSeek-V4-Flash를 쓴 경우 하나였다. 이 조건에서 Raw-RAG는 43.19점으로 MemMachine(44.71점)에 1.52점 뒤졌다.

LoCoMo와 LongMemEval에서는 격차가 1점 안팎으로 작았다. 반면 MemoryAgentBench에서는 두 답변 모델 모두 4점 이상 앞섰다.

원문 보존이 왜 중요한가

연구진은 Raw-RAG의 강점을 '커버리지'로 설명했다. 에이전트 메모리는 찾아온 정보를 더 잘 활용하지만, 기억을 가공하는 과정에서 답에 필요한 근거 일부가 빠진다는 분석이다. 필요한 근거에는 답 자체뿐 아니라 답을 끌어내는 데 쓰이는 관계와 연결 경로도 포함된다.

연구진은 답변 모델이 가공된 메모리 저장소 전체를 볼 수 있게 해도 원문 근거를 줄 때보다 정확도가 낮았다고 밝혔다. 연구진은 이 결과를 원문 정보를 보존하는 일이 중요하다는 근거로 해석했다.

AI 메모리 개발에 주는 시사점

최근 챗봇과 에이전트 업계는 사용자의 긴 대화를 기억하는 메모리 기능을 경쟁적으로 내놓고 있다. 이번 결과는 복잡한 메모리 구조를 도입하기 전에 원문 검색 기준선과 먼저 비교해야 한다는 근거가 된다. 검색 품질 자체를 끌어올리려는 시도도 이어지고 있다. 앞서 LightOn이 공개한 희소 검색 모델 SlideOn도 장문 검색 성능 개선을 내세웠다.

다만 이번 논문은 동료 심사를 거치지 않은 사전 공개본이고, 평가가 특정 벤치마크의 장기 대화 질의응답에 한정됐다. 연구진도 결론을 "평가한 과제에서" 복잡한 메모리가 꼭 필요하지는 않다는 수준으로 제한했다. 비용·지연 시간까지 포함한 비교는 후속 검증이 필요하다.

자주 묻는 질문

Raw-RAG란 무엇인가?

Raw-RAG는 대화 기록을 요약하거나 고치지 않고 원문 그대로 잘라 저장한 뒤, 질문과 비슷한 구간을 검색해 답변 모델에 넘기는 단순 RAG 방식이다. 시안교통대 연구진이 에이전트 메모리와 비교하기 위한 기준선으로 설계했다.

복잡한 AI 메모리 시스템은 쓸모가 없다는 뜻인가?

그렇지 않다. 연구진은 평가한 장기 대화 과제에서 복잡한 메모리의 필요성이 분명하지 않다고 결론 내렸을 뿐이며, MEME 벤치마크 한 조건에서는 MemMachine이 Raw-RAG를 앞섰다.

Raw-RAG 코드는 공개됐나?

공개됐다. 연구진은 GitHub 저장소 Litmeb/RAW-RAG에 구현과 실험 코드를 올렸다. 다만 저장소 페이지에는 라이선스가 명시돼 있지 않다.