🇺🇸 English 🇰🇷 한국어 🇯🇵 日本語
홈 › 개발자 도구
개발자 도구

앤트로픽, 클로드 에이전트 '드리밍'으로 잘못된 기억 고친다

앤트로픽이 11월 6일 에이전트 메모리 연구를 공개했다. 메모리를 쓰자 클로드 오퍼스 5.5의 CL-Bench 점수가 0.655에서 0.838로 올랐고, 기록을 다시 훑는 '드리밍'은 잘못된 메모를 고치고 위키 단독 점수를 13%에서 48%로 끌어올렸다.

앤트로픽(Anthropic)이 11월 6일 AI 에이전트가 세션과 세션 사이에 무엇을 기억할지 스스로 고르는 방식과, 지난 작업 기록을 다시 훑어 잘못된 메모를 바로잡는 '드리밍(dreaming)' 기법의 실험 결과를 담은 연구 글을 공개했다. 한 실험에서는 드리밍 세션을 2회에서 128회로 늘리며 위키를 키우자, 기업 내부 문서에 관한 25개 질문의 채점 기준 충족률이 13%에서 48%로 올랐다.

작은 서랍이 여러 줄로 늘어선 공공도서관의 나무 카드 목록함
미국 내슈아 공공도서관의 카드 목록함(자료사진). 사진: MarkBuckawicki / 위키미디어 공용(CC0 1.0)

핵심 정리

  • CL-Bench 1.0 데이터베이스 과제에서 메모리를 쓰자 클로드 오퍼스 5.5의 평균 보상은 0.655에서 0.838로, 오퍼스 4.7은 0.383에서 0.700으로 올랐다.
  • '실패만 기록하라' 같은 고정 규칙은 오퍼스 5와 오퍼스 4.7의 메모리 효과를 상당 부분 깎았다.
  • 드리밍은 메모를 세션 기록과 대조해 고친다. 포켓몬 실험에서는 길 찾기 오류를 바로잡았다.

클로드 에이전트 메모리는 어떻게 작동하나

앤트로픽이 말하는 에이전트 메모리는 모델 가중치가 아니라, 경험에서 얻어 세션 사이에 파일로 남기는 지식이다. 맨 아래에 검색 가능한 대화 기록이 있고, 그 위로 작업 중 쓰는 메모, 위키 같은 정리본, 새 세션마다 미리 불러오는 소수의 핵심 메모가 쌓인다. 드리밍은 쉬는 시간에 이 층을 다시 정리하는 작업이다.

모델별 메모리 효과, 수치로 보면

실험은 클로드 매니지드 에이전트(Claude Managed Agents)에서 질문마다 새 세션으로 진행됐고, 이어지는 것은 메모리 폴더 하나뿐이었다. 메모리를 쓰면 소네트 5.5는 0.644에서 0.833으로, 오퍼스 5는 0.564에서 0.828로 올랐다.

구형 모델은 유도의 효과가 컸다. 소네트 4.6은 메모리만 줬을 때 0.364였지만, 메모를 먼저 읽고 가설을 검증하라고 지시하자 0.641로 뛰었다(기준선 0.330). 연구진은 "메모리가 무엇을 위한 것인지는 알려 주되 쓰는 방법까지 정해 주지 않는 편이 도움이 됐다"고 적었다.

포켓몬 실험이 보여 준 '골라 기억하기'

포켓몬 레드를 약 1만 걸음 진행한 시점에 소네트 3.7은 225개 폴더에 메모 파일 413개를 쓰고 배지 1개를 얻었다. 클로드 페이블 5는 폴더 2개에 파일 9개, 최상위 global.md 파일 하나만 두고 배지 4개를 땄다.

다른 실험에서 클로드는 달맞이산(Mt. Moon) 근처 건물 위치를 잘못 적어 절벽 아래로 거듭 떨어졌다. 드리밍으로 메모를 고친 쪽만 블루시티(Cerulean City)에 도착했다.

위키와 검색을 함께 쓰면

위키 실험에는 앤트로픽이 5월 인수한 소프트웨어 기업 스테인리스(Stainless)의 내부 파일 약 35만 개(약 4억2,000만 토큰)가 쓰였다. 위키와 검색을 함께 쓰자 점수는 위키가 커지면서 54%에서 61%로 올랐고, 검색만 쓸 때는 53%였다. 질문당 약 2만 토큰도 아꼈다. 다만 효과가 뚜렷하지 않은 법률 과제도 있었다.

배경: 매니지드 에이전트의 드리밍 기능

드리밍은 5월 개발자 행사 '코드 위드 클로드(Code with Claude)'에서 매니지드 에이전트 기능으로 처음 공개됐다고 미국 IT 매체 실리콘앵글이 전했다. 개발자 문서에 따르면 기존 메모리 저장소와 과거 세션 1~100개를 받아 원본은 두고 새 저장소를 만든다. 신청자에게만 여는 연구 프리뷰이며 표준 토큰 단가가 적용된다.

전망

앤트로픽은 에이전트가 언제 메모를 남겨야 하는지, 연산 비용을 고려해 드리밍을 얼마나 자주 돌려야 하는지를 남은 과제로 꼽았다. 정식 출시 시점은 밝히지 않았다.

자주 묻는 질문

클로드의 드리밍이란 무엇인가?

과거 세션 기록과 메모리 저장소를 오프라인으로 다시 검토해 중복을 합치고 오류를 고친 새 저장소를 만드는 작업이다.

개발자가 지금 바로 쓸 수 있나?

클로드 API의 매니지드 에이전트 연구 프리뷰로만 제공되며 이용 신청이 필요하다. 요금은 표준 토큰 단가가 적용된다.

참고 자료

#앤트로픽 #클로드 #에이전트 메모리 #드리밍 #매니지드 에이전트 #AI 에이전트 #CL-Bench #장기 기억 #클로드 오퍼스 5.5
정
정승
AI Newsway · 개발자

AI Newsway의 편집 책임자이자 개발자입니다. 인공지능·개발 도구·클라우드·생산성 기술 기사를 씁니다.

기자의 다른 기사 ›
저작권자 © AI Newsway 무단전재 및 재배포, AI학습 및 활용 금지
공유
f X K

댓글 0

현재 댓글 작성이 비활성화되어 있습니다.

첫 댓글을 남겨보세요.