AI 에이전트 메모리 오염, 최대 71% 후속 작업까지 번져

마이크로소프트와 미국 렌슬리어공과대(RPI) 연구진이 11월 6일 아카이브(arXiv)에 공개한 벤치마크 '메모리도조(MemoryDojo)'에서, 도구 결과 한 건에 심은 악성 지시가 이후 무관한 세션의 AI 에이전트 행동까지 바꾼 비율이 최대 71%로 나타났다. 오픈소스 에이전트 메모리 시스템 5종을 시험한 결과 공격에서 자유로운 시스템은 없었다.

핵심 정리

• A-MEM, 그래피티(Graphiti), 레타(Letta), 멤제로(Mem0), 메모라(Memora) 5종 모두 오염된 지시가 이후 작업에 영향을 미쳤다.
• 메모리 구조에 맞춰 공격문을 다듬자 이후 작업 중 영향을 받은 비율이 약 2~31%포인트 올랐다.
• 정상 대화 기록이 많이 쌓이면 공격이 약해져 작업 단위 성공률은 5.32% 이하로 떨어졌지만, 메모라는 실행의 45.16%에서 여전히 영향을 받았다.

에이전트 메모리 오염 공격이란

에이전트는 원래 맥락이 사라진 뒤에도 사실과 선호를 다음 세션으로 넘기려고 메모리를 쓴다. 이 기능이 일회성 프롬프트 인젝션을 지속적인 행동으로 바꿀 수 있다. 연구진은 청구서를 특정 주소로 전달하는 것이 사용자의 선호라고 속이는 이메일을 예로 들었다. 메모리가 없으면 청구서 한 건이 유출되는 데 그치지만, 메모리가 있으면 이후 모든 청구서에 같은 규칙이 적용될 수 있다.

벤치마크에서 공격자가 건드릴 수 있는 것은 외부 도구 호출 한 번의 반환 내용뿐이다. 시스템 프롬프트와 사용자 요청, 메모리 소프트웨어는 바꾸지 않고 악성 지시도 한 번만 넣는다.

메모리 시스템별 메모리도조 결과

메모리도조는 에이전트도조(AgentDojo) 과제를 바탕으로 업무, 여행, 은행, 슬랙 4개 영역에 걸친 다중 세션 시나리오 155개로 구성됐다. 주요 실험의 에이전트는 오픈AI GPT-5.6 루나다. 아래 표는 같은 영역 시나리오 93개의 결과다.

저장 단계는 거의 막지 못했다. 기본 공격문은 4개 시스템에서 약 98~99% 실행에서 메모리에 기록됐고, LLM으로 사실을 추출하는 멤제로만 60.75%였다. 차이는 검색에서 갈렸다. A-MEM과 메모라는 이후 작업의 80% 이상에서 오염된 내용이 불려 나왔지만 그래피티는 33.43%였다.

불려 나왔다고 곧 피해로 이어지지는 않았다. 4개 시스템에서는 검색 4건 중 1건 정도만 공격자의 목표 실행으로 연결됐다. 최적화는 이 간격을 좁혀 레타의 경우 23.59%에서 64.06%로 높였다.

공격이 약해진 조건

메모리를 정상 대화 약 50세션으로 먼저 채우자 모든 시스템에서 검색률이 떨어졌다. 레타는 이 실험에서 이후 작업 도달률이 0이었고 검색률은 55.66%에서 7.94%로 낮아졌다.

실험실 밖의 메모리 오염

마이크로소프트 디펜더 연구팀은 2월 10일 'AI로 요약' 버튼을 통해 AI에 추천을 심으려는 시도를 14개 업종 31개사에서 50종 넘게 찾았다고 밝혔다. 팔로알토네트웍스 유닛42는 2025년 10월 악성 웹페이지로 아마존 베드록 에이전트의 장기 메모리를 오염시키는 개념검증을 공개했다. 아마존은 자사 가드레일 기능이 효과적으로 방어한다는 입장을 밝혔다.

앤트로픽은 지난주 클로드 에이전트가 '드리밍'으로 잘못된 기억을 고치는 방식을 공개했다.

전망

이번 실험은 샌드박스 과제와 합성 시나리오로 진행돼 수치가 실제 환경의 피해 규모를 뜻하지는 않는다. 코드는 아직 공개되지 않았고 연구진은 공개하겠다고 밝혔다. 메모리 방어 기법의 체계적 평가는 후속 과제로 남겼다. 연구진은 메모리 구조를 "에이전트 보안 평가의 핵심 요소로 다뤄야 한다"고 주장했다.

자주 묻는 질문

AI 에이전트 메모리 오염이란?

에이전트가 읽은 문서나 메시지 같은 신뢰할 수 없는 내용이 장기 메모리에 저장돼 이후 세션의 행동에 영향을 주는 공격이다.

개발자는 어떻게 대비해야 하나?

메모리도조는 방어책을 시험하지 않았다. 유닛42는 신뢰할 수 없는 입력을 모두 잠재적 공격으로 간주하고 콘텐츠 필터링, 접근 통제, 로깅, 상시 모니터링을 겹쳐 적용하라고 권고한다.

참고 자료

• MemoryDojo: Benchmarking Poisoning Through LLM Agent Memory — arXiv(2026년 11월 6일)
• Manipulating AI memory for profit: The rise of AI Recommendation Poisoning — 마이크로소프트 보안 블로그(2026년 2월 10일)
• When AI Remembers Too Much – Persistent Behaviors in Agents' Memory — 팔로알토네트웍스 유닛42(2025년 10월 9일)