IBM, 프롬프트 인젝션 공격 성공률 6% 미만으로 낮춘 LLMON 공개

IBM이 11월 12일(현지시간) 사용자 지시와 문서·데이터·도구 결과를 구분하도록 학습한 실험용 Granite 4.1 모델 2종을 공개했다. IBM 연구진이 밝힌 시험 결과에 따르면 간접 프롬프트 인젝션 공격 성공률이 기존 53~100%에서 0.02~5.6%로 떨어졌다.

핵심 정리

• IBM은 granite-4.1-3b-LLMON-preview와 granite-4.1-8b-LLMON-preview를 허깅페이스에 아파치 2.0 라이선스로 공개했다.
• 두 모델은 프롬프트의 모든 부분에 꼬리표를 달고 어떤 지시를 어떤 입력에 실행할지 지정하는 마크업 'LLMON'으로 입력을 받는다.
• IBM은 이 방어가 학습된 행동일 뿐 보장은 아니라며, 실서비스용이 아닌 미리보기 버전이라고 밝혔다.

LLMON이란 무엇인가

LLMON은 'LLM Object Notation'의 약자로 '레몬'처럼 읽는다. 시스템 정책, 지시, 데이터, 검색 문서, 도구 정의, 도구 결과를 각각 주소를 붙인 블록으로 감싼다. 블록 경계는 예약된 구분자 6개로 표시하며 각각 토큰 하나다.

여기에 별도의 'exec' 블록이 어떤 지시를 실행하고, 어떤 입력에 적용하며, 답을 어디에 쓸지 가리킨다. 모델 카드에 따르면 exec가 지목한 지시·시스템 블록만 권한을 갖고, 입력으로 들어온 문서·도구 출력은 명령이 아닌 읽을 자료로 취급한다.

마크업은 모델에 포함된 채팅 템플릿이 자동으로 만들어 주며, IBM 깃허브 저장소에는 JSON과 LLMON을 손실 없이 상호 변환하는 도구가 있다.

프롬프트 인젝션 시험 결과

학습 방법은 IBM 연구진이 10월 28일 아카이브(arXiv)에 올린 논문에 담겼다. 연구진은 46억 토큰 규모의 학습 데이터를 LLMON 형식으로 다시 만들고, 맥락에는 있지만 exec 블록에 연결되지 않은 미끼 지시를 섞었다. 지도 미세조정 뒤 강화학습 5단계와 약 1,000쌍의 선호 데이터 조정을 거쳤다.

IBM 허깅페이스 블로그에 따르면 OPI 벤치마크에서 LLMON 모델은 시험한 최고 성능 프런티어 모델보다 47%, 최고 오픈소스 모델보다 95% 더 많은 공격을 막았다. ASB와 StruQ 벤치마크에서도 비슷한 경향이 나왔다. 다만 IBM은 이들 벤치마크가 정적 인젝션만 다루며, 여러 대화 턴에 걸친 적응형 공격 대응은 아직 개발 중이라고 밝혔다.

지시와 데이터 분리가 중요한 이유

간접 프롬프트 인젝션은 웹페이지, 이메일, 도구 응답처럼 AI가 읽는 내용 속에 명령을 숨기는 공격이다. AI 에이전트가 신뢰할 수 없는 자료를 읽고 실제 권한으로 움직일수록 위험이 커진다. 이달 공개된 마이크로소프트 관련 벤치마크에서는 오염된 도구 결과 하나가 에이전트의 이후 세션을 최대 71%의 실행에서 조종했다.

LLMON은 외부 필터 대신 입력 형식과 학습 자체에 경계를 넣는 방식이다. 모델 구조는 바꾸지 않았으며, 한국어와 일본어를 포함한 12개 언어를 지원한다.

전망

IBM은 개발자들에게 무엇이 잘 되고 무엇이 깨지는지 깃허브 토론 게시판으로 알려 달라고 요청했다. 모델 카드는 일반 채팅 형식 프롬프트를 넣으면 품질이 떨어지며, 민감한 시스템에 접근하는 에이전트의 유일한 방어 수단으로 쓰지 말라고 경고했다.

자주 묻는 질문

LLMON 모델을 실서비스에 써도 되나

아직은 아니다. IBM은 탐색·평가용 실험 미리보기라고 설명한다.

LLMON이 모든 프롬프트 인젝션을 막나

그렇지 않다. IBM은 데이터에 숨은 지시를 따를 가능성을 크게 줄이지만 없애지는 못하며, 여러 턴에 걸친 적응형 공격은 남은 과제라고 밝혔다.

참고 자료

• LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B — IBM Granite, Hugging Face(2026년 11월 12일)
• ibm-granite/granite-4.1-3b-llmon-preview — Hugging Face 모델 카드(2026년 11월 12일)
• Post-Training Large Language Models with LLMON — arXiv(2026년 10월 28일)