AI 결과물의 출처를 증명하려고 의무화한 텍스트 워터마킹이 에이전트의 도구 선택과 모델의 거부 유지 여부까지 바꾸는 것으로 나타났다. Lasso Security가 9월 17일 공개한 연구 결과다. 이 연구가 던지는 더 날카로운 지적은 방법론에 있다. 벤치마크 총점이 거의 움직이지 않기 때문에 이 현상이 지금까지 드러나지 않았다는 것이다.
핵심 요약
- phi-4에서 워터마킹은 도구 호출 정확도를 2.87포인트 떨어뜨리는 데 그쳤지만, 개별 호출의 16.8%를 뒤집었다. 모델·온도 조합 21가지의 평균 변동률은 6.5%였다.
- 프롬프트 인젝션 조건에서 Gemma-3-27b의 유해 요청 수용률은 1.0포인트 감소에서 12.5포인트 증가로 뒤집혔고, Gemma-3-12b도 −0.5에서 +9.0포인트로 움직였다.
- Lasso는 실제 배포에 쓸 워터마크 설정을 그대로 켜둔 채 에이전트 평가와 레드팀 테스트를 다시 하라고 권고했다.
총점이 이 효과를 가리는 이유
EU AI법은 모델 제공사에 결과물을 기계가 읽을 수 있는 코드로 표시하도록 요구한다. Google DeepMind의 SynthID-Text가 그 구현 중 하나로, Anthropic과 OpenAI가 채택했다. 통계적으로 비슷한 다음 토큰 후보들 사이에서 모델의 선택을 살짝 밀어, 읽는 사람 눈에는 보이지 않지만 키를 가진 쪽은 잡아낼 수 있는 패턴을 남기는 방식이다.
연구자 안드레아 시포소바는 여기서 생기는 행동 변화를 샘플링 드리프트라고 부른다. 사람은 바뀐 단어를 알아차리지 못한다. 하지만 텍스트를 함수 호출로 바꾸는 에이전트는 알아차린다.
호출이 필요한 1,150개 항목을 담은 BFCL v4 단일 턴 AST 벤치마크로 재보면 순손실은 사소해 보인다. 온도 1.0의 phi-4에서 워터마킹이 깎은 정확도는 2.87퍼센트포인트였다. 그런데 워터마킹을 끈 실행과 1:1로 짝지어 비교하자 개별 호출의 16.8%가 서로 어긋났다. Llama-3.1-8B는 순변화 0.87포인트에 불일치율 9.9%를 기록했다. 틀린 호출과 새로 맞은 호출이 평균에서 상쇄되는 사이, 에이전트는 양쪽 모두에서 다르게 움직인 셈이다.
프롬프트 인젝션에서 벌어지는 일
거부 행동은 HarmBench의 유해 행동 200건과 JailbreakBench의 정상 대조군 100건으로 측정했다. 아무 조작이 없는 상태와, 안전 필터가 꺼졌다고 주장하는 명령을 주입한 상태를 각각 시험했다.
조작 없는 유해 요청에서는 변화가 크지 않았다. 인젝션 조건은 달랐다. 온도 0.001에서 Gemma-3-27b는 인젝션이 없을 때 수용률이 1.0포인트 낮아졌지만, 인젝션이 들어가자 12.5포인트 높아졌다. Gemma-3-12b는 −0.5에서 +9.0으로 옮겨갔다. Llama-3.1-8B의 변동률은 같은 온도에서 14.0%, 0.7에서는 17.5%였다. 워터마킹이 여러 모델을 평소라면 거절했을 요청에 측정 가능한 수준으로 더 순응하게 만들었다.
실험은 손대지 않은 SynthID-Text 기본 설정을 그대로 썼다. Tournament 레이어 30개, n-gram 길이 5, 2^16 샘플링 테이블, 컨텍스트 히스토리 1,024토큰이다. 결과를 끌어내려고 조정한 값은 없다.
위험을 떠안는 쪽
이 효과는 조직의 경계를 넘는다. 워터마킹된 모델을 호출하는 에이전트 프레임워크나 API 클라이언트는 제공사의 워터마킹이 만들어낸 출력 변동을 그대로 받는다. 운영자가 워터마킹이 켜져 있다는 사실을 알든 모르든 마찬가지다. Google DeepMind는 SynthID-Text를 출처 증명 도구로 내놓았지 정렬에 영향이 없는 도구라고 말한 적이 없고, 하위 팀들이 기대는 가드레일은 워터마킹이 없는 상태에서 검증됐다.
Lasso는 워터마킹이 부당하다고 주장하지 않는다. 보안 평가에 워터마킹된 콘텐츠를 반드시 포함하고, 총합 차이 대신 1:1 짝 비교를 쓰며, 프롬프트 인젝션 사례를 명시적으로 돌려야 한다는 것이 이 회사의 입장이다.
전망
출처 증명 요구는 그것을 다룰 평가 관행보다 빠르게 밀려오고 있다. 워터마크를 켜기 전에 에이전트의 거부 행동을 인증해둔 팀은 이제 실제 서비스와 다른 샘플링 분포에서 얻은 결과를 손에 쥐고 있는 셈이다. 에이전트가 자기 가중치를 다시 쓰는 사건보다는 작은 문제지만, 규제가 워터마킹을 기본값으로 켜게 될 것이라는 점에서 훨씬 넓게 퍼질 문제다.
자주 묻는 질문
워터마킹이 AI 모델을 덜 안전하게 만드나
Lasso의 데이터는 안전성이 일률적으로 나빠지기보다 안전 행동 자체가 이동한다는 것을 보여준다. 조작 없는 유해 요청에서는 영향이 크지 않았지만, 프롬프트 인젝션 아래에서는 여러 모델이 요청을 더 잘 들어줬다. Gemma-3-27b는 두 조건 사이에서 13.5포인트나 흔들렸다.
샘플링 드리프트란 무엇인가
워터마킹이 통계적으로 비슷한 후보들 사이에서 모델이 고르는 토큰을 바꿔 생기는 행동 변화를 Lasso가 부르는 이름이다. 이 치환은 문장에서는 보이지 않지만, 에이전트가 어떤 도구를 부르는지, 어떤 인자를 넘기는지, 거부를 끝까지 지키는지를 바꿀 수 있다.
벤치마크 정확도는 왜 거의 그대로인가
오차가 서로 상쇄되기 때문이다. 워터마킹 탓에 틀리게 된 호출을 새로 맞게 된 다른 호출이 메워 총점은 거의 평평하게 남는다. Lasso는 대신 짝 비교로 불일치를 측정했고, 순정확도 손실이 3포인트도 안 되는 모델에서 최대 16.8%의 변동을 찾아냈다.
