미 연방 권고문, AI 기업에 「증류 의심 트래픽에 오염된 답을 내주라」

9월 8일 공개된 연방 권고문에는 1년 전이었다면 사보타주로 읽혔을 권고가 들어 있다. 고객이 모델에서 학습 데이터를 캐내고 있다고 의심되면 조용히 더 나쁜 답을 내주라는 것이다. 미 당국은 이제 자국 AI 기업들에게 자사 API 응답을 지켜야 할 자산으로 다루라고 주문하고 있다. 다만 권고가 지지하는 전술은 돈을 내는 고객에게도 불편한 부작용을 남긴다.

핵심 요약

• 권고문 AA26-251A는 증류로 의심되는 트래픽에 미묘한 응답 변형을 적용하라고 주문한다. 출력을 열화시켜 상대가 모으는 학습 데이터셋 자체를 오염시키는 방식이다.
• 권고하는 탐지 신호는 기술이 아니라 상업 데이터다. 가입 직후부터 사용량 상한에 붙어 있는 계정, 사람의 행동으로 설명되지 않는 구독 대비 사용량 비율을 보라는 것이다.
• 문서가 묘사한 수법은 침입이 아니라 조달 사기에 가깝다. 프리미엄 구독의 대량 구매, 회색시장 프록시, 메타데이터를 지워주는 API 중개 서비스가 동원됐다.

방어선이 트래픽이 아니라 결제 데이터를 향하는 이유

NSA·CISA·FBI 공동 권고문이 나열한 대응책은 당국이 어디에 지렛대가 있다고 보는지를 드러낸다. 요청 단위 검사는 거의 언급되지 않는다. 대신 지침은 기업의 결제 시스템을 가리킨다. 구매한 구독 수와 실제 소비량의 비율을 보고, 개설 직후부터 한도까지 쓰는 신규 계정에 표시를 남기라는 것이다.

수법을 보면 그럴 만하다. 당국이 묘사한 것은 해킹이 아니다. 요청은 메타데이터를 가린 채 부정 개설된 다수 계정에 흩뿌려졌고, 지역 제한을 우회하는 회색시장 「환승역」을 거쳤으며, 식별 정보를 자동으로 지우는 제3자 API 중개 서비스로 흘러들어갔다. 처리량은 프리미엄 구독을 대량으로 사들여 확보했고, 도메인별 요청량은 수천 건에서 수백만 건에 이르렀다.

그 요청 하나하나는 모두 정상이다. 패턴은 계정과 결제 계층에서만 모습을 드러낸다. 권고문이 방어자를 바로 그곳으로 보내는 이유다.

응답 오염이 치를 대가

응답 변형 권고가 이 문서에서 가장 새롭다. 증류 의심 계정에 의도적으로 열화된 답을 내주면 상대가 쌓아 올리는 합성 말뭉치가 오염된다. 게다가 상대는 자신이 적발됐다는 사실조차 알지 못한다. 계정을 곧바로 차단하면 즉시 잃어버리는 이점이다.

대가는 오탐이 치른다. 평가를 일괄로 돌리는 연구소, 야간 파이프라인을 굴리는 기업, 실제 증류 작전은 사용량 비율만 놓고 보면 서로 닮았다. 돈을 내는 고객의 출력을 몰래 떨어뜨리는 것은 깔끔한 사후 수습 경로가 없는 제품 결정이다. 주요 사업자 가운데 이를 실제로 한다고 공개한 곳이 없는 이유도 여기 있을 것이다.

당국은 사고 사슬 흔적을 끌어내려는 프롬프트 인젝션도 함께 지목했다. 추론 흔적은 최종 답변보다 학습 자료로서 훨씬 값지다. 결론이 아니라 결론에 이르는 경로를 드러내기 때문이다. 여러 연구소가 최근 이를 요약해 내보내거나 기본값으로 감추는 배경이기도 하다.

지침 뒤에 놓인 혐의

권고문은 중국에 기반을 둔 6개 기업을 실명으로 지목했다. DeepSeek, Moonshot AI, Alibaba, MiniMax, StepFun, Z.AI다. 당국은 늦어도 2024년 말부터 Anthropic·OpenAI·Google·xAI의 모델을 상대로 수백만 건의 주고받음이 오갔고 수십억 토큰이 빠져나간 것으로 추산했다. 증류는 이들 기업 개발의 보완재가 아니라 핵심 축이라는 게 문서의 표현이다.

Anthropic도 앞서 약 2억 건의 주고받음을 기록한 보고서에서 같은 결론에 이르렀다. 사업자의 문제 제기는 으레 에누리해 듣게 되지만, 정보기관이 낸 권고문은 무게가 다르다. 게다가 실행 체크리스트까지 함께 붙어 나왔다.

전망

개발자에게 실질적인 질문은 그 마찰이 자신에게 떨어지느냐다. 질의량 할당, 적대적 입력 탐지, 조직 간 지표 공유는 하나같이 정상적인 대용량 API 작업의 비용을 끌어올린다. 지목된 기업 중 공개 시점까지 혐의를 공개 부인한 곳은 없었다. 사업자들이 체크리스트를 전부 받아들인다면 눈에 보이는 변화는 발표문이 아닐 것이다. 트래픽이 조금이라도 특이한 이용자에게 돌아올 더 빡빡한 요청 한도와 더 느려진 가입 절차다.

자주 묻는 질문

AI에서 지식 증류란 무엇인가

증류는 더 크고 성능이 좋은 모델의 출력으로 더 작거나 새로운 모델을 학습시켜, 원본 가중치 없이 동작만 옮겨오는 기법이다. 자기 소유 모델에 적용하면 표준적이고 정당한 방법이다. 경쟁사의 상업용 API 출력을 약관을 어기고 가져다 쓸 때 문제가 된다.

AI 기업이 증류를 실제로 막을 수 있나

완전히는 못 막는다. 권고문의 대응책은 추출을 봉쇄하기보다 비용과 적발 확률을 높이는 쪽이다. 사용 패턴 감시, 질의량 상한, 차등 프라이버시, 연구소 간 인프라 지표 공유가 그것이다. 공개 API로 노출된 모델은 설계상 어느 정도의 성능이 새어 나간다.

이 권고문이 AI 기업에 법적 의무를 지우나

아니다. AA26-251A는 규정이 아니라 권고이므로 대응책 이행은 자율이다. 실질적 무게는 NSA·CISA·FBI 공동 명의라는 데서 나온다. 사업자와 기업 고객이 이 위협 평가를 단순한 경쟁사 흠집 내기로 치부하기 어려워진다.