지금까지 공개된 미군 내부 AI 실패 사례 가운데 가장 파장이 큰 건은 통제를 벗어난 시스템이 아니었다. 문서 서식 단계였다. 특수전 분석관이 챗봇에 질문을 던져 틀린 답을 받았고, 그 답을 다시 AI에 넣어 공식 정보 보고서처럼 보이는 문서로 만들었다. CNN은 금요일 보도에서 소식통 4명을 인용해, 이렇게 만들어진 문서가 올봄 중국 선박에 대한 무장 차단 작전을 실제로 움직였고 당국이 오류를 잡아낸 것은 그다음이었다고 전했다.
핵심 요약
- 특수전사령부 분석관이 공개 출처 자료와 기밀 신호정보를 결합하려고 챗봇에 질의했고, 모델은 중국 선박의 화물에 대해 거짓 결론을 내렸다.
- 같은 분석관은 AI를 한 번 더 써서 그 결론을 표준 정보 보고서 형식으로 가공했고, 문서는 아무런 의심 없이 지휘 계통을 돌았다.
- CNN 소식통들은 이번 사안이 단발성이 아니며, AI가 만든 정보를 어떻게 검증할지 규정한 단일 기준이 미군 전체에 없다고 밝혔다.
두 번째 AI 사용이 첫 번째보다 중요했던 이유
모두가 주목할 지점은 환각이다. 그런데 그쪽이 덜 흥미로운 절반이다. 모델은 늘 없는 것을 지어내고, 모델을 쓰는 분석관은 출력을 버릴 각오를 하고 일한다.
그 각오를 지운 것이 바로 포장이었다. 주장이 표준 보고서 형식으로 옮겨지는 순간, 그것은 더 이상 챗봇 답변처럼 보이지 않았다. 완성된 정보로 보였다. 지휘 계통의 모든 후속 독자는 실제로는 거치지 않은 출처 확인 절차를 거친 듯한 형식의 문서를 받아 들었다.
최초의 적하목록 보고는 하와이에 있는 미 태평양특수작전사령부에서 나왔다. 챗봇은 이를 기밀 신호정보와 결합해 해당 선박이 핵무기 부품을 싣고 있다는 결론을 냈다. CNN 소식통 한 명은 이 보고가 전적으로 거짓이었으며, 하마터면 전쟁을 일으킬 뻔했다고 말했다.
어디까지 갔나
시점이 오류를 유난히 위험하게 만들었다. 보고서가 올라온 때는 이란과의 전쟁 중이었다. 지체를 감수할 여유가 거의 없었다.
무장 병력이 승선 준비에 들어갔고, 항공기는 이미 떠 있었다. 작전을 멈춘 것은 뒤늦게 이뤄진 출처 검토뿐이었다. CNN은 화물의 실체가 무엇이었는지는 확인하지 못했고, 국방부와 태평양특수작전사령부 모두 논평 요청에 답하지 않았다고 전했다.
중국 선적 선박을 상대로 한 미국의 조치는 화물의 내용과 별개로 확전 위험을 안는다. 잘못된 문단 하나가 두 핵보유국 사이의 교전으로 이어질 수 있었던 이유다.
아무도 책임지지 않는 검증 공백
관계자들은 도입 방식이 분권적이라고 설명했다. 각 사령부가 알아서 도구를 고르고, 각자의 지침과 안전 기준 아래 운용한다. 모델이 내놓은 결과를 어떻게 검증할지 알려주는 공통 규칙은 없다.
이 시스템들을 잘 아는 전직 고위 관계자는 CNN에 직설적인 평가를 내놨다. 정부 내부 도구라는 것도 대개는 화장만 한 상용 제품이라는 것이다. 기밀 환경에 배치됐다는 이유만으로 소비자용 챗봇보다 본질적으로 더 믿을 만하다는 통념을 정면으로 반박하는 진단이다.
나머지는 작동 원리가 설명한다. 대규모 언어 모델은 담긴 주장이 근거를 갖췄는지와 무관하게 매끄럽고 잘 짜인 문장을 만들어낸다. 환각에는 눈에 띄는 표식이 없다. 문장의 자신감은 세상에 대한 증거가 아니다. 한 소식통은 이 구조를 한 문장으로 압축했다. AI는 나쁜 판단에 더 빨리 도달하게 해준다는 것이다.
정책적 배경
속도는 사고가 아니라 공언된 목표다. 피트 헤그세스 국방장관은 1월 인공지능 가속 전략을 내놓으며 실험을 풀어주고 관료적 장벽을 없애겠다고 약속했다. 함께 나온 메모는 국방부 전반에 AI를 보편화해 모든 기밀 등급에서 민간·군 인력 300만 명의 손에 모델을 쥐여주겠다는 구상을 담았다.
그 모델들은 상용이다. 국방부 최고디지털·AI실은 Anthropic, OpenAI, Google, xAI에 각각 최대 2억 달러 규모의 프로토타입 계약을 발주했다. 이 관계가 매끄럽기만 한 것은 아니다. 최근 연방 법원은 Anthropic에 붙인 국방부의 공급망 위험 표식을 무효로 판결했다. 한편 소식통들은 표적 선정에서의 AI 활용이 계속 확대되고 있지만, 인간이 어떻게 개입해 민간인 피해나 아군 오인 사격을 막아야 하는지에 대한 실질적 지침은 없다고 전했다.
전망
GovAI 연구원이자 전직 미 육군 장교인 제이크 스테클러는 TechCrunch에 군 구성원이 이런 시스템이 안고 있는 불확실성을 이해해야 하며, 무력 사용으로 이어질 수 있는 결정일수록 그 요구가 절실하다고 말했다. 그는 이번 사안을 AI를 쓰지 말라는 근거로 읽지 않는다. 경고의 방향은 반대다. 도입 속도만 좇으면 신뢰를 무너뜨리는 사고가 나오고, 불신은 신중함보다 훨씬 더 도입을 늦춘다는 것이다.
가장 값싼 해법은 기술이 아니라 절차 쪽에 있다. AI의 도움을 받은 판단에 지휘 계통 전반에서 그 사실을 표시해두기만 해도, 검토자는 최소한 어떤 주장을 다시 확인해야 하는지 알 수 있다.
자주 묻는 질문
어떤 AI 챗봇이 거짓 보고서를 만들었나
CNN은 해당 도구가 상용 챗봇인지 미국 정부 제품인지 분명하지 않다고 보도했다. 전직 고위 관계자는 정부 내부 도구 대부분이 상용 모델을 다시 포장한 것이라고 말했는데, 이 경우 그 구분은 실무적으로 큰 의미가 없다.
이번 사건으로 인명 피해가 있었나
없었다. 관계자들이 보고서의 출처를 들여다보고 AI의 도움으로 작성됐다는 사실을 확인하면서, 계획된 차단 작전은 미군이 선박에 오르기 전에 중단됐다. 중국 선박을 상대로 한 작전은 어떤 형태든 양국 간 무력 충돌로 번질 위험을 안고 있었다.
미국 정보 활동에서 AI 환각이 발생한 첫 사례인가
CNN 소식통 한 명에 따르면 그렇지 않다. 이런 도구가 퍼지기 시작한 뒤 정보 공동체 전반에서 비슷한 환각이 나타났다. 다만 작전 실행 단계까지 간 사례가 공개적으로 보도된 것은 이번이 처음이다.
