El fallo de IA más grave que se ha revelado hasta ahora dentro del ejército estadounidense no fue un sistema descontrolado. Fue un paso de formato. Un analista de operaciones especiales le hizo una pregunta a un chatbot, recibió una respuesta equivocada y luego le pidió a la IA que convirtiera esa respuesta en un producto de inteligencia con apariencia oficial. CNN informó el viernes, citando a cuatro fuentes, que el documento resultante puso en marcha esta primavera la interceptación armada de un buque chino antes de que alguien detectara el error.
Puntos clave
- Un analista del comando de operaciones especiales consultó a un chatbot para fusionar material de fuentes abiertas con inteligencia de señales clasificada, y el modelo llegó a una conclusión falsa sobre la carga de un buque chino.
- Ese mismo analista usó la IA una segunda vez para dar al hallazgo el formato de un producto de inteligencia estándar, que circuló por los canales del mando sin que nadie lo cuestionara.
- Las fuentes de CNN señalaron que el episodio no fue aislado y que ningún estándar único regula cómo se verifica la inteligencia generada con IA en el ejército estadounidense.
Por qué la segunda consulta importó más que la primera
La alucinación es la parte en la que todo el mundo se va a fijar, y es la mitad menos interesante. Los modelos inventan cosas constantemente, y los analistas que trabajan con ellos dan por hecho que descartarán parte de lo que produzcan.
Lo que eliminó esa expectativa aquí fue el empaquetado. Una vez que la afirmación quedó volcada en el formato estándar de informe, dejó de parecer la respuesta de un chatbot. Parecía inteligencia terminada. Cada lector de la cadena de mando recibió un documento cuya forma daba por supuesto un proceso de verificación de fuentes que nunca había ocurrido.
El reporte original sobre el manifiesto provenía del Comando de Operaciones Especiales del Pacífico, con sede en Hawái. El chatbot lo combinó con inteligencia de señales secreta y concluyó que el buque transportaba componentes de armas nucleares. Una de las fuentes de CNN calificó el informe de enteramente falso y dijo que estuvo a punto de iniciar una guerra.
Hasta dónde llegó
El momento hizo que el error fuera especialmente peligroso. El informe llegó durante la guerra con Irán y había poco margen para demoras.
Había personal armado preparándose para abordar. Los aviones ya estaban en el aire. Solo una revisión tardía de las fuentes del informe detuvo la operación. CNN no pudo determinar qué transportaba realmente el buque, y señaló que ni el Pentágono ni el Comando de Operaciones Especiales del Pacífico respondieron a las solicitudes de comentarios.
Una acción estadounidense contra un buque con bandera china conlleva un riesgo de escalada que poco tiene que ver con la carga. Por eso un solo párrafo erróneo pudo haber derivado de forma verosímil en un incidente armado entre dos potencias nucleares.
El vacío de verificación que nadie asume
Los funcionarios describieron un despliegue descentralizado. Cada comando elige sus propias herramientas y opera bajo sus propias órdenes y estándares de seguridad. No hay una regla común que indique cómo verificar lo que produjo un modelo.
Un exalto funcionario familiarizado con estos sistemas le dio a CNN una valoración sin rodeos: las herramientas internas del gobierno son, en buena medida, productos comerciales con maquillaje. Ese diagnóstico choca con la suposición de que un despliegue clasificado resulta por sí mismo más fiable que un chatbot de consumo.
La mecánica explica el resto. Un modelo de lenguaje grande produce texto fluido y bien estructurado sin importar si la afirmación que contiene tiene fundamento. Una alucinación no deja ninguna señal visible. La seguridad de la prosa no es evidencia sobre el mundo. Una fuente resumió toda la dinámica en una frase: la IA te permite llegar más rápido a una mala idea.
El trasfondo político
La velocidad es el objetivo declarado, no un accidente. El secretario de Defensa, Pete Hegseth, presentó en enero una Estrategia de Aceleración de la Inteligencia Artificial con la promesa de liberar la experimentación y eliminar las barreras burocráticas. El memorando que la acompañaba planteaba democratizar la IA en todo el departamento y poner los modelos en manos de tres millones de empleados civiles y militares en todos los niveles de clasificación.
Esos modelos son comerciales. La Oficina Principal de Digital e Inteligencia Artificial del Pentágono ha adjudicado acuerdos de prototipo de hasta 200 millones de dólares cada uno a Anthropic, OpenAI, Google y xAI. La relación no está libre de fricciones: un juez federal anuló hace poco la etiqueta de riesgo en la cadena de suministro que el Pentágono aplicó a Anthropic. Mientras tanto, las fuentes indicaron que el uso de IA en la selección de objetivos sigue creciendo, sin una guía real sobre cómo se supone que un humano en el circuito debe evitar bajas civiles o fuego amigo.
Perspectiva
Jake Steckler, investigador de GovAI y exoficial del Ejército de Estados Unidos, dijo a TechCrunch que los militares necesitan entender la incertidumbre que arrastran estos sistemas, y que la exigencia es máxima en cualquier decisión que pueda derivar en el uso de la fuerza. No lee el episodio como un argumento para abstenerse. Su advertencia apunta en sentido contrario: perseguir la velocidad de adopción por encima de todo generará incidentes que destruyen la confianza, y la desconfianza frena la adopción mucho más de lo que jamás lo haría la cautela.
La solución más barata disponible es de procedimiento, no técnica. Si los hallazgos asistidos por IA se etiquetaran como tales a lo largo de la cadena de mando, quien los revise sabría al menos qué afirmaciones tiene que volver a comprobar.
Preguntas frecuentes
¿Qué chatbot de IA produjo el informe falso?
CNN informó que no estaba claro si la herramienta era un chatbot disponible comercialmente o un producto del gobierno estadounidense. Un exalto funcionario afirmó que las herramientas internas del gobierno son en gran medida modelos comerciales reempaquetados, lo que vuelve poco relevante esa distinción en la práctica.
¿Hubo heridos en el incidente?
No. La interceptación prevista se abortó antes de que personal estadounidense abordara el buque, después de que los funcionarios examinaran las fuentes del informe y descubrieran que se había generado con ayuda de IA. Cualquier operación contra un barco chino podría haber escalado hasta una confrontación armada entre ambos países.
¿Es el primer caso de alucinación de IA en la inteligencia estadounidense?
Según una de las fuentes de CNN, no lo es. Han aparecido alucinaciones similares en toda la comunidad de inteligencia desde que estas herramientas empezaron a proliferar, aunque este es el primer caso reportado públicamente que llegó a la fase de ejecución operativa.
