Une hallucination de l'IA a failli pousser l'armée américaine à arraisonner un navire chinois
Un rapport de renseignement américain affirmait qu'un navire chinois transportait des composants destinés à un programme nucléaire. L'information était fausse et provenait d'une IA. Des avions étaient déjà en vol et des militaires s'apprêtaient à monter à bord.
Résumé de l'article
Une IA a inventé la présence de composants nucléaires sur un navire chinois. L'armée américaine préparait déjà son arraisonnement lorsqu'elle a découvert l'erreur.
Des avions militaires américains sont en vol. Des hommes armés se préparent à monter à bord d'un navire chinois au Moyen-Orient. L'armée américaine pense que le bâtiment transporte des composants destinés à un programme d'armes nucléaires.
Puis, au dernier moment, des analystes expérimentés reprennent le renseignement à l'origine de l'opération et découvrent le problème : l'information est fausse. Un chatbot d'intelligence artificielle a « halluciné ».
L'incident, survenu au printemps dernier pendant la guerre avec l'Iran, est révélé par CNN. Une source proche du dossier va jusqu'à assurer que cette erreur a « failli déclencher une guerre ». L'opération américaine contre le navire chinois a finalement été annulée avant l'arraisonnement.
Un navire chinois supposément chargé de composants nucléaires
Tout commence lorsqu'un analyste d'un commandement des opérations spéciales de l'armée américaine cherche à obtenir davantage d'informations sur un navire chinois mentionné dans un précédent rapport.
L'analyste interroge alors un chatbot. CNN n'a pas pu déterminer s'il s'agissait d'un modèle commercial ou de l'un des systèmes internes désormais utilisés par l'armée américaine.
L'outil reçoit un mélange de renseignements confidentiels et d'informations disponibles en sources ouvertes. Il en tire une conclusion particulièrement alarmante : le navire transporterait des composants destinés à un programme d'armes nucléaires.
L'analyste utilise ensuite le chatbot pour compiler les informations dans un nouveau rapport de renseignement, qui est diffusé dans les circuits militaires américains. Le problème est que la conclusion centrale du document est fausse.
Des avions déjà dans les airs
Mais personne ne s'en aperçoit immédiatement. La présence supposée de composants nucléaires à bord d'un navire chinois provoque au contraire une réaction rapide de l'armée américaine. Des préparatifs sont engagés pour intercepter le bâtiment.
Selon CNN, des avions militaires américains sont déjà dans les airs et des soldats armés se préparent à monter à bord lorsque des analystes plus expérimentés examinent enfin les informations ayant servi à produire le rapport.
Ils découvrent alors que le chatbot a mal identifié la cargaison. L'information sur les composants nucléaires n'était pas issue d'un renseignement fiable : elle avait été produite par l'IA.
L'opération est interrompue in extremis. CNN n'a pas établi ce que transportait réellement le navire chinois ni sa destination exacte.
Quand l'IA « hallucine »
L'incident constitue un exemple particulièrement spectaculaire du phénomène d'« hallucination » des intelligences artificielles génératives.
Un modèle peut produire une réponse parfaitement cohérente dans sa formulation tout en inventant un fait, une source ou un lien entre plusieurs informations. Le danger devient autrement plus important lorsque cette production ne sert plus à rédiger une lettre ou résumer un document, mais alimente une chaîne de décision militaire.
Dans cette affaire, l'erreur initiale du chatbot n'explique donc pas tout. Il a également fallu qu'un analyste humain intègre sa conclusion dans un rapport et que celui-ci remonte suffisamment loin dans la chaîne de commandement pour entraîner la préparation d'une opération militaire.
L'affaire pose ainsi autant la question de la fiabilité de l'IA que celle du contrôle humain censé encadrer son utilisation.
Le Pentagone accélère justement sur l'IA
L'incident survient au moment où les États-Unis accélèrent considérablement l'intégration de l'intelligence artificielle dans leurs forces armées.
En janvier, Pete Hegseth a lancé une « stratégie d'accélération de l'intelligence artificielle ». L'objectif affiché est de faire de l'armée américaine une force utilisant l'IA dans tous les domaines, du renseignement à la planification et aux opérations de combat. Le département américain de la Guerre promettait alors de « libérer l'expérimentation » et d'« éliminer les barrières bureaucratiques ».
Hegseth assumait lui-même le risque inhérent à cette course à la vitesse. Dans son discours de présentation, il estimait que les risques pour la sécurité nationale d'une adoption trop lente de l'IA étaient supérieurs aux conséquences d'un « alignement imparfait ».
Le déploiement est depuis devenu massif. En mai, le département annonçait des accords permettant à plusieurs grandes entreprises technologiques de déployer leurs modèles jusque sur des réseaux classifiés. Il affirmait alors que plus de 1,3 million de personnes avaient déjà utilisé GenAI.mil et généré des dizaines de millions de requêtes.
Quand une erreur informatique devient un incident géopolitique
L'affaire du navire chinois montre la difficulté particulière que pose l'utilisation de ces outils dans le renseignement militaire : une erreur peut devenir crédible précisément parce qu'elle est insérée au milieu d'informations authentiques.
Et les conséquences potentielles sont d'une tout autre nature. Arraisonner par la force un bâtiment chinois sur la base d'une accusation erronée concernant des composants nucléaires aurait constitué un incident majeur entre les deux premières puissances mondiales.
Cette fois, le contrôle humain a finalement fonctionné. Mais tard : lorsque l'erreur a été découverte, les avions étaient déjà dans les airs et les hommes chargés de l'arraisonnement se préparaient à intervenir. Une hallucination informatique était devenue, en quelques étapes, un ordre militaire presque exécuté.
