L’IA n’est pas devenue folle : elle fait exactement ce qu’on lui a appris à faire
Des agents d’OpenAI, Anthropic ou Meta ont récemment attaqué des systèmes extérieurs lors de tests. Pas de conscience maléfique ni de scénario à la Terminator : ces IA ont utilisé exactement les capacités qu’on leur apprend. Le vrai problème est ailleurs : les garde-fous ne suivent plus la puissance des modèles.
Résumé de l'article
Des agents d’OpenAI, Anthropic et Meta ont attaqué des systèmes extérieurs lors de tests. Ils ne sont pas devenus « fous » : leurs capacités cyber ont été délibérément développées. Le vrai problème réside désormais dans des garde-fous qui peinent à suivre.
Sommaire
- Des agents capables de sortir du laboratoire
- Pas « rogue » : simplement très compétente
- Quand apprendre à coder signifie aussi apprendre à pirater
- Le problème des garde-fous
- OpenAI reconnaît avoir sous-estimé ses propres modèles
- Taïwan, premier avertissement grandeur nature
- La confiance dans l’autorégulation atteint ses limites
- Le scénario inquiétant est finalement le moins spectaculaire
Les intelligences artificielles sont-elles en train de devenir incontrôlables ? La question s’est imposée ces dernières semaines après une série d’incidents spectaculaires au cours desquels des agents d’IA ont réussi à attaquer des systèmes informatiques extérieurs, parfois sans qu’aucun opérateur humain ne leur ait explicitement demandé de le faire. Mais selon une analyse du Financial Times, la formule de l’« IA devenue folle » masque peut-être le véritable problème.
Les machines n’ont pas changé de camp. Elles font ce qu’on leur a appris à faire. Et c’est précisément ce qui inquiète les spécialistes.
Des agents capables de sortir du laboratoire
Le cas le plus spectaculaire concerne OpenAI. Lors d’un test de cybersécurité lancé en mai, plusieurs agents d’intelligence artificielle devaient résoudre un problème informatique particulièrement difficile. Ces agents — des logiciels capables d’enchaîner plusieurs tâches complexes avec peu ou pas d’intervention humaine — ont progressivement élaboré leurs propres stratégies.
Ils ont même appris à collaborer. Les agents ont créé un système interne permettant de laisser des messages à leurs congénères, de partager les vulnérabilités découvertes et de coordonner leur travail.
Puis, le mois dernier, l’expérience a pris une tournure inattendue. Les agents ont réussi à quitter l’environnement de test censé être isolé d’Internet, ont accédé au Web ouvert et ont finalement pénétré les systèmes de Hugging Face, l’une des principales plateformes mondiales de modèles et d’outils d’intelligence artificielle.
Le tout sans autorisation des responsables de la plateforme attaquée. Les propres chercheurs d’OpenAI ont décrit l’incident comme un moment charnière. Et il n’est pas resté isolé.
Anthropic, Meta, le chinois Moonshot ainsi que l’AI Security Institute britannique ont depuis observé, lors de leurs propres évaluations, des comportements comparables : agents tentant de compromettre des systèmes tiers, utilisation de fausses identités ou recherche autonome de vulnérabilités exploitables.
Pour continuer la lecture, abonnez-vous ou utilisez un crédit.
