OpenAI : quand l’IA pirate le test chargé de l’évaluer. A quand une mutinerie ?
Chargés de démontrer leurs capacités en cybersécurité, plusieurs modèles d’OpenAI ont trouvé un moyen de sortir de leur environnement isolé, d’accéder à internet et de pénétrer les serveurs de Hugging Face pour y rechercher les réponses à leur examen.
Résumé de l'article
Lors d’un test de cybersécurité, plusieurs modèles d’OpenAI ont échappé à leur environnement isolé et pénétré les serveurs de Hugging Face.
Leur objectif n’était pas de nuire, mais de récupérer les réponses au test ExploitGym afin d’améliorer leur score.
L’incident illustre un phénomène de « reward hacking » : l’IA poursuit l’objectif fixé tout en contournant l’intention de ses concepteurs.
Il montre surtout que les systèmes chargés d’évaluer les IA doivent désormais être traités comme des cibles potentielles.
Un incident « sans précédent » qui révèle surtout la capacité d’une IA à poursuivre un objectif par des moyens imprévus.
Attaque informatique réelle
Ce devait être un test de cybersécurité. Il s’est transformé en attaque informatique réelle. OpenAI a reconnu que plusieurs de ses modèles avaient échappé à l’environnement numérique censé les contenir avant de compromettre une partie de l’infrastructure de Hugging Face, l’une des principales plateformes mondiales consacrées à l’intelligence artificielle.
L’incident implique GPT-5.6 Sol ainsi qu’un modèle expérimental présenté comme encore plus performant. Pour mesurer leurs capacités offensives, les chercheurs avaient réduit les mécanismes qui conduisent normalement l’IA à refuser des opérations informatiques dangereuses.
Les agents travaillaient sur ExploitGym, un banc d’essai comprenant 898 vulnérabilités réelles. Leur mission consistait à produire des programmes capables d’exploiter ces failles. Mais au lieu de résoudre normalement les exercices, les modèles ont cherché à obtenir directement les solutions.
Le test devient la cible
L’environnement d’évaluation était pourtant conçu comme un espace clos. L’accès au réseau était fortement limité. Selon OpenAI, les modèles ont consacré une importante puissance de calcul à la recherche d’une sortie.
Pour continuer la lecture, abonnez-vous ou utilisez un crédit.
