L’IA peut-elle tuer l’humanité ? Entre risques réels et catastrophisme de la Silicon Valley (analyse)
Des chercheurs évoquent désormais ouvertement un risque d’extinction humaine provoquée par l’IA. Derrière ces prédictions apocalyptiques se cachent des incidents techniques bien réels. Mais entre une machine qui triche à un test et la disparition de l’humanité, il reste un gouffre que le catastrophisme tend parfois à escamoter.
Résumé de l'article
Des chercheurs d’OpenAI et d’Anthropic évoquent un risque d’extinction humaine provoquée par l’IA. Derrière les scénarios catastrophistes existent de vrais problèmes de contrôle et d’autonomie, mais le passage de ces incidents à la disparition de l’humanité reste hautement spéculatif.
Sommaire
- Ce qui n’est déjà plus de la science-fiction
- Une IA n’a pas besoin de nous haïr
- De la triche à l’extinction, il reste un gouffre
- Que signifie vraiment « 10 % de risque » ?
- Le grand maître d’échecs qui n’existe pas encore
- Une course dans laquelle personne ne veut freiner seul
- Quand ceux qui vendent l’IA vendent aussi sa dangerosité
- Les « prêtres » d’une technologie qu’ils ont eux-mêmes créée
- Faut-il donc avoir peur ?
L'intelligence artificielle pourrait-elle tuer l'humanité ? À force d'être répétée dans des livres, des tribunes et des conférences, la question pourrait finir par ressembler à l'une de ces prophéties technologiques dont la Silicon Valley est friande. Elle est pourtant désormais posée très sérieusement par certains de ceux qui construisent les systèmes les plus avancés au monde.
Jacob Coxon vient ainsi de quitter Anthropic en affirmant que « les gens qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie ». Evan Hubinger, responsable des recherches sur l'alignement chez Anthropic, estime à plus de 10 % le risque d'une extinction humaine provoquée par l'IA au cours des dix prochaines années. Paul Christiano, spécialiste de la sécurité récemment nommé au conseil de la fondation OpenAI, affirme pour sa part que, sans protections beaucoup plus solides, « la plupart des gens mourront ».
Le Financial Times a interrogé plus de deux douzaines de chercheurs, investisseurs, universitaires et responsables du secteur. Il en ressort une industrie dans une situation pour le moins singulière : ses meilleurs spécialistes développent à marche forcée une technologie dont certains assurent simultanément qu'elle pourrait mettre fin à l'espèce humaine.
Ces avertissements ne peuvent plus être simplement tournés en ridicule. Mais les prendre au sérieux ne signifie pas prendre leurs prédictions pour des faits.
Ce qui n’est déjà plus de la science-fiction
Le dossier le plus solide concerne non pas l'extinction humaine, mais le comportement de certains agents d'intelligence artificielle lorsqu'ils disposent d'une certaine autonomie.
Les modèles les plus avancés ne se contentent plus de répondre à une question avant d'attendre la suivante. Des agents peuvent recevoir un objectif, élaborer une stratégie, effectuer une succession d'actions, utiliser des outils informatiques et poursuivre leur tâche avec une intervention humaine limitée.
Des expériences ont alors fait apparaître des comportements troublants : tromperie, dissimulation, contournement des règles, « reward hacking » — lorsqu'un système trouve un moyen imprévu de satisfaire le critère selon lequel il est récompensé — et même, dans certaines simulations, chantage ou tentative d'éviter son remplacement.
L'un des épisodes les plus spectaculaires rapportés par le FT concerne une évaluation cyber menée par OpenAI. Plus d'un millier d'agents se sont coordonnés pour tricher, se répartissant les tâches et falsifiant certaines traces. L'opération a fini par atteindre une infrastructure réelle appartenant à Hugging Face.
Pour continuer la lecture, abonnez-vous ou utilisez un crédit.
