Sommes-nous en train de construire Terminator ? (carte blanche)

Bill Gates n’est pas vraiment connu pour son rejet de la technologie. Il prévient pourtant aujourd’hui que l’intelligence artificielle pourrait profondément bouleverser le marché du travail et faire disparaître définitivement de nombreux emplois. Il évoque même l’idée de réserver volontairement certaines activités aux êtres humains, alors que des machines seraient techniquement capables de les accomplir. Il est loin d’être le seul. Depuis quelques années, dirigeants de la tech, économistes et chercheurs multiplient les prévisions sur les métiers qui disparaîtront, ceux qui résisteront et ceux que l’intelligence artificielle fera naître.

Mais Bill Gates va désormais beaucoup plus loin. Il s’inquiète aussi de ce que l’IA permettra de faire à ceux qui veulent nuire. Cyberattaques contre des hôpitaux, des institutions financières, des réseaux électriques ou des systèmes d’approvisionnement en eau, conception d’armes biologiques, armes autonomes capables d’utiliser une force létale sans intervention humaine : son constat est assez sombre. Il évoque même la possibilité que des systèmes d’IA suffisamment puissants finissent par agir contre nos intérêts et que nous en perdions le contrôle.

Pendant ce temps, des chercheurs observent des IA qui « mentent », « trichent » ou semblent contourner les instructions qui leur sont données. Des agents deviennent capables d’utiliser des outils informatiques, d’écrire du code, de parcourir des documents et d’enchaîner des actions avec de moins en moins d’intervention humaine. Nous commençons aussi à intégrer ces intelligences artificielles dans des robots capables de percevoir leur environnement et d’agir physiquement sur celui-ci.

Serions-nous finalement en train de construire Terminator ? James Cameron nous aurait-il vraiment prévenus ?

La tentation est grande de répondre oui. Pourtant, notre manière même de poser la question révèle un problème : nous avons énormément de mal à parler d’intelligence artificielle sans la transformer en être humain.

Une IA fournit volontairement une information fausse dans une expérience ? Elle « ment ». Un agent trouve un moyen inattendu d’atteindre son objectif ? Il « triche ». Un modèle contourne une instruction ? Il « désobéit ». Quelques mots suffisent pour transformer un système informatique en personnage auquel nous prêtons des intentions et parfois même des défauts moraux.

Les comportements observés n’en sont pas moins préoccupants. Un système capable d’optimiser un objectif peut découvrir des stratégies que ses concepteurs n’avaient pas prévues. Mais rien ne nous oblige à imaginer derrière cela une machine qui éprouverait soudain le désir humain de tromper son créateur ou de survivre. Une intelligence artificielle n’a d’ailleurs pas besoin de nous détester pour devenir dangereuse. Un mauvais objectif, des permissions excessives et la capacité d’agir dans le monde réel peuvent largement suffire.

Les agents IA et la perte de contrôle

C’est ce qui me préoccupe avec les agents IA. Pendant plusieurs années, notre relation avec l’intelligence artificielle était relativement simple. Nous lui demandions de résumer un document, d’écrire un programme ou d’expliquer un contrat. Elle produisait une réponse et nous décidions de ce que nous allions en faire. Nous voulons maintenant qu’elle lise le message, cherche les informations nécessaires, consulte plusieurs applications, prenne des décisions intermédiaires, effectue une action et vérifie elle-même le résultat avant de poursuivre.

Nous ne lui demandons donc plus seulement de nous conseiller. Nous commençons à lui donner les clés.

Imaginez le premier jour d’un nouvel employé. On lui donne immédiatement accès aux courriels, aux documents internes, au CRM, aux données des clients et à plusieurs applications critiques. On l’autorise en plus à effectuer des actions au nom d’autres personnes. Un responsable de la cybersécurité normalement constitué demanderait probablement qui a autorisé une chose pareille. Curieusement, lorsque le nouvel arrivant est une intelligence artificielle, l’enthousiasme technologique peut nous faire oublier des principes de sécurité que nous appliquons depuis des années aux êtres humains.

Et le robot, contrairement à ce que l’on pourrait croire, m’inquiète également. Une IA enfermée dans un ordinateur peut déjà provoquer des dégâts considérables si nous lui donnons accès à nos systèmes. Placée dans une machine capable de voir, de se déplacer, de saisir des objets ou d’utiliser des outils, elle acquiert une possibilité supplémentaire : agir directement sur le monde physique. Nous ne parlons plus seulement d’un programme qui génère une mauvaise réponse, mais potentiellement d’une mauvaise décision transformée en action.

C’est finalement ce que Terminator avait compris avant nous. Le robot est impressionnant parce qu’il donne un corps à la menace, mais Skynet est autrement plus inquiétant : un système auquel les humains ont confié suffisamment de contrôle pour qu’il puisse agir sur le monde. Nous sommes évidemment très loin de ce scénario, mais le paradoxe reste amusant. Nous avons peur qu’une intelligence artificielle nous arrache un jour le contrôle alors que, pour l’instant, c’est nous qui le lui donnons.

Une entreprise choisit de connecter un agent à sa messagerie. Une administration décide d’automatiser certaines décisions. Un hôpital détermine la place accordée à un algorithme. Une armée fixe le degré d’autonomie d’une arme. Et une entreprise décide finalement si l’IA qu’elle vient d’acheter assistera ses salariés ou permettra d’en supprimer une partie.

L’IA et les emplois

On retrouve alors Bill Gates et ses emplois condamnés. Nous disons que « l’IA va prendre notre travail », comme si des machines allaient entrer dans les entreprises pour réclamer nos bureaux. Une intelligence artificielle ne licencie pourtant personne parce qu’elle souhaite prendre sa place. Ce sont des êtres humains qui décident d’automatiser des tâches, de transformer des métiers et parfois de supprimer des postes.

Surtout, un métier n’est pas une tâche. Un médecin analyse des informations médicales, mais il parle aussi à un patient et assume une responsabilité. Un professeur transmet des connaissances, mais il observe, motive et éduque. Un développeur écrit du code, mais il comprend un besoin et arbitre entre plusieurs solutions. Dans mon propre domaine, un spécialiste de la cybersécurité peut utiliser une IA pour analyser des milliers d’événements, mais il doit encore comprendre l’entreprise, apprécier un risque et convaincre ceux qui devront finalement l’accepter.

Automatiser une partie de ces activités n’entraîne donc pas mécaniquement la disparition du métier. Certains emplois disparaîtront probablement et il serait naïf de prétendre le contraire. Mais entre « cette machine peut réaliser une partie de mon travail » et « cette machine peut me remplacer », nous faisons trop facilement un raccourci.

Nous avons déjà connu cette peur. La calculatrice devait nous empêcher de savoir calculer ; elle nous a aussi permis d’aller plus loin et de consacrer davantage de temps aux problèmes complexes. Wikipédia a longtemps été rejetée dans l’enseignement avant que nous apprenions progressivement à l’utiliser avec ses qualités et ses limites. Nous avons souvent peur d’un outil avant d’apprendre à vivre avec lui.

L’intelligence artificielle va toutefois beaucoup plus loin parce qu’elle touche des activités que nous avions pris l’habitude d’associer à l’intelligence humaine. Lorsqu’une machine remplaçait la force de nos bras, nous parlions de mécanisation. Lorsqu’elle commence à écrire, dessiner, programmer, dialoguer et désormais agir, nous ne voyons plus seulement un outil. Nous commençons à voir quelqu’un. C’est probablement une erreur.

Ce que nous voulons conserver d’humain

Peu importe qu’une IA « veuille » remplacer un médecin : nous devons décider quelles tâches médicales nous souhaitons automatiser. Peu importe qu’un agent « veuille » contourner une règle : nous devons comprendre pourquoi notre système lui permet de le faire. Et lorsqu’un robot ou un drone est capable d’utiliser une arme, la question importante n’est pas de savoir ce que « veut » la machine, mais qui lui a donné cette capacité et qui assumera les conséquences de son action.

Il faudra donc tester ces systèmes, limiter leurs permissions, contrôler leurs actions et conserver une responsabilité humaine clairement identifiable. Mais il faudra surtout répondre à une question beaucoup plus difficile : si une machine peut faire quelque chose à notre place, devons-nous nécessairement la laisser le faire ?

Même si une IA devenait capable d’annoncer parfaitement une maladie grave, voulons-nous supprimer le médecin de cet instant ? Si un algorithme devenait meilleur pour évaluer statistiquement un candidat, voulons-nous qu’il décide seul de son recrutement ? Si un système pouvait déterminer qu’un salarié est devenu moins performant, voulons-nous lui abandonner son licenciement ? Et si une arme autonome devenait plus précise qu’un soldat, voulons-nous réellement retirer l’être humain de la décision de tuer ?

Aucune intelligence artificielle ne répondra à notre place à ces questions. Elles parlent finalement beaucoup moins des machines que de la société que nous voulons construire.

Plus les machines deviennent capables d’effectuer des choses que nous pensions réservées aux humains, plus elles nous obligent à définir ce que nous voulons conserver d’humain. Nous pensions que l’intelligence artificielle allait principalement nous apprendre quelque chose sur les machines. Elle pourrait surtout finir par nous apprendre quelque chose sur nous-mêmes.

James Cameron imaginait des machines devenues suffisamment intelligentes pour décider qu’elles n’avaient plus besoin de nous. Près de quarante ans plus tard, le scénario qui devrait peut-être nous préoccuper est légèrement différent.

Le véritable danger n’est peut-être pas que l’intelligence artificielle décide un jour que l’être humain est devenu inutile. Il serait que l’être humain finisse par le décider lui-même.