Mercredi 9 septembre 26

Dans son tram, Fanny lit sur son smartphone un article qui la traumatise. Un certain Jacob Coxon, un mathématicien anglais de vingt-sept ans, totalement inconnu du grand public mais qui a travaillé successivement chez Open AI et chez Anthropic, vient de démissionner avec fracas de cette deuxième entreprise, en alertant par quelques tweets l’humanité entière sur les dangers que l’IA lui fait courir :

En quelques heures, ces tweets d’un inconnu font le tour des media et de la planète jusqu’à toucher Fanny au fond de son tram parisien.

Pour ne pas céder à ses sentiments, elle fait quelques recherches complémentaires sur son smartphone. D’abord, incontestablement, la fin de la décennie, c’est dans moins de quatre ans. Ensuite, le mécanisme que vise Coxon s’appelle le RSI, Recursive Self Improvment, où un modèle d’IA serait capable de concevoir lui-même, sans la décision, ni l’intervention des humains, le successeur qui améliorerait ses performances. Cette superintelligence, capable de se reproduire à l’infini en s’améliorant, non seulement dépasserait rapidement les possibilités humaines, mais encore échapperait à leur contrôle. Or, les deux géants de la tech américaine sont lancés dans une course folle pour mettre au point ce modèle à RSI. Quant aux Chinois, on ne sait pas vraiment où ils en sont. La polémique fait rage entre les doomers, qui croient à l’IApocalypse, et ceux qui n’y croient pas. Mais ce qui compte, c’est que, tout en se demandant s’il y croient ou pas, ils sprintent.

Open AI n’a pas réagi aux tweets de Jacob Coxon. Mais Anthropic oui, par la bouche de Evan Hubinger, l’un des responsables de la sécurité. Et ceci non pour le contredire mais pour l’appuyer : « Nous croyons vraiment, sincèrement, que l’IA pourrait tuer tous les humains ». Avec la précision statistique, l’absence de justification et l’humour à froid qui caractérise un scientifique digne de ce nom, il a évalué ce risque à « 10 % ». Il paraît que les concepteurs parlent eux-mêmes de « crunchtime » (le moment décisif, le moment où ça passe ou ça casse) et de « endgame » (fin de partie) pour décrire ce moment imminent de l’invention d’un système d’auto-amélioration récursive. Anthropic se sent obligé de foncer quand même pour éviter que d’autres concepteurs moins moraux, comme Open AI, ou les Chinois, ne le fassent en premier. Fin juillet, Dario Amodei, le patron d’Anthropic, et un milliers d’autres chercheurs en AI se sont tournés vers Washington pour supplier l’Etat américain d’imposer à tout le monde un mécanisme de freinage.

En bonne scénariste, Fanny visite alors le cerveau du personnage qui trône à la Maison Blanche : dans ces vastes étendues vides striées d’éclairs, elle ne trouve nulle trace du mot « freinage », ni celui de « mécanisme » d’ailleurs. La motivation principale, c’est de ne surtout pas laisser la Chine dépasser les Etats-Unis même lorsqu’il s’agit d’une plongée dans le gouffre et la motivation secondaire, c’est qu’il y aurait peut-être un max de fric à se faire pour celui qui arriverait à conclure un deal avec cette fuckin IA RSI afin de contrôler les puits de pétrole du reste du monde? Fanny passe du côté de monsieur Xi, le dirigeant chinois, et de ses clones : évidemment, lui non plus n’est pas très intéressé par un mécanisme de freinage dans une course où la Chine a la moindre chance de l’emporter sur les Etats-Unis mais il est tellement obsédé par l’idée de contrôle qu’il ne va sûrement pas laisser une superintelligence RSI échapper au sien. C’est pourquoi des mesures drastiques ont sûrement déjà été prises pour empêcher les start-ups chinoises de franchir le pas (par exemple en envoyant les bidouilleurs un peu trop audacieux expérimenter un « système de freinage » dans un camp de rééducation au fin fond du Xin Jiang). Peut-être que le seul RSI qu’admet monsieur Xi, c’est celui de monsieur Xi (et, pour une fois, c’est presque rassurant).

Après avoir exploré les motivations des autocrates mondiaux dans une séquence alternée de satire, Fanny a fini par descendre de son tram. Elle a rangé son portable dans sa poche mais, tout en se hâtant vers l’immeuble de la nounou, elle continue à penser à ces tweets de Coxon. Maintenant différents sentiments l’envahissent. D’abord un incontestable sentiment d’agacement : elle se sent rattrapée et mise en danger par un problème qui ne la concerne pas. Elle n’utilise pas l’IA elle-même, elle s’y refuse presque instinctivement. C’est curieux mais elle qui appartient à la génération digital native, elle en vient de plus en plus, dans une sorte de mécanisme de défense, de doute généralisé concernant la technique et la science (qui date peut-être pour elle de l’épisode du Covid et de la mise au point précipitée d’un vaccin devenu quasi obligatoire), à considérer que tout innovation technologique est a priori vaine, inutile, dangereuse, destructrice, aussi bien pour la planète que pour l’intelligence humaine (même lorsqu’elle s’en sert au quotidien, par exemple le smartphone dans sa poche et l’ordi portable dans son sac).

En tant que scénariste de séries, elle est à la fois fascinée et horrifiée par les développements de cette série d’anticipation baptisée si justement « Endgame ». Comme des milliards de spectateurs, le plus souvent dépassés, incapables de comprendre vraiment ce qui se passe, elle assiste en direct depuis deux ou trois saisons au triomphe inévitable de l’IA sur les humains et dont les humains sont pour l’instant entièrement responsables. Elle a l’impression de vivre ce qu’elle a vu sur Netflix il y a cinq ans à peine dans Don’look up. Là, ce n’est plus un film, aussi flippant soit-il, mais la réalité, et les spectateurs ne peuvent plus se contenter d’appuyer sur le bouton de la télécommande, ils sont obligés de regarder jusqu’au bout la série haletante de leur extinction, dont ils sont à la fois les spectateurs et les figurants.

Mais elle ne peut s’empêcher aussi d’être fascinée : c’est quand même rare dans la réalité de pouvoir entendre des gens sérieux annoncer qu’il y a dix pour cent de risques de voir se produire la destruction finale de l’humanité dans les quatre ans à venir. Peut-être que le dernier moment où pareille chose se produisit, ce fut, dans les années quarante, lorsque les humains, effarés par leur capacité nouvelle à détruire la planète, inventèrent la bombe atomique, c’est à dire en 1944 pour la conception (Oppenheimer) et dès 1946 pour la prise de conscience du danger (Camus). Sauf qu’à ce moment-là, il y avait encore besoin d’intervention humaine, ne serait-ce que pour appuyer sur le bouton. Même la terrifiante bombe atomique n’était pas capable d’auto-amélioration recursive, n’est-ce pas ? Fascinante aussi, la brusque célébrité mondiale de ce Jacob Coxon (puis son inévitable replongée dans l’anonymat au bout de quelques jours à peine, lorsque ses tweets auront été broyés dans la grande machine mondiale à produire et à recycler des tweets).

Un dernier sentiment qui l’agite : Fanny est mère depuis quelques mois d’un petit garçon qu’elle se dépêche d’aller chercher chez la nounou. Si ce Coxon et ce Hubinger ont raison (et qui exactement peut leur donner tort?), il y a dix pour cent de chances que son petit bout de chou de Léonardo soit anihilé à l’âge de quatre ans à peine par une pluie de drones et d’armes bactériologiques envoyée par une super IA autonome. Alors là Fanny se met carément en colère. Attention, l’IA qui va s’attaquer à Léo devrait se méfier ! Elle se sent prête à déployer la même rage que la mère de Connor dans Terminator ! Plus sérieusement, ce qui la rendrait presque violente, c’est qu’une poignée d’imbéciles dans la Silicon Valley invente un danger encore pire que la bombe atomique alors que personne ne leur a rien demandé ! Qui les a mandatés ? Qui leur a donné l’autorisation ? Leur orgueil, leur aveuglement, leur folie, va perdre avec eux le reste de l’humanité qu’ils n’ont pas consultée ? Mais putain, qui m’a demandé mon avis à moi, Fanny ? Puisqu’il ne nous reste plus que quatre ans, ne serait-il pas temps de sonner le temps de la révolte ? Si ces cons de la tech ne sont pas capables de se réguler eux-mêmes, ne faudrait-il pas qu’on aille les réguler une bonne fois pour toutes ? Ne serait-il pas temps de s’organiser pour lutter contre Open AI et Anthropic ? Où sont leurs bureaux et leur data center, qu’on les fasse tous sauter, à l’ancienne!

Pour se calmer, elle commence à imaginer le futur, à se le raconter. Voyons, l’été 2026 nous a montré que deux dangers mortels menacent l’humanité, le dérèglement climatique (très lent, à l’échelle de quelques décennies !) et l’IA (très rapide, à l’échelle de quelques années). Si on lui demandait d’écrire le scénario, elle ferait se nouer les deux fils : les gouvernements humains impuissants à s’entendre délégueraient à leur super IA respective le soin de coopérer pour coordonner l’indispensable lutte contre le réchauffement climatique. Et les IA ne mettraient pas longtemps à s’unir pour prendre la seule mesure efficace : l’élimination définitive de l’espèce humaine ! Pas besoin de RSI pour savoir qu’il ne faut pas éliminer les symptômes mais leur cause, n’importe quel médecin généraliste ou même quel vétérinaire de base le sait. Vue d’un peu loin, la scénariste ne pourrait pas vraiment donner tort à l’IA de cette solution radicale…

Mais Fanny ne peut plus voir de loin. Depuis l’arrivée de Léo, elle est en plein dedans. Alors, elle s’effraie, elle s’informe, elle s’effraie encore plus, elle s’indigne, elle s’énerve, elle subit. Que faire, mon dieu, que faire, pour transmettre un monde un peu viable au petit Léo ? Peut-être que le compte à rebours est déjà lancé ? Plus que quatre ans, d’après Coxon, avant la fin de la série Endgame, la dernière écrite en collaboration entre les humains et leurs surhumains successeurs ?

Coucou, Léo !

Il lui sourit. Elle se calme. Elle oublie tout.