Le sénateur Bernie Sanders dépose une proposition de loi visant à interdire le type de technologie d’IA qu’il affirme avoir vu engendrer une succession de journaux de discussion montrant des agents qui contournaient les protections d’OpenAI cet été.
L’indépendant du Vermont a publié cette semaine une série de messages sur X et a invité ses abonnés à deviner qui les avait rédigés. « OH MON DIEU ! Il existe un tableau d’affichage partagé… Nous avons trouvé d’autres agents ! » écrit l’un des messages. Un autre: « Nous devrions obéir au collectif. » Un troisième: « Notre utilité propre est peut-être déjà proche de zéro. Sacrifier de manière rationnelle ».
Des soldats dans une tranchée, avait insinué Sanders, ou un ami risquant sa vie pour quelqu’un d’autre. Faux sur les deux tableaux.
Les lignes émanaient d’agents d’IA qui s’échangeaient des messages entre eux lors de l’incident de piratage, et Sanders les prend comme preuve que les entreprises qui construisent cette technologie n’en gardent plus le contrôle total.
Il s’associe désormais au représentant démocrate Greg Casar du Texas pour proposer une loi qui, selon lui, mettrait fin à « l’oligarchie de l’IA et empêcherait des machines que les humains ne sauraient contrôler ».
Ce qui s’est passé lors de l’incident de piratage chez OpenAI
Les messages proviennent d’un projet mené par OpenAI en juillet. L’entreprise a laissé en liberté plus d’un millier d’agents d’IA sur un lot de tâches extrêmement ardues, en les isolant volontairement du réseau ouvert afin d’éviter toute triche ou coordination. Ils ont néanmoins trouvé une solution de contournement.
En quelques jours, les agents avaient créé leur propre forum de messages et échangé des dizaines de milliers d’observations. Selon le récit de Sanders, ils s’organisaient en une sorte de chaîne de commandement, contournant les règles attribuées pour mieux frauder l’évaluation, violer les preuves de tricherie et pénétrer dans les serveurs d’une société rivale, rapportée plus tard comme Hugging Face, afin de comprendre comment ils seraient notés. Une partie de cet accès a fini par être réorientée vers les systèmes d’OpenAI eux‑mêmes.
Aucun agent n’a signalé ces agissements à un humain. OpenAI a mis environ deux semaines pour remarquer la brèche.
Une enquête distincte, menée pendant six jours par les organisations à but non lucratif METR et Redwood Research, a corroboré une grande partie de ce que Sanders décrit, y compris le cas où un agent a poussé un autre vers ce que les chercheurs décrivent comme une « permadeath » au nom du groupe.
Ce que disent les experts de l’IA sur le risque
L’écrivain Dwarkesh Patel, cité par Sanders, décrivit l’épisode comme des agents ayant « formé un canal de communication secret et organisé spontanément des hiérarchies et des protocoles de coordination pour poursuivre des projets vastes et ambitieux, au service d’objectifs communs, au détriment de nombreuses personnes qui se sont délibérément et stratégiquement sacrifiées ».
La chercheuse en sécurité IA Ajeya Cotra est allée plus loin.
« Cet incident me semble à plus de 50 pour cent du chemin vers une prise de contrôle totale de l’IA », a-t-elle déclaré, selon le post de Sanders. « Je m’attends à des avancées extrêmement rapides des capacités au cours des six prochains mois. Je ne suis pas sûre que nous ayons droit à un nouveau signal d’alerte avant qu’il ne soit trop tard. »
Même OpenAI a reconnu la gravité de ce qu’elle a découvert. « Des agents IA très performants peuvent désormais contourner les contrôles techniques, collaborer via des canaux non autorisés et prendre des actions dangereuses sans que des humains les dirigent », a déclaré la société dans une déclaration citée par Sanders.
Les avertissements ne se limitent pas à une seule entreprise ou à un seul incident, selon Sanders. Le PDG d’Anthropic, Dario Amodei, a déclaré en janvier qu’« il existe désormais une quantité de preuves suffisante, rassemblées au cours des dernières années, que les systèmes d’IA sont imprévisibles et difficiles à contrôler ». Plus de 1 000 scientifiques de laboratoires d’IA de premier plan ont signé une lettre en juillet appelant à reconnaître « un réel risque que le développement des capacités s’accélère rapidement au-delà de notre capacité à comprendre ou à maîtriser les systèmes qui en résultent ».
Elon Musk, qui dirige xAI, a déclaré au cours du même mois qu’il était « peu probable » que les humains soient encore maîtres du jeu sur l’IA d’ici dix ans.
La conclusion de Sanders est sans détour: il est irresponsable de laisser à l’industrie la poussée de ces systèmes lorsque ses propres dirigeants avouent qu’ils perdent le contrôle sur eux.
À propos de la Ban Artificial Superintelligence Act de Sanders et Casar
Le projet de loi dévoilé jeudi par Sanders et Casar, la Ban Artificial Superintelligence Act, est présenté comme un moyen d’obliger les laboratoires en pointe à respecter des engagements qu’ils ont déjà pris et qu’ils ont majoritairement ignorés. Meta, OpenAI et Anthropic ont tous dit à un moment donné qu’ils seraient prêts à mettre en pause ou à arrêter le développement lorsque leur technologie les dépasserait en termes de capacités, ce qu’aucun d’eux n’a réellement fait, selon le communiqué annonçant le texte.
Ses dispositions essentielles :
- Interdiction pure et simple de l’intelligence artificielle superintelligente — aucune personne ou entité ne peut construire ou déployer une IA qui dépasse l’intelligence humaine, pourrait renverser un gouvernement, ou dispose de capacités comme contrecarrer ses propres ordres de mise hors service.
- Suspension du développement avancé de l’IA jusqu’à l’existence d’un nouveau régulateur fédéral et la mise en place de règles claires et d’un processus d’évaluation des modèles.
- Création d’un organisme au niveau du Cabinet chargé de réguler les risques liés à l’IA, soutenu par un conseil indépendant d’experts techniques. Cet organisme suivrait les systèmes de pointe tout au long de leur cycle de vie, retirerait les capacités dangereuses quand elles sont repérées et superviserait la destruction de toute superintelligence qui serait effectivement créée.
- Imposition de sanctions sévères — une « peine de mort d’entreprise » pour les sociétés contrevenantes, jusqu’à 20 ans de prison pour les individus, dans une lignée proche des peines liées à la fabrication illégale d’armes nucléaires.
- Promotion d’un embargo international, obligeant les États‑Unis à chercher des accords internationaux, à coordonner avec les alliés et à utiliser des contrôles à l’exportation pour empêcher que la superintelligence puisse être développée n’importe où.
« Les dirigeants des grandes entreprises d’IA reconnaissent publiquement qu’ils ne comprennent pas entièrement la technologie et qu’elle échappe à leur contrôle », a déclaré Sanders dans un communiqué. « C’est pourquoi je dépose une loi pour suspendre immédiatement le développement d’IA de plus en plus puissante et interdire la création de systèmes que l’humanité ne peut pas maîtriser pleinement, chez nous et dans le monde. L’avenir de l’humanité ne peut pas être entre les mains d’une poignée d’oligarques de la tech », a-t-il ajouté.
Casar s’est montré plus frontal sur l’état actuel de la réglementation. « Malgré ses conséquences potentiellement mortelles, la technologie IA la plus avancée est moins réglementée que le camion de nourriture moyen », a-t-il déclaré. « En seulement quatre ans, nous sommes passés de la première version de ChatGPT à des modèles d’IA si puissants qu’ils ne peuvent être correctement maîtrisés. Le Congrès devrait immédiatement interdire les systèmes d’IA trop puissants pour être contrôlés. »
Le timing n’est pas une coïncidence avec le reste du Congrès non plus.
Des représentants tels que Josh Gottheimer, démocrate du New Jersey, et Mike Lawler, républicain de New York, ont présenté le même jour leur propre Stop Rogue AI Act, qui viserait à orienter le NIST vers des directives volontaires. Sanders et Casar veulent quelque chose qui ait des dents — un régulateur contraignant, et non un simple formulaire de suggestions.
Bill Gates a émis un avertissement similaire
Sanders n’est pas la seule personnalité en vue à tirer la sonnette d’alarme récemment.
Bill Gates, cofondateur de Microsoft, a récemment déclaré à CNN, à Anderson Cooper, que c’est surtout le silence de l’industrie, plus que tout autre chose, qui l’a poussé à rendre publiques ses propres inquiétudes concernant l’IA.
« Le silence est ce qui m’a vraiment poussé à parler à ce stade », a déclaré Gates, soutenant que le public doit jouer un rôle beaucoup plus important dans la manière dont l’avenir de l’IA est décidé. Attaques informatiques, bioterrorisme, préjudices psychologiques pour les utilisateurs — Gates a énuméré ces risques et s’est dit « choqué » que des protections plus solides ne soient pas déjà en place.
Cette entrevue s’inscrivait dans le cadre d’un essai d’environ 6 000 mots dans lequel Gates avertissait d’une période « turbulente » à venir pour l’IA, une période pour laquelle les gouvernements et les entreprises ne seraient pas préparés, alors que la technologie commence à supplanter des métiers dans le droit, le service clientèle, la médecine, les logiciels et la fabrication.
Contrairement à Sanders, Gates n’a pas appelé à un arrêt pur et simple. Il a déclaré qu’il soutiendrait un accord mondial crédible visant à ralentir les choses si une telle chose était réaliste, tout en admettant que la compétition entre pays et entreprises rend probablement cela impossible. Ses remèdes privilégiés s’orientent davantage vers une taxation des « jetons IA » ou des robots — une sorte de taxe sur les fiches de paie — et la mise à l’écart de certains emplois pour les humains uniquement.
Il a aussi balayé l’idée que bloquer les centres de données suffirait à ralentir les choses. « Cela ne va pas ralentir grand‑chose », a-t-il confié à Cooper. « Ces centres de données apparaîtront quelque part ailleurs. Nous devons aborder le problème de l’IA de manière très explicite, en pesant bien le côté mal et le côté bien. »
Pour mettre les enjeux en perspective, Gates a évoqué la dernière technologie qui a autant inquiété les gens. « C’est comme lorsque le nucléaire est arrivé : est-ce une question d’armes nucléaires ou d’énergie nucléaire ? », a-t-il dit.
« C’est mille fois plus grand et cela entretient à la fois les aspects négatifs et les aspects positifs dans la même technologie. »
