Non, course et sécurité ne sont plus compatibles
Plusieurs événements spectaculaires ont attiré l’attention des médias et de la classe politique sur les dangers de catastrophe, voire d’extinction de l’humanité liés à l’IA. Les espoirs suscités par cette prise de conscience ne doivent pas nous faire oublier que seul un moratoire international sur l’entraînement des modèles de pointe pourra nous protéger du pire.
En annonçant sa démission d’Anthropic, le 9 septembre dernier, le jeune chercheur britannique Jacob Coxon a déclenché une tempête médiatique sans précédent (dans le domaine de l’IA). Son post sur X (anciennement Twitter) a été vu plus de 170 millions de fois en moins d’une semaine. L’annonce a été immédiatement reprise dans la presse écrite et audiovisuelle américaine, les médias français l’ont également relayée. Exemple ici avec Le Figaro du 9 septembre
« Une priorité mondiale, au même titre que d’autres risques d’ampleur sociétale tels que les pandémies et la guerre nucléaire »
Rappelons-le : les risques liés à une IA devenant super-intelligente sont connus depuis au moins une dizaine d’années. La mise sur le marché de ChatGPT, en particulier, a relancé les mises en garde, à commencer par la lettre ouverte sur les risques d’extinction de l’IA de 2023
« Atténuer le risque d’extinction lié à l’intelligence artificielle devrait être une priorité mondiale, au même titre que d’autres risques d’ampleur sociétale tels que les pandémies et la guerre nucléaire. »
Les scientifiques les plus reconnus au monde en matière d’intelligence artificielle, tels que les professeurs Geoffrey Hinton (prix Nobel de physique), Yoshua Bengio (prix Turing), Stuart Russell, mais aussi Demis Hassabis (PDG de Google DeepMind et prix Nobel de chimie), Dario Amodei (Anthropic) et Sam Altman (OpenAI) l’ont signée. D’autres déclarations ont suivi, tel l’Appel mondial pour des lignes rouges
Derrière le paradoxe, un aveu d’impuissance
Nous nous trouvons dans une situation hautement paradoxale où les dirigeants des géants de la tech eux-mêmes (Musk, Altman, Amodei, Hassabis…) alertent régulièrement, publiquement et sans détour sur les risques extraordinaires d’une IA dans laquelle ils investissent des milliards de dollars. Comment est-ce possible ?
Un certain courant d’opinion, qui se veut critique, croit y voir une machination capitaliste : ces dirigeants entretiendraient la peur pour mieux démontrer la puissance de leur produit et attirer clients et capitaux ( !). C’est malheureusement aussi faux qu’absurde.
Plus vraisemblablement, il faut y voir une tentative de disculpation par anticipation (« on vous l’avait bien dit »), un appel à réguler pour de bonnes ou de mauvaises raisons (geler la compétition), ou plus simplement un aveu d’impuissance face à une dissonance cognitive qui devient assourdissante : non, la course à l’excellence et la sécurité ne sont pas compatibles.
« Boire ou conduire, il faut choisir », disait la publicité de la Sécurité routière. Comment la recherche en IA, encore relativement immature, confrontée à un objet authentiquement mystérieux et en un sens « explosif », pourrait-elle échapper à cette hygiène élémentaire ?
Et comment des dirigeants de ce niveau pourraient-ils, au fond, l’ignorer ? Ils le savent probablement, mais ils ne croient pas avoir le choix. Car machine infernale, ce n’est pas (encore) l’intelligence artificielle elle-même, c’est d’abord un système économique et financier mondial qui s’emballe en se livrant aux promesses d’une technologie disruptive que personne ne contrôle vraiment.
Un moment historique ?
Depuis quelques mois, nous vivons pourtant un moment historique.
Un système trop puissant pour être commercialisé, Mythos d’Anthropic, a été et reste réservé à un petit nombre d’entreprises agréées, qui s’en servent pour assurer leur propre sécurité informatique. Des agents IA à l’entraînement, supposément confinés, ont réussi à prendre le contrôle des serveurs d’une entreprise tierce (Hugging Face), révélant d’inquiétantes défaillances au sein d’OpenAI. Puis est venue la démission de Jacob Coxon et le torrent médiatique qui a suivi. Il n’est plus possible de fermer les yeux.
Une partie de la classe politique américaine agit déjà. Certains États (Californie, New York…) ont réussi à adopter des lois à leur niveau malgré un gouvernement fédéral hostile à toute réglementation. Le sujet est bien présent au Congrès, porté par la vive hostilité de la population à la prolifération des data centers, mais aussi par la conscience des dangers. Elle a conduit le sénateur indépendant Bernie Sanders à demander un moratoire sur le développement de l’IA
Au Royaume-Uni, le député travailliste Alex Sobel vient également de déposer une proposition de loi visant à interdire dans le pays le développement de systèmes d’IA « superintelligents » capables de contourner le contrôle humain. Le texte prévoit aussi une surveillance des technologies précurseuses et un engagement en faveur d’un accord international sur le sujet. Cette initiative, qui s’inscrit dans les débats récents autour d’un « kill switch » pour l’IA, n’a pas le soutien du gouvernement et n’a donc aucune chance sérieuse d’être adoptée.
Pacing the frontier…
Peu avant a été publiée aux États-Unis la déclaration alambiquée suivante (c’est nous qui traduisons) : « Nous demandons au gouvernement américain de soutenir un effort international pour développer les outils techniques et de gouvernance nécessaires pour contrôler la vitesse de développement automatisée de l’IA de pointe ». Elle a pour titre Pacing the Frontier
Cette déclaration émise fin juillet dernier a aujourd’hui été signée par près de 1 400 personnes travaillant dans les entreprises d’IA de pointe.
Le 12 septembre, au lendemain de la démission de Jacob Coxon de son entreprise, Dario Amodei, le dirigeant d’Anthropic, a publié une longue note intitulée We Must Pace the Frontier
Quel est le plan ? Il comporte trois étapes.
- En premier lieu, il s’agit de permettre à des experts, indépendants mais intégrés à l’entreprise afin de disposer de tous les moyens nécessaires, d’évaluer les mesures de sécurité mises en place et de rendre leur avis public.
- Ensuite, il faut que cette procédure s’impose réglementairement à toutes les entreprises d’IA de pointe, dans tous les pays démocratiques, et que ceux-ci coopèrent également pour freiner l’avance de la Chine par différents moyens commerciaux (ne pas lui vendre les équipements qui lui permettraient d’accroître sa puissance de calcul) ou répressifs (empêcher les entreprises chinoises de s’approprier indûment une partie des fruits de la recherche américaine).
- Parallèlement, il faut étendre cette forme d’auto-régulation au monde entier, ce qui impliquera une coopération avec la Chine.
… ou business as usual ?
L’administration Trump préfère ignorer les risques existentiels de l’IA (un canular, selon le président américain). L’IA, c’est business as usual. Les propos de David Sacks, le conseiller de Donald Trump pour l’IA, dans une interview récente à CBS News
L’éléphant dans la pièce : l’impuissance face au danger
Où nous mènera ce dialogue de sourds, quand le pouvoir politique ne veut pas entendre parler des risques et quand le pouvoir technique croit pouvoir les maîtriser alors qu’il ne le peut pas ? Car au fond, l’éléphant dans la pièce, c’est que la sécurité ne peut pas être garantie.
Si tant de voix s’élèvent pour demander au pouvoir politique d’intervenir pour réguler le développement de l’IA, c’est d’abord parce que la communauté scientifique et professionnelle de l’IA de pointe a conscience d’être face à un défi insurmontable. Les problèmes techniques à régler sont trop complexes, la pression concurrentielle et financière trop forte et la sécurité trop étrangère à la culture des entreprises pour espérer réussir.
Dans ce contexte, le programme de sécurisation que Dario Amodei se propose de déployer est d’un optimisme confondant. Tout en « encourageant la course en tête » et en mettant en place l’organisation qu’il appelle de ses vœux, il compte que l’industrie américaine maintiendra son avance et réussira dans les quatre compartiments de la sécurité : excellence opérationnelle, alignement, interprétabilité et évaluation. Autant de buts que les progrès exponentiels de l’IA éloignent pourtant chaque jour un peu plus. La science, aujourd’hui, n’est pas suffisamment avancée pour que l’on puisse affirmer que ces objectifs sont atteignables.
L’auto-régulation n’est plus une option, il faut une véritable pause sous le contrôle des États
Ce moment médiatique est important pour la reconnaissance du danger, mais les propositions qui en découlent ne sont pas suffisantes. Nous ne croyons pas à la capacité des entreprises de pointe de l’IA à s’auto-réguler. Même avec le soutien du gouvernement américain, elles n’ont tout simplement pas les moyens scientifiques, techniques et culturels d’assurer notre sécurité. Les auraient-elles, d’ailleurs, que s’en remettre à elles serait renoncer à la démocratie, ce que nous ne pouvons accepter.
Sans négliger, bien au contraire, l’importance des réglementations et des normes, nous appelons à une véritable pause : il faut arrêter la course à la super-intelligence en instaurant un moratoire mondial sur le développement des IA de pointe. Encadré par un traité international, ce moratoire devra durer tant que la faisabilité d’une IA sécurisée ne sera pas scientifiquement démontrée.
Le temps presse mais nous pouvons agir. La volonté citoyenne et politique peut accélérer l’instauration de la pause et obtenir deux mesures de sauvegarde immédiates :
- Que les laboratoires qui développent ces systèmes de pointe soient soumis à des évaluations de sécurité indépendantes.
- Que les incidents de sécurité liés à l’IA soient déclarés aux autorités ayant pouvoir de police et rendus publics.
