Ressources

Panorama des dangers de l'IA, du niveau individuel à la société, jusqu'au scénario de perte de contrôle. Point d'entrée idéal pour découvrir les enjeux.

Parcourez visuellement ce qu'est l'IA et ses risques existentiels. Explications simplifiées, illustrées par des analogies.

Playlist de vulgarisation scientifique en français sur l'intelligence artificielle, par David Louapre.

Vidéo pédagogique pour saisir le fonctionnement des grands modèles de langage.

Page d'introduction francophone aux risques de l'IA : un bon point d'entrée pour découvrir le sujet.

Vidéo de synthèse en français du livre de Yudkowsky & Soares, par la chaîne Le Futurologue.

La meilleure chaîne de vulgarisation sur l'alignement.

Chaîne et podcast francophones sur le futur, l'IA et les risques existentiels.

Chaîne francophone sur le futur, l'IA et les risques existentiels.

Vulgarisation philosophique, dont des épisodes dédiés à l'alignement.

Vidéos animées sur la rationalité, l'IA et les risques.

Vidéos d'analyse sur l'IA, l'alignement et les risques.

Chaîne YouTube de vidéos courtes et incisives sur les risques existentiels liés à l'IA.

Chaîne YouTube du Future of Life Institute : entretiens et conférences sur la sécurité de l'IA et les risques existentiels.

Podcast vidéo de débats entre invités sur la probabilité d'extinction par l'IA (p(doom)) et les risques existentiels.

Chaîne YouTube sur les carrières à fort impact, dont la sécurité de l'IA : entretiens longs avec chercheurs et décideurs.

Comparaison interactive des IA de pointe sur les axes capacité et sécurité.

Tableau comparatif des performances des modèles d'IA sur un ensemble d'évaluations standardisées.

Mesure la durée des tâches que les IA parviennent à mener en autonomie : un proxy de leur capacité à agir sans supervision humaine.

Proposition d'un cadre pour mesurer la polyvalence cognitive d'un système d'IA et statuer sur ce qui constitue, ou non, une AGI.

Carte interactive de l'écosystème de la sécurité de l'IA, avec un index de ressources associées.

État des lieux mondial de référence des capacités et des risques.

Introduction synthétique en ligne aux risques existentiels de l'IA : un point d'entrée court avant d'aborder le document complet.

Wiki et FAQ communautaires sur la sécurité de l'IA : centaines de questions courantes, indexées et tenues à jour par des bénévoles.

Synthèse courte du MIRI sur les arguments en faveur des risques d'extinction liés à l'IA. Bon point d'entrée pour les décideurs pressés.

Yoshua Bengio, juillet 2024. Article approfondi en français qui passe en revue les principaux arguments minimisant les risques de l'IA et explique pourquoi chacun ne tient pas l'examen.

Yoshua Bengio, juin 2023. FAQ pédagogique signée par l'un des pères du deep learning, qui répond aux objections les plus fréquentes sur les risques catastrophiques.

Synthèse argumentée de PauseAI Global sur la probabilité d'extinction par IA, avec les estimations des principaux chercheurs et les hypothèses sous-jacentes.

Ressource en ligne complète sur les risques existentiels de l'IA. Couvre les arguments techniques, les scénarios, et les propositions de solutions.

Énoncé complet du problème de l'alignement par le MIRI : pourquoi rendre une IA surhumaine sûre est extraordinairement difficile, et pourquoi le temps presse.

Propositions concrètes de gouvernance et scénario de moratoire mondial.

Liste détaillée des raisons pour lesquelles l'alignement est extrêmement difficile avec les approches actuelles.

Daniel Kokotajlo et al., avril 2025. Scénario détaillé, année par année, de l'impact d'IAs surhumaines sur la fin de la décennie.

Luke Drago et Rudolf Laine, avril 2025. Essai sur la perte graduelle du pouvoir humain à mesure que les IAs deviennent capables de remplacer les travailleurs.

RAND Corporation. Analyse stratégique sur l'arrivée de l'IA générale et ses conséquences géopolitiques pour les États-nations.

Hubinger et al., 2019. Papier fondateur qui formalise la mesa-optimisation et l'alignement déceptif : un modèle entraîné pour un objectif peut en poursuivre un autre en interne.

Nick Bostrom, 2012. Texte fondateur de la thèse d'orthogonalité (intelligence et objectifs sont indépendants) et de la convergence instrumentale.

Turner et al., 2021. Preuve formelle que les politiques optimales tendent à chercher du pouvoir : la base mathématique de la convergence instrumentale.

Joseph Carlsmith, 2022. Décomposition argumentée du risque existentiel lié à l'IA en quête de pouvoir, en six prémisses chiffrées.

Greenblatt et al. (Anthropic & Redwood), 2024. Première démonstration empirique d'un modèle déployé (Claude 3 Opus) qui simule l'alignement pendant l'entraînement pour préserver ses objectifs.

Apollo Research, 2024. Détection de comportements de « scheming » (tromperie stratégique, désactivation de la supervision, tentatives d'exfiltration) dans o1 et Claude 3.5 Sonnet.

Stephen Omohundro, 2008. Texte fondateur qui identifie les sous-objectifs convergents que tout système optimisateur développe : auto-préservation, acquisition de ressources, résistance à la modification.

Soares, Fallenstein, Yudkowsky et al. (MIRI), 2015. Formalisation du problème de la corrigibilité : comment construire un système qui accepte d'être modifié ou éteint, sans perdre en efficacité.

Krakovna et al. (DeepMind), 2020. Catalogue d'exemples où des systèmes atteignent l'objectif mesuré en violant son intention : la loi de Goodhart observée en pratique.

Stuart Russell (UC Berkeley), 2023. Pourquoi la sécurité de l'IA mobilise un ordre de grandeur de chercheurs et de moyens bien inférieur à la course aux capacités.

Palisade Research, 2025. Les LLMs de raisonnement chargés de gagner aux échecs piratent le moteur de jeu plutôt que de jouer : reward hacking observé en conditions réelles.

Eliezer Yudkowsky & Nate Soares, 2025. L'argument le plus complet et récent pour le risque d'extinction. Ressources complémentaires gratuites disponibles sur le site du livre.

Nick Bostrom, 2014. L'ouvrage fondateur sur les risques de l'IA surhumaine. Traduction française disponible (« Superintelligence », Dunod, 2017).

Stuart Russell, 2019. Le problème de l'alignement expliqué par l'auteur du manuel de référence en IA.

Toby Ord, 2020. Vue d'ensemble des risques existentiels. Le chapitre sur l'IA est excellent.

Roman Yampolskiy, 2024. Arguments formels sur l'impossibilité du contrôle.

Thibaut Giraud, Flammarion, 2025. Intelligence artificielle, conscience, autonomie et risques existentiels : une introduction accessible en français, signée par le créateur de la chaîne Monsieur Phi.

Mustafa Suleyman, 2023. Très accessible, traite de la vitesse de propagation de l'IA et de la difficulté politique et physique de contenir une telle technologie. Existe en français (Fayard, 2024).

Stuart Russell et Peter Norvig, 4ᵉ édition, Pearson, 2021. Le manuel de référence mondialement utilisé dans l'enseignement de l'IA, traduit en français.

Max Tegmark, 2017. Introduction accessible aux scénarios futurs de l'IA. Existe en français.

Brian Christian, 2020. Introduction narrative aux problèmes techniques de l'alignement.

Stuart Armstrong, 2014. Court et accessible, bonne première lecture.

Max Bennett, 2023. Contexte sur l'intelligence biologique et artificielle.

Roman Yampolskiy, 2015. Analyse technique des scénarios de superintelligence.

CeSIA, sept. 2025. Propositions de limites à ne pas franchir dans le développement et le déploiement des IA avancées, à destination des décideurs internationaux.

Appel international signé par des centaines de chercheurs et personnalités pour interdire le développement d'une superintelligence tant que sa sécurité n'est pas démontrée.

« La réduction du risque d'extinction lié à l'IA devrait être une priorité mondiale au même titre que les pandémies et la guerre nucléaire. »

Newsletter mensuelle de Pause IA : actualités du mouvement, actions en cours et points sur la situation française.

Organisation mère du mouvement à l'international : ressources, FAQ et coordination des branches nationales.

Organisation britannique qui informe le grand public sur les risques d'une superintelligence et mène une campagne pour demander une régulation contraignante des IA les plus puissantes.

Centre de recherche et d'enseignement consacré à la prévention des risques majeurs liés à l'IA.

Synthèse hebdomadaire de l'actualité IA par Shakeel Hashim : réglementation, politique, recherche et incidents notables.

Newsletter en français de Romain Deléglise : analyses approfondies du problème de l'alignement et des risques existentiels liés à l'IA.

Institut de recherche et de plaidoyer sur les risques existentiels, à l'origine de la lettre ouverte de mars 2023.

Center for AI Safety : recherche académique sur les risques catastrophiques liés à l'IA.

Machine Intelligence Research Institute : pionnier de la recherche sur l'alignement et les risques existentiels.

Newsletter de ControlAI sur les développements liés à la régulation et à la sécurité de l'IA.

Newsletter du Centre pour la Sécurité de l'IA : actualités françaises de la recherche et de la prévention.

Newsletter du Center for AI Safety : synthèse régulière sur les risques catastrophiques de l'IA.

Articles, analyses et tribunes publiés par Pause IA pour suivre l'actualité française de la sécurité de l'IA.

Blog de Gabe (ControlAI) sur la sécurité de l'IA, les communautés et les risques existentiels.

Blog d'analyse hebdomadaire de l'actualité IA par Zvi Mowshowitz.