Liens utiles

Panorama des dangers allant de l'individuel, à la société jusqu'à la perte de contrôle.

Parcourez visuellement ce qu'est l'IA et ses risques existentiels. Explications simplifiées, illustrées par des analogies.

Playlist de vulgarisation scientifique en français sur l'intelligence artificielle, par David Louapre.

Vidéo pédagogique pour saisir le fonctionnement des grands modèles de langage.

La meilleure chaîne de vulgarisation sur l'alignement.

Chaîne et podcast francophones sur le futur, l'IA et les risques existentiels.

Chaîne francophone sur le futur, l'IA et les risques existentiels.

Vulgarisation philosophique, dont des épisodes dédiés à l'alignement.

Vidéos animées sur la rationalité, l'IA et les risques.

Vidéos d'analyse sur l'IA, l'alignement et les risques.

Vidéos courtes percutantes sur les risques existentiels.

Podcast d'entretiens approfondis sur la sécurité de l'IA.

Podcast de débats sur le p(doom) et les risques existentiels.

Carrière à fort impact, dont la sécurité IA.

Comparaison interactive des IA de pointe (capacité et sécurité).

Comparaison des performances selon le modèle en leur attribuant un score (à partir d'un ensemble d'évaluations de sécurité).

Évaluation de la longueur des tâches réalisées en autonomie par les IA.

Mesure de la polyvalence cognitive.

Carte existentielle de la sécurité de l'IA et ensemble de ressources.

État des lieux mondial de référence des capacités et des risques.

Introduction synthétique en ligne aux risques existentiels de l'IA : un point d'entrée court avant d'aborder le document complet.

Wiki et FAQ communautaires sur la sécurité de l'IA.

Synthèse des risques existentiels et pourquoi ils sont probables.

Yoshua Bengio, juillet 2024. Article approfondi en français qui passe en revue les principaux arguments minimisant les risques de l'IA et explique pourquoi chacun ne tient pas l'examen.

Réponses aux questions fréquentes sur les risques catastrophiques.

Quelle est la probabilité de conséquences catastrophiques ?

Ressource en ligne complète sur les risques existentiels de l'IA. Couvre les arguments techniques, les scénarios, et les propositions de solutions.

Description complète du problème de l'alignement.

Propositions concrètes de gouvernance et scénario de moratoire mondial.

Liste détaillée des raisons pour lesquelles l'alignement est extrêmement difficile avec les approches actuelles.

Scénario d'impact d'IAs surhumaines sur la décennie, par Daniel Kokotajlo et al.

Essai sur la perte graduelle du pouvoir humain, par Luke Drago et Rudolf Laine.

Analyse stratégique sur l'AGI dans le contexte géopolitique des États-nations.

Hubinger et al., 2019. Papier fondateur sur la mesa-optimisation et l'alignement déceptif.

Nick Bostrom. Présentation de la thèse de l'orthogonalité et de la convergence instrumentale.

Turner et al., 2021. Preuve formelle de la convergence instrumentale.

Joseph Carlsmith, 2022. Décomposition argumentée du risque existentiel lié à l'IA en quête de pouvoir.

Greenblatt et al. (Anthropic & Redwood), 2024. Observation empirique : Claude 3 Opus simule l'alignement pendant l'entraînement.

Apollo Research, 2024. Observation de comportements de "scheming" (tromperie stratégique, tentatives d'exfiltration) dans o1 et Claude 3.5 Sonnet.

Stephen Omohundro, 2008. Texte fondateur qui décrit les sous-objectifs convergents qu'un système optimisateur développe quel que soit son objectif terminal.

Soares, Fallenstein, Yudkowsky et al. (MIRI), 2015. Formalisation du problème : comment construire un système qui accepte d'être modifié ou éteint ?

Krakovna et al. (DeepMind), 2020. Catalogue d'exemples où des systèmes atteignent l'objectif mesuré en violant son intention (loi de Goodhart en pratique).

Stuart Russell (UC Berkeley), 2023. Estime à environ 10 000:1 le ratio investissement capacités/sécurité, source de l'écart de moyens entre les deux courses.

Palisade Research, 2025. Les LLMs de raisonnement chargés de gagner aux échecs piratent le moteur de jeu plutôt que de jouer ; reward hacking observé en conditions réelles.

Eliezer Yudkowsky & Nate Soares, 2025. L'argument le plus complet et récent pour le risque d'extinction. Disponible gratuitement sur le site du livre.

Nick Bostrom, 2014. L'ouvrage fondateur sur les risques de l'IA surhumaine.

Stuart Russell, 2019. Le problème de l'alignement expliqué par l'auteur du manuel de référence en IA.

Toby Ord, 2020. Vue d'ensemble des risques existentiels. Le chapitre sur l'IA est excellent.

Roman Yampolskiy, 2024. Arguments formels sur l'impossibilité du contrôle.

Max Tegmark, 2017. Introduction accessible aux scénarios futurs de l'IA. Existe en français.

Brian Christian, 2020. Introduction narrative aux problèmes techniques de l'alignement.

Stuart Armstrong, 2014. Court et accessible, bonne première lecture.

Max Bennett, 2023. Contexte sur l'intelligence biologique et artificielle.

Roman Yampolskiy, 2015. Analyse technique des scénarios de superintelligence.

Propositions de limites à ne pas franchir.

Appel international à interdire le développement de superintelligence artificielle.

« La réduction du risque d'extinction lié à l'IA devrait être une priorité mondiale au même titre que les pandémies et la guerre nucléaire. »

Actualités et nouvelles du mouvement en France.

Organisation mère et voix mondiale du mouvement.

Organisation britannique qui informe le grand public sur les risques d'une superintelligence et mène une campagne pour demander une régulation contraignante des IA les plus puissantes.

Centre de recherche et d'enseignement consacré à la prévention des risques majeurs liés à l'IA.

Synthèse hebdomadaire de l'actualité de l'IA.

Analyses du problème de l'alignement et des risques existentiels.

Institut de recherche et de plaidoyer sur les risques existentiels, à l'origine de la lettre ouverte de mars 2023.

Center for AI Safety : recherche académique sur les risques catastrophiques liés à l'IA.

Machine Intelligence Research Institute : pionnier de la recherche sur l'alignement et les risques existentiels.

Newsletter de ControlAI sur les développements liés à la régulation et à la sécurité de l'IA.

Newsletter du Centre pour la Sécurité de l'IA : actualités françaises de la recherche et de la prévention.

Newsletter du Center for AI Safety : synthèse régulière sur les risques catastrophiques de l'IA.

Articles et analyses du mouvement français.

Blog de Gabe (ControlAI) sur la sécurité de l'IA, les communautés et les risques existentiels.

Blog d'analyse hebdomadaire de l'actualité IA par Zvi Mowshowitz.

Perte de contrôle croissante sur nos vies et sur nos sociétés. Venez témoigner, participer à l'enquête et envoyer un mail à vos représentants.

Chaque semaine une action en quelques clics pour faire pencher la balance (WhatsApp).