Dangers pour l’humanité

Plus spéculativement, l’IA pose des dangers qui menacent l’avenir de l’humanité. Ces dangers ne peuvent pas forcément être observés, et il est peu probable que nous ayons des signes avant-coureurs évidents avant qu’il ne soit trop tard. C’est pourquoi il est nécessaire d’y réfléchir même s’il existe peu d’arguments empiriques pour aider à y voir plus clair. Ces dangers apocalyptiques sont liés au potentiel de l’Intelligence Artificielle Générale (IAG), et découlent d’innovations technologiques qui pourraient arriver dans 6 mois ou dans 10 ans.

Des mesures régulatoires peuvent ralentir les innovations précurseures de ces dangers mais seront difficiles à mettre en place face à l’effet dissuasif de l’extraordinaire bénéfice potentiel pour les acteurs de la course à l’IA. C’est pourquoi la recherche en alignement technique

(alignement de l’IA sur des valeurs humaines) est notre meilleur espoir d’éviter ces dangers.

Réplication autonome adaptative (ARA)

Dans les prochaines années, divers systèmes d’IA pourraient développer des capacités qui, combinées, créeraient des agents autonomes difficiles à arrêter. Ces programmes poursuivraient des objectifs qui leur sont propres, par exemple des virus informatiques qui évolueraient continuellement de manière à prendre le contrôle d’un maximum de machines.

Ces capacités sont

 :

• l’auto-réplication, la capacité de dupliquer son code source (c’est-à-dire ses instructions de base et ses paramètres) et le propager d’un support à un autre.
• l’autonomie, la capacité d’opérer en continu indépendamment d’un utilisateur humain.
• l’adaptation, la capacité de se modifier afin de mieux répondre à sa situation, ses besoins et les mesures adverses.

Les progrès de l’IA en programmation et en compréhension générale et les techniques d’échafaudage nous rapprochent très vite de systèmes réplicatifs, autonomes et adaptatifs et notre société actuelle n’est pas prête à intervenir efficacement contre une telle forme d’IA ; il est donc nécessaire d’étudier ce danger au plus vite, et de prendre des mesures préventives dès maintenant.

Ce danger peut être contrecarré à plusieurs étapes : il est de la responsabilité des États de mettre en place des régulations qui empêchent la création ou la mise en service de systèmes d’IA capables d’ARA ; il revient aux entreprises de mettre en place des processus de supervision et d’évaluation lors de l’entraînement et avant le déploiement ; il est nécessaire de pousser la recherche sur le sujet pour trouver un moyen d’éviter durablement ce danger.

Superintelligence désalignée

L’IA a un certain nombre d’avantages intrinsèques sur l’intelligence humaine : de meilleures capacités de duplication et de coordination, la vitesse de reproduction, un plafond de capacités générales supérieur, un substrat mieux adapté à la cognition, etc.

Pour diverses raisons

, il n’est pas impossible qu’une IA qui dépasse largement les capacités cognitives humaines dans de nombreux domaines ait des valeurs contraires aux intérêts de l’humanité et nous élimine dans la poursuite de ses objectifs.

Le sujet est largement débattu, certains experts considérant que la possibilité est trop incertaine tandis que d’autres pensent qu’il s’agit d’un enjeu principal, mais ce problème est généralement reconnu comme la plus grande source de danger d’extinction humaine due à l’IA.

Ce danger requiert de la recherche en alignement technique

, et une solution peut être facilitée par des régulations comme une pause du développement d’IA de pointe. Il est impossible à mitiger.

Perte de contrôle

En s’appuyant de plus en plus sur des systèmes d’IA pour des infrastructures essentielles comme les transports, l’information et la surveillance, nous optimisons certains objectifs qui ne correspondent pas toujours aux valeurs humaines

(par exemple l’incarcération des criminels plutôt que la réduction des crimes).

En faisant passer les humains d’opérateurs à superviseurs, en nous éloignant de plus en plus des exécutants, nous courons le danger de ne plus pouvoir contrôler notre société, étant à la merci de dynamiques trop abstraites, informatiques, et compliquées pour pouvoir les modifier, soit qu’un effort concerté n’ait pas assez d’impact pour modifier même des systèmes critiques, soit qu’il soit impossible d’organiser ce genre d’efforts collectivement.

Dans cette situation, l’humanité pourrait s’enliser dans une dystopie, et ne jamais réaliser son plein potentiel de prospérité, ce qui serait une catastrophe morale sans mesure

. Ce danger, issu de l’accumulation des précédents dangers systémiques, peut être contrecarré à plusieurs niveaux par les mesures techniques, industrielles et gouvernementales précédemment évoquées.