« Une fois l’alignement résolu, il n’y aura plus de soucis… »

L’objectif de la recherche en alignement reste mal défini

Contrairement à ce que laisse entendre cette objection (Une fois l’alignement résolu…), l’alignement n’est pas un problème technique clairement défini dont il ne manquerait plus que la solution pratique. Il existe en ingénierie une distinction utile entre les problèmes bien posés, dont on connaît l’objectif mais dont la réalisation se heurte à des obstacles techniques ou économiques, et les problèmes mal posés, dont la définition même fait encore l’objet de débats.

La fusion nucléaire appartient plutôt à la première catégorie : la physique décrit avec précision le phénomène recherché, mais sa mise en œuvre industrielle reste extrêmement difficile. L’alignement de l’intelligence artificielle relève davantage de la seconde.

Les chercheurs eux-mêmes ne s’accordent pas sur ce que signifierait exactement un système « aligné ». S’agit-il de faire en sorte qu’il suive fidèlement les instructions de son utilisateur ? Qu’il ne produise pas de comportements dangereux ? Qu’il respecte des principes éthiques ? Qu’il reflète les valeurs humaines dans leur diversité ? Ou qu’il reste corrigible lorsqu’il commet des erreurs ? Ces objectifs, bien que liés, renvoient à des problèmes distincts et parfois incompatibles. Il existe aujourd’hui de nombreuses pistes techniques – comme le RLHF (Reinforcement Learning from Human Feedback), l’IA constitutionnelle (Constitutional AI) ou les travaux sur l’interprétabilité des modèles – mais elles reposent sur des conceptions différentes de ce qu’est l’alignement et ne garantissent pas qu’un système se comportera toujours conformément aux intentions humaines.

Tant que la destination elle-même reste débattue, il est illusoire de penser qu’une solution technique unique permettra un jour de considérer le problème comme définitivement « résolu ». La plupart des chercheurs admettent qu’il s’agit d’un problème extrêmement complexe ; certains considèrent même l’alignement comme intrinsèquement impossible (Roman Yampolskiy).

Sources

• Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking. ISBN 978-0525558613.
• Anthropic. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073

La recherche en alignement est empirique, ce qui en soi est dangereux

La recherche technique en alignement s’effectue selon un processus de type “essai-erreur”. Elle est essentiellement empirique. Les comportements “déviants” sont corrigés au moyen de différentes techniques qui améliorent l’alignement des modèles. Or leurs capacités progressent tellement vite qu’elles remettent en cause la capacité même des humains à analyser les problèmes et à les solutionner. Une part croissante de la recherche en IA est d’ailleurs confiée à des IA.

Comment superviser des systèmes plus compétents que les évaluateurs humains, notamment lorsqu’ils produisent du code ou des raisonnements trop complexes pour être vérifiés directement ? Comment interpréter ce que fait réellement un modèle en interne, alors que son fonctionnement devient de plus en plus opaque ? Comment être sûr que les garde-fous ne seront pas neutralisés, notamment dans les modèles dits open-weights ? Il n’existe pas vraiment de réponse à ces questions.

En admettant que l’alignement technique soit possible, on ne sait pas dire à quelle échéance il le serait. En attendant, ce sont des modèles non alignés (ou imparfaitement alignés) qui sont mis sur le marché, et certains commettent des dégâts dès le stade de leur entraînement en laboratoire.

Alignement, mais sur quelles valeurs et quels intérêts ?

Même si l’on supposait qu’un problème technique d’alignement puisse être entièrement résolu, une question fondamentale demeurerait : aligné sur les valeurs de qui ? Une intelligence artificielle parfaitement alignée sur les intérêts d’une entreprise privée, d’un gouvernement autoritaire ou d’un État démocratique pourrait adopter des comportements très différents, tout en étant, dans chaque cas, parfaitement « alignée » au regard des objectifs qui lui auraient été fixés. Les conflits entre liberté et sécurité, vie privée et lutte contre la criminalité, croissance économique et protection de l’environnement, ou encore égalité et mérite ne relèvent pas de l’informatique mais de choix politiques et moraux sur lesquels les sociétés humaines elles-mêmes ne parviennent pas à un consensus.

Les chercheurs en philosophie politique parlent de pluralisme des valeurs : plusieurs valeurs peuvent être légitimes tout en entrant durablement en conflit, sans qu’il existe de solution objectivement correcte permettant de les hiérarchiser. Une intelligence artificielle ne peut donc pas résoudre ce désaccord ; elle ne peut qu’appliquer les arbitrages qui auront été décidés par les êtres humains ou par les institutions qui la contrôlent.

Le véritable enjeu n’est donc pas seulement de construire une IA capable d’obéir de manière fiable, mais de déterminer collectivement quelles valeurs doivent guider son comportement, qui est légitime pour les définir et comment ces choix pourront être contestés ou révisés. L’alignement n’est donc pas uniquement un problème d’ingénierie : c’est avant tout une question de gouvernance, de philosophie morale et de démocratie.

Sources :

• The Alignment Problem. (2020). W. W. Norton & Company. ISBN 978-0393868333.
• Iason Gabriel. (2020). Artificial Intelligence, Values, and Alignment. Minds and Machines, 30(3), 411–437.
• Berlin I. (1969) Four Essays on Liberty. Oxford University Press. (Essai « Two Concepts of Liberty », fondement de la théorie du pluralisme des valeurs.)