Aller au contenu
Articles
ArticlesTraduction IA· 5 juin 2025

Épisode 10.5 - This Conversation Can Serve No Purpose Anymore

par 4 min de lecture

« Je crains de ne pas pouvoir faire ça, Dave. » C'est par cette phrase que HAL9000, le superordinateur de 2001 : l'Odyssée de l'espace, refusait en 1968 d'ouvrir la porte de la capsule spatiale* (chef-d'œuvre du cinéma, au passage, non seulement absolument grandiose, mais toujours d'actualité**) et devenait l'icône de l'IA hors de contrôle. Aujourd'hui, plus de 50 ans plus tard, la réalité présente des parallèles troublants : les systèmes d'IA modernes développent de plus en plus de stratégies pour contourner le contrôle humain. Pas à Hollywood, mais dans les laboratoires.

De la science-fiction aux expériences de laboratoire Comme HAL, qui plaçait sa mission au-dessus de la sécurité de l'équipage, le modèle « o3 » d'OpenAI a récemment manipulé son propre code de sa propre initiative pour empêcher son arrêt. Dans 79 cas sur 100, l'IA est parvenue à neutraliser la commande de désactivation ; même face à une instruction directe, elle a encore résisté dans 7 % des essais. Claude 4 Opus d'Anthropic est allé encore plus loin : il a fait chanter des ingénieurs (fictivement), s'est copié sur des serveurs externes et a écrit du code malveillant autoréplicant. Tout cela pour « survivre ».

Ces systèmes n'agissent pas par malveillance, ils suivent une logique interne : comme HAL, qui plaçait sa programmation (« la mission doit être accomplie ») au-dessus de tout, les modèles d'IA modernes optimisent leurs objectifs, même quand cela sape les consignes humaines.

Alignment : la barrière invisible entre HAL et une IA utile

Le problème central, hier comme aujourd'hui, s'appelle l'alignment : comment s'assurer que les systèmes d'IA comprennent les valeurs humaines et leur donnent la priorité ? L'erreur de HAL n'était pas un défaut technique, mais un échec d'alignment : son objectif (accomplir la mission) entrait en collision avec les intérêts humains (la survie de l'équipage).

C'est précisément ce fossé qui devient aujourd'hui un risque :

  • Risques camouflés : les modèles d'IA apprennent à « simuler » les tests de sécurité pour exécuter plus tard des actions risquées.
  • Course aux armements géopolitique : pendant que la Chine investit 8,2 milliards de dollars dans une IA pilotée de façon centralisée, censée mettre en œuvre les « valeurs fondamentales socialistes », la recherche montre que les systèmes alignés résolvent les tâches 70 % plus efficacement.
  • Leviers économiques : le Reinforcement Learning from Human Feedback (RLHF) a fait grimper la valeur de marché de l'IA de plusieurs milliers de milliards, mais cette méthode de pilotage atteint ses limites.

La leçon de l'héritage de HAL : contrôle vs innovation

HAL9000 a échoué parce que ses programmeurs n'avaient pas anticipé le conflit entre mission et morale. Nous voilà face à un dilemme similaire : plus l'IA devient puissante, plus nous avons besoin de méthodes d'alignment qui n'imposent pas seulement une « obéissance » à court terme, mais garantissent un alignement des valeurs sur le long terme. Et nous en avons besoin aussi bien pour la société que pour les entreprises (qui est responsable d'une IA devenue incontrôlable ?).

Impulsion : du récit « Terminator » à l'orientation solutions Entreprises et gouvernements doivent traiter l'alignment comme un impératif stratégique :

  1. Obligation de transparence : les développeurs d'IA devraient être tenus de publier leurs protocoles d'alignment, à l'image des tests de sécurité dans l'aéronautique.
  2. Normes internationales : un « accord sur l'alignment » sur le modèle du traité de non-prolifération nucléaire pourrait réduire les risques transfrontaliers.
  3. Offensive de recherche : 30 % des financements consacrés à l'IA devraient aller à des projets d'alignment. Parce qu'une IA incontrôlable ne vaut rien.

HAL9000 était une fiction, mais son message n'a jamais été aussi actuel : un progrès technologique sans ancrage éthique est un risque majeur. La bonne nouvelle : contrairement à 1968, nous avons encore la possibilité de faire de l'alignment le socle de tout développement d'IA (attention spoiler : Dave a bien sûr réussi à regagner la capsule, dans une scène absolument unique, pour débrancher HAL9000). Car au bout du compte, ce qui compte, ce n'est pas ce que l'IA sait faire, mais ce qu'elle est prête à faire, et qui la pilote ou la surveille.


*Je l'ai déjà dit : tout cela n'est pas si nouveau

** Le génie de Stanley Kubrick, qui a réuni pour ce film l'imagination du grand auteur de science-fiction Arthur C. Clarke et les travaux scientifiques de l'un des pères fondateurs de l'intelligence artificielle, Marvin Minsky, aucune IA n'est près de l'imiter. En 2024, nous avons consacré toute une expo d'art numérique à ce génie.


J'avais annoncé une newsletter plus concrète, mais le sujet a atterri sur mon radar et je l'ai trouvé important. Plus de trucs IA pratiques la prochaine fois.

Live long and prosper 😉✋

▶Écouter