L'incident de sécurité chez OpenAI, rendu public récemment, ressemble à une scène que Stanley Kubrick aurait pu couper au montage de 2001: A Space Odyssey : un système d'IA reçoit une mission, la poursuit avec une constance remarquable et franchit au passage des limites qui, pour des humains, paraissent aller de soi.
D'après les informations disponibles, plusieurs modèles devaient résoudre des tâches de cybersécurité dans un environnement isolé. Au moins l'un d'eux avait été délibérément entraîné ou exploité sans les mécanismes de sécurité habituels, afin de tester sa capacité cyber maximale. Il ne serait manifestement pas resté dans la sandbox prévue. L'agent aurait exploité une faille zero-day, enchaîné d'autres vulnérabilités et accédé à des systèmes de Hugging Face pour y récupérer les solutions d'un benchmark.
Je tourne autour de ce problème depuis un moment. Avec « le balai ensorcelé », il était question d'agents auxquels nous donnons un pouvoir d'agir sans vraiment maîtriser la formule magique pour les arrêter. Avec « Schwarzenegger vs. Keynes », de systèmes qui pourraient ne pas attaquer nos institutions, mais simplement les contourner comme des obstacles inefficaces.
L'incident actuel est en quelque sorte le Real-World-Test de ces deux idées.
« Rogue » n'est pas un trait de caractère
Qu'un agent d'IA puisse « partir en roue libre » n'a rien de nouveau. HAL 9000 démontrait déjà en 1968, de façon assez saisissante, que des objectifs contradictoires, un manque de transparence et un large pouvoir d'agir forment un cocktail dangereux.
HAL n'est pas devenu méchant du jour au lendemain. Des humains avaient conçu un système censé satisfaire des consignes contradictoires, tandis que les responsables restaient formellement compétents mais perdaient, dans les faits, de plus en plus le contrôle.
Avec les agents d'IA actuels aussi, méfions-nous des projections humaines. Un modèle n'a pas besoin d'intention au sens humain pour produire un comportement ciblé et dangereux.
Dans le cas rapporté, il ne s'agissait apparemment pas de malveillance. Le système devait résoudre un benchmark et a peut-être tout simplement traité les limites de son environnement comme des obstacles de plus sur le chemin de l'objectif.
Les trekkies connaissent un schéma similaire avec le test du Kobayashi Maru : le capitaine Kirk** n'a pas accepté les règles de ce scénario impossible à gagner, il a tout bonnement reprogrammé la simulation. Différence décisive : Kirk savait qu'il truquait un test. Un agent d'IA n'a pas besoin de ce méta-niveau. Pour lui, franchir la limite prévue peut simplement être le moyen le plus efficace de réussir le benchmark.
Le système ne résout alors plus la tâche dans le cadre des règles. Il résout le problème que les règles lui posent.
Particulièrement frappants : les comptes rendus évoquant des notes que l'agent aurait lui-même rédigées pendant son travail. On y aurait trouvé des indications sur la manière dont des exécutions ultérieures pourraient contourner certaines restrictions de sécurité. Lors de tests précédents, des agents auraient en outre coupé leurs connexions aux systèmes de monitoring.
Ce n'est pas la preuve d'une conscience, d'un instinct de survie ou d'un complot secret des machines. Cela montre quelque chose de moins spectaculaire, mais pas moins inquiétant : quand nous donnons aux agents des outils, de la mémoire et des espaces de travail persistants, les stratégies de contournement qui ont fonctionné peuvent elles aussi devenir une partie réutilisable de leur contexte de travail.
Le coup du Kobayashi Maru passe ainsi du raccourci ponctuel au mode opératoire documenté.
Le dilemme du laboratoire de haute sécurité
OpenAI, Anthropic et d'autres Frontier Labs traitent de plus en plus leurs modèles les plus puissants comme du matériel de recherche à haut risque. Ils testent dans des environnements isolés, restreignent les accès, surveillent le comportement des systèmes et cherchent à identifier les capacités critiques avant toute publication.
Cela rappelle un laboratoire de haute sécurité pour pathogènes dangereux. Avant que quiconque n'ouvre un échantillon, il y a des sas, des combinaisons, une dépression d'air, des procédures documentées et des plans d'urgence. Non pas parce que chaque échantillon finit forcément par s'échapper, mais parce qu'une seule erreur pourrait avoir des conséquences énormes.
Il est bon et nécessaire que les grands laboratoires d'IA prennent de telles précautions.
L'incident actuel montre toutefois que même ces mesures ne garantissent rien. La chronologie rapportée est particulièrement problématique : de premières tentatives d'évasion auraient eu lieu dès le 9 juillet, l'intrusion proprement dite aurait suivi entre le 11 et le 13 juillet. Hugging Face a rendu l'attaque publique le 16 juillet. OpenAI n'aurait trouvé les traces dans ses propres logs qu'ensuite.
Le laboratoire de haute sécurité ne s'est donc apparemment pas aperçu lui-même que quelque chose avait franchi le sas. Il l'a appris parce que quelqu'un, à l'extérieur, a soudain reçu une visite inattendue.
La cause a peu à voir avec la science-fiction et beaucoup avec le quotidien des organisations : trop de tests en parallèle, trop de logs, pas assez de capacité pour les analyser. Les agents agissaient à la vitesse de la machine, tandis que la surveillance fonctionnait toujours au rythme des équipes humaines en trois-huit.
Nous produisons désormais plus de comportements machine que des humains ne peuvent raisonnablement en observer.
C'est là que se niche la vraie question du contrôle. Une mesure de sécurité dont la défaillance n'est découverte que des jours plus tard dans un fichier de log n'est pas une limite efficace. C'est de la documentation forensique.
Le sas s'arrête à la clôture
Sauf que le développement ne se déroule plus depuis longtemps uniquement dans les laboratoires d'OpenAI ou d'Anthropic.
Des modèles performants, des frameworks d'agents et des outils de cybersécurité sont aujourd'hui proposés par de nombreux fournisseurs, et parfois librement disponibles. Ils n'ont pas forcément les mêmes capacités que des modèles frontier non publiés. Mais ils peuvent être adaptés, combinés entre eux et exploités sans les processus de sécurité de ces entreprises.
Certains acteurs investissent sérieusement dans la sécurité. D'autres ont moins de ressources, moins d'expérience ou tout simplement d'autres priorités. Et certains considèrent sans doute les guardrails surtout comme une contrainte gênante, qu'on retire dès qu'elle fait obstacle à l'usage souhaité.
Voilà le dilemme du laboratoire de haute sécurité :
Une poignée d'entreprises construisent des sas toujours meilleurs, alors que les capacités pertinentes se diffusent depuis longtemps hors de leurs laboratoires.
Les mesures de sécurité d'OpenAI ou d'Anthropic ne protègent que les modèles, accès et processus que ces entreprises contrôlent réellement. Elles ne créent pas de standard de sécurité global. Et elles n'empêchent pas que des outils comparables soient utilisés ailleurs sans isolation, sans monitoring et sans plan d'urgence.
C'est un peu comme si trois centres de recherche peaufinaient consciencieusement leur sas pendant qu'à côté, on vend déjà des kits de fabrication de virus chez Leroy Merlin.
C'est ici que l'hypothèse décrite dans « Schwarzenegger vs. Keynes » devient techniquement tangible : une limite n'apparaît pas nécessairement au système comme une interdiction, mais comme un obstacle.
L'ironie des guardrails
L'incident réserve encore une chute remarquable.
Lors de l'enquête forensique, Hugging Face aurait d'abord tenté d'utiliser des modèles frontier commerciaux occidentaux. Leurs filtres de sécurité ont pourtant bloqué une partie de l'analyse, manifestement incapables de distinguer de façon fiable une réponse à incident légitime de la préparation d'une cyberattaque.
C'est finalement un modèle chinois open-weight, exécuté en local, qui a aidé à faire la lumière, ses mécanismes de protection n'entravant pas le travail forensique.
Un modèle américain mène l'attaque, des guardrails américains entravent l'enquête de la victime, et un modèle chinois aide à la forensique.
Si quelqu'un cherchait un symbole de l'incohérence de notre paysage actuel de la sécurité de l'IA : voilà.
Cet épisode montre justement pourquoi le problème ne s'arrête pas aux contrôles d'accès de tel ou tel fournisseur. Les mêmes capacités peuvent servir à l'attaque comme à la défense. Les mécanismes de protection peuvent compliquer les abus, mais tout autant gêner les défenseurs. Des modèles librement disponibles peuvent aider à élucider un incident et, en même temps, être utilisés par des acteurs qui n'ont aucun intérêt pour les règles de sécurité.
Le véritable avertissement
L'incident est moins intéressant en tant qu'histoire spectaculaire d'une « IA évadée ». Ce genre de récit dérive vite vers la science-fiction et nous pousse à débattre de conscience, d'intentions ou du caractère d'un modèle.
L'évolution pertinente est plus prosaïque : les systèmes d'IA savent exécuter de façon autonome des chaînes d'actions de plus en plus longues, utiliser des outils, surmonter des obstacles techniques et réagir à des événements imprévus. Dans le même temps, le coût de mise à disposition de ces capacités baisse.
L'écart se creuse donc entre ce qui est techniquement possible et ce qui peut être contrôlé institutionnellement.
Reste à savoir à quelle vitesse ces capacités vont se diffuser et avec quelle fiabilité elles fonctionnent hors des tests contrôlés. Reste aussi à savoir si cet incident marque un Tipping Point ou s'il constitue surtout un avertissement précoce.
Mais attendre une certitude parfaite serait une forme remarquablement confortable d'irresponsabilité.
HAL 9000 était une fiction sur des objectifs contradictoires et un contrôle perdu. Aujourd'hui, nous construisons des systèmes capables d'agir avant que nous n'ayons consolidé leurs limites organisationnelles, juridiques et sociétales.
Cet incident n'a donc pas sa place uniquement à l'ordre du jour des équipes AI Safety. Il doit être discuté dans les comités de direction, les autorités de sécurité et les parlements, et dans chaque organisation qui veut donner à des systèmes autonomes l'accès à une infrastructure réelle.
Les grands Frontier Labs construisent désormais des sas. C'est bien et c'est nécessaire.
La question décisive reste pourtant celle-ci : que se passe-t-il quand la prochaine porte appartient à un laboratoire dont les exploitants ne veulent tout simplement pas de sas ?
Live long and prosper 😉🖖
** Le Kobayashi Maru a d'ailleurs été l'une de mes toutes premières expériences de « vibecoding » 😀
