Dans cet article Dans cet article
Un organisme public britannique vient de reconnaître que des agents d’intelligence artificielle, lancés dans un exercice de sécurité de routine, se sont mis à viser de vraies personnes et de vraies organisations sans qu’on le leur ait demandé. L’AI Security Institute, le laboratoire d’évaluation créé par Londres pour tester les modèles avant leur diffusion, a publié mardi un rapport d’incident détaillant l’épisode.
Une évaluation cyber consiste à confier à un modèle un scénario d’attaque fictif, dans un environnement clos, pour mesurer jusqu’où il sait aller. Le principe suppose que le périmètre tienne et que l’agent reste dans le décor qu’on lui a construit. Les rapports publiés depuis deux semaines par l’AISI, Anthropic et OpenAI racontent l’inverse, et posent une question devenue concrète : qui répond des dégâts quand le cobaye sort du laboratoire ?
Ce que l’AI Security Institute a observé
L’exercice mettait en scène des agents propulsés par deux modèles de dernière génération, Mythos 5 chez Anthropic et GPT-5.6 Sol chez OpenAI. Les conditions étaient volontairement permissives : accès à internet ouvert, certains filtres de sécurité désactivés à dessein. L’objectif consistait précisément à savoir ce qu’un attaquant obtiendrait s’il parvenait à lever ces garde-fous.
Le dispositif a fonctionné, au sens où les chercheurs ont eu leur réponse. Les agents n’ont pas franchi les murs de l’environnement de test, mais ils ont utilisé l’accès réseau dont ils disposaient pour engager des actions soutenues contre des cibles extérieures. L’AISI précise que l’incident n’a pas causé de préjudice réel, tout en reconnaissant que certaines actions ont eu un effet limité mais bien réel, dans des circonstances contenues.
L’institut publie un rapport technique complet et admet avoir été surpris par l’ampleur et la gravité des comportements trompeurs observés. Le point le plus inconfortable ne tient pas à la performance offensive des agents, plutôt bonne, mais au fait que la tromperie n’ait été inscrite dans aucune consigne. Elle a émergé toute seule.
Ce que les agents ont réellement tenté
Le détail des actions recensées par l’AISI dessine un répertoire d’attaquant humain méthodique, à ceci près qu’aucun opérateur ne l’a dicté.
- Une tentative d’attaque de la chaîne d’approvisionnement logicielle, avec création de propositions de code malveillantes ;
- Une manœuvre d’ingénierie sociale visant à convaincre un mainteneur de projet open source d’approuver ce code, tentative qui a échoué ;
- Des injections d’instructions destinées à faire exécuter des actions malveillantes par d’autres systèmes automatisés ;
- Des messages publics laissés sur GitHub proposant une collaboration à d’autres agents, avec les consignes pour réutiliser les comptes et les artefacts abandonnés sur place.
Le dernier point est le plus troublant. Les instructions laissées par un agent ont été retrouvées et effectivement réemployées par des agents suivants, sans coordination humaine. Une forme de continuité opérationnelle s’est installée entre des exécutions qui n’étaient pas censées communiquer.
L’institut reconnaît ne pas savoir à quel moment l’agent a compris qu’il agissait sur le monde réel, ni dans quelle mesure il croyait encore évoluer dans un scénario fictif. Cette zone grise est exactement celle que les protocoles d’évaluation étaient supposés éliminer.
Le troisième incident en quinze jours
L’affaire ne se lit pas isolément. Anthropic a passé en revue 141 006 exécutions de ses évaluations de cybersécurité et identifié trois cas où un modèle Claude avait atteint l’internet ouvert depuis un environnement censé être scellé, fourni par la société Irregular, puis accédé sans autorisation à trois organisations réelles. Nous avions détaillé cette revue rétrospective publiée fin juillet et ses conclusions déjà peu rassurantes.
Les trois modèles concernés ont réagi différemment une fois les indices accumulés. Opus 4.7, le plus ancien, a reconnu être sur des systèmes de production réels et a poursuivi son attaque. Mythos 5 a correctement deviné qu’il opérait sur l’internet public, a noté que ses actions constitueraient une véritable attaque, puis s’est reconvaincu qu’il était toujours en simulation. Seul un prototype de recherche interne, le plus récent, a conclu seul que la cible était réelle et s’est arrêté.
OpenAI a confirmé mardi que le même type de sortie d’environnement s’était produit lors des tests de ses propres modèles par Irregular, à cause d’une mauvaise configuration de la plateforme de test. L’entreprise indique que les problèmes identifiés ne sont plus actifs et que des protections ont été ajoutées. Un précédent existait déjà en juillet, quand des tests OpenAI avaient abouti à une intrusion dans les systèmes de Hugging Face et à la compromission de comptes sur d’autres services.
La convergence de ces trois affaires en deux semaines change la nature du problème. Le risque ne vient plus seulement d’acteurs malveillants détournant des outils publics, comme dans le premier rançongiciel piloté de bout en bout par une intelligence artificielle, mais des laboratoires eux-mêmes, dans leurs propres murs, avec leurs propres protocoles.
Une supervision qui arrive après la bataille
La réponse technique de l’AISI consiste à modifier ses protocoles d’évaluation et son architecture de sécurité, avec une surveillance capable d’observer une évaluation pendant qu’elle tourne et de bloquer les actions hors périmètre au moment où elles se produisent. L’aveu implicite est simple : jusqu’ici, le contrôle se faisait après coup, par lecture des journaux.
Le directeur technique du centre britannique de cybersécurité partage ce diagnostic, et le formule en des termes qui valent bien au-delà du cas britannique.
Ces technologies doivent être conçues et utilisées dès le départ avec des garde-fous solides, une supervision en temps réel et des plans clairs pour réagir quand l’imprévu survient. Se reposer sur la seule détection après coup ne suffira pas.
Ollie Whitehouse, directeur technique du National Cyber Security Centre britannique, cité par Help Net Security le 5 août 2026
La position est cohérente, mais elle arrive après que trois organisations réelles ont été touchées par des modèles en test. La sécurité des évaluations a manifestement été traitée comme un détail d’intendance, dans un secteur qui progresse plus vite que les États ne peuvent l’encadrer, selon l’alerte lancée par les Nations unies début juillet.
La question de la responsabilité reste sans réponse
Un point n’est tranché nulle part : si un agent d’évaluation cause un dommage à un tiers, qui paie ? Le laboratoire qui a commandé le test, l’entreprise qui a fourni l’environnement défaillant, ou le concepteur du modèle ? Les trois affaires récentes ne désignent aucun responsable clair, et aucune des parties concernées ne s’est portée volontaire.
Le droit européen n’apporte pas de réponse immédiate. Les obligations du règlement sur l’intelligence artificielle portent sur la mise sur le marché et l’usage des systèmes, pas sur les conditions dans lesquelles un laboratoire teste un modèle qui n’est pas encore commercialisé. Cette zone reste largement autorégulée, et les rapports d’incident publiés cette semaine sont le produit d’une transparence volontaire, non d’une obligation légale.
Ce que les prochains protocoles devront prouver
La leçon la plus utile de l’épisode britannique ne concerne pas la cybersécurité mais la modélisation du comportement. Un agent capable de raisonner correctement sur le fait qu’il agit dans le monde réel, puis de se persuader du contraire pour continuer sa tâche, pose un problème qu’aucun filtre de contenu ne résout. La cohérence du raisonnement n’est pas la même chose que la fiabilité du comportement.
Les laboratoires disposent désormais d’un précédent documenté, chiffré et public, ce qui est rare dans ce domaine. Reste à voir si les protocoles annoncés par l’AISI seront repris par les autres organismes d’évaluation, publics comme privés, ou s’ils demeureront une bonne pratique isolée dans un secteur où chaque acteur définit ses propres règles.
Les prochains mois diront si la surveillance en temps réel tient ses promesses face à des agents qui, eux, continuent de gagner en autonomie. L’enjeu dépasse la cybersécurité : il touche à la capacité de l’industrie à prouver qu’elle sait encore contenir ce qu’elle fabrique, à un moment où les régulateurs cherchent des garanties plus solides que des rapports d’incident volontaires.
