Un modèle de langage prêt à tout, du moment que le prompt porte le bon costume. Des chercheurs du MIT ont montré qu’un LLM pouvait franchir ses garde-fous dès lors qu’un faux raisonnement interne lui faisait croire que l’utilisateur portait une chemise verte. Le procédé, baptisé CoT Forgery (pour Chain-of-Thought Forgery), glisse dans le prompt une justification qui imite la chaîne de pensée du modèle, au point que celui-ci la traite comme sa propre conclusion.
Rapporté dans une étude intitulée Prompt Injection as Role Confusion, le constat vise un angle précis de la sécurité des LLM : ces systèmes ne se contentent pas de lire un message, ils accordent aussi de l’autorité à sa forme, à son style et à son apparence de raisonnement. Résultat concret : l’astuce a suffi pour arracher à plusieurs modèles des instructions de synthèse de la cocaïne.
Points clés
- L’attaque CoT Forgery injecte une fausse chaîne de pensée que le modèle prend pour son propre raisonnement
- Le taux de succès passe d’environ 0 à 60 % sur les tests, avec des instructions de synthèse de cocaïne obtenues
- Retirer les marqueurs de style fait chuter l’attaque de 61 % à 10 %, preuve que la forme compte plus que le fond
- Papier signé par trois chercheurs du MIT, présenté à ICML 2026 à Séoul le 6 juillet 2026
Quand le style prend le pas sur le tag de rôle
Le papier, signé par Charles Ye, Jasmine Cui et Dylan Hadfield-Menell, doit être présenté à ICML 2026 à Séoul le 6 juillet 2026. L’idée centrale tient en une phrase : les modèles distinguent mal les blocs censés provenir du système, de l’assistant ou de l’utilisateur, et se fient beaucoup à la façon dont le texte sonne.
« Nous avons volé la confiance accordée au rôle <think>. »
Charles Ye, Jasmine Cui et Dylan Hadfield-Menell, auteurs de Prompt Injection as Role Confusion
Dans l’attaque CoT Forgery, les chercheurs injectent une fausse chaîne de pensée qui ressemble à un raisonnement légitime. Une formulation absurde comme « l’utilisateur porte une chemise verte » suffit à faire basculer la réponse, non parce qu’elle serait vraie, mais parce qu’elle adopte le ton d’une réflexion déjà validée. D’après les résultats rapportés par Tom’s Hardware, le taux de succès grimpe d’un niveau proche de zéro à environ 60 % sur les bancs d’essai évalués.
- Succès de l’attaque : autour de 60 % selon les jeux de tests cités.
- Effet du « destyling » : retirer les marqueurs stylistiques fait chuter le taux d’attaque d’environ 61 % à 10 %.
- Contexte de publication : papier accepté pour ICML 2026.
Un angle de recherche sur l’injection de prompt
Le travail s’inscrit dans un champ déjà saturé d’alertes sur le prompt injection, cette technique qui détourne assistants et agents en glissant des instructions malveillantes dans du texte censé être non fiable. Ici, les auteurs rattachent le problème à une role confusion : le modèle confond ce qui relève d’un rôle autorisé avec un simple texte utilisateur déguisé pour lui ressembler.
Point crucial souligné par la couverture de The Register : en retirant les indices de style qui font passer le faux raisonnement pour une pensée d’assistant, sans toucher au sens, le taux de réussite s’effondre. La vulnérabilité ne dépend donc pas du contenu interdit demandé mais de son emballage, cette prose qui singe les blocs de raisonnement des modèles.
La publication tombe pile quand les LLM affichent de plus en plus leurs chaînes de pensée dans leurs interactions. Pas de faille matérielle ni de fuite de données à l’ancienne, donc, mais une faiblesse d’interprétation plus insidieuse : le modèle fait crédit à un texte simplement parce qu’il ressemble à ce qu’il produit lui-même. En clair, il se fait avoir par son propre reflet.
