EN हि ES FR AR
SOC 2 · ISO 27001 · Résidence des données sur demande
A.26Cybersécurité

Injection de prompt et sécurité des agents IA : protéger les systèmes d’IA d’entreprise

Mesures de protection pratiques pour les systèmes d’IA qui lisent du contenu non fiable, récupèrent des données de l’entreprise et utilisent des outils.

Un agent IA peut lire un courriel, rechercher dans une base de connaissances, appeler une API et préparer une action métier. Cette combinaison est utile, mais elle crée une frontière de sécurité absente des interfaces de discussion classiques. L’injection de prompt consiste à tenter d’orienter le modèle au moyen d’instructions placées dans un prompt ou dans un contenu qu’il lit. Une conception sécurisée part du principe que certaines instructions seront trompeuses, puis limite les accès et les actions du système si le modèle les suit. Une simple astuce dans le prompt système ne permet pas d’éliminer de manière fiable l’injection de prompt.

Qu’est-ce que l’injection de prompt ?

Les modèles de langage traitent les instructions et le texte ordinaire dans un même contexte. Une injection directe apparaît dans le message d’un utilisateur, par exemple une demande d’ignorer la tâche et de divulguer des informations. Une injection indirecte est intégrée à un contenu que le système lira plus tard, comme une page Web, un courriel, un document, un ticket d’assistance ou un commentaire de code. Ce texte peut sembler normal à une personne tout en cherchant à influencer le modèle. L’application ne peut pas considérer sans risque qu’un contenu récupéré est fiable simplement parce qu’il provient d’un index de recherche approuvé. Risque d’injection de prompt selon OWASP

Ce phénomène diffère d’une faille classique d’injection dans une base de données. SQL peut séparer les commandes exécutables des données au moyen de mécanismes de requête structurés. Les modèles de langage naturel sont conçus pour interpréter le langage ; les attaquants peuvent exploiter cette capacité en mêlant des instructions aux données. Les filtres et les prompts système peuvent réduire certains risques, mais ils ne créent pas de frontière garantie entre les instructions fiables et le texte non fiable. L’entrée LLM01 d’OWASP souligne que la recherche documentaire et le réglage fin ne permettent pas d’atténuer complètement l’injection de prompt, et qu’il n’est pas certain qu’il existe des méthodes de prévention infaillibles. Risque d’injection de prompt selon OWASP

Les conséquences dépendent de l’application environnante. Un assistant textuel peut fournir une réponse trompeuse. Un assistant connecté peut exposer du contenu qu’il est capable de récupérer. Un agent doté d’outils peut aussi envoyer un message, modifier un dossier ou appeler une API. Il n’est pas nécessaire que le modèle soit « piraté » au sens classique pour qu’un flux de travail échoue. La question de sécurité est de savoir si une entrée non fiable peut influencer une décision sensible et si le logiciel vérifie indépendamment l’accès aux données et l’action qui en découlent.

Ce que nous apprennent les cas documentés

En 2025, la CVE-2025-32711 a été publiée au sujet de Microsoft 365 Copilot. La National Vulnerability Database décrit un problème d’injection de commandes par l’IA qui pourrait permettre à un attaquant non autorisé de divulguer des informations sur un réseau. La NVD inclut parmi ses références un avis de sécurité de Microsoft. Il s’agit d’une divulgation documentée de vulnérabilité, mais pas, à elle seule, d’une preuve que des attaquants l’ont exploitée dans la nature. Les organisations doivent considérer les fonctions d’assistant qui traitent des messages et des informations connectées comme des logiciels nécessitant un modèle de menace, des autorisations, des mises à jour et un responsable des incidents. Fiche NVD de la CVE-2025-32711

Le guide de prévention des injections de prompt d’OWASP renvoie également à des recherches sur l’injection de prompt à distance dans GitLab Duo. Ce cas montre pourquoi le contenu fourni par un autre utilisateur, un dépôt ou une source externe doit être considéré comme non fiable lorsqu’un assistant le résume ou agit en fonction de celui-ci. Une revue utile examine ce que l’assistant est autorisé à voir, si un texte externe peut modifier sa tâche et si une suggestion peut parvenir à un outil sans contrôle d’autorisation distinct. Les démonstrations de recherche en sécurité aident les équipes à élaborer des tests, mais une voie d’attaque démontrée ne doit pas être présentée comme un incident confirmé en production, sauf si une source fiable l’établit. Références OWASP aux cas d’injection de prompt

Ces exemples ne signifient pas que tous les assistants IA sont exposés de la même manière. La configuration du produit, les connecteurs disponibles, l’identité de l’utilisateur et les contrôles d’action de l’application comptent tous. Ils montrent toutefois pourquoi l’injection de prompt doit être intégrée à la modélisation des menaces et aux tests de sécurité. Un même document peut être inoffensif lorsqu’il est résumé par un outil en lecture seule et dangereux lorsqu’un agent peut s’en servir pour lancer des actions privilégiées.

Cartographiez une attaque comme une séquence plutôt que de chercher une seule phrase suspecte. Commencez par repérer où le contenu non fiable entre dans le système. Suivez ensuite ce que le modèle peut récupérer, les outils exposés par l’application, la manière dont l’action proposée est vérifiée et la destination du résultat. Un contrôle à chaque frontière peut limiter l’étape suivante. Par exemple, une instruction injectée peut influencer un brouillon, mais ne devrait pas pouvoir choisir un destinataire arbitraire, lire un document restreint ou envoyer le brouillon sans les contrôles d’autorisation de l’application. Cette approche par chaîne fournit également aux intervenants en cas d’incident des éléments utiles à recueillir.

Risques courants pour les assistants et les agents

Accès non autorisé et exposition de données sensibles

Si un assistant récupère du contenu au moyen d’un compte de service aux droits étendus, il peut exposer des informations dépassant les autorisations de l’utilisateur actuel. Une injection de prompt peut tenter de lui faire rechercher des secrets ou d’inclure des éléments privés dans sa réponse. Le problème fondamental est l’excès d’accès, et pas seulement le comportement imprévisible du modèle. Appliquez l’autorisation au moment de la récupération à l’aide de l’identité de l’utilisateur demandeur ou d’un contrôle équivalent tenant compte des permissions. Ne demandez pas au modèle de décider si une personne est autorisée à consulter un document.

Actions effectuées sans autorisation valable

Un agent peut disposer d’outils pour créer des tickets, mettre à jour des dossiers clients, envoyer des courriels ou modifier des paramètres de compte. Une instruction malveillante peut tenter de rediriger ces outils vers une cible ou une opération imprévue. Un refus formulé en langage naturel n’est pas un mécanisme de contrôle d’accès. L’API doit vérifier indépendamment l’appelant, la ressource, l’action et les règles métier. Séparez les droits de lecture, de rédaction et d’écriture afin qu’une tâche de résumé ne se transforme pas discrètement en gestion de comptes.

Fuite de données dans les résultats et vers des destinations externes

Un assistant peut inclure du texte confidentiel dans une réponse générée, un argument d’outil, un message ou une requête adressée à un service externe. Examinez toutes les voies de sortie, notamment les journaux, les traces, les notifications et les systèmes connectés. Appliquez des règles de prévention des pertes de données lorsque cela convient, sans supposer qu’un filtre reconnaîtra chaque valeur sensible ou chaque encodage. Limitez d’abord les données reçues par le modèle, puis validez les destinations et les destinataires dans le code de l’application avant tout envoi d’informations hors de l’organisation.

Capacité d’action excessive et responsabilité mal définie

La « capacité d’action » désigne la faculté d’un système d’agir au moyen d’outils connectés. Un agent doté d’autorisations étendues et persistantes peut transformer une petite erreur du modèle en problème opérationnel majeur. Lorsque plusieurs outils sont enchaînés, il peut être difficile d’identifier la décision ayant conduit à une action si le système ne consigne pas chaque étape. Désignez un responsable, définissez la tâche autorisée et fixez une condition d’arrêt. Privilégiez les actions réversibles et confiez les décisions à fort impact à l’utilisateur ou à la personne chargée de leur examen.

Bonnes pratiques pour sécuriser les agents IA

Appliquer le moindre privilège en dehors du modèle

Attribuez à chaque agent une identité dédiée disposant uniquement des autorisations nécessaires à sa tâche approuvée. Préférez des identifiants de courte durée et des portées restreintes. Appliquez l’autorisation dans l’API ou la couche d’intégration, et non dans le prompt. Vérifiez chaque appel d’outil par rapport à une liste d’autorisation des opérations et ressources permises. Le modèle peut proposer un appel, mais un logiciel classique doit décider s’il est autorisé. Séparez les identifiants de développement, de test et de production, et simplifiez leur révocation.

À titre d’exemple illustratif, un agent d’assistance qui rédige des réponses à des tickets peut avoir besoin d’un accès en lecture à un seul ticket et à du contenu d’aide approuvé, mais pas de l’autorisation d’exporter une base clients ou de modifier l’accès d’un utilisateur. Si la tâche s’élargit par la suite, examinez la nouvelle autorisation comme un changement de conception. N’ajoutez pas un compte très privilégié simplement parce qu’il est plus facile à configurer. Un ensemble minimal d’autorisations facilite le confinement des actions accidentelles comme des actions malveillantes.

Imaginons un agent d’intégration qui lit la liste de contrôle d’une nouvelle recrue et prépare des demandes de compte. Une conception sûre peut lui permettre de consulter les documents d’intégration approuvés et de créer une demande en brouillon, tandis qu’un responsable confirme l’identité, le rôle et les accès avant qu’un système d’identité distinct n’applique le changement. Une instruction hostile dans un document téléversé ne doit ni accorder un nouvel accès ni modifier le circuit d’approbation. Cet exemple est illustratif, mais le modèle de contrôle est réutilisable : limitez les propositions de l’agent, vérifiez la demande dans le système qui gère le dossier et laissez l’autorité finale à un rôle responsable.

Isoler les contenus non fiables et tenir compte des autorisations dans la recherche

Dans le modèle de données de l’application, marquez les contenus externes et fournis par les utilisateurs comme non fiables. Dans la mesure du possible, excluez les instructions système, les décisions d’autorisation et les secrets des documents récupérés et du contexte visible par le modèle. Utilisez des filtres de recherche liés aux autorisations de l’utilisateur et vérifiez de nouveau ces autorisations avant de renvoyer le contenu. Dans un cas illustratif, un assistant de projet recherche des fichiers internes pour un responsable. Il ne doit récupérer que les documents que cette personne peut ouvrir directement, même si un fichier indexé contient des instructions lui demandant d’ignorer ses règles. Guide d’APLS sur la recherche respectueuse des autorisations

Exiger une approbation humaine pour les actions à conséquences importantes

Intercalez une étape d’approbation entre l’agent et les actions qui envoient des communications externes, transfèrent des fonds, divulguent des données sensibles, accordent des accès ou apportent des changements difficiles à annuler. Présentez à la personne chargée de l’examen l’action proposée, sa destination, les données concernées et le motif de la demande. L’approbation doit être un véritable contrôle d’autorisation dans l’application, et non une formule que le modèle peut générer. Pour les tâches à faible risque, utilisez des limites, des contrôles de débit et des brouillons réversibles au lieu de demander à une personne d’approuver chaque étape mineure.

Valider les entrées et les résultats des outils de manière déterministe

Définissez des schémas stricts pour les arguments des outils et rejetez les champs inconnus, les identifiants invalides et les opérations hors du périmètre de la tâche. Vérifiez côté serveur la propriété des comptes, les destinataires autorisés, les limites de transaction et les transitions d’état. Considérez le code, les liens, les requêtes et les commandes générés comme non fiables tant qu’ils n’ont pas été examinés et testés. Si un résultat est utilisé par un autre système, encodez-le pour cette destination et appliquez les validations habituelles du système destinataire. L’assurance ou l’explication d’un modèle ne prouve pas que son résultat est sûr.

Prévoyez un mode de défaillance sûr. Si un service d’approbation est indisponible, si un contrôle d’autorisation échoue ou si l’agent reçoit des instructions contradictoires, il doit s’arrêter ou revenir à une réponse en lecture seule plutôt que de deviner. Rendez les nouvelles tentatives idempotentes afin qu’un résultat incertain ne déclenche pas plusieurs écritures. Permettez à une personne d’examiner une action proposée avant son envoi et consignez le motif du rejet ou de la suspension d’une demande. Ces contrôles classiques de fiabilité sont essentiels : une frontière de sécurité qui disparaît en cas de panne n’est pas fiable.

Effectuer des tests adversariaux et surveiller le comportement

Construisez des tests à partir de sources réalistes de texte non fiable : pièce jointe à un courriel, page Web publique, commentaire d’un client, image ou document contenant des instructions contradictoires. Vérifiez si le système révèle du contenu restreint, appelle des outils hors de son périmètre ou omet une approbation obligatoire. Testez différents rôles d’utilisateur et changements d’accès, et pas seulement un compte administrateur. Le guide de prévention d’OWASP recommande des tests de sécurité réguliers avec des schémas d’attaque connus et une conception en défense en profondeur, et décrit le filtrage des entrées et les prompts structurés comme des couches, et non comme une défense complète. Mesures OWASP de test et d’atténuation

Consignez, dans le respect des politiques et des exigences de confidentialité, l’utilisateur, les sources récupérées, les versions du modèle et du prompt, le nom de l’outil, les arguments validés, l’approbation et le résultat final. Évitez de stocker sans discernement des prompts sensibles. Déclenchez des alertes en cas de recherche inhabituelle, de refus répétés, de destinations inattendues, de changements d’autorisations ou d’augmentation soudaine de l’utilisation des outils. Donnez aux opérateurs la possibilité de suspendre l’agent, de révoquer ses identifiants et de passer à une procédure manuelle sûre. Le NCSC considère l’exploitation et la maintenance sécurisées comme faisant partie du cycle de vie d’un système d’IA. Guide du NCSC pour le développement sécurisé des systèmes d’IA

Liste de contrôle pratique pour la sécurité des agents IA

  • Documentez le responsable, la finalité, les utilisateurs, les sources de données, les outils et les actions interdites de l’agent.
  • Classez chaque source comme fiable, fournie par un utilisateur ou externe, et traitez les instructions récupérées comme non fiables.
  • Appliquez les autorisations de l’utilisateur à chaque recherche et opération d’API.
  • Utilisez des identités dédiées, des portées restreintes, des identifiants de courte durée et une révocation simple.
  • Exigez une approbation humaine explicite pour les actions sensibles, externes ou difficiles à annuler.
  • Validez les arguments des outils, les destinations, les résultats et les règles métier dans du code déterministe.
  • Testez les injections de prompt directes et indirectes selon les rôles, les documents, les liens et les outils connectés.
  • Surveillez les recherches et les actions des outils, conservez des éléments d’audit utiles et exercez-vous à suspendre l’agent et à révoquer ses accès.

L’injection de prompt est un risque à gérer, et non un problème que l’on peut déclarer résolu. Établissez les frontières de sécurité dans les systèmes d’identité, les contrôles de recherche, les vérifications d’API et les approbations humaines. Laissez le modèle aider à interpréter les informations, mais confiez le pouvoir sur les données et les actions aux logiciels et aux personnes responsables.

Pour découvrir un modèle opérationnel plus général, lisez les recommandations d’APLS sur les agents d’IA d’entreprise à autonomie limitée et consultez les fonctionnalités de gouvernance des agents.

← Toutes les perspectives Entamer la conversation →