Cybersécurité de l’IA dans les organisations : risques, menaces et bonnes pratiques
Guide pratique pour sécuriser l’usage de l’IA par les employés, les données de l’entreprise et les systèmes d’IA, sans traiter chaque nouvel outil comme une crise.
La cybersécurité de l’IA n’est pas un programme de sécurité distinct. Elle consiste à appliquer de bonnes pratiques de sécurité aux nouveaux systèmes, aux nouveaux flux de données et aux nouvelles façons dont les personnes interagissent avec les logiciels. Les organisations utilisent désormais des assistants IA pour rédiger des messages, rechercher des informations internes, analyser des documents et déclencher des flux de travail. Chaque usage peut modifier la circulation des informations et les actions autorisées à une personne ou à un système automatisé. L’objectif est de comprendre ces changements, de protéger l’essentiel et de maintenir l’utilité de l’IA dans des limites claires.
Pourquoi la cybersécurité de l’IA compte pour les organisations
Les systèmes d’IA peuvent traiter de grandes quantités de texte, de code, d’images, d’audio et de dossiers métier. Ils peuvent être connectés à des espaces de stockage de documents, à la messagerie, aux systèmes clients, à des outils logiciels ou à des sites publics. Ils font donc partie de l’environnement informationnel et des identités de l’organisation, et ne sont pas de simples fenêtres de discussion. Une revue de sécurité doit poser les questions habituelles : quelles données sont reçues, où elles sont traitées, qui peut les récupérer, quelles actions sont possibles et comment l’activité est consignée. Le profil de l’IA générative du NIST inscrit la sécurité de l’IA dans une gestion plus large des risques liés à la conception, à l’utilisation et à l’évaluation. Profil du NIST sur l’IA générative et le cadre de gestion des risques de l’IA
Le risque ne se limite pas à une attaque contre un modèle. Un employé peut coller un dossier client dans un outil non approuvé. Un assistant IA peut récupérer un document avec des autorisations plus larges que celles de l’employé. Un flux de travail peut interpréter un texte généré comme une instruction de mise à jour d’un dossier ou d’envoi d’un message. Ce sont des problèmes classiques de sécurité de l’information et de contrôle d’accès dans un nouveau contexte. Pour commencer, cartographiez le service d’IA, les données connectées, les identités concernées et les actions que le système peut effectuer. Les lignes directrices du NCSC pour le développement sécurisé des systèmes d’IA couvrent des pratiques connexes, notamment la compréhension des risques, la modélisation des menaces et la gestion des actifs. Guide du NCSC pour le développement sécurisé des systèmes d’IA
Les organisations doivent donc rendre l’usage de l’IA visible avant de chercher à le contrôler. Inventoriez les produits d’IA approuvés, les modèles internes, les extensions de navigateur, les fonctionnalités agentiques, les API et les intégrations. Demandez aux équipes métier quels outils elles utilisent et quelles tâches elles attendent de l’IA. Une interdiction générale ne résout pas le recours à une IA non approuvée si le personnel doit tout de même effectuer le travail ; des options approuvées claires et une procédure rapide de demande d’examen sont plus utiles. Tenez l’inventaire à jour lorsque les produits ajoutent des fonctions : un assistant de rédaction qui obtient ensuite accès à des fichiers ou à des outils présente un profil de sécurité différent.
Cybermenaces courantes liées à l’IA
Hameçonnage et usurpation d’identité assistés par l’IA
Les outils génératifs peuvent aider un criminel à rédiger un message crédible, à adapter sa formulation à son destinataire ou à préparer un scénario d’usurpation d’identité. Cela ne rend pas tous les messages plus convaincants et ne fait pas disparaître les signes d’alerte connus. En revanche, la grammaire et le ton ne suffisent pas à déterminer si une demande est authentique. Face à un changement de paiement inattendu, une réinitialisation de mot de passe, une demande de fichier sensible ou une approbation urgente, vérifiez la procédure plutôt que le style rédactionnel. Utilisez un second canal fiable et le circuit d’approbation établi par l’organisation.
La voix et la vidéo peuvent également être manipulées ou synthétisées. Un appelant qui ressemble à un dirigeant ne doit pas pouvoir contourner les contrôles de paiement, divulguer des identifiants ou passer outre une règle d’approbation par deux personnes. Convenez d’une procédure de vérification avant tout incident : rappelez un numéro figurant dans l’annuaire, confirmez la demande dans le flux de travail habituel et exigez une approbation indépendante pour les actions à fort impact. À titre d’exemple illustratif, un employé des finances reçoit un message vocal familier lui demandant de changer de fournisseur le jour même. Il marque une pause, rappelle le numéro connu et obtient la confirmation d’un second approbateur au lieu d’agir sur la base de l’enregistrement.
Exposition des données par les prompts et les services connectés
Lorsque les employés transmettent des prompts, des fichiers ou l’historique d’une conversation à un service d’IA, les informations quittent la frontière de leur application d’origine. Leur traitement exact dépend du produit, du type de compte, du contrat, de la configuration et des intégrations connectées. L’organisation doit vérifier la conservation des données, les paramètres d’amélioration des modèles, les contrôles administratifs, les sous-traitants, la localisation des données et les conditions de suppression, plutôt que de supposer que tous les produits d’IA fonctionnent de la même façon. Des informations sensibles peuvent aussi apparaître dans les réponses générées si le système peut récupérer des données auxquelles l’utilisateur actuel ne devrait pas avoir accès. OWASP considère la divulgation d’informations sensibles comme un risque majeur des applications d’IA générative. Top 10 OWASP des risques pour les applications LLM
À titre d’exemple illustratif, imaginons qu’un membre du personnel demande à un chatbot non approuvé de résumer un tableur contenant des noms de clients et des notes de dossier. La préoccupation immédiate n’est pas de savoir si le modèle mémorisera le fichier. Les questions concrètes sont de déterminer si le service est approuvé pour ces données, qui peut accéder au prompt et à son résultat, combien de temps ils sont conservés et si le fichier contient plus d’informations que nécessaire. La minimisation des données est utile quelle que soit la configuration : supprimez les identifiants, utilisez un court extrait ou des exemples synthétiques lorsque le dossier réel n’est pas nécessaire.
Injection de prompt et instructions malveillantes
Un assistant IA peut traiter des instructions intégrées à un courriel, une page Web, une image ou un document. Une instruction malveillante peut chercher à lui faire ignorer sa tâche, révéler des informations ou utiliser un outil connecté de manière inattendue. C’est ce qu’on appelle une injection de prompt. Le risque est particulièrement important lorsqu’un système mélange des instructions fiables et du contenu récupéré à l’extérieur. Traitez les éléments récupérés comme des entrées non fiables, gérez les autorisations en dehors du modèle et faites vérifier chaque action proposée par l’application. OWASP explique que l’injection de prompt peut toucher les systèmes qui utilisent la recherche ou d’autres contenus externes. Risque d’injection de prompt selon OWASP
Usage abusif, composants compromis et résultats dangereux
Un initié ou un attaquant externe peut détourner l’IA, comme il peut détourner la messagerie, les éditeurs de code, les consoles cloud et d’autres outils légitimes. Les systèmes d’IA reposent aussi sur des modèles, des jeux de données, des modules d’extension, des bibliothèques, des services d’hébergement et des API. Une intégration fragile ou une dépendance compromise peut exposer l’organisation au-delà des défauts du modèle. Le code ou les instructions générés peuvent être erronés ou dangereux : examinez-les avant leur exécution ou leur utilisation dans une décision importante. Les équipes de sécurité doivent intégrer les composants d’IA aux processus habituels d’évaluation des fournisseurs, de gestion des vulnérabilités, de contrôle des changements et de réponse aux incidents, plutôt que de créer un processus distinct sans responsable.
Risques de sécurité liés à l’utilisation de ChatGPT et d’autres outils d’IA par les employés
Les employés se tournent souvent vers un outil d’IA parce qu’il leur fait gagner du temps sur une tâche réelle. Une politique qui se limite à « ne saisissez pas de données confidentielles » laisse des questions importantes sans réponse : quels outils sont approuvés, que signifie « confidentiel », comment demander un accès et que faire lorsqu’un outil est déjà connecté aux fichiers de l’entreprise ? Fournissez au personnel une politique courte et pratique, accompagnée d’exemples. Par exemple, un texte public sur un produit peut être acceptable dans un assistant approuvé, tandis que les identifiants client, le code source, les identifiants de connexion, les projets juridiques et les informations financières non publiées exigent une autorisation explicite ou ne doivent pas être transmis.
Ne supposez pas qu’un compte personnel et un compte géré par l’organisation offrent les mêmes contrôles. Vérifiez les conditions et les paramètres réels du service, puis consignez ce que l’organisation a confirmé. Vérifiez si les administrateurs peuvent gérer les comptes, l’authentification, la conservation, le partage des données, les modules d’extension et les journaux d’audit. Si le personnel connecte un outil à un espace de stockage cloud ou à une messagerie, examinez les autorisations accordées et revoyez-les lors des changements de rôle. Désactivez les connecteurs facultatifs inutiles. Maintenez les accès au niveau des autorisations déjà accordées à l’employé et permettez la révocation rapide des sessions et des jetons.
La formation doit enseigner des gestes concrets, pas des slogans. Montrez aux employés comment repérer les outils approuvés, retirer les données inutiles d’un prompt, valider le contenu généré et signaler une exposition présumée. Précisez qu’une réponse générée ne prouve ni un fait, ni une autorité, ni une approbation. À titre d’exemple illustratif, un analyste du centre d’assistance peut utiliser un assistant approuvé pour rédiger une réponse à partir d’un extrait de ticket expurgé, puis vérifier la politique citée et envoyer le message par le système de tickets habituel. L’assistant aide à formuler le texte ; l’analyste reste responsable du contenu et de sa divulgation.
Protéger les systèmes d’IA, les données de l’entreprise, les API et les accès
Commencer par la gouvernance et un modèle de menace
Désignez un responsable pour chaque cas d’usage de l’IA et consignez sa finalité métier, les catégories de données, les fournisseurs, les intégrations, les utilisateurs et les conséquences possibles. Cartographiez les frontières de confiance : prompts publics, fichiers téléversés, contenus internes récupérés, fournisseurs de modèles, outils et systèmes en aval. Envisagez les abus par un employé, un compte compromis, un document malveillant, une interruption chez un fournisseur et une mise à jour du modèle qui modifie son comportement. Le NCSC recommande de prendre en compte la sécurité pendant toute la conception, le développement, le déploiement et l’exploitation d’un système d’IA, et pas seulement lors de son lancement. Recommandations du NCSC sur le cycle de vie de la sécurité de l’IA
Protéger les données et les voies de recherche
Classez les informations avant leur intégration à un modèle ou à un index de recherche. Ne collectez que les données nécessaires à la tâche, masquez les identifiants lorsque c’est possible et limitez la conservation à la durée minimale compatible avec l’objectif approuvé. Vérifiez les accès au moment de la récupération du contenu, et pas uniquement lors de la création de l’index. Si un utilisateur ne peut pas ouvrir directement un document source, l’IA ne doit pas en révéler le contenu dans un résumé. Testez les changements d’accès, les dossiers supprimés et les frontières entre équipes avec des comptes représentatifs. Consignez suffisamment d’informations pour enquêter sur les accès sans copier inutilement des prompts sensibles dans un second stockage non contrôlé.
Garder les identités, les API et les actions sous contrôle
Attribuez à chaque service ou agent sa propre identité et uniquement les autorisations nécessaires à une tâche définie. Ne placez pas de secrets à longue durée de vie dans les prompts, le code source, le stockage du navigateur ou les journaux. Stockez les identifiants d’API dans un gestionnaire de secrets approuvé, renouvelez-les, limitez leur portée et surveillez leur utilisation. Validez les requêtes côté serveur, appliquez les autorisations à chaque opération d’API et établissez une liste d’autorisation des outils qu’un agent peut appeler. Le modèle peut proposer une action, mais un code applicatif déterministe doit vérifier l’utilisateur, la cible, les limites et les règles métier avant l’exécution.
Prévoyez des vérifications supplémentaires pour les actions ayant des conséquences importantes. L’envoi d’un message externe, la modification d’un dossier financier, l’octroi d’un accès, la suppression d’informations ou l’approbation d’une transaction doivent comporter une étape de confirmation définie. L’approbation humaine n’est utile que si la personne chargée de l’examen peut voir ce qui va se passer, pourquoi et sur quel dossier. Pour les actions à moindre risque, utilisez des portées restreintes, des limites de débit, des mises à jour réversibles et des journaux d’audit clairs. Si un système ne peut pas expliquer quelle autorisation a permis une action, le modèle d’autorisations doit être amélioré avant d’étendre la fonctionnalité.
Tester, surveiller et se préparer à réagir
Testez l’application complète, et pas seulement les réponses du modèle. Incluez des documents malveillants, des formats de fichier inhabituels, des tentatives de franchissement des autorisations des utilisateurs, des injections de prompt, des résultats dangereux, des abus d’API et des défaillances des services connectés. Consignez le comportement attendu et les conditions d’arrêt avant un pilote. Surveillez l’authentification, la recherche, les appels d’outils, le traitement des résultats et les changements de configuration. Définissez une procédure de gestion des incidents liés à l’exposition de données, aux actions inattendues, aux identifiants compromis et aux fournisseurs. Conservez les éléments pertinents, révoquez les identifiants si nécessaire, confinez l’intégration et indiquez aux responsables concernés comment signaler un problème.
La sécurité de l’IA relève d’une responsabilité opérationnelle continue. Examinez les changements de version des modèles, les fonctionnalités des fournisseurs, les sources de données et les autorisations avant leur mise à disposition des utilisateurs. Effectuez de nouveaux tests après tout changement important et tirez parti des incidents ou des quasi-incidents pour actualiser les contrôles. Les recommandations Secure by Design de la CISA invitent les fabricants de technologies à assumer la responsabilité des résultats de sécurité de leurs clients et à livrer des produits sécurisés dès la conception. Pour une organisation qui adopte des outils d’IA, c’est une raison de demander aux fournisseurs comment la sécurité est intégrée, tout en continuant à gérer sa propre configuration, ses accès et ses données. Principes Secure by Design de la CISA
Liste de contrôle pratique de cybersécurité de l’IA pour les entreprises
- Tenez à jour un inventaire des outils d’IA, des comptes, des modèles, des API, des agents, des sources de données et des responsables métier.
- Définissez les usages approuvés et les données interdites à l’aide d’exemples applicables au travail réel.
- Avant toute approbation, examinez les conditions du fournisseur, la conservation, les paramètres d’amélioration du modèle, les contrôles d’accès et la notification des incidents.
- Classez et minimisez les données d’entrée ; évitez d’envoyer des identifiants de connexion, des secrets ou des renseignements personnels inutiles.
- Appliquez le principe du moindre privilège aux employés, aux intégrations, aux identités de service, aux clés d’API et aux outils des agents.
- Exigez une vérification indépendante pour les demandes de paiement, d’accès, de divulgation, de suppression ou toute autre demande à fort impact.
- Testez les injections de prompt, les récupérations non autorisées, les résultats dangereux et les détournements d’outils avant et après les changements.
- Consignez les accès et les actions pertinents, désignez les responsables des incidents et entraînez-vous à révoquer les accès et à confiner une intégration.
L’objectif pratique n’est pas d’empêcher les employés d’utiliser l’IA. Il est de rendre les usages approuvés compréhensibles, de maintenir les données sensibles et les autorisations dans des limites claires et de vérifier les actions avant qu’elles n’affectent des personnes ou des dossiers métier. Commencez par un inventaire et une évaluation précise des risques, puis élargissez les usages uniquement lorsque les contrôles et les responsables sont prêts.
Lire notre guide sur la gouvernance de l’IA pour en savoir plus sur la traduction des contrôles en exigences d’ingénierie, ou découvrez les services de gouvernance et d’exploitation d’APLS.
Démarrer une conversation