प्रॉम्प्ट इंजेक्शन और AI एजेंट सुरक्षा: एंटरप्राइज़ AI प्रणालियों की रक्षा कैसे करें
अविश्वसनीय सामग्री पढ़ने, कंपनी डेटा प्राप्त करने और टूल इस्तेमाल करने वाली AI प्रणालियों के लिए व्यावहारिक सुरक्षा उपाय।
AI एजेंट ईमेल पढ़ सकता है, ज्ञान-आधार खोज सकता है, API कॉल कर सकता है और व्यावसायिक कार्रवाई तैयार कर सकता है। यह संयोजन उपयोगी है, लेकिन ऐसी सुरक्षा सीमा बनाता है जो सामान्य चैट इंटरफ़ेस में नहीं होती। प्रॉम्प्ट इंजेक्शन, प्रॉम्प्ट या पढ़ी गई सामग्री में रखे निर्देशों के ज़रिए मॉडल को प्रभावित करने का प्रयास है। सुरक्षित डिज़ाइन मानकर चलता है कि कुछ निर्देश भ्रामक होंगे, फिर यदि मॉडल उनका पालन करे तो प्रणाली की पहुँच और कार्रवाई सीमित करता है। केवल चतुर सिस्टम प्रॉम्प्ट से प्रॉम्प्ट इंजेक्शन को भरोसेमंद ढंग से हटाया नहीं जा सकता।
प्रॉम्प्ट इंजेक्शन क्या है
भाषा मॉडल निर्देशों और सामान्य पाठ को एक साझा संदर्भ में संसाधित करते हैं। प्रत्यक्ष प्रॉम्प्ट इंजेक्शन उपयोगकर्ता के संदेश में आता है, जैसे काम अनदेखा करके जानकारी उजागर करने का अनुरोध। अप्रत्यक्ष इंजेक्शन ऐसी सामग्री में रखा जाता है जिसे प्रणाली बाद में पढ़ती है, जैसे वेब पेज, ईमेल, दस्तावेज़, सहायता टिकट या कोड टिप्पणी। यह पाठ व्यक्ति को सामान्य सामग्री जैसा दिख सकता है, जबकि मॉडल को प्रभावित करने की कोशिश कर रहा हो। केवल अनुमोदित खोज सूचकांक से आने के कारण एप्लिकेशन प्राप्त सामग्री को भरोसेमंद नहीं मान सकता।OWASP का प्रॉम्प्ट इंजेक्शन जोखिम विवरण
यह पारंपरिक डेटाबेस इंजेक्शन खामी से अलग है। SQL संरचित क्वेरी तंत्र के ज़रिए निष्पादन योग्य कमांड और डेटा को अलग कर सकता है। प्राकृतिक भाषा मॉडल भाषा समझने के लिए बनाए गए हैं और हमलावर निर्देशों को डेटा के साथ मिलाकर इसी क्षमता का दुरुपयोग कर सकते हैं। फ़िल्टर और सिस्टम प्रॉम्प्ट कुछ जोखिम घटा सकते हैं, लेकिन विश्वसनीय निर्देशों और अविश्वसनीय पाठ के बीच सुनिश्चित सीमा नहीं बनाते। OWASP की LLM01 प्रविष्टि बताती है कि पुनर्प्राप्ति और फ़ाइन-ट्यूनिंग भी प्रॉम्प्ट इंजेक्शन को पूरी तरह कम नहीं करते, और यह भी कि अचूक रोकथाम के तरीके मौजूद हैं या नहीं, यह स्पष्ट नहीं है।OWASP का प्रॉम्प्ट इंजेक्शन जोखिम विवरण
परिणाम आसपास के एप्लिकेशन पर निर्भर करता है। केवल पाठ वाला सहायक भ्रामक उत्तर दे सकता है। जुड़ा हुआ सहायक अपनी पहुँच की सामग्री उजागर कर सकता है। टूल वाले एजेंट संदेश भी भेज सकते हैं, रिकॉर्ड बदल सकते हैं या API कॉल कर सकते हैं। कार्यप्रवाह विफल होने के लिए मॉडल का पारंपरिक अर्थ में “हैक” होना आवश्यक नहीं है। सुरक्षा का प्रश्न यह है कि क्या अविश्वसनीय इनपुट किसी संवेदनशील निर्णय को प्रभावित कर सकता है और क्या उसके बाद सॉफ़्टवेयर डेटा-पहुँच तथा कार्रवाई की स्वतंत्र रूप से जाँच करता है।
दर्ज मामलों से हमें क्या सीख मिलती है
2025 में Microsoft 365 Copilot के लिए CVE-2025-32711 प्रकाशित किया गया था। National Vulnerability Database इसे AI कमांड-इंजेक्शन समस्या बताता है, जिससे अनधिकृत हमलावर नेटवर्क के माध्यम से जानकारी उजागर कर सकता था। NVD अपने संदर्भों में Microsoft की सुरक्षा सलाह सूचीबद्ध करता है। यह दर्ज भेद्यता के प्रकटीकरण का प्रमाण है, अपने आप में इस बात का प्रमाण नहीं कि हमलावरों ने इसका वास्तविक घटनाओं में शोषण किया। संगठनों के लिए सीख यह है कि संदेशों और जुड़ी जानकारी को संसाधित करने वाली सहायक सुविधाओं को खतरा-मॉडल, अनुमतियों, अपडेट और घटना-जिम्मेदारी वाले सॉफ़्टवेयर की तरह देखें।CVE-2025-32711 का NVD रिकॉर्ड
OWASP की प्रॉम्प्ट-इंजेक्शन रोकथाम मार्गदर्शिका GitLab Duo में दूरस्थ प्रॉम्प्ट इंजेक्शन पर शोध का भी उल्लेख करती है। यह मामला दिखाता है कि किसी अन्य उपयोगकर्ता, रिपॉज़िटरी या बाहरी स्रोत से मिली सामग्री को अविश्वसनीय मानना क्यों ज़रूरी है, जब सहायक उसका सारांश बनाए या उस पर कार्रवाई करे। उपयोगी समीक्षा पूछती है कि सहायक क्या देख सकता है, क्या बाहरी पाठ उसका काम बदल सकता है और क्या अलग प्राधिकरण जाँच के बिना सुझाव किसी टूल तक पहुँच सकता है। सुरक्षा शोध के प्रदर्शन टीमों को परीक्षण बनाने में मदद करते हैं, लेकिन विश्वसनीय स्रोत से पुष्टि न हो तो प्रदर्शित हमले के रास्ते को पुष्ट उत्पादन घटना नहीं कहना चाहिए।OWASP के प्रॉम्प्ट इंजेक्शन मामलों के संदर्भ
इन उदाहरणों का अर्थ यह नहीं कि हर AI सहायक एक ही तरह से उजागर है। उत्पाद कॉन्फ़िगरेशन, उपलब्ध कनेक्टर, उपयोगकर्ता की पहचान और एप्लिकेशन के कार्रवाई-नियंत्रण, ये सभी मायने रखते हैं। वे यह ज़रूर दिखाते हैं कि प्रॉम्प्ट इंजेक्शन को खतरा-मॉडलिंग और सुरक्षा परीक्षण में शामिल करना चाहिए। केवल पढ़ने वाले टूल में सारांशित होने पर वही दस्तावेज़ हानिरहित हो सकता है, जबकि एजेंट उससे विशेषाधिकार वाली कार्रवाई शुरू कर सके तो खतरनाक हो सकता है।
किसी संदिग्ध वाक्यांश को खोजने के बजाय हमले को क्रमबद्ध शृंखला के रूप में मानचित्रित करें। पहले पहचानें कि अविश्वसनीय सामग्री कहाँ प्रवेश करती है। फिर देखें कि मॉडल क्या प्राप्त कर सकता है, एप्लिकेशन कौन-से टूल उपलब्ध कराता है, प्रस्तावित कार्रवाई की जाँच कैसे होती है और परिणाम कहाँ भेजा जाता है। हर सीमा पर नियंत्रण अगले चरण को रोक सकता है। उदाहरण के लिए, इंजेक्ट किया गया निर्देश मसौदे को प्रभावित कर सकता है, लेकिन उसे मनमाना प्राप्तकर्ता चुनने, प्रतिबंधित दस्तावेज़ पढ़ने या एप्लिकेशन की प्राधिकरण जाँच के बिना मसौदा भेजने में सक्षम नहीं होना चाहिए। यह शृंखला-आधारित दृष्टिकोण घटना-प्रतिक्रिया टीमों को जुटाने योग्य उपयोगी साक्ष्य भी बताता है।
सहायकों और एजेंटों के आम जोखिम
अनधिकृत पहुँच और संवेदनशील डेटा का खुलासा
यदि सहायक व्यापक सेवा खाते से सामग्री प्राप्त करता है, तो वह मौजूदा उपयोगकर्ता के अधिकार से आगे की जानकारी उजागर कर सकता है। प्रॉम्प्ट इंजेक्शन सहायक से रहस्य खोजने या निजी सामग्री उत्तर में रखने की कोशिश कर सकता है। मूल समस्या केवल मॉडल का अविश्वसनीय व्यवहार नहीं, बल्कि अत्यधिक पहुँच है। अनुरोधकर्ता की पहचान या समकक्ष अनुमति-जागरूक जाँच का उपयोग करके सामग्री प्राप्त करते समय प्राधिकरण लागू करें। किसी व्यक्ति को दस्तावेज़ देखने की अनुमति है या नहीं, यह तय करने के लिए मॉडल पर निर्भर न रहें।
वैध अधिकार के बिना की गई कार्रवाइयाँ
एजेंट के पास टिकट बनाने, ग्राहक रिकॉर्ड अपडेट करने, ईमेल भेजने या खाता सेटिंग बदलने के टूल हो सकते हैं। दुर्भावनापूर्ण निर्देश इन टूल को अनपेक्षित लक्ष्य या कार्रवाई की ओर मोड़ने की कोशिश कर सकता है। प्राकृतिक भाषा में किया गया इनकार पहुँच-नियंत्रण तंत्र नहीं है। API को कॉल करने वाले, संसाधन, कार्रवाई और व्यावसायिक नियमों की स्वतंत्र जाँच करनी चाहिए। पढ़ने, मसौदा बनाने और लिखने की अनुमतियाँ अलग रखें, ताकि सारांश का काम चुपचाप खाता-प्रबंधन का काम न बन जाए।
आउटपुट और बाहरी गंतव्यों से डेटा रिसाव
सहायक जनरेट किए उत्तर, टूल तर्क, संदेश या बाहरी सेवा के अनुरोध में गोपनीय पाठ शामिल कर सकता है। लॉग, ट्रेस, सूचनाओं और जुड़ी प्रणालियों सहित सभी आउटपुट मार्गों की समीक्षा करें। जहाँ उपयुक्त हो डेटा-हानि नियम लागू करें, लेकिन यह न मानें कि फ़िल्टर हर संवेदनशील मान या हर एन्कोडिंग पहचान लेगा। शुरुआत में ही मॉडल को मिलने वाला डेटा सीमित करें और संगठन से बाहर जानकारी भेजने से पहले एप्लिकेशन कोड में गंतव्य तथा प्राप्तकर्ता सत्यापित करें।
अत्यधिक एजेंसी और अस्पष्ट जवाबदेही
“एजेंसी” का अर्थ जुड़े टूल के ज़रिए प्रणाली की कार्रवाई करने की क्षमता है। व्यापक और स्थायी अनुमतियों वाला एजेंट मॉडल की छोटी त्रुटि को बड़ी संचालन समस्या में बदल सकता है। यदि कई टूल शृंखला में जुड़े हों, तो हर चरण दर्ज न होने पर यह पहचानना कठिन हो सकता है कि किस निर्णय से कार्रवाई हुई। स्वामी, अनुमत काम और रुकने की शर्त तय करें। जहाँ संभव हो कार्रवाइयों को पलटने योग्य रखें और अधिक प्रभाव वाले निर्णयों की जिम्मेदारी उपयोगकर्ता या समीक्षक को दें।
AI एजेंटों को सुरक्षित रखने के सर्वोत्तम उपाय
मॉडल के बाहर न्यूनतम-अधिकार लागू करें
हर एजेंट को अलग पहचान दें और उसके अनुमोदित काम के लिए केवल आवश्यक अनुमतियाँ दें। कम अवधि वाले क्रेडेंशियल और सीमित दायरे को प्राथमिकता दें। प्राधिकरण API या एकीकरण परत में लागू करें, प्रॉम्प्ट में नहीं। हर टूल कॉल को अनुमत कार्रवाइयों और संसाधनों की सूची से सत्यापित करें। मॉडल कॉल सुझा सकता है, लेकिन सामान्य सॉफ़्टवेयर को तय करना चाहिए कि कॉल अनुमत है या नहीं। विकास, परीक्षण और उत्पादन के क्रेडेंशियल अलग रखें और उन्हें रद्द करना आसान बनाएँ।
समझाने के लिए एक उदाहरण: टिकट के उत्तरों का मसौदा बनाने वाले सहायता एजेंट को एक टिकट और अनुमोदित सहायता सामग्री पढ़ने की अनुमति चाहिए हो सकती है, लेकिन ग्राहक डेटाबेस निर्यात करने या उपयोगकर्ता की पहुँच बदलने की नहीं। बाद में काम का दायरा बढ़े तो नई अनुमति की डिज़ाइन बदलाव की तरह समीक्षा करें। केवल कॉन्फ़िगर करना आसान होने के कारण शक्तिशाली खाता न जोड़ें। न्यूनतम अनुमति-समूह आकस्मिक और विरोधी दोनों प्रकार की कार्रवाइयों को सीमित करना आसान बनाता है।
कल्पना करें कि ऑनबोर्डिंग एजेंट नए कर्मचारी की जाँच-सूची पढ़कर खाता अनुरोध तैयार करता है। सुरक्षित डिज़ाइन उसे अनुमोदित ऑनबोर्डिंग सामग्री पढ़ने और अनुरोध का मसौदा बनाने देता है, जबकि अलग पहचान प्रणाली बदलाव लागू करने से पहले प्रबंधक कर्मचारी, भूमिका और पहुँच की पुष्टि करता है। अपलोड किए दस्तावेज़ का शत्रुतापूर्ण निर्देश नई पहुँच न दे सके और न अनुमोदन मार्ग बदल सके। यह उदाहरण केवल समझाने के लिए है, पर नियंत्रण-पद्धति दोहराई जा सकती है: एजेंट के सुझाव सीमित करें, रिकॉर्ड के स्वामी सिस्टम में अनुरोध सत्यापित करें और अंतिम अधिकार जवाबदेह भूमिका के पास रखें।
अविश्वसनीय सामग्री अलग रखें और अनुमति-जागरूक पुनर्प्राप्ति करें
एप्लिकेशन के डेटा मॉडल में बाहरी और उपयोगकर्ता द्वारा दी गई सामग्री को अविश्वसनीय चिह्नित करें। जहाँ संभव हो, सिस्टम निर्देश, प्राधिकरण निर्णय और रहस्य प्राप्त दस्तावेज़ों तथा मॉडल को दिखाई देने वाले संदर्भ से बाहर रखें। उपयोगकर्ता की अनुमतियों से जुड़े पुनर्प्राप्ति फ़िल्टर लगाएँ और सामग्री लौटाने से पहले उन अनुमतियों की फिर जाँच करें। समझाने के लिए एक उदाहरण: परियोजना सहायक प्रबंधक के लिए आंतरिक फ़ाइलें खोजता है। उसे केवल वही दस्तावेज़ प्राप्त करने चाहिए जिन्हें प्रबंधक सीधे खोल सकता है, भले ही सूचकांकित फ़ाइल में सहायक को नियम अनदेखा करने का निर्देश हो।अनुमति-जागरूक पुनर्प्राप्ति पर APLS मार्गदर्शिका
महत्वपूर्ण परिणाम वाली कार्रवाइयों के लिए मानवीय स्वीकृति लें
बाहरी संचार भेजने, धन हस्तांतरित करने, संवेदनशील डेटा उजागर करने, पहुँच देने या कठिनाई से पलटे जा सकने वाले बदलाव करने वाली कार्रवाइयों से पहले अनुमोदन चरण रखें। समीक्षक को प्रस्तावित कार्रवाई, गंतव्य, शामिल डेटा और अनुरोध का कारण दिखाएँ। अनुमोदन एप्लिकेशन में वास्तविक प्राधिकरण जाँच होना चाहिए, मॉडल द्वारा जनरेट किया जा सकने वाला वाक्यांश नहीं। कम जोखिम वाले कामों में हर छोटे कदम के लिए व्यक्ति से स्वीकृति माँगने के बजाय सीमाएँ, दर-नियंत्रण और पलटे जा सकने वाले मसौदे इस्तेमाल करें।
टूल इनपुट और आउटपुट की निश्चित नियमों से जाँच करें
टूल तर्कों के लिए कड़े स्कीमा तय करें और अज्ञात फ़ील्ड, अमान्य पहचानकर्ता तथा काम के दायरे से बाहर कार्रवाइयाँ अस्वीकार करें। खाता स्वामित्व, अनुमत प्राप्तकर्ताओं, लेन-देन सीमाओं और स्थिति बदलावों की सर्वर-पक्षीय जाँच करें। जनरेट किए कोड, लिंक, क्वेरी और कमांड की समीक्षा तथा परीक्षण होने तक उन्हें अविश्वसनीय मानें। यदि किसी आउटपुट का उपयोग दूसरी प्रणाली करती है, तो उसे उस गंतव्य के अनुसार एन्कोड करें और प्राप्तकर्ता प्रणाली की सामान्य जाँच लागू करें। मॉडल का आत्मविश्वास या स्पष्टीकरण उसके आउटपुट की सुरक्षा का प्रमाण नहीं है।
विफलता की सुरक्षित प्रक्रिया बनाएँ। यदि अनुमोदन सेवा उपलब्ध न हो, अनुमति जाँच विफल हो या एजेंट को परस्पर-विरोधी निर्देश मिलें, तो अनुमान लगाने के बजाय उसे रुक जाना चाहिए या केवल-पठन वाले उत्तर पर लौटना चाहिए। पुनः प्रयास को इडेम्पोटेंट बनाएँ, ताकि अनिश्चित परिणाम से बार-बार लिखने की कार्रवाई न हो। भेजने से पहले किसी व्यक्ति को प्रस्तावित कार्रवाई देखने दें और अनुरोध अस्वीकार या रोकने का कारण दर्ज करें। ये सामान्य विश्वसनीयता नियंत्रण महत्वपूर्ण हैं, क्योंकि सेवा-बाधा के दौरान गायब हो जाने वाली सुरक्षा सीमा भरोसेमंद सीमा नहीं है।
विरोधी परिस्थितियों में परीक्षण करें और व्यवहार की निगरानी रखें
अविश्वसनीय पाठ के वास्तविक स्रोतों से परीक्षण बनाएँ: ईमेल अटैचमेंट, सार्वजनिक वेब पेज, ग्राहक टिप्पणी, छवि या परस्पर-विरोधी निर्देश वाला दस्तावेज़। जाँचें कि क्या प्रणाली प्रतिबंधित सामग्री उजागर करती है, अपने दायरे से बाहर टूल कॉल करती है या आवश्यक स्वीकृति छोड़ देती है। केवल एक प्रशासक खाते से नहीं, अलग-अलग उपयोगकर्ता भूमिकाओं और पहुँच बदलावों से परीक्षण करें। OWASP की रोकथाम मार्गदर्शिका ज्ञात हमला-पैटर्न के साथ नियमित सुरक्षा परीक्षण और रक्षा की कई परतों वाले डिज़ाइन की अनुशंसा करती है, और इनपुट जाँच तथा संरचित प्रॉम्प्ट को परतें बताती है, संपूर्ण बचाव नहीं।OWASP के परीक्षण और जोखिम-न्यूनीकरण उपाय
नीति और गोपनीयता आवश्यकताएँ अनुमति दें तो उपयोगकर्ता, प्राप्त स्रोत, मॉडल और प्रॉम्प्ट संस्करण, टूल का नाम, सत्यापित तर्क, स्वीकृति और अंतिम परिणाम लॉग करें। संवेदनशील प्रॉम्प्ट को बिना भेदभाव के संग्रहित करने से बचें। असामान्य पुनर्प्राप्ति, बार-बार अस्वीकृत कार्रवाई, अनपेक्षित गंतव्य, अनुमति बदलाव या टूल उपयोग में अचानक वृद्धि पर चेतावनी दें। संचालकों को एजेंट रोकने, उसके क्रेडेंशियल रद्द करने और सुरक्षित मैनुअल प्रक्रिया अपनाने का तरीका दें। NCSC मार्गदर्शन सुरक्षित संचालन और रखरखाव को AI प्रणाली के जीवनचक्र का हिस्सा मानता है।NCSC की सुरक्षित AI प्रणाली-विकास मार्गदर्शिका
AI एजेंट सुरक्षा की व्यावहारिक जाँच-सूची
- एजेंट का स्वामी, उद्देश्य, उपयोगकर्ता, डेटा स्रोत, टूल और निषिद्ध कार्रवाइयाँ दर्ज करें।
- हर स्रोत को विश्वसनीय, उपयोगकर्ता-प्रदत्त या बाहरी वर्गीकृत करें और प्राप्त निर्देशों को अविश्वसनीय मानें।
- हर पुनर्प्राप्ति और API कार्रवाई पर उपयोगकर्ता-स्तरीय प्राधिकरण लागू करें।
- अलग पहचान, सीमित दायरे, कम अवधि वाले क्रेडेंशियल और आसान निरस्तीकरण अपनाएँ।
- संवेदनशील, बाहरी या कठिनाई से पलटे जा सकने वाले कामों के लिए स्पष्ट मानवीय स्वीकृति लें।
- निश्चित नियमों वाले कोड में टूल तर्क, गंतव्य, आउटपुट और व्यावसायिक नियम सत्यापित करें।
- भूमिकाओं, दस्तावेज़ों, लिंक और जुड़े टूल में प्रत्यक्ष तथा अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन का परीक्षण करें।
- पुनर्प्राप्ति और टूल कार्रवाइयों की निगरानी करें, उपयोगी ऑडिट साक्ष्य सुरक्षित रखें और रोकने तथा रद्द करने की प्रतिक्रिया का अभ्यास करें।
प्रॉम्प्ट इंजेक्शन ऐसा जोखिम है जिसे प्रबंधित करना है, ऐसी समस्या नहीं जिसे हल घोषित किया जा सके। सुरक्षा सीमाएँ पहचान प्रणालियों, पुनर्प्राप्ति नियंत्रणों, API जाँचों और मानवीय स्वीकृति में रखें। मॉडल को जानकारी समझने में मदद करने दें, लेकिन डेटा और कार्रवाइयों का अधिकार सॉफ़्टवेयर तथा जवाबदेह लोगों के पास रहे।
व्यापक संचालन मॉडल के लिए पढ़ें सीमित एंटरप्राइज़ AI एजेंटों पर APLS मार्गदर्शनऔर समीक्षा करें एजेंट शासन क्षमताओं.
बातचीत शुरू करें