EN हि ES FR AR
SOC 2 · ISO 27001 · موطن البيانات عند الطلب
A.26الأمن

حقن المطالبات وأمن وكلاء الذكاء الاصطناعي: كيفية حماية أنظمة المؤسسات

ضمانات عملية لأنظمة الذكاء الاصطناعي التي تقرأ محتوى غير موثوق وتسترجع بيانات الشركة وتستخدم الأدوات.

يمكن لوكيل الذكاء الاصطناعي قراءة بريد إلكتروني والبحث في قاعدة معرفة واستدعاء واجهة API وإعداد إجراء تجاري. وهذا المزيج مفيد، لكنه ينشئ حدوداً أمنية لا توفرها واجهات المحادثة العادية. وحقن المطالبات محاولة لتوجيه النموذج عبر تعليمات توضع في مطالبة أو في محتوى يقرؤه. يفترض التصميم الآمن أن بعض التعليمات ستكون مضللة، ثم يحدّ مما يستطيع النظام الوصول إليه أو فعله إذا اتبعها النموذج. ولا يمكن إزالة حقن المطالبات بشكل موثوق بمجرد صياغة مطالبة نظام ذكية.

ما حقن المطالبات

تعالج النماذج اللغوية التعليمات والنصوص العادية ضمن سياق مشترك. يصل حقن المطالبات المباشر في رسالة المستخدم، كطلب تجاهل المهمة وكشف المعلومات. أما الحقن غير المباشر فيوضع في محتوى يقرؤه النظام لاحقاً، مثل صفحة ويب أو بريد إلكتروني أو مستند أو تذكرة دعم أو تعليق في الشيفرة البرمجية. وقد يبدو النص طبيعياً للشخص بينما يحاول التأثير في النموذج. ولا يمكن للتطبيق أن يفترض بأمان أن المحتوى المسترجع موثوق لمجرد وروده من فهرس بحث معتمد. مخاطر حقن المطالبات لدى OWASP

يختلف هذا عن ثغرات حقن قواعد البيانات التقليدية. تستطيع SQL فصل الأوامر القابلة للتنفيذ عن البيانات باستخدام آليات استعلام منظمة. أما النماذج اللغوية الطبيعية فمصممة لتفسير اللغة، ويمكن للمهاجمين استغلال هذه القدرة نفسها بخلط التعليمات بالبيانات. قد تقلل المرشحات ومطالبات النظام بعض المخاطر، لكنها لا تنشئ حداً مضموناً بين التعليمات الموثوقة والنص غير الموثوق. وتشير OWASP في بند LLM01 إلى أن الاسترجاع والضبط الدقيق لا يخففان حقن المطالبات بالكامل، وإلى أنه من غير الواضح وجود طرق وقاية مضمونة. مخاطر حقن المطالبات لدى OWASP

تعتمد العواقب على التطبيق المحيط. فقد يقدم مساعد نصي إجابة مضللة، أو يكشف مساعد متصل محتوى يستطيع استرجاعه، أو يرسل وكيل مزود بأدوات رسالة أو يغيّر سجلاً أو يستدعي واجهة API. ولا يلزم «اختراق» النموذج بالمعنى التقليدي حتى يفشل سير العمل. والسؤال الأمني هو ما إذا كان الإدخال غير الموثوق يستطيع التأثير في قرار حساس، وما إذا كان البرنامج يتحقق بصورة مستقلة من الوصول إلى البيانات والإجراء اللاحق.

ما الذي نتعلمه من الحالات الموثقة

في عام 2025، نُشر المعرف CVE-2025-32711 بشأن Microsoft 365 Copilot. تصف قاعدة بيانات الثغرات الوطنية مشكلة حقن أوامر في الذكاء الاصطناعي قد تتيح لمهاجم غير مصرّح له كشف معلومات عبر الشبكة. وتدرج NVD استشارة أمنية من Microsoft ضمن مراجعها. وهذا دليل على الإفصاح عن ثغرة موثقة، وليس بحد ذاته دليلاً على استغلال المهاجمين لها فعلياً. والدرس للمؤسسات هو التعامل مع ميزات المساعد التي تعالج الرسائل والمعلومات المتصلة باعتبارها برمجيات تحتاج إلى نموذج تهديدات وأذونات وتحديثات ومسؤولية واضحة عن الحوادث. سجل NVD للثغرة CVE-2025-32711

تشير إرشادات OWASP للوقاية من حقن المطالبات أيضاً إلى أبحاث حول حقن المطالبات عن بُعد في GitLab Duo. وتوضح تلك الحالة سبب ضرورة اعتبار المحتوى الذي يقدمه مستخدم آخر أو مستودع أو مصدر خارجي غير موثوق عندما يلخصه المساعد أو يتصرف بناءً عليه. تسأل المراجعة المفيدة عما يُسمح للمساعد برؤيته، وما إذا كان النص الخارجي يستطيع تغيير مهمته، وما إذا كان الاقتراح يستطيع الوصول إلى أداة من دون فحص تفويض مستقل. تساعد عروض الأبحاث الأمنية الفرق على إعداد الاختبارات، لكن لا ينبغي وصف مسار هجوم معروض بأنه حادث مؤكد في بيئة الإنتاج ما لم يثبت مصدر موثوق ذلك. مراجع OWASP لحالات حقن المطالبات

لا تعني هذه الأمثلة أن جميع مساعدي الذكاء الاصطناعي معرضون بالطريقة نفسها. فإعداد المنتج والموصلات المتاحة وهوية المستخدم وضوابط الإجراءات في التطبيق كلها عوامل مهمة. لكنها توضح ضرورة إدراج حقن المطالبات في نمذجة التهديدات والاختبارات الأمنية. قد يكون المستند نفسه غير ضار عند تلخيصه بأداة للقراءة فقط، وخطيراً حين يستطيع وكيل استخدامه لبدء إجراءات ذات امتيازات.

ارسموا الهجوم كتسلسل بدلاً من البحث عن عبارة واحدة مثيرة للريبة. حددوا أولاً موضع دخول المحتوى غير الموثوق، ثم تتبعوا ما يستطيع النموذج استرجاعه، والأدوات التي يتيحها التطبيق، وكيفية التحقق من الإجراء المقترح، والجهة التي تُرسل إليها النتيجة. ويمكن لضابط عند كل حد أن يقيّد الخطوة التالية. مثلاً، قد تؤثر تعليمات محقونة في مسودة، لكن يجب ألا تتمكن من اختيار مستلم اعتباطي أو قراءة مستند مقيد أو إرسال المسودة من دون فحوص التفويض في التطبيق. كما يوفر هذا المنظور القائم على سلسلة الهجوم أدلة مفيدة لفرق الاستجابة للحوادث.

المخاطر الشائعة للمساعدين والوكلاء

الوصول غير المصرح به وانكشاف البيانات الحساسة

إذا استرجع المساعد المحتوى باستخدام حساب خدمة واسع الصلاحيات، فقد يكشف معلومات تتجاوز صلاحية المستخدم الحالي. وقد يحاول حقن المطالبات دفع المساعد إلى البحث عن أسرار أو تضمين مواد خاصة في رده. تكمن المشكلة الأساسية في الإفراط في الوصول، لا في سلوك النموذج غير الموثوق وحده. فرضوا التفويض عند الاسترجاع باستخدام هوية المستخدم الطالب أو فحص مكافئ يراعي الأذونات. لا تعتمدوا على النموذج ليقرر ما إذا كان مسموحاً لشخص بالاطلاع على مستند.

إجراءات تُنفذ دون صلاحية صحيحة

قد يمتلك الوكيل أدوات لإنشاء التذاكر أو تحديث سجلات العملاء أو إرسال البريد الإلكتروني أو تغيير إعدادات الحساب. وقد تحاول تعليمات خبيثة توجيه هذه الأدوات إلى هدف أو عملية غير مقصودة. الرفض المكتوب باللغة الطبيعية ليس آلية للتحكم في الوصول. يجب على API التحقق بصورة مستقلة من المستدعي والمورد والإجراء وقواعد العمل. افصلوا أذونات القراءة وإعداد المسودات والكتابة كي لا تتحول مهمة تلخيص بهدوء إلى مهمة لإدارة الحسابات.

تسرب البيانات عبر المخرجات والوجهات الخارجية

قد يضمّن المساعد نصاً سرياً في إجابة مولدة أو وسيطة أداة أو رسالة أو طلب إلى خدمة خارجية. راجعوا جميع مسارات المخرجات، بما فيها السجلات وآثار التنفيذ والإشعارات والأنظمة المتصلة. طبّقوا قواعد منع فقدان البيانات عند الاقتضاء، لكن لا تفترضوا أن المرشح سيتعرف على كل قيمة حساسة أو ترميز. قلّلوا البيانات التي يتلقاها النموذج من البداية، وتحققوا من الوجهات والمستلمين في شيفرة التطبيق قبل إرسال المعلومات خارج المؤسسة.

استقلالية مفرطة ومساءلة غير واضحة

«الاستقلالية» هي قدرة النظام على اتخاذ إجراءات عبر الأدوات المتصلة. وقد يحوّل وكيل ذو أذونات واسعة ودائمة خطأً صغيراً في النموذج إلى مشكلة تشغيلية أكبر. وإذا رُبطت عدة أدوات في سلسلة، فقد يصعب تحديد القرار الذي أدى إلى إجراء ما ما لم يسجل النظام كل خطوة. عيّنوا مسؤولاً ومهمة مسموحاً بها وشرطاً للتوقف. اجعلوا الإجراءات قابلة للتراجع حيثما أمكن، وحمّلوا المستخدم أو المراجع مسؤولية القرارات عالية الأثر.

أفضل الممارسات لتأمين وكلاء الذكاء الاصطناعي

طبّقوا أقلّ قدر من الامتيازات خارج النموذج

امنحوا كل وكيل هوية مخصصة لا تملك إلا الأذونات اللازمة لمهمته المعتمدة. فضّلوا بيانات اعتماد قصيرة الأجل ونطاقات ضيقة. افرضوا التفويض في API أو طبقة التكامل، لا في المطالبة. تحققوا من كل استدعاء أداة بمقارنته بقائمة سماح للعمليات والموارد المسموح بها. يستطيع النموذج اقتراح استدعاء، لكن يجب أن يقرر البرنامج المعتاد ما إذا كان مسموحاً. افصلوا بيانات اعتماد التطوير والاختبار والإنتاج واجعلوا إلغاءها سهلاً.

في مثال توضيحي، قد يحتاج وكيل دعم يصوغ ردود التذاكر إلى صلاحية قراءة تذكرة واحدة ومحتوى مساعدة معتمد، لكنه لا يحتاج إلى صلاحية تصدير قاعدة بيانات العملاء أو تغيير وصول مستخدم. إذا توسعت المهمة لاحقاً، فراجعوا الإذن الجديد باعتباره تغييراً في التصميم. لا تضيفوا حساباً واسع الصلاحيات لمجرد سهولة إعداده. فمجموعة الأذونات الأصغر تسهّل احتواء الإجراءات العرضية والعدائية على حد سواء.

تخيلوا وكيلاً للتهيئة يقرأ قائمة تحقق موظف جديد ويعد طلبات الحسابات. يمكن للتصميم الآمن السماح له بقراءة مواد التهيئة المعتمدة وإنشاء طلب أولي، على أن يؤكد مدير هوية الموظف ودوره وصلاحيات وصوله قبل أن يطبّق نظام هوية منفصل التغيير. يجب ألا تمنح تعليمات عدائية داخل مستند مرفوع صلاحية وصول جديدة أو تغيّر مسار الموافقة. المثال توضيحي، لكن نمط الضبط قابل لإعادة الاستخدام: قيّدوا ما يستطيع الوكيل اقتراحه، وتحققوا من الطلب في النظام المسؤول عن السجل، وأبقوا السلطة النهائية بيد دور خاضع للمساءلة.

افصلوا المحتوى غير الموثوق واجعلوا الاسترجاع واعياً بالأذونات

صنّفوا المحتوى الخارجي والمقدم من المستخدم على أنه غير موثوق في نموذج بيانات التطبيق. أبعدوا تعليمات النظام وقرارات التفويض والأسرار عن المستندات المسترجعة والسياق الذي يراه النموذج حيثما أمكن. استخدموا مرشحات استرجاع مرتبطة بأذونات المستخدم، وأعيدوا التحقق منها قبل إرجاع المحتوى. في مثال توضيحي، يبحث مساعد مشروع في الملفات الداخلية نيابة عن مدير. ينبغي ألا يسترجع إلا المستندات التي يستطيع ذلك المدير فتحها مباشرة، حتى لو احتوى ملف مفهرس على تعليمات تطلب من المساعد تجاهل قواعده. دليل APLS للاسترجاع المراعي للأذونات

اشترطوا موافقة بشرية على الإجراءات ذات العواقب

ضعوا خطوة موافقة بين الوكيل والإجراءات التي ترسل اتصالات خارجية أو تحرك الأموال أو تكشف بيانات حساسة أو تمنح الوصول أو تجري تغييرات يصعب التراجع عنها. اعرضوا على المراجع الإجراء المقترح ووجهته والبيانات المعنية وسبب طلبه. ينبغي أن تكون الموافقة فحص تفويض حقيقياً في التطبيق، لا عبارة يستطيع النموذج توليدها. وفي المهام منخفضة المخاطر، استخدموا الحدود وضوابط المعدل والمسودات القابلة للتراجع بدلاً من مطالبة شخص بالموافقة على كل خطوة صغيرة.

تحققوا من مدخلات الأدوات ومخرجاتها بطرق حتمية

حدّدوا مخططات صارمة لوسائط الأدوات وارفضوا الحقول غير المعروفة والمعرّفات غير الصالحة والعمليات الخارجة عن نطاق المهمة. استخدموا فحوصاً على جانب الخادم لملكية الحسابات والمستلمين المسموح بهم وحدود المعاملات وانتقالات الحالة. تعاملوا مع الشيفرة والروابط والاستعلامات والأوامر المولدة على أنها غير موثوقة إلى أن تُراجع وتُختبر. إذا استخدم نظام آخر مخرجاً ما، فشفّروه بما يناسب تلك الوجهة وطبّقوا التحقق المعتاد في النظام المستقبِل. ثقة النموذج أو تفسيره لا يثبتان أن مخرجه آمن.

صمّموا مساراً آمناً للإخفاق. إذا تعذرت خدمة الموافقة أو فشل فحص الأذونات أو تلقى الوكيل تعليمات متناقضة، فعليه التوقف أو الرجوع إلى إجابة للقراءة فقط بدلاً من التخمين. اجعلوا إعادة المحاولة متكافئة الأثر كي لا تؤدي النتيجة غير المؤكدة إلى عمليات كتابة متكررة. وأبقوا شخصاً قادراً على فحص الإجراء المقترح قبل إرساله، وسجّلوا سبب رفض الطلب أو إيقافه مؤقتاً. تكتسب ضوابط الموثوقية المعتادة هذه أهميتها لأن الحد الأمني الذي يختفي أثناء انقطاع الخدمة ليس حداً يمكن الاعتماد عليه.

اختبروا بأساليب عدائية وراقبوا السلوك

أنشئوا اختبارات انطلاقاً من مصادر واقعية لنصوص غير موثوقة: مرفق بريد إلكتروني أو صفحة ويب عامة أو تعليق عميل أو صورة أو مستند يتضمن تعليمات متعارضة. تحققوا مما إذا كان النظام يكشف محتوى مقيداً أو يستدعي أدوات خارج نطاقه أو يتجاوز الموافقة المطلوبة. اختبروا أدوار مستخدمين مختلفة وتغييرات الوصول، لا حساب مسؤول واحداً فقط. توصي إرشادات OWASP للوقاية باختبارات أمنية منتظمة بأنماط هجوم معروفة وبتصميم دفاع متعدد الطبقات، وتصف فحص المدخلات والمطالبات المنظمة بأنها طبقات وليست دفاعاً كاملاً. إجراءات OWASP للاختبار والتخفيف

سجّلوا المستخدم والمصادر المسترجعة وإصداري النموذج والمطالبة واسم الأداة والوسائط التي تم التحقق منها والموافقة والنتيجة النهائية حيثما تسمح السياسات ومتطلبات الخصوصية. تجنبوا التخزين العشوائي للمطالبات الحساسة. أطلقوا تنبيهات عند الاسترجاع غير المعتاد أو تكرار الإجراءات المرفوضة أو الوجهات غير المتوقعة أو تغييرات الأذونات أو الارتفاع المفاجئ في استخدام الأدوات. أتيحوا للمشغلين إيقاف الوكيل مؤقتاً وإلغاء بيانات اعتماده والتحول إلى إجراء يدوي آمن. وتتعامل إرشادات NCSC مع التشغيل الآمن والصيانة باعتبارهما جزءاً من دورة حياة نظام الذكاء الاصطناعي. إرشادات NCSC لتطوير أنظمة ذكاء اصطناعي آمنة

قائمة تحقق عملية لأمن وكلاء الذكاء الاصطناعي

  • وثّقوا مسؤول الوكيل وغرضه ومستخدميه ومصادر بياناته وأدواته والإجراءات المحظورة عليه.
  • صنّفوا كل مصدر على أنه موثوق أو مقدم من المستخدم أو خارجي، وتعاملوا مع التعليمات المسترجعة على أنها غير موثوقة.
  • فرضوا تفويضاً على مستوى المستخدم عند كل عملية استرجاع أو API.
  • استخدموا هويات مخصصة ونطاقات ضيقة وبيانات اعتماد قصيرة الأجل وإمكانية سهلة للإلغاء.
  • اشترطوا موافقة بشرية واضحة على الإجراءات الحساسة أو الخارجية أو التي يصعب التراجع عنها.
  • تحققوا من وسائط الأدوات والوجهات والمخرجات وقواعد العمل باستخدام شيفرة حتمية.
  • اختبروا حقن المطالبات المباشر وغير المباشر عبر الأدوار والمستندات والروابط والأدوات المتصلة.
  • راقبوا الاسترجاع وإجراءات الأدوات، واحتفظوا بأدلة تدقيق مفيدة، وتدرّبوا على استجابة للإيقاف والإلغاء.

حقن المطالبات خطر ينبغي إدارته، لا مشكلة يمكن إعلان حلها. ضعوا الحدود الأمنية في أنظمة الهوية وضوابط الاسترجاع وفحوص API والموافقة البشرية. دعوا النموذج يساعد في تفسير المعلومات، لكن أبقوا سلطة التحكم في البيانات والإجراءات لدى البرمجيات والأشخاص الخاضعين للمساءلة.

للاطلاع على نموذج التشغيل الأوسع، اقرأوا إرشادات APLS حول وكلاء الذكاء الاصطناعي المؤسسيين ذوي الصلاحيات المحددة وراجعوا إمكانات حوكمة الوكلاء.

← جميع الرؤى ابدأ محادثة →