تأمين وكلاء الذكاء الاصطناعي كالموظفين
الوكلاء (Agents) يتحولون إلى بنية تحتية للقوى العاملة
لم يعد حقن المطالبات القصة كلها. مع اكتساب وكلاء الذكاء الاصطناعي أدوات وذاكرة واستقلالية، يجب أن يحكم الأمان النظام بأكمله—لا النموذج فحسب.
أهم النقاط
- Agents with tools and memory need access control like employees do.
- Prompt injection is only part of the risk—permissions and data flow matter.
- Keep secrets out of agent prompts; deliver them through controlled channels.
- Log actions and scope credentials tightly for autonomous workflows.
أمضى قطاع الذكاء الاصطناعي السنوات القليلة الماضية في الهوس بـ حقن الأوامر (prompt injection)—مخافة أن يؤدي أمر خبيث إلى خداع روبوت الدردشة لإنتاج استجابة غير مقصودة.
لكن حقن الأوامر لم يعد القصة بأكملها.
تتطور أنظمة الذكاء الاصطناعي اليوم بسرعة من مساعدين سلبيين إلى وكلاء مستقلين (autonomous agents). فهي لم تعد تكتفي بالإجابة على الأسئلة فحسب، بل أصبحت تصل إلى الملفات، وتحلل رسائل البريد الإلكتروني، وتستدعي واجهات برمجة التطبيقات (APIs)، وتنفذ سير عمل متعدد الخطوات، وتتخذ قرارات تشغيلية نيابة عن المستخدمين.
وفي اللحظة التي يكتسب فيها نظام الذكاء الاصطناعي القدرة على التصرف، تتغير قواعد اللعبة الأمنية تماماً.
تقدم ورقة بحثية حديثة من USENIX Security 2026 بعنوان SoK: Attack and Defense Landscape of Agentic AI Systems من إعداد Kim وآخرين، أحد أكثر التحليلات شمولاً لأمن الوكلاء حتى الآن. راجع الباحثون 128 ورقة أكاديمية، وحددوا 51 تقنيات هجوم و 60 استراتيجيات دفاع، واقترحوا إطاراً لفهم التحديات الأمنية الناشئة لأنظمة الذكاء الاصطناعي المستقلة.
استنتاجهم المركزي مباشر:
بالنسبة للمؤسسات التي تبني أو تنشر أو تعتمد على المنتجات المدعومة بالذكاء الاصطناعي، يجب أن يكون ذلك بمثابة جرس إنذار.
كلما زادت الاستقلالية التي يكتسبها وكيل الذكاء الاصطناعي، زاد سطح الهجوم الخاص به.
لماذا يختلف أمن الوكلاء
تتبع البرمجيات التقليدية منطقاً محدداً مسبقاً. وتنتج تطبيقات LLM التقليدية النصوص بشكل أساسي. أما الأنظمة الوكيلية (Agentic systems) فتعمل بشكل مختلف.
فهي تجمع بين النماذج اللغوية والأدوات الخارجية، وأنظمة الذاكرة، وقواعد البيانات، وواجهات برمجة التطبيقات (APIs)، وقدرات اتخاذ القرار المستقلة. يمكن لوكيل المؤسسة قراءة بريد إلكتروني وارد، واسترداد معلومات من الوثائق الداخلية، والاستعلام من نظام إدارة علاقات العملاء (CRM)، وتحديث قاعدة بيانات، وإرسال رد—كل ذلك ضمن سير عمل واحد.
That flexibility is what makes agents so powerful. It's also what makes them difficult to secure.
تجادل ورقة USENIX بأن التركيز فقط على سلامة النموذج غير كافٍ. يجب تقييم الأمن عبر النظام البيئي الكامل للوكيل: النموذج، وذاكرته، وأدواته، ومصادر بياناته، والإجراءات التي يمكنه القيام بها.
الأبعاد السبعة لمخاطر الوكيل
يحدد الباحثون سبعة أبعاد رئيسية تؤثر على الوضع الأمني للوكيل:
- موثوقية المدخلات — من أين تأتي المعلومات؟
- حساسية الوصول إلى البيانات — ما هي المعلومات التي يمكن للوكيل الوصول إليها؟
- استقلالية سير العمل — هل يمكنه اتخاذ قرار مستقل بشأن الخطوة التالية؟
- قدرة الإجراء — هل يمكنه تعديل البيانات أو حذفها أو نقلها؟
- استمرارية الذاكرة — هل تستمر المعلومات عبر الجلسات المختلفة؟
- توافر الأدوات — ما هي الأنظمة الخارجية التي يمكنه استدعاؤها؟
- قوة واجهة المستخدم — ما مدى تأثيره على قرارات المستخدم؟
تأمل الفرق بين روبوت دردشة لدعم العملاء ومساعد تنفيذي مستقل.
كل قدرة إضافية تزيد من الفائدة، ولكنها توسع أيضاً سطح الهجوم وتخلق فرصاً جديدة لإساءة الاستخدام، أو التلاعب، أو السلوك غير المقصود.
يصبح الأمن أقل تركيزاً على حماية النموذج وأكثر تركيزاً على حوكمة نظام معقد.
السياق هو الحدود الأمنية الجديدة
لعقود من الزمن، ركز الأمن السيبراني على ثلاثة مبادئ: السرية، والنزاهة، والتوافر. ولا تزال هذه المبادئ أساسية.
لكن الذكاء الاصطناعي الوكيل (Agentic AI) يطرح تحدياً جديداً: الأمن السياقي.
يمكن للوكيل أن يتمتع بمصادقة قوية، واتصالات مشفرة، وضوابط وصول صارمة، ومع ذلك يفشل فشلاً ذريعاً لأنه يتصرف بناءً على معلومات خبيثة أو متلاعب بها.
تخيل وكيلاً يعالج PDF يبدو غير ضار تم رفعه من قبل طرف خارجي. تعليمات مخفية داخل المستند تأمر الوكيل بتجاهل التوجيهات السابقة، واسترداد معلومات حساسة، ونقلها إلى مكان آخر.
هذا التمييز مهم لأن العديد من هجمات الذكاء الاصطناعي الناشئة تستغل تدفق المعلومات بدلاً من الثغرات البرمجية.
لم يتم اختراق النظام من خلال بيانات اعتماد مسروقة.
لم يتم اختراق البنية التحتية.
لقد اتبع الوكيل ببساطة السياق الخاطئ.
بالنسبة للأنظمة الوكيلية (agentic systems)، يصبح السياق حدوداً أمنية لا تقل أهمية عن المصادقة أو التشفير أو تقسيم الشبكة.
لماذا تخلق الذاكرة مخاطر جديدة
غالباً ما تُقدم ذاكرة الذكاء الاصطناعي كميزة لتجربة المستخدم. والحجة بسيطة: الذاكرة الأفضل تتيح تخصيصاً أفضل.
لكن الذاكرة تخلق أيضاً الاستمرارية. والاستمرارية تخلق المخاطر.
تسلط ورقة USENIX الضوء على كيفية محاولة المهاجمين تسميم مخازن الذاكرة طويلة المدى بتعليمات خبيثة أو معلومات مضللة. وبمجرد كتابة هذا المحتوى في الذاكرة، يمكنه التأثير على القرارات المستقبلية لفترة طويلة بعد انتهاء التفاعل الأصلي.
على عكس هجوم حقن الأوامر المؤقت، يمكن لتسميم الذاكرة أن يستمر عبر سير العمل والمستخدمين والوقت. والنتيجة هي تحدٍ أمني مختلف جوهرياً.
لم تعد الذاكرة مجرد ميزة للراحة.
الذاكرة هي بنية تحتية.
والبنية التحتية تتطلب حوكمة.
الوكلاء الأكثر خطورة هم أولئك الذين يمتلكون صلاحيات
المخاطر الكبرى في الذكاء الاصطناعي الوكيلي لا تأتي بالضرورة من ذكاء النموذج. بل تأتي من السلطة الممنوحة له.
النموذج الذي ينشئ فقرة غير صحيحة يسبب إزعاجاً فقط. أما الوكيل الذي لديه صلاحية الوصول إلى سجلات العملاء، والمستندات الداخلية، والأنظمة المالية، ومنصات الاتصال، وأدوات الأتمتة، فيمكنه التسبب في عواقب واقعية.
مع قيام المؤسسات بربط الوكلاء بأنظمة تزداد قوة، يجب أن ينتقل التركيز من قدرة النموذج إلى التحكم التشغيلي.
السؤال الحاسم لم يعد "ما مدى ذكاء النموذج؟" بل هو: "ما المسموح للنموذج بفعله؟"
بناء أنظمة وكيل موثوقة
الدرس الأوسع من الورقة البحثية هو أن أمن الوكلاء يتطلب الدفاع المتعمق (defense-in-depth).
يجب على المؤسسات التي تنشر وكلاء الذكاء الاصطناعي إعطاء الأولوية لـ:
- البيانات الموثوقة مقابل غير الموثوقة — الفصل القوي بين مصادر البيانات الموثوقة وغير الموثوقة
- حدود الصلاحيات — قيود صريحة حول ما يمكن للوكلاء القيام به
- حوكمة الذاكرة — ضوابط أنظمة الذاكرة طويلة المدى
- الموافقة البشرية — الاعتماد للعمليات عالية المخاطر
- التدقيق وقابلية الملاحظة — التسجيل والمراقبة الشاملة
- سياسات الوصول إلى الأدوات — قواعد واضحة للتكاملات الخارجية
تعكس هذه المبادئ ممارسات الأمن السيبراني الراسخة منذ زمن طويل، لأن وكلاء الذكاء الاصطناعي باتوا يشبهون الموظفين أكثر من كونهم مجرد ميزات برمجية.
الدرس الأكبر
غالبًا ما يصف قطاع الصناعة وكلاء الذكاء الاصطناعي بأنهم موظفون رقميون. وهذا التشبيه يزداد دقة يوماً بعد يوم.
يتلقى الموظفون التدريب. يعمل الموظفون بموجب سياسات. يمتلك الموظفون أذونات محددة. يتم مراقبة الموظفين. يمكن للموظفين ارتكاب الأخطاء.
وكلاء الذكاء الاصطناعي ليسوا مختلفين. الفرق الوحيد هو أنهم يمكن أن يرتكبوا الأخطاء بسرعة الآلة.
أكثر منتجات الذكاء الاصطناعي نجاحاً في العقد القادم لن تكتفي بامتلاك النماذج الأكثر قدرة فحسب، بل ستمتلك أقوى بنية للثقة.
الذكاء يجذب المستخدمين.
الثقة تحافظ عليهم.
حماية السياق، وليس البيانات فقط
في PrivateNote.ai، نؤمن بأن حماية السياق أصبحت لا تقل أهمية عن حماية البيانات نفسها. ومع اكتساب أنظمة الذكاء الاصطناعي إمكانية الوصول إلى المزيد من ملاحظاتنا الشخصية، ومعارفنا التجارية، وسير عملنا التشغيلي، يجب أن يمتد الأمن إلى ما هو أبعد من التخزين والتشفير ليشمل المعلومات التي يستهلكها الوكلاء ويتذكرونها ويتصرفون بناءً عليها.
