امنیتحریم خصوصیai

امن‌سازی عامل‌های AI مانند کارکنان

عامل‌های هوش مصنوعی در حال تبدیل شدن به زیرساخت نیروی کار هستند

به‌روزرسانی شده ۱۶ خرداد ۱۴۰۵مطالعه 6 دقیقه‌ایPrivateNote.ai

تزریق پرامپت دیگر تمام ماجرا نیست. وقتی عامل‌های AI ابزار، حافظه، و استقلال می‌یابند، امنیت باید بر کل سامانه حاکم باشد—نه فقط بر مدل.

نکات کلیدی

  • Agents with tools and memory need access control like employees do.
  • Prompt injection is only part of the risk—permissions and data flow matter.
  • Keep secrets out of agent prompts; deliver them through controlled channels.
  • Log actions and scope credentials tightly for autonomous workflows.

صنعت AI چند سال گذشته را صرف تمرکز بیش از حد بر prompt injection کرده است؛ با این نگرانی که یک پرامپت مخرب ممکن است یک چت‌بات را فریب دهد تا پاسخی ناخواسته تولید کند.

اما prompt injection دیگر تمام ماجرا نیست.

سیستم‌های AI امروزی به سرعت از دستیارهای غیرفعال به autonomous agents تبدیل می‌شوند. آن‌ها دیگر فقط به سوالات پاسخ نمی‌دهند. آن‌ها به فایل‌ها دسترسی پیدا می‌کنند، ایمیل‌ها را تجزیه می‌کنند، APIها را فراخوانی می‌کنند، جریان‌های کاری چند مرحله‌ای را اجرا می‌کنند و به جای کاربران تصمیمات عملیاتی می‌گیرند.

و لحظه‌ای که یک سیستم AI توانایی عمل کردن را به دست می‌آورد، دستورالعمل‌های امنیتی کاملاً تغییر می‌کند.

یک مقاله اخیر USENIX Security 2026 با عنوان SoK: Attack and Defense Landscape of Agentic AI Systems نوشته Kim و همکاران، یکی از جامع‌ترین تحلیل‌های انجام شده تا به امروز درباره امنیت عامل‌ها (agent security) را ارائه می‌دهد. محققان 128 مقاله دانشگاهی را بررسی کردند، 51 تکنیک حمله و 60 استراتژی دفاعی را شناسایی کردند و چارچوبی برای درک چالش‌های امنیتی نوظهور در سیستم‌های AI خودگردان پیشنهاد دادند.

نتیجه‌گیری اصلی آن‌ها ساده است:

برای سازمان‌هایی که در حال ساخت، استقرار یا اتکا به محصولات مبتنی بر AI هستند، این باید به عنوان یک زنگ خطر عمل کند.

هرچه یک عامل AI خودمختاری بیشتری کسب کند، سطح حمله (attack surface) آن بزرگتر می‌شود.

چرا امنیت عامل‌ها متفاوت است

نرم‌افزارهای سنتی از منطق از پیش تعریف شده پیروی می‌کنند. اپلیکیشن‌های سنتی LLM عمدتاً متن تولید می‌کنند. سیستم‌های Agentic متفاوت عمل می‌کنند.

آن‌ها مدل‌های زبانی را با ابزارهای خارجی، سیستم‌های حافظه، پایگاه‌های داده، APIها و قابلیت‌های تصمیم‌گیری خودگردان ترکیب می‌کنند. یک عامل سازمانی می‌تواند یک ایمیل دریافتی را بخواند، اطلاعات را از مستندات داخلی بازیابی کند، یک CRM را پرس‌وجو کند، یک پایگاه داده را به‌روزرسانی کند و یک پاسخ ارسال کند—همه این‌ها در قالب یک جریان کاری واحد.

That flexibility is what makes agents so powerful. It's also what makes them difficult to secure.

مقاله USENIX استدلال می‌کند که تمرکز صرف بر ایمنی مدل کافی نیست. امنیت باید در کل اکوسیستم عامل ارزیابی شود: مدل، حافظه آن، ابزارهای آن، منابع داده آن و اقداماتی که می‌تواند انجام دهد.

هفت بُعد ریسک عامل (Agent Risk)

محققان هفت بُعد کلیدی را شناسایی کرده‌اند که بر وضعیت امنیتی یک عامل تأثیر می‌گذارند:

  • اعتماد به ورودی — اطلاعات از کجا منشأ می‌گیرند؟
  • حساسیت دسترسی به داده‌ها — عامل به چه اطلاعاتی می‌تواند دسترسی داشته باشد؟
  • خودمختاری گردش کار — آیا می‌تواند به‌طور مستقل درباره قدم بعدی تصمیم بگیرد؟
  • قابلیت اقدام — آیا می‌تواند داده‌ها را تغییر دهد، حذف کند یا ارسال نماید؟
  • ماندگاری حافظه — آیا اطلاعات در طول جلسات مختلف باقی می‌ماند؟
  • در دسترس بودن ابزار — چه سیستم‌های خارجی را می‌تواند فراخوانی کند؟
  • قدرت رابط کاربری — تا چه حد بر تصمیمات کاربر تأثیر می‌گذارد؟

تفاوت بین یک چت‌بات پشتیبانی مشتری و یک دستیار اجرایی خودمختار را در نظر بگیرید.

هر قابلیت اضافی، کاربرد را افزایش می‌دهد؛ اما در عین حال سطح حمله را گسترش داده و فرصت‌های جدیدی برای سوءاستفاده، دستکاری یا رفتارهای ناخواسته ایجاد می‌کند.

امنیت کمتر به معنای محافظت از یک مدل و بیشتر به معنای حاکمیت بر یک سیستم پیچیده است.

زمینه (Context)، مرز امنیتی جدید است

دهه‌هاست که امنیت سایبری بر سه اصل تمرکز داشته است: محرمانگی، یکپارچگی و در دسترس بودن. این اصول همچنان ضروری هستند.

اما هوش مصنوعی عامل‌محور (Agentic AI) چالش جدیدی را معرفی می‌کند: امنیت زمینه‌ای (Contextual Security).

یک عامل می‌تواند احراز هویت قوی، ارتباطات رمزنگاری‌شده و کنترل‌های دسترسی سخت‌گیرانه داشته باشد، اما همچنان به دلیل عمل کردن بر اساس اطلاعات مخرب یا دستکاری‌شده، با شکست فاجعه‌باری مواجه شود.

عامل پردازش یک PDF به‌ظاهر بی‌خطر را تصور کنید که توسط یک طرف خارجی بارگذاری شده است. دستورالعمل‌های پنهان در داخل سند به عامل می‌گوید که راهنمایی‌های قبلی را نادیده بگیرد، اطلاعات حساس را بازیابی کند و آن‌ها را به جای دیگری ارسال کند.

این تمایز از آن جهت اهمیت دارد که بسیاری از حملات نوظهور هوش مصنوعی، به جای آسیب‌پذیری‌های نرم‌افزاری، از جریان اطلاعات سوءاستفاده می‌کنند.

سیستم از طریق سرقت اعتبار (Credentials) هک نشده بود.

زیرساخت مورد نفوذ قرار نگرفته بود.

عامل صرفاً از زمینه (Context) اشتباه پیروی کرده بود.

برای سیستم‌های عامل‌محور (agentic)، کانتکست به یک مرز امنیتی تبدیل می‌شود که درست به اندازه احراز هویت، رمزنگاری یا بخش‌بندی شبکه اهمیت دارد.

چرا حافظه ریسک‌های جدیدی ایجاد می‌کند

حافظه AI اغلب به عنوان یک ویژگی تجربه کاربری ارائه می‌شود. استدلال ساده است: حافظه بهتر، شخصی‌سازی بهتری را ممکن می‌سازد.

اما حافظه باعث ایجاد پایداری (persistence) نیز می‌شود. و پایداری، ریسک ایجاد می‌کند.

مقاله USENIX برجسته می‌کند که چگونه مهاجمان ممکن است تلاش کنند تا ذخیره‌سازهای حافظه بلندمدت را با دستورالعمل‌های مخرب یا اطلاعات گمراه‌کننده مسموم کنند. پس از نوشته شدن در حافظه، آن محتوا می‌تواند مدت‌ها پس از پایان تعامل اصلی، بر تصمیمات آینده تأثیر بگذارد.

برخلاف حمله موقت تزریق پرامپت (prompt injection)، مسمومیت حافظه می‌تواند در جریان‌های کاری، کاربران و زمان تداوم یابد. نتیجه، یک چالش امنیتی اساساً متفاوت است.

حافظه دیگر فقط یک ویژگی برای راحتی نیست.

حافظه، زیرساخت است.

و زیرساخت نیازمند حکمرانی است.

خطرناک‌ترین عامل‌ها، آن‌هایی هستند که دارای مجوز هستند

بزرگترین ریسک‌ها در AI عامل‌محور لزوماً از هوش مدل نمی‌آیند. آن‌ها از اختیارات اعطا شده به مدل ناشی می‌شوند.

مدلی که یک پاراگراف نادرست تولید می‌کند، دردسرساز است. اما عاملی با دسترسی به سوابق مشتریان، اسناد داخلی، سیستم‌های مالی، پلتفرم‌های ارتباطی و ابزارهای اتوماسیون، می‌تواند پیامدهای واقعی در دنیای واقعی ایجاد کند.

از آنجایی که سازمان‌ها عامل‌ها را به سیستم‌های به‌شدت قدرتمند متصل می‌کنند، تمرکز باید از قابلیت مدل به کنترل عملیاتی تغییر یابد.

سوال حیاتی دیگر این نیست که «مدل چقدر هوشمند است؟» بلکه این است: «مدل اجازه انجام چه کارهایی را دارد؟»

ساخت سیستم‌های عامل قابل اعتماد

درس گسترده‌تر این مقاله این است که امنیت عامل مستلزم دفاع در عمق (defense-in-depth) است.

سازمان‌هایی که عامل‌های AI را مستقر می‌کنند باید این موارد را در اولویت قرار دهند:

  • داده‌های مورد اعتماد در مقابل غیرقابل اعتماد — جداسازی قوی بین منابع داده مورد اعتماد و غیرقابل اعتماد
  • مرزهای مجوز — محدودیت‌های صریح در مورد کارهایی که عامل‌ها می‌توانند انجام دهند
  • حکمرانی حافظه — کنترل‌ها برای سیستم‌های حافظه بلندمدت
  • تأیید انسانی — تأیید نهایی برای عملیات‌های پرخطر
  • حسابرسی و مشاهده‌پذیری — ثبت وقایع (logging) و نظارت جامع
  • سیاست‌های دسترسی به ابزار — قوانین شفاف برای ادغام‌های خارجی

این اصول بازتاب‌دهنده شیوه‌های دیرینه امنیت سایبری هستند، زیرا عامل‌های هوش مصنوعی بیش از آنکه شبیه ویژگی‌های نرم‌افزاری باشند، روز به روز بیشتر به کارمندان شباهت پیدا می‌کنند.

درس بزرگ‌تر

صنعت مکرراً عامل‌های هوش مصنوعی را به عنوان کارمندان دیجیتال توصیف می‌کند. این تشبیه به‌طور فزاینده‌ای در حال دقیق‌تر شدن است.

کارمندان آموزش می‌بینند. کارمندان تحت سیاست‌ها فعالیت می‌کنند. کارمندان مجوزهای مشخصی دارند. کارمندان تحت نظارت هستند. کارمندان می‌توانند اشتباه کنند.

عامل‌های هوش مصنوعی نیز تفاوتی ندارند. تنها تفاوت این است که آن‌ها می‌توانند با سرعت ماشین اشتباه کنند.

موفق‌ترین محصولات هوش مصنوعی در دهه آینده صرفاً دارای توانمندترین مدل‌ها نخواهند بود. آن‌ها دارای قوی‌ترین معماری اعتماد خواهند بود.

هوش، کاربران را جذب می‌کند.

اعتماد، آن‌ها را حفظ می‌کند.

محافظت از بافتار (Context)، نه فقط داده‌ها

ما در PrivateNote.ai معتقدیم که محافظت از بافتار به اندازه محافظت از خودِ داده‌ها در حال اهمیت یافتن است. از آنجایی که سیستم‌های هوش مصنوعی به بخش‌های بیشتری از یادداشت‌های شخصی، دانش تجاری و جریان‌های کاری عملیاتی ما دسترسی پیدا می‌کنند، امنیت باید فراتر از ذخیره‌سازی و رمزنگاری رفته و اطلاعاتی را که عامل‌ها مصرف می‌کنند، به خاطر می‌سپارند و بر اساس آن‌ها عمل می‌کنند، شامل شود.

عکس: Léna Le Roy · Unsplash.