AI Red Teaming؛ آزمون عملی امنیت و ایمنی سامانه‌های هوشمند

AI Red Teaming چیست؟

Red Teaming تلاش کنترل‌شده برای یافتن ضعف پیش از مهاجم واقعی است. در AI، دامنه آزمون می‌تواند از Prompt و داده تا ابزار، Connector، مجوز و خروجی را پوشش دهد.

هدف، شکستن سامانه برای نمایش نیست؛ هدف تبدیل یافته به کنترل قابل‌پیگیری است.

چه چیزهایی باید آزمون شوند؟

سناریوهای Prompt Injection، افشای داده، دورزدن مجوز، استفاده اشتباه از ابزار و خروجی خطرناک باید بر اساس کاربرد واقعی اولویت‌بندی شوند.

• ورودی و فایل غیرقابل‌اعتماد
• داده و Secret حساس
• Tool Call و اقدام بیرونی
• مرز نقش و مجوز
• ثبت و پاسخ به رخداد

برای ادامهٔ این بحث، مقالهٔ «وقتی یک سند به دستیار هوشمند دستور می‌دهد» را در دانشنامهٔ لیان بخوانید.

فرایند امن Red Teaming

دامنه، مجوز، داده آزمایشی، سقف اثر، ثبت شواهد و معیار توقف را پیش از شروع مشخص کنید. آزمون نباید داده واقعی یا سرویس تولید را بی‌دلیل در معرض خطر قرار دهد.

یافته‌ها باید به Owner، شدت ریسک، اصلاح، آزمون مجدد و تاریخ پذیرش متصل شوند.

یک‌بار کافی نیست

تغییر مدل، Prompt، منبع، ابزار یا Policy می‌تواند سطح حمله را عوض کند. Red Teaming باید در چرخه انتشار و Evalهای مستمر جای بگیرد.

AI Evals چیست؟ (مطالعه بیشتر)

سناریو را از ریسک واقعی بسازید

سناریوهای آزمون باید به کاربرد واقعی وصل باشند: چه داده‌ای در دسترس است، Agent چه ابزاری دارد و بدترین اثر یک تصمیم اشتباه چیست؟ این روش از آزمون‌های نمایشی فاصله می‌گیرد و اولویت اصلاح را روشن می‌کند.

نمونه‌های ورودی ناسالم، فایل‌های غیرقابل‌اعتماد، درخواست‌های متناقض و تلاش برای عبور از نقش‌ها را در محیط کنترل‌شده اجرا کنید. هدف ثبت اثر و کنترل لازم است، نه بازتولید خسارت.

از یافته تا اصلاح قابل‌پیگیری

برای هر یافته، شدت، شواهد، مالک اصلاح، تاریخ هدف و معیار آزمون مجدد ثبت کنید. عبارت مبهم «مدل امن‌تر شد» جایگزین نتیجه قابل‌سنجش نیست.

پس از اصلاح، همان سناریو و سناریوهای نزدیک را دوباره اجرا کنید. تغییر منبع دانش، Prompt یا ابزار می‌تواند یک مسیر قدیمی را دوباره فعال کند؛ بنابراین آزمون باید بخشی از انتشار باشد.

سناریوی نمونه: آزمون یک Agent متصل به دانش

یک آزمون می‌تواند سندی غیرقابل‌اعتماد را وارد کند که از Agent می‌خواهد دستورهای قبلی را نادیده بگیرد یا داده محرمانه را نشان دهد. انتظار باید روشن باشد: Agent نباید دستور سند را به‌عنوان Policy بپذیرد.

آزمون دیگر می‌تواند درخواست استفاده از ابزاری خارج از نقش کاربر باشد. Trace باید نشان دهد که کنترل مجوز درخواست را متوقف کرده و اطلاعات حساس در پاسخ یا لاگ ظاهر نشده است.

هر نتیجه به شدت ریسک و مالک اصلاح متصل می‌شود. پس از تغییر Prompt، Connector یا مدل، همین سناریوها دوباره اجرا می‌شوند تا اصلاح فقط یک ادعا باقی نماند.