محاكاة هجمات الذكاء الاصطناعي (AI Red Teaming) لـ أنظمة الذكاء الاصطناعي التوليدي

تحاكي محاكاة الهجمات (Red Teaming) التقليدية المهاجمين على الشبكات والأنظمة والهويات – والنتائج في العادة ثغرات أمنية تقنية قابلة للتكرار بوضوح. أما محاكاة هجمات الذكاء الاصطناعي فتستهدف سلوك نظام الذكاء الاصطناعي نفسه: فالنماذج اللغوية تجيب احتماليًا، وقد لا ينجح الهجوم نفسه إلا في المحاولة العاشرة، وكثيرًا ما تكون النتيجة ليست خطأً برمجيًا بل سلوكًا غير مرغوب للنموذج. ويُفحص إلى جانب الأهداف الأمنية التقليدية الضرر المتعلق بالمحتوى أيضًا، مثل توليد محتويات ضارة أو خاطئة. ومن المهم كذلك التمييز عن المقاييس المعيارية (Benchmarks): فمجموعات بيانات الاختبار الثابتة تقيس قدرات معروفة، بينما تبحث محاكاة الهجمات عمدًا عن أنماط فشل جديدة ومرتبطة بالسياق – وهو أحد الدروس الأساسية لـ Microsoft AI Red Team من أكثر من 100 منتج GenAI جرى اختباره.

في المحور أربع عائلات تقنيات. فكسر القيود (Jailbreaks) يُبطل الضوابط الأمنية للنموذج لإتاحة محتويات أو وظائف محظورة. وفي Prompt Injection المباشر يضع المهاجم تعليمات تلاعبية في مدخلاته نفسها؛ أما في Prompt Injection غير المباشر فيخفيها في محتويات يعالجها النظام – مثل صفحات الويب أو المستندات أو رسائل البريد الإلكتروني. ويستهدف استخراج البيانات موجّهات النظام أو بيانات التدريب أو مصادر المعرفة المرتبطة – وهو مدرج في OWASP Top 10 for LLM Applications 2025 بوصفه Sensitive Information Disclosure ‏(LLM02) وSystem Prompt Leakage ‏(LLM07)، بينما يتصدر Prompt Injection القائمة بوصفه LLM01. ويكون الاستخدام غير الآمن للأدوات (Excessive Agency، ‏LLM06) حرجًا بشكل خاص: فإذا كان النموذج قادرًا على إرسال رسائل بريد إلكتروني أو استعلام قواعد بيانات أو تنفيذ شيفرة، تتحول التعليمة المحقونة إلى إجراء منفَّذ.

مع GenAI Red Teaming Guide (الإصدار 1.0، يناير 2025) نشر OWASP GenAI Security Project منهجية منظَّمة ومحايدة تجاه المورّدين. ويتناول الدليل أربعة مستويات فحص: تقييم النموذج نفسه، والتنفيذ (منه الحواجز الوقائية Guardrails وموجّهات النظام)، والبنية التحتية المحيطة، والسلوك أثناء التشغيل في التفاعل مع المستخدمين والعمليات. وتكميلًا لذلك يقدّم NIST AI ⁦100-2⁩ E2025 ‏(مارس 2025) تصنيفًا ومصطلحات لتعلّم الآلة العدائي (Adversarial Machine Learning)، يصنّف الهجمات على أنظمة الذكاء الاصطناعي التنبؤية والتوليدية بحسب أهداف المهاجم وقدراته ومرحلة دورة الحياة. وتشكّل الوثيقتان معًا المفردات التي يمكن بها تحديد نطاق الاختبار وإطار التقييم بشكل قابل للتتبع.

تبدأ محاكاة هجمات الذكاء الاصطناعي بتحديد النطاق: أي حالة استخدام، وأي فئات بيانات، وأي أدوات مرتبطة، وأي إمكانية للضرر؟ ومن ذلك تنشأ نمذجة التهديدات بسيناريوهات هجوم ملموسة، مرتبة بحسب الضرر الواقعي لا بحسب مجرد الجدوى. ويجري الاختبار بشكل مركّب: آليًا باستخدام أطر مثل PyRIT مفتوح المصدر من Microsoft لتغطية واسعة، ويدويًا لسلاسل الهجوم المرتبطة بالسياق – ووفق تجارب Microsoft AI Red Team توسّع الأتمتة التغطية لكنها لا تحل محل الخبرة البشرية. ويرتّب إطار التقييم النتائج بحسب الخطورة وقابلية التكرار وأهداف الحماية المتأثرة. وتوثّق التقارير كل نتيجة بأدلة قابلة للتتبع (الموجّهات وإجابات النموذج) وتستخلص إجراءات التقوية، مثل صلاحيات أدوات أكثر تقييدًا، أو مرشحات للمدخلات والمخرجات، أو موجّهات نظام منقّحة.

تجعل لائحة الذكاء الاصطناعي (اللائحة (EU) 2024/1689) الاختبار العدائي (Adversarial Testing) لأول مرة التزامًا قانونيًا صريحًا: إذ يجب على مزودي نماذج الذكاء الاصطناعي ذات الأغراض العامة والمخاطر النظامية وفق المادة 55(1)(a) إجراء تقييمات للنماذج وفق بروتوكولات وأدوات موحّدة تعكس أحدث ما توصلت إليه التقنية – بما في ذلك إجراء الاختبار العدائي وتوثيقه، لتحديد المخاطر النظامية والتخفيف منها. وتسري هذه الالتزامات منذ 2 أغسطس 2025. وهي لا تطال مباشرةً إلا قلة من مزودي النماذج، لكنها تضع المعيار لسلسلة التوريد بأكملها. ولأنظمة الذكاء الاصطناعي عالية المخاطر تشترط المادة 15(5) كذلك المتانة ضد الهجمات الخاصة بالذكاء الاصطناعي – ومن المذكور فيها Data Poisoning وModel Poisoning وAdversarial Examples أو Model Evasion وهجمات السرية. وتُعدّ محاكاة هجمات الذكاء الاصطناعي طريقًا بديهيًا لإثبات فعالية مثل هذه الإجراءات.

يقدّم التقييم الآني – مثلًا قبل الإطلاق أو أساسًا لقرار الموافقة – لقطة صلبة. لكنها لا تبقى صالحة إلا ما دام النظام لا يتغير: فتحديثات النموذج من المزود، وموجّهات النظام المعدّلة، والأدوات ومصادر البيانات الجديدة، أو تقنيات الهجوم الجديدة تُزيح وضع المخاطر باستمرار. ويستخلص Microsoft AI Red Team من ذلك درسًا مفاده أن تأمين أنظمة الذكاء الاصطناعي لا ينتهي أبدًا. ولذلك يُنصح لتطبيقات الذكاء الاصطناعي الإنتاجية المتطورة بنهج مستمر – مع اختبارات انحدار آلية عند كل تغيير ذي صلة، واختبارات يدوية معمّقة دورية، وترسيخ ثابت في عملية حوكمة الذكاء الاصطناعي والتطوير.