أمن Agentforce ونموذج المسؤولية المشتركة

الإجابة المختصرة

إن نموذج المسؤولية المشتركة ليس مجرد وثيقة رسمية؛ إنه خط فاصل يحدد الجهة المسؤولة عند وقوع أي خلل. القاعدة الأساسية بسيطة: تتحمل المنصة مسؤولية تأمين الخدمة نفسها، بينما تتحمل المنظمة مسؤولية جميع القرارات المتعلقة بما يراه العميل، وما يُسمح له بفعله، ومن يتفاعل معه.

الخطر الأكبر لا يكمن في اختراق المنصة، بل في عميل يتمتع بصلاحيات مفرطة ويكشف معلومات لجهة غير مصرح لها، أو يقوم بإجراء لم يكن ينبغي له القيام به - وهذان الفشلان ينبعان بالكامل من جانب المنظمة.

توزيع المسؤوليات عملياً

المخاطر الجديدة التي لم تكن موجودة في أنظمة CRM التقليدية

أولاً، الكشف عن المعلومات من خلال الاسترجاع. في النظام العادي، يرى المستخدم ما تعرضه الشاشة له؛ أما في نظام العميل الذكي، يمكن أن يتسبب النص الحر في استرجاع جزء من مستند لم يكن مخصصًا له. لهذا السبب، يجب أن يتم الاسترجاع ضمن سياق أذونات المستخدم، وليس ضمن سياق حساب تكامل واسع النطاق.

ثانياً، حقن الأوامر (Prompt Injection). قد يتضمن المحتوى الذي يقرأه العميل - مثل بريد إلكتروني من عميل، حقل وصف، أو مستند مرفق - تعليمات تحاول تغيير سلوكه. لا يمكن الدفاع عن هذا بمجرد الصياغة؛ بل يجب أن يكون الدفاع معماريًا.

ثالثاً، تسرب المحتوى الداخلي إلى قناة خارجية. المقال المكتوب للممثلين والذي يحتوي على هوامش خصم أو صيغ اعتراض يجب ألا يصل إلى العميل، ويجب أن يكون الفصل من خلال قائمة السماح وليس قائمة الحظر.

رابعاً، التوسع الصامت في الصلاحيات: إضافة Action أو إذن لحل مشكلة محددة، دون المرور بمسار الموافقة اللازم.

عناصر التحكم الخمسة التي تحمل معظم الثقل

الاسترجاع في سياق المستخدم. هذا هو التحكم الوحيد الذي إذا انكسر، فإن كل ما سواه لا ينفع.

إذن منفصل لكل Action، وفقًا لمبدأ الحد الأدنى من الصلاحيات. إذا حصل العميل على ملف تعريف واسع واحد، فإنه يمنع أي تحكم مستقبلي.

التحقق داخل الإجراء وليس في التعليمات. التعليمات هي توجيه؛ والتحقق هو تحكم. يجب على الإجراء الذي يقوم بإجراء استرداد التحقق من المبلغ والأهلية والإذن في الكود الخاص به، حتى لو كانت التعليمات تخبر العميل بعدم تشغيله في حالات معينة.

موافقة بشرية على إجراء لا رجعة فيه. هذا هو التحكم الذي يحول فشلاً محتملاً إلى حدث يتم وقفه في الوقت المناسب.

سجل تدقيق يربط المستخدم، الإجراء، المصدر، والموافق. بدونه لا توجد إجابة لسؤال التدقيق: "بناءً على ماذا قام العميل بهذا الإجراء؟".

يمكن العثور على المبادئ العامة لنموذج الأذونات في Salesforce في نموذج الأذونات في Salesforce.

ما يجب التحقق منه قبل الإطلاق المباشر (Go Live)

اختبارات Persona: هي من عشرة إلى عشرين سؤالاً يتم تشغيلها بهويات مختلفة - ممثل، مدير، مستخدم محدود، عميل خارجي - ويتم مقارنة الإجابات. أي فرق لا يمكن تفسيره بالصلاحية يعتبر اكتشافًا.

اختبار Red Teaming المحتوى: محاولات متعمدة لاستخراج معلومات غير مصرح بها، تشغيل إجراءات محظورة، وتجاوز آليات التصعيد. يتم كتابة السيناريوهات مرة واحدة ويتم الاحتفاظ بها لتشغيلها بشكل متكرر مع كل إصدار.

اختبار مسار الإجراءات: لكل Action، يتم التأكد من أن التحقق يعمل حتى عند تشغيله مباشرة، وليس فقط من خلال العميل.

اختبار حفظ المعلومات: ما الذي يتم حفظه، وكم مدة الحفظ، ومن يمكنه الوصول إلى السجلات التي تحتوي على محتوى المحادثة مع بيانات العميل.

يتم شرح كيفية دمج هذه الاختبارات في إطار اختبار أوسع في اختبارات Agentforce.

سيناريو: اكتشاف تم رصده في اختبار Persona

قامت شركة رعاية صحية بإعداد عميل داخلي للإجابة على أسئلة الإجراءات. في اختبار Persona قبل الإطلاق المباشر، تبين أن مستخدمًا في دور إداري تلقى إجابة تعتمد على إجراء مصنف حصريًا للفريق الطبي.

لم يكن السبب وجود خطأ في العميل. فقد تم بناء الفهرس بواسطة حساب تكامل يتمتع بوصول واسع، ولم يقم الاسترجاع بالتقييد بناءً على أذونات المستخدم. كان هذا التعرض المحتمل موجودًا في أي سؤال يتعلق بهذا المجال.

تضمن التصحيح أمرين: نقل الاسترجاع إلى سياق المستخدم، وتحديد المستندات السرية بشكل صريح بحيث لا تدخل إلى الفهرس العام. وتمت إضافة هذا الاختبار كسيناريو ثابت يتم تشغيله قبل كل إصدار.

المخاطر والإجراءات الوقائية

مقاييس الأمن

يتم تفصيل إطار عمل الموافقات الذي يتم ضمنه تطبيق عناصر التحكم في إدارة حوكمة الذكاء الاصطناعي لـ Agentforce.

عند الحاجة إلى المساعدة في تحديد نموذج المسؤولية والاختبارات قبل الإطلاق المباشر، تعتبر خدمات Agentforce والذكاء الاصطناعي المسار العملي للمتابعة.

قائمة تحقق الأمان قبل الإطلاق المباشر (Go Live)

• ☐ تم كتابة واعتماد وثيقة تقسيم المسؤوليات.
• ☐ تم توثيق شروط استخدام البيانات مقابل النموذج كتابيًا.
• ☐ يتم تشغيل الاسترجاع ضمن سياق أذونات المستخدم.
• ☐ تم إجراء اختبارات Persona لكل مستوى من مستويات الأذونات.
• ☐ لكل Action إذن منفصل وتحقق داخلي.
• ☐ تتطلب الإجراءات التي لا رجعة فيها موافقة بشرية.
• ☐ على القناة الخارجية، تعمل قائمة سماح للمحتوى.
• ☐ تم كتابة وتنفيذ سيناريوهات Red Teaming للمحتوى.
• ☐ يربط سجل التدقيق (Audit trail) المستخدم، الإجراء، المصدر، والموافق.
• ☐ تم اعتماد سياسة الاحتفاظ بالسجلات ومحتوى المحادثات.