الإجابة المختصرة

يختلف رصد الوكلاء عن رصد الأنظمة التقليدية: فالوكيل نادرًا ما "يتوقف عن العمل". إنه يستمر في الاستجابة، ولكن بكفاءة أقل. لذلك، فإن المقاييس التقليدية للتوافر والأخطاء ليست كافية، وتتطلب طبقة تقيس جودة القرار وليس فقط السلامة التقنية.

يتضمن الهيكل العملي ثلاث مستويات: التتبع (Trace) الذي يشرح محادثة فردية، والاتجاهات الأسبوعية التي تحدد التدهور، ومقياس النتيجة التجارية الذي يبرر استمرار النشاط. كل مستوى يجيب على سؤال مختلف ويستهدف جمهورًا مختلفًا.

مستويات الرصد الثلاثة

المستوىالسؤال الذي يجيب عليهالجمهورالتكرار
التتبع (Trace)لماذا انتهت هذه المحادثة بهذا الشكل؟الفريق التقني والمحللعند الحاجة
الاتجاهات (Trend)ما الذي يتغير سلبًا أو إيجابًا؟مالك العملية ومدير المنصةأسبوعياً
النتيجة (Result)هل يبرر الوكيل وجوده؟الإدارة والراعي (Sponsor)شهرياً وربع سنوي

المستوى 1: ما يجب أن يتضمنه التتبع (Trace)

يتيح التتبع (Trace) المفيد استعادة القرار دون سؤال أي شخص. يتألف من سبعة مكونات: الاستفسار بصيغته الأصلية، الموضوع المحدد، المقاطع المسترجعة فعليًا، الإجراءات التي تم تفعيلها مع المعلمات، نتيجة كل إجراء، نقاط الموافقة وقراراتها، وسبب الانتهاء.

العنصر الذي غالباً ما يُنسى هو المقاطع المسترجعة. فبدونها، لا يمكن التمييز بين فشلين مختلفين تمامًا: الوكيل لم يعثر على المعلومات، أو عثر عليها واستخدمها بشكل خاطئ. يُعالَج الأول بالمحتوى، والثاني بالتعليمات - وقد أهدر المعالجة الخاطئة أسابيع في كل مؤسسة رأيناها.

يجب أيضًا ربط التتبع (Trace) بالسجل التجاري: Case أو Order أو Opportunity. بدون هذا الربط، لا يمكن التحقق مما إذا كانت المحادثة قد أدت في النهاية إلى نتيجة أو إلى استفسار متكرر.

المستوى 2: الاتجاهات التي تستحق المتابعة

تكفي خمسة مقاييس لمعظم عمليات النشر: معدل الإنجاز بدون تصعيد، معدل الاستفسار المتكرر خلال أسبوع، نسبة الإجابات ذات المصدر الصالح، معدل فشل الإجراءات، والاستهلاك بالنسبة للمهام المكتملة.

يتم تحليل القراءات في أزواج. الاحتواء (Containment) المرتفع مع معدل استفسار متكرر مرتفع لا يعد نجاحًا. الاستهلاك الذي يرتفع بينما المهام مستقرة يعني أن الوكيل يعمل بجد أكبر لتحقيق نفس النتيجة - وهي علامة مبكرة على تدهور المحتوى.

يتم تعيين التنبيهات التلقائية بناءً على التغيير النسبي وليس على القيمة المطلقة: قفزة في معدل التصعيد، انخفاض في نسبة المصادر الصالحة، ارتفاع في فشل الإجراءات مقابل نظام خارجي معين.

يرد تفصيل العلاقة بين هذه المقاييس والتكلفة في تكلفة Agentforce و TCO.

المستوى 3: النتيجة التجارية

هذا هو المستوى الذي يحسم الأمر في المراجعة الربع سنوية. رقمان: ما الذي تغير في مقياس العملية الذي اخترناه مسبقًا - وقت المعالجة، معدل الانسحاب، حجم الاستفسارات لكل مندوب - وما هي تكلفة المهمة المكتملة مقابل Baseline.

من المهم تثبيت التعريفات مسبقًا وعدم تغييرها بعد رؤية النتيجة. تغيير تعريف "النجاح" في منتصف الطريق هو أكثر ما يضر بثقة الإدارة في البيانات، حتى عندما يكون التغيير مبررًا.

من التحليل إلى جدول التحسين

التقرير الأسبوعي ليس المنتج النهائي. المنتج النهائي هو قائمة عمل. الممارسة الفعالة: أخذ عينة من عشرين محادثة فاشلة أو تم تصعيدها، وتصنيفها حسب السبب الجذري - فجوة في المحتوى، تصنيف خاطئ، تعليمات غير واضحة، فشل في الإجراء، أو طلب خارج النطاق (Scope) - وفتح بند عمل لأكبر فئة فقط.

القاعدة التي تمنع التشتت: معالجة سبب جذري واحد في الأسبوع. المؤسسات التي تحاول إصلاح خمسة أسباب في وقت واحد لا تعرف في النهاية ما الذي حسن المقياس وما الذي أساء إليه.

تعتبر فجوات المحتوى المحددة هنا مدخلًا مباشرًا لقائمة الكتابة - العملية مفصلة في إدارة المعرفة لـ Agentforce.

سيناريو: تدهور صامت تم اكتشافه في الوقت المناسب

قامت شركة خدمات مالية بتشغيل وكيل داخلي ظل مستقرًا لمدة أربعة أشهر. في الأسبوع الخامس عشر، ارتفع معدل التصعيد تدريجيًا دون أن يشكو أحد - كان المندوبون يكملون المعالجة بأنفسهم ببساطة.

قام التنبيه، الذي تم تعيينه على ارتفاع نسبي في التصعيد، ببدء التحقيق. أظهرت عينات التتبع (Traces) أنه في نصف الحالات الجديدة لم يتم استرداد أي مقطع ذي صلة. السبب: أدى تغيير في سياسة المنتج إلى أرشفة تلقائية لإحدى عشرة مقالة، ولم تتم كتابة بدائل.

استغرقت عملية الإصلاح يومين ولم تتطلب أي تدخل في الوكيل. بدون طبقة الرصد، كان الفارق سيكتشف فقط عندما يسأل المدير عن سبب ارتفاع متوسط وقت المعالجة - ربما بعد ربع سنة.

المخاطر والإجراءات الوقائية

الخطركيف يبدوإجراء وقائي
رصد تقني فقطكل شيء أخضر والإجابات أقل جودةمقاييس الجودة والتصعيد بجانب مقاييس التوافر
تتبع (Trace) بدون مقاطع استرجاعأشهر من التخمين بين المحتوى والنموذجتسجيل إلزامي للمقاطع المسترجعة
تقرير بدون قائمة عمليتم عرض البيانات ولا يغير شيئاًأخذ عينة أسبوعية وبند عمل لسبب جذري واحد
تغيير التعريفات في المنتصففقدان الثقة في البياناتتثبيت تعريفات النجاح مسبقاً
لا يوجد ربط بسجل تجاريلا يمكن تحديد استفسار متكررربط التتبع (Trace) بـ Case أو Order

لوحة مقاييس موصى بها

المقياسالتعريفحد التنبيه
معدل الإنجازالانتهاء بدون تصعيد وبدون استفسار متكررانخفاض نسبي كبير أسبوعاً بعد أسبوع
معدل التصعيدنسبة التحويل إلى عامل بشريارتفاع نسبي مستمر
مصدر صالحنسبة الإجابات مع استشهاد موجود وصالحانخفاض إلى ما دون العتبة المحددة
فشل الإجراءاتنسبة العمليات الفاشلة حسب النظام المستهدفارتفاع في الفشل مقابل هدف معين
الاستهلاك لكل مهمةوحدات الاستهلاك لكل مهمة مكتملةارتفاع بدون نمو في المهام

عند الحاجة إلى الدعم في إنشاء طبقة رصد وعملية تحسين أسبوعية، فإن خدمة Agentforce و AI هي المسار العملي للمضي قدمًا.

قائمة مراجعة لإنشاء قابلية الملاحظة (Observability)

  • ☐ يسجل التتبع (Trace) الاستفسار والموضوع والمقاطع المسترجعة والإجراءات والنتائج.
  • ☐ يرتبط كل تتبع (Trace) بسجل تجاري.
  • ☐ تفصل سياسة الاحتفاظ بين البيانات الوصفية (Meta-data) ومحتوى المحادثة.
  • ☐ تم اختيار من خمسة إلى سبعة مقاييس اتجاه فقط.
  • ☐ تم تحديد تنبيهات للتغيير النسبي وليس للقيمة المطلقة.
  • ☐ يوجد روتين أسبوعي لأخذ عينات من المحادثات الفاشلة.
  • ☐ تم تعريف تصنيف الأسباب الجذرية للفشل.
  • ☐ يشارك مالك العملية التجارية في المراجعة الأسبوعية.
  • ☐ تم تثبيت تعريفات النجاح قبل بدء القياس.