Observability ל-Agentforce: איך מודדים, מנתחים ומשפרים סוכן

התשובה הקצרה

ניטור סוכן שונה מניטור מערכת רגילה: הסוכן כמעט אף פעם לא "נופל". הוא ממשיך לענות, פשוט פחות טוב. לכן המדדים הקלאסיים של זמינות ושגיאות אינם מספיקים, וצריך שכבה שמודדת איכות החלטה ולא רק תקינות טכנית.

מבנה מעשי כולל שלוש רמות: Trace שמסביר שיחה בודדת, מגמות שבועיות שמזהות הידרדרות, ומדד תוצאה עסקית שמצדיק את המשך הפעילות. כל אחת עונה על שאלה אחרת ולקהל אחר.

שלוש רמות הניטור

רמה 1: מה חייב להיות ב-Trace

Trace שימושי מאפשר לשחזר את ההחלטה מבלי לשאול איש. שבעה רכיבים: הפנייה כפי שנוסחה, הנושא שזוהה, הקטעים שנשלפו בפועל, הפעולות שהופעלו עם הפרמטרים, תוצאת כל פעולה, נקודות אישור והחלטתן, והסיבה לסיום.

הרכיב שנשכח לרוב הוא הקטעים שנשלפו. בלעדיו אי אפשר להבחין בין שני כשלים שונים לגמרי: הסוכן לא מצא את המידע, או מצא אותו והשתמש בו לא נכון. הראשון מטופל בתוכן, השני בהוראות - וטיפול לא נכון בזבז שבועות בכל ארגון שראינו.

צריך גם לקשור Trace לרשומה העסקית: Case, Order או Opportunity. בלי הקישור, אי אפשר לבדוק אם השיחה הובילה בסוף לתוצאה או לפנייה חוזרת.

רמה 2: המגמות שכדאי לעקוב אחריהן

חמישה מדדים מספיקים לרוב הפריסות: שיעור השלמה ללא הסלמה, שיעור פנייה חוזרת תוך שבוע, אחוז התשובות עם מקור תקף, שיעור כשלי פעולה, וצריכה ביחס למשימות שהושלמו.

הקריאה נעשית בזוגות. Containment גבוה עם פנייה חוזרת גבוהה אינו הצלחה. צריכה שעולה בזמן שהמשימות יציבות פירושה שהסוכן עובד קשה יותר לאותה תוצאה - סימן מוקדם להידרדרות תוכן.

התראות אוטומטיות מוגדרות על שינוי יחסי ולא על ערך מוחלט: קפיצה בשיעור ההסלמה, ירידה באחוז המקורות התקפים, עלייה בכשלי פעולה מול מערכת חיצונית מסוימת.

הקשר בין המדדים האלה לעלות מפורט בעלות Agentforce ו-TCO.

רמה 3: תוצאה עסקית

זו הרמה שמכריעה בסקירה הרבעונית. שני מספרים: מה השתנה במדד התהליך שבחרנו מראש - זמן טיפול, נטישה, נפח פניות לנציג - ומה עלות המשימה שהושלמה מול Baseline.

חשוב לקבע את ההגדרות מראש ולא לשנות אותן אחרי שרואים תוצאה. שינוי הגדרת "הצלחה" באמצע הדרך הוא הדבר שהכי פוגע באמון ההנהלה בנתונים, גם כשהשינוי מוצדק.

מניתוח לתור שיפור

הדוח השבועי אינו התוצר. התוצר הוא תור עבודה. הפרקטיקה שעובדת: דגימה של עשרים שיחות שנכשלו או הוסלמו, סיווג לפי שורש - פער תוכן, תיוג שגוי, הוראה לא ברורה, כשל פעולה, או בקשה מחוץ ל-Scope - ופתיחת פריט עבודה לקטגוריה הגדולה ביותר בלבד.

הכלל שמונע היסחפות: מטפלים בשורש אחד בשבוע. ארגונים שמנסים לתקן חמישה במקביל אינם יודעים בסוף מה שיפר את המדד ומה החמיר אותו.

פערי תוכן שמזוהים כאן הם קלט ישיר לרשימת הכתיבה - התהליך מפורט בKnowledge Management ל-Agentforce.

תרחיש: ירידה שקטה שנתפסה בזמן

חברת שירותים פיננסיים הפעילה סוכן פנימי שהיה יציב במשך ארבעה חודשים. בשבוע החמישה-עשר, שיעור ההסלמה עלה בהדרגה בלי שאיש התלונן - הנציגים פשוט השלימו את הטיפול בעצמם.

ההתראה שנקבעה על עלייה יחסית בהסלמה פתחה בדיקה. דגימת Traces הראתה שבמחצית המקרים החדשים לא נשלף אף קטע רלוונטי. הסיבה: שינוי במדיניות מוצר הוביל לארכוב אוטומטי של אחד-עשר מאמרים, ולא נכתבו חלופות.

התיקון ארך יומיים ולא דרש נגיעה בסוכן. בלי שכבת הניטור, הפער היה מתגלה רק כשמנהל היה שואל למה זמן הטיפול הממוצע עלה - כנראה כעבור רבעון.

סיכונים ופעולות מניעה

לוח מדדים מומלץ

כאשר נדרש ליווי בהקמת שכבת ניטור ותהליך שיפור שבועי, שירות Agentforce ו-AI הוא המסלול המעשי להמשך.

Checklist להקמת Observability

• ☐ Trace רושם פנייה, נושא, קטעים שנשלפו, פעולות ותוצאה
• ☐ כל Trace מקושר לרשומה עסקית
• ☐ מדיניות שמירה מפרידה בין מטא-דאטה לתוכן שיחה
• ☐ נבחרו חמישה עד שבעה מדדי מגמה בלבד
• ☐ הוגדרו התראות על שינוי יחסי ולא על ערך מוחלט
• ☐ קיימת שגרת דגימה שבועית של שיחות שנכשלו
• ☐ הוגדרה טקסונומיית שורשי כשל
• ☐ בעל התהליך העסקי משתתף בסקירה השבועית
• ☐ הגדרות ההצלחה קובעו לפני תחילת המדידה