Краткий ответ
Мониторинг агента отличается от мониторинга обычной системы: агент почти никогда не "падает". Он продолжает работать, но с более низким качеством. Поэтому классических метрик доступности и ошибок недостаточно; необходим уровень, измеряющий качество принимаемых решений, а не только техническую исправность.
Практическая структура включает три уровня: Trace для анализа отдельного взаимодействия, еженедельные тренды для выявления ухудшений, и метрика бизнес-результата, оправдывающая дальнейшее использование. Каждый уровень отвечает на свой вопрос и предназначен для определенной аудитории.
Три уровня мониторинга
| Уровень | Вопрос, на который он отвечает | Аудитория | Периодичность |
|---|---|---|---|
| Trace | Почему это взаимодействие завершилось так? | Техническая команда и аналитик | По мере необходимости |
| Тренд | Что меняется к худшему или к лучшему? | Владелец процесса и менеджер платформы | Еженедельно |
| Результат | Оправдывает ли агент свое существование? | Руководство и Спонсор | Ежемесячно и ежеквартально |
Уровень 1: Что обязательно должно быть в Trace
Полезный Trace позволяет восстановить принятое решение без дополнительных запросов. Семь компонентов: запрос в его первоначальной формулировке, идентифицированная тема, фактически извлеченные фрагменты, инициированные действия с параметрами, результат каждого действия, точки подтверждения и их решения, а также причина завершения.
Наиболее часто упускаемый компонент — это извлеченные фрагменты. Без них невозможно различить два совершенно разных типа сбоев: агент не нашел информацию или нашел ее, но использовал неправильно. Первый устраняется изменением контента, второй — изменением инструкций; неправильное устранение привело к потере недель во всех организациях, с которыми мы работали.
Trace также необходимо связать с бизнес-записью: Case, Order или Opportunity. Без этой привязки невозможно проверить, привело ли взаимодействие в конечном итоге к результату или к повторному обращению.
Уровень 2: Тренды, за которыми стоит следить
Пяти метрик достаточно для большинства внедрений: процент завершения без эскалации, процент повторных обращений в течение недели, процент ответов с действительным источником, процент сбоев действий и потребление относительно выполненных задач.
Анализ проводится парами. Высокий показатель завершения с высоким показателем повторных обращений не является успехом. Потребление, которое растет при стабильном количестве задач, означает, что агент работает усерднее для того же результата — это ранний признак ухудшения качества контента.
Автоматические оповещения настраиваются на относительное изменение, а не на абсолютное значение: скачок в проценте эскалации, снижение процента действительных источников, увеличение сбоев действий в отношении конкретной внешней системы.
Связь между этими метриками и затратами подробно описана в разделе Стоимость Agentforce и TCO.
Уровень 3: Бизнес-результат
Это уровень, который определяет outcome в ежеквартальном обзоре. Две цифры: что изменилось в заранее выбранной метрике процесса — время обработки, отток, объем обращений к агенту — и какова стоимость выполненной задачи по сравнению с базовым уровнем (Baseline).
Важно заранее зафиксировать определения и не изменять их после получения результатов. Изменение определения «успеха» в середине пути наносит наибольший ущерб доверию руководства к данным, даже если изменение оправдано.
От анализа к очереди улучшений
Еженедельный отчет не является самоцелью. Результатом является очередь работы. Работающая практика: выборка двадцати неудачных или эскалированных взаимодействий, классификация по корневой причине — пробел в контенте, неправильная разметка, нечеткая инструкция, сбой действия или запрос вне Scope — и создание рабочей задачи только для самой крупной категории.
Правило, предотвращающее отклонения: устранять только одну корневую причину в неделю. Организации, пытающиеся исправить пять одновременно, в конечном итоге не знают, что улучшило метрику, а что ухудшило ее.
Пробелы в контенте, выявленные здесь, являются прямым вводом в список для написания — процесс подробно описан в разделе Управление знаниями для Agentforce.
Сценарий: Тихое снижение, обнаруженное вовремя
Финансовая сервисная компания использовала внутреннего агента, который стабильно работал четыре месяца. На пятнадцатой неделе процент эскалации постепенно вырос без жалоб — агенты просто завершали обработку самостоятельно.
Уведомление, настроенное на относительное увеличение эскалации, инициировало расследование. Выборка Traces показала, что в половине новых случаев не был извлечен ни один релевантный фрагмент. Причина: изменение в политике продукта привело к автоматическому архивированию одиннадцати статей, а альтернативные не были написаны.
Исправление заняло два дня и не потребовало вмешательства в работу агента. Без уровня мониторинга пробел был бы обнаружен только тогда, когда менеджер спросил бы, почему увеличилось среднее время обработки — вероятно, через квартал.
Риски и превентивные меры
| Риск | Как это выглядит | Превентивное действие |
|---|---|---|
| Только технический мониторинг | Все показатели "зеленые", а качество ответов снижается | Метрики качества и эскалации наряду с метриками доступности |
| Trace без извлеченных фрагментов | Месяцы догадок между контентом и моделью | Обязательное логирование извлеченных фрагментов |
| Отчет без очереди задач | Данные представлены, но ничего не меняют | Еженедельная выборка и рабочая задача для одной первопричины |
| Изменение определений в процессе | Потеря доверия к данным | Заблаговременная фиксация определений успеха |
| Отсутствие привязки к бизнес-записи | Невозможно выявить повторное обращение | Привязка Trace к Case или Order |
Рекомендуемая панель метрик
| Метрика | Определение | Порог для оповещения |
|---|---|---|
| Процент завершения | Завершение без эскалации и без повторного обращения | Значительное относительное снижение неделя к неделе |
| Процент эскалации | Процент переходов к человеку | Постоянный относительный рост |
| Действительный источник | Процент ответов с существующей и действительной цитатой | Снижение ниже установленного порога |
| Сбои действий | Процент неудачных операций по целевой системе | Рост сбоев в отношении конкретной цели |
| Потребление на задачу | Единицы потребления на выполненную задачу | Рост без увеличения количества задач |
Если требуется сопровождение при создании уровня мониторинга и еженедельного процесса улучшений, сервис Agentforce и AI — это практический путь для дальнейшего развития.
Чек-лист для настройки Observability
- ☐ Trace регистрирует запрос, тему, извлеченные фрагменты, действия и результат
- ☐ Каждый Trace связан с бизнес-записью
- ☐ Политика хранения отделяет метаданные от содержания беседы
- ☐ Выбрано всего пять-семь метрик тренда
- ☐ Настроены оповещения на относительные изменения, а не на абсолютные значения
- ☐ Существует еженедельная процедура выборки неудачных взаимодействий
- ☐ Определена таксономия корневых причин сбоев
- ☐ Владелец бизнес-процесса участвует в еженедельном обзоре
- ☐ Определения success зафиксированы до начала измерения