Human-in-the-Loop в Agentforce: Где ИИ должен остановиться для подтверждения

Краткий ответ

Вопрос не в том, нужен ли человек в контуре, а в том, где именно. Утверждение каждого шага сводит на нет экономию и вызывает "усталость от согласования", ведущую к автоматическим одобрениям. Отсутствие согласования необратимых действий приводит к сбоям, требующим вмешательства руководства.

Практический метод начинается с декомпозиции процесса на отдельные действия, классификации каждого действия по обратимости и влиянию, а также выбора подходящей модели согласования — блокирующей, постфактум или выборочной. После этого разрабатывается интерфейс принятия решения, чтобы согласование было истинным суждением, а не простым нажатием кнопки.

Структура управления, в рамках которой принимаются эти решения, подробно описана в AI Governance для Agentforce.

Матрица решений: обратимость vs. влияние

Обратимость оценивается по трем критериям: сколько времени занимает отмена, сколько это стоит и кто был затронут до отмены. Сообщение, отправленное клиенту, необратимо, даже если можно отправить исправление — впечатление уже создано. Обновление внутреннего поля обратимо мгновенно и поэтому не требует остановки.

Три модели согласования

Блокирующее согласование останавливает операцию до принятия решения человеком. Это наиболее затратная по времени модель и поэтому используется для необратимых или высокозначимых операций. Правило: если остановили, человек должен получить всю необходимую для принятия решения информацию на одном экране.

Постфактум аудит позволяет сотруднику выполнять действие и передавать результат на проверку в течение определенного временного окна. Подходит для обратимых операций с низкой стоимостью и требует двух условий: короткого временного окна и действительно работающей кнопки отмены.

Выборочная проверка выборочно проверяет процент случаев, а не все. Это правильная модель для операций с большим объемом и низким влиянием, а также механизм качества, который впоследствии позволяет обосновать отмену блокирующего согласования в другом месте.

Разработка интерфейса принятия решений

Это часть, которая определяет, является ли участие человека в контуре реальным или формальным. Экран, отображающий только предлагаемое действие, получает автоматическое одобрение. Экран, требующий открытия трех вкладок для проверки, вызывает задержки и обходы.

Четыре компонента, которые должны отображаться вместе: предлагаемое действие в одной строке, обоснование на деловом языке, источник, на который опирается сотрудник, со ссылкой на извлеченный фрагмент, и уровень уверенности или сработавшие флаги. Ниже — три варианта, а не два: одобрить, отклонить с указанием причины и исправить до выполнения.

Причина отклонения — самый ценный актив в процессе. Она формирует набор для обучения и тестирования следующей версии, поэтому должна представлять собой короткий список распространенных причин, а не свободное текстовое поле, которое никто не заполняет.

Как отслеживать эти решения со временем, объясняется в Observability для AI-агентов.

Предотвращение формального одобрения

"Усталость от согласования" — это ожидаемый сбой, а не сюрприз. Три предупреждающих признака: среднее время принятия решения опускается ниже нескольких секунд, процент отклонений приближается к нулю и массовые согласования в конце смены.

Лечение заключается не в обучении, а в дизайне. Сокращается количество согласований путем удаления излишних остановок в обратимых операциях, добавляется постфактум выборочное тестирование, которое создает ответственность, и предоставляется согласующему обратная связь о качестве его решений. Когда согласующий знает, что процент решений проверяется, он начинает читать.

Ключевой показатель: если процент исправлений равен нулю в течение нескольких месяцев, это означает либо, что сотрудник отлично работает, и можно сократить остановки, либо что никто не читает. Выборочная проверка — это то, что отличает одно от другого.

Когда и как отменять точку согласования

Отмена — это решение, основанное на данных, а не на ощущениях. Три одновременных условия: достаточный объем задокументированных решений в категории, низкий и стабильный процент исправлений в течение нескольких месяцев подряд и практически проверенный механизм отмены или приостановки.

Отмена выполняется поэтапно. Сначала для узкой подгруппы — например, только суммы ниже определенного порога, только клиенты в определенном сегменте, только в рабочее время. Затем результат измеряется в течение месяца. Только после этого происходит расширение. Параллельно постфактум выборочная проверка остается даже после отмены, иначе нет способа выявить деградацию.

Также должно быть условие возврата: если процент ошибок превышает заранее определенный порог, блокирующее согласование автоматически возвращается. Без письменного условия возврата решение об отмене само становится необратимым.

Сценарий: сервисный центр отменил неверное согласование

Телекоммуникационная компания внедрила систему, которая формировала ответы на запросы по выставлению счетов. В первой версии каждый ответ проходил утверждение представителем, включая простые ответы о статусе. Время обработки сократилось незначительно, и представители жаловались, что им приходится снова и снова читать один и тот же текст.

Команда проанализировала 4,000 согласований и обнаружила, что 78% из них касались исключительно информационных ответов — полностью обратимых и с низким влиянием. Процент исправлений в этой категории был ниже одного процента. В то же время, в категории кредитов процент исправлений был значительно выше.

Решение: отменить блокирующее согласование для информационных ответов, с выборочной проверкой процента из них для еженедельного аудита; усилить согласование кредитов и добавить требование письменного обоснования для сумм выше определенного значения. Время обработки значительно сократилось, а отклонения в категории кредитов, наоборот, увеличились — знак того, что согласующие снова стали читать.

Риски и превентивные меры

Показатели

Когда требуется консультация по планированию точек согласования и их адаптации к регуляторным требованиям организации, сервис Agentforce и AI является практическим путем для дальнейших действий.

Чек-лист

• ☐ Процесс декомпозирован на отдельные действия
• ☐ Каждое действие классифицировано по обратимости и влиянию
• ☐ Для каждого действия выбрана модель согласования: блокирующая, постфактум или выборочная
• ☐ Утверждающий определен в соответствии с существующими полномочиями в процессе
• ☐ Экран принятия решения отображает действие, обоснование, источник и уровень уверенности
• ☐ Существует возможность корректировки, а не только одобрения или отклонения
• ☐ Причины отклонения документируются в коротком списке
• ☐ Определены измеримые пороги для отмены согласования и условия возврата
• ☐ Механизм отмены проверен практически, а не только запланирован