Краткий ответ
Эффективное управление ИИ не является дополнительным уровнем согласований, а представляет собой механизм, позволяющий быстро принимать решения по повторяющимся вопросам: кто определяет полномочия агента, какие обязательные контроли требуются в зависимости от уровня риска, и что необходимо для изменения поведения после запуска. Без такого механизма внедрение каждого нового агента будет начинаться с нуля.
Ключевой принцип — это ранжирование. Внутренний агент, который только читает информацию и ничего не записывает, не должен проходить тот же путь, что и агент, который общается с клиентами и выполняет возвраты средств. Единообразный процесс приводит либо к блокировке, либо к обходу, а зачастую и к тому, и другому.
Классификация рисков: основа всех остальных решений
| Уровень | Характеристики | Утверждающие стороны | Обязательные контроли |
|---|---|---|---|
| Низкий | Внутренний, только чтение, без чувствительных данных клиентов | Владелец процесса + менеджер платформы | Утвержденный Grounding, журнал разговоров, ежемесячный обзор |
| Средний | Внутренний с обратимой записью или раскрытием информации клиенту | + Архитектор + Представитель отдела данных | Тестовый набор, проверки Persona, еженедельный мониторинг |
| Высокий | Операции с клиентами, денежные средства, разрешения или необратимые данные | + Отдел рисков, юридический отдел и CISO | Человеческое утверждение, полный Audit trail, план отката |
| Запрещено | Решения с прямыми юридическими или регуляторными последствиями без участия человека | - | Сценарий использования отклонен или разбит на подзадачи более низкого уровня |
Классификация определяется всего тремя вопросами: является ли действие обратимым, кто подвергается воздействию результата и какой тип информации затрагивается в процессе. На эти три вопроса можно ответить за десять минут, и именно это делает модель применимой.
Три обязательные роли
Бизнес-владелец отвечает за результат, определяет полномочия агента и разрешает конфликты. Он должен будет объяснить руководству, почему агент ответил именно так, поэтому эту роль нельзя оставлять вакантной или делить между двумя менеджерами.
Технический владелец отвечает за реализацию, мониторинг, процесс изменений и стоимость. Он ведет реестр агентов и Runbook для устранения сбоев.
Независимый аудитор (чаще всего представитель отдела рисков или информационной безопасности) не участвует в разработке и поэтому может осуществлять проверку. Его задача — выборочно просматривать разговоры, проверять соответствие заявленных контролей фактической работе и выносить результаты на рассмотрение коллегиального органа. Без вовлечения стороны, не заинтересованной в успехе проекта, контроль превращается в самоотчет.
Модель ответственности при работе с Salesforce и поставщиками моделей подробно описана в документе Безопасность Agentforce и совместная ответственность.
Реестр агентов
Это единственный документ, который нельзя игнорировать. Он не обязательно должен быть сложной системой — достаточно поддерживаемой таблицы — но он должен быть актуальным. Для каждого активного агента необходимо указать: цель в одном предложении, бизнес- и технического владельцев, уровень риска, активные каналы, список Actions и их разрешения, источники Grounding, точки человеческого утверждения, дату последнего обзора и три основных KPI.
Реестр решает проблему, которая возникает на второй год: бесконтрольное распространение агентов. Когда каждая команда создает своего агента, обнаруживается, что три агента отвечают на один и тот же вопрос тремя разными способами, и никто не знает, кто утвердил третьего.
Процесс изменений после запуска
Различение рутинных и существенных изменений предотвращает парализующее управление. Рутинное изменение (формулировка, исправление формулировки в ответе, добавление существующей статьи Knowledge в индекс) проходит по стандартному процессу изменения платформы. Существенное изменение требует повторного утверждения на соответствующем уровне.
Четыре изменения всегда являются существенными: добавление нового Action, расширение разрешения, открытие нового канала и удаление или смягчение точки человеческого утверждения. Именно эти изменения часто вносятся тихо под давлением с целью улучшения производительности, поэтому их необходимо заранее маркировать.
Механизмы мониторинга, питающие процесс изменений, подробно описаны в документе Наблюдаемость для AI-агентов.
Что фактически проверяет управление ежеквартально
Ежеквартальный обзор не является отчетом о состоянии. Он проверяет пять вещей: по-прежнему ли агенты в реестре необходимы, работают ли заявленные контроли при выборочной проверке, оправдана ли стоимость по сравнению с результатом, какие повторяющиеся эскалации указывают на пробелы в контенте и прошли ли существенные изменения правильный путь.
Результатом обзора является список решений: расширить, сократить, приостановить или закрыть агента. Управление, неспособное закрыть агента, не является управлением — это документация.
Сценарий: ритейлер, который восстановил контроль, не останавливая развитие
Розничная сеть обнаружила семь одновременных инициатив в области ИИ в четырех отделах, без регистрации и без ведома отдела рисков. Первой предложенной реакцией было полное замораживание до разработки политики — шаг, который также заморозил бы две инициативы, уже приносящие ценность.
Вместо этого было проведено двухнедельное картирование: каждая инициатива была классифицирована по уровню риска. Пять были отнесены к низкому уровню и продолжили работу с сокращенным согласованием со стороны владельца процесса и менеджера платформы. Две (одна касалась возврата средств клиентам, а другая раскрывала данные инвентаризации поставщикам) были переведены на высокий уровень, получили точки человеческого утверждения и были проверены отделом рисков перед продолжением.
Шесть месяцев спустя количество инициатив увеличилось, но руководство впервые знало, что существует, кто отвечает и какова стоимость. Практический вывод: управление получило легитимность именно потому, что оно не блокировало низкий уровень риска.
Риски управления и превентивные меры
| Риск | Как это проявляется | Превентивная мера |
|---|---|---|
| Блокирующий комитет | Команды разрабатывают решения вне утвержденного процесса | Ускоренный процесс для низкого уровня риска с участием всего двух утверждающих |
| Неактуальный реестр | Аудитор обнаруживает неизвестного агента | Обновление реестра как условие выпуска новой версии |
| Принадлежность только ИТ | Нет ответственного за бизнес-поведение | Назначение бизнес-владельца по имени для каждого агента |
| Самоотчетность контроля | Контроли существуют в документе, но не в реальности | Выборочная проверка разговоров стороной, не участвующей в разработке |
| Существенное изменение без уведомления | Удаление человеческого утверждения для улучшения времени отклика | Закрытый список изменений, требующих повторного утверждения |
Показатели управления
| Показатель | Что он выявляет | Частота |
|---|---|---|
| Полнота реестра | Процент документированных активных агентов | Ежемесячно |
| Среднее время утверждения | Стал ли процесс узким местом | Ежемесячно |
| Выводы выборочной проверки | Разрыв между заявленным контролем и фактическим состоянием | Ежеквартально |
| Существенные изменения, проходящие по правильному пути | Дисциплина процесса | Ежеквартально |
| Приостановленные или закрытые агенты | Способно ли управление принимать решения об отказе | Ежеквартально |
Когда требуется сопровождение в создании модели управления, соответствующей размеру организации и применимому регулированию, услуги Agentforce и AI представляют собой практический путь для дальнейшего развития.
Чек-лист для создания системы управления
- ☐ Утверждена трехступенчатая модель классификации рисков.
- ☐ Определены утверждающие стороны для каждого уровня, включая ускоренный путь для низкого уровня риска.
- ☐ Назначены бизнес- и технический владельцы для каждого существующего агента.
- ☐ Назначен независимый аудитор, не участвующий в разработке.
- ☐ Создан реестр агентов со всеми обязательными полями.
- ☐ Определен закрытый список существенных изменений.
- ☐ Установлен ежеквартальный график обзоров с полномочиями по закрытию агента.
- ☐ Определены показатели управления и частота отчетности для руководства.