Агент точен на 99 %, а ошибается почти в каждой пятой заявке: где ставить контрольные точки

Заявка проходит без ошибки, только если верны все решения сразу. Поэтому вероятности не складываются, а перемножаются: 0,99 × 0,99 × … двадцать раз — это примерно 0,82. Почти каждая пятая заявка уходит дальше хотя бы с одной ошибкой: не тот склад, не та единица измерения, похожий, но чужой контрагент.

Тот же счёт приводит практик, который построил больше десятка агентных систем в продакшне: при 95 % на шаг цепочка из 5 шагов успешна в 77 % случаев, из 10 — в 59 %, из 20 — в 36 %; даже при 99 % на шаг 20 шагов дают лишь 82 % [1]. Его статья так и называется — «Почему я ставлю против ИИ-агентов в 2025 году (хотя сам их строю)».

Две вещи видно сразу. Первая: длина цепочки бьёт сильнее, чем кажется, — заявка на двенадцать позиций — это уже около сорока решений, и при 99 % на решение ошибка будет уже в каждой третьей. Вторая: даже 99,9 % не дают нуля — при тысяче заявок в месяц это десятки ошибок.

Граница расчёта. Формула упрощает. Ошибки бывают связаны: если агент не узнал клиента, он ошибётся и в договоре, и в адресе — это одна ошибка, а не три. А часть шагов сама проверяет предыдущие: сверка со справочником ловит неверно прочитанный артикул. Поэтому таблица — не прогноз для вашего процесса, а повод посчитать его решения и увидеть, где без проверки не обойтись.

Второй множитель — повторяемость. На показе агент решает задачу один раз, и это выглядит убедительно. На потоке ту же задачу он решает сотни раз — и должен решить её каждый раз.

Это проверили авторы из компании Sierra в бенчмарке τ-bench: агент общается с пользователем и работает с инструментами по правилам предметной области, например розничного магазина. Чтобы мерить стабильность, авторы ввели метрику pass^k: задача засчитывается, только если агент справился во всех k повторах. Итог: даже сильнейшие агенты с вызовом функций, такие как gpt-4o, решают меньше половины задач, а в рознице при восьми повторах (pass^8) — меньше 25 % [3]. Условия бенчмарка — не ваш процесс, но разрыв между «получилось на показе» и «получается каждый раз» он показывает честно.

Этот разрыв — одна из причин, по которым пилоты не доходят до промышленной эксплуатации: в пилоте смотрят на удачные прогоны, а в работе считается каждый неудачный. Подробнее — в разборе «Только 1 из 10 пилотов ИИ доходит до прода».

Anthropic в своём руководстве по агентам различает два устройства. Workflow (рабочий процесс) — система, где модель и инструменты работают по заранее заданным в коде путям. Агент — система, где модель сама решает, что делать дальше и какими инструментами [2]. Там же два совета, которые прямо относятся к контрольным точкам: на любом промежуточном шаге цепочки можно поставить программную проверку («gate»), чтобы процесс не сбился, и начинать стоит с самого простого решения, усложняя его только при необходимости [2].

Для заявки из письма это значит: порядок шагов фиксирован и известен заранее, а модель работает внутри шагов — читает письмо, извлекает поля, подбирает позицию номенклатуры. Тогда между шагами есть место для проверки, и каждая проверка сокращает цепочку, в которой ошибки умножаются бесконтрольно.

1. Программная сверка. Код, а не модель, сверяет результат с тем, что известно точно: сумма и количество — с текстом письма, позиция — со справочником, контрагент — по ИНН и адресу отправителя. Принимается только однозначное совпадение; если вариантов несколько, выбор остаётся за человеком. Такая проверка дешёвая и срабатывает каждый раз.
2. Порог уверенности. Если агент прочитал поле неуверенно — плохой скан, рукописная пометка, непривычный формат, — заявка уходит в ручную очередь, а не угадывается. Порог настраивают по журналу правок, а не на глаз.
3. Человек на необратимом действии. Проведение документа, движение денег, ответ клиенту — то, что нельзя тихо откатить. Здесь агент готовит черновик, а решение принимает сотрудник, видя рядом источник каждого поля.
4. Выборочный контроль и журнал правок. Часть заявок, которые прошли без вопросов, проверяют выборочно, а каждую правку сотрудника пишут в журнал. Так видно, где агент ошибается на самом деле, и по цифрам решают, где ему можно доверять больше.

Главное правило: проверка ставится там, где ошибка дороже, а не после каждого шага. Неверно прочитанный номер телефона в подписи письма ничего не стоит. Неверная единица измерения в проведённой отгрузке — лишний рейс и возврат.

В нашей схеме ввода заявок семь шагов: письмо → распознавание вложений → извлечение полей → сверка со справочниками 1С → черновик документа → проверка и проведение человеком → ответ клиенту. Агент создаёт документ непроведённым, проводит его сотрудник — в REST-интерфейсе 1С создание документа и его проведение и так разные операции [4]. Неуверенно прочитанный скан уходит в ручную очередь, правки операторов — в журнал и контрольную выборку. Подробно схема разобрана в статье «Агент ввода заявок из почты в 1С:ERP и ТМС».

• Поток маленький или все заявки в одном шаблоне. Тогда агент не нужен вовсе: одна форма или портал заказов — хватит обычной интеграции систем, где решений модели нет и умножаться нечему.
• Проверок слишком много. Если сотрудник снова смотрит каждое поле каждой заявки, агент только добавил шаг. Проверки съели эффект — значит, часть из них надо заменить выборкой или убрать.
• Узкое место не на вводе. Если заявка дольше всего ждёт согласования цены или машины, безошибочный ввод срок почти не сократит. Об этом — в разборе «ИИ ускорил шаг, а процесс — нет».
• Справочники в беспорядке. Сверка с дублями контрагентов и номенклатуры ничего не проверяет. Сначала чистка, потом агент.

Таблица ниже — для заявок из почты; для обращений или входящих документов шаги другие, но вопросы те же. Пройдите её с владельцем процесса за час.

Сколько решений в вашем процессе между письмом клиента и проведённым документом — и на каком из них сейчас стоит проверка?

1. Utkarsh Kanwat, «Why I'm Betting Against AI Agents in 2025 (Despite Building Them)», 19.07.2025: автор построил больше десятка агентных систем в продакшне; при 95 % надёжности шага 5 шагов дают 77 % успеха, 10 — 59 %, 20 — 36 %; при 99 % на шаг 20 шагов — 82 % — utkarshkanwat.com
2. Anthropic, «Building effective agents», 19.12.2024: workflow — модель и инструменты по заранее заданным в коде путям, агент — модель сама управляет процессом и инструментами; программные проверки («gate») на промежуточных шагах; начинать с самого простого решения — anthropic.com
3. Yao S., Shinn N., Razavi P., Narasimhan K., «τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains», 17.06.2024: агенты уровня gpt-4o решают меньше 50 % задач, pass^8 в рознице — меньше 25 % — arxiv.org
4. 1С, «REST интерфейс»: протокол OData версии 3.0; создание документа и проведение документа — отдельные операции — v8.1c.ru

Таблица доли заявок без ошибки — наш иллюстративный расчёт, а не замер на проектах. Цифры τ-bench получены на тестовых сценариях бенчмарка, а не в процессах российских компаний.