Вопрос на 3 часа ночи, который рано или поздно задаёт каждый CTO: "Почему наш AI забывает, как делать свою работу?"

Вопрос на 3 часа ночи, который рано или поздно задаёт каждый CTO: "Почему наш AI забывает, как делать свою работу?"

Когда AI-фича, отлично работавшая в демо, начинает пропускать шаги, зацикливаться или давать разные ответы на один и тот же вопрос во вторник — инстинкт винить модель. Инстинкт неправильный. Реальная причина и архитектурный сдвиг, который чинит это надолго.

Главное

AI-фичи, дрейфующие в продакшене, почти никогда не имеют проблемы модели. У них проблема архитектуры: модель сделали оркестратором workflow, и когда распределение входов расширяется, каждый дрейф в понимании становится дрейфом в workflow. Устойчивый фикс — перенести оркестрацию в типизированный код, оставив модель только для того, в чём она уникально сильна.

FAQ

Наша AI-фича была надёжна месяцами и потом начала дрейфовать. Что изменилось?

Почти в каждом аудите модель не менялась — менялось распределение входов. Новые клиентские сегменты, новые форматы партнёров, новые внутренние code paths — все расширяют входы за пределы того, под что был настроен изначальный промпт. Когда модель ещё и оркестратор workflow, каждый дрейф в понимании становится дрейфом в том, что система делает.

Почему добавление инструкций в системный промпт перестаёт работать?

Промпты, обрастающие шрамами — добавляющие пункты на каждый прошлый инцидент — в итоге оптимизируют tail-кейсы за счёт центра. Мы видели промпты, выросшие с пяти абзацев до сорока за год, с системой измеримо менее надёжной в конце. Больше инструкций дают больше мест для утечки внимания, а не больше послушания.

Насколько инвазивно архитектурное изменение, чтобы это починить?

Меньше, чем ожидают команды. Сдвиг — вынести оркестрацию workflow из модели в типизированный код, оставив модель для шагов, реально выигрывающих от вероятностного рассуждения. Это редизайн того, где живут решения, а не переписывание фичи. Большинство engagements двигают архитектуру за две-четыре недели.

Подробнее