Когда AI-фича, отлично работавшая в демо, начинает пропускать шаги, зацикливаться или давать разные ответы на один и тот же вопрос во вторник — инстинкт винить модель. Инстинкт неправильный. Реальная причина и архитектурный сдвиг, который чинит это надолго.
AI-фичи, дрейфующие в продакшене, почти никогда не имеют проблемы модели. У них проблема архитектуры: модель сделали оркестратором workflow, и когда распределение входов расширяется, каждый дрейф в понимании становится дрейфом в workflow. Устойчивый фикс — перенести оркестрацию в типизированный код, оставив модель только для того, в чём она уникально сильна.
Почти в каждом аудите модель не менялась — менялось распределение входов. Новые клиентские сегменты, новые форматы партнёров, новые внутренние code paths — все расширяют входы за пределы того, под что был настроен изначальный промпт. Когда модель ещё и оркестратор workflow, каждый дрейф в понимании становится дрейфом в том, что система делает.
Промпты, обрастающие шрамами — добавляющие пункты на каждый прошлый инцидент — в итоге оптимизируют tail-кейсы за счёт центра. Мы видели промпты, выросшие с пяти абзацев до сорока за год, с системой измеримо менее надёжной в конце. Больше инструкций дают больше мест для утечки внимания, а не больше послушания.
Меньше, чем ожидают команды. Сдвиг — вынести оркестрацию workflow из модели в типизированный код, оставив модель для шагов, реально выигрывающих от вероятностного рассуждения. Это редизайн того, где живут решения, а не переписывание фичи. Большинство engagements двигают архитектуру за две-четыре недели.