Архитектурный слой, решающий, когда и как звать LLM, какой контекст ей давать и что делать с ответом.
Оркестрация LLM — слой кода, который координирует вызовы языковых моделей внутри системы. Он определяет, когда вызывать модель, какой контекст собрать, как проверить ответ, когда повторить запрос или перейти на резервный вариант, как совместить модель с детерминированной логикой и обеспечить наблюдаемость процесса. Этот слой превращает API модели в AI-функцию, готовую к эксплуатации.
На оркестрацию приходится основная часть лишних расходов и проблем с надёжностью AI в эксплуатации. Циклы агентов без ограничений числа итераций приводят к неконтролируемому росту затрат. Если модель управляет процессом, который ей не следует поручать, качество может незаметно снижаться. В проверенных Skopa внедрениях доработка оркестрации обычно даёт наибольший отдельный вклад в снижение расходов — около 30% общей экономии.
Модель должна быть как можно меньшим компонентом рабочего процесса, а не управлять им целиком. Надёжная оркестрация отделяет планирование от исполнения, полностью выносит детерминированную логику из модели, жёстко ограничивает итерации и вызовы инструментов на каждом шаге, проверяет структуру ответов до их использования и обеспечивает сквозную трассировку. LangGraph и CrewAI помогают, но главное — определить, какие шаги действительно требуют вероятностного рассуждения, а какие нет.