Снижение числа токенов на каждый результат для пользователя в системе AI-агентов без потери возможностей.
Оптимизация токенов AI-агента начинается с анализа расходов на протяжении задачи: пояснения модели о собственных действиях, повторяющийся контекст, повторные попытки из-за ошибок формата, свободная генерация структурированных данных и системный промпт. Затем расходы в каждой категории сокращают целевыми изменениями архитектуры и промптов.
В типичной неоптимизированной системе агентов лишь около 8% токенов приходится на ответ, видимый пользователю. Остальные 92% уходят на организацию работы: повторяющийся контекст, пояснения собственных действий, массовые повторы запросов, многословные системные промпты и свободную генерацию данных вместо типизированных схем. Здесь возможна экономия на порядок.
В проектах Skopa исходное отношение вызовов LLM к результатам для пользователя обычно составляет от 10:1 до 30:1. После системной оптимизации токенов оно снижается до 2:1–5:1 без потери качества. Основные меры: отделение планирования от исполнения, перенос детерминированной логики в код, замена свободного вывода типизированными схемами, удаление пояснений собственных действий, сжатие постоянного контекста, кэширование стабильного префикса и жёсткое ограничение итераций. По отдельности эффект каждой меры невелик. Вместе они регулярно дают снижение расходов в 8×–20×.