Повторное использование сохранённого префикса промпта между вызовами для значительного снижения стоимости входных токенов при повторной отправке одного контекста.
Кэширование промптов у крупных провайдеров LLM (Anthropic, OpenAI, Google) позволяет повторно использовать стабильный префикс промпта в нескольких вызовах. Кэшированные входные токены оплачиваются со значительной скидкой: обычно стоимость составляет 10–25% стандартной цены для кэшированных частей. Для этого стабильное содержимое — системный промпт, определения инструментов и длинный контекст — размещают в начале, а данные конкретного запроса — в конце.
При большом числе запросов с одинаковым системным промптом и определениями инструментов, как у большинства AI-агентов в эксплуатации, кэширование может снизить стоимость входных токенов на 30–60% без изменения архитектуры. Это одна из самых простых оптимизаций с высокой отдачей в структуре расходов на AI.
Кэширование промптов — тактический приём, а не стратегия. По результатам аудитов Skopa оно обычно даёт около 12% общей доступной экономии: существенный вклад, но недостаточный для сокращения расходов на порядок. Мы всегда включаем кэширование там, где его поддерживает нагрузка, но никогда не начинаем проект по оптимизации затрат с него. Основная экономия достигается за счёт доработки оркестрации и дисциплины промпта и контекста. Кэширование становится полезным только после приведения этих слоёв в порядок.