Retrieval-Augmented Generation — архитектура, где языковая модель отвечает по вашим данным, извлекая релевантный контекст из векторной базы данных до генерации.
Система RAG (Retrieval-Augmented Generation) объединяет языковую модель и поиск по вашим закрытым данным. При вопросе пользователя она сначала извлекает релевантные фрагменты из векторной базы данных по семантическому сходству эмбеддингов, затем добавляет их в промпт и генерирует ответ на основе найденного материала. RAG — стандартная архитектура для вопросов по собственной базе знаний.
Большинство корпоративных сценариев AI — внутренние базы знаний, поддержка по документации, ответы на вопросы в регулируемых отраслях — требуют опоры на закрытые данные, на которых модель не обучалась. Дообучение дорого и фиксирует данные на определённый момент. RAG сохраняет их актуальными и хранит вне модели. Однако надёжная система RAG сложнее учебного примера: результат зависит от разбиения данных на фрагменты, выбора модели эмбеддингов, настройки top-k и оценки качества.
RAG в эксплуатации — прежде всего инженерная задача. По опыту Skopa надёжную систему от учебного примера отличают размер и перекрытие фрагментов, настроенные на наборе проверочных примеров, а не оставленные по умолчанию; модель эмбеддингов, выбранная под предметную область, а не по популярности; повторное ранжирование после поиска; наблюдаемость использованного контекста и строгая оценка качества на реальных вопросах. Мы регулярно видим снижение top-k с 10 до 3 с одновременным улучшением качества и сокращением расходов на 70%.