Генеративный ИИ
RAG: ответы с опорой на документы
Как поиск и языковая модель работают вместе и что проверять в такой системе.
Сначала найти, затем сформировать ответ
RAG — сокращение от Retrieval-Augmented Generation: генерация с привлечением найденной информации. Система находит материалы, относящиеся к вопросу, и использует их при формировании ответа языковой моделью.
В простом варианте документы разбивают на фрагменты и индексируют. По запросу извлекают подходящие фрагменты и передают их модели вместе с вопросом. Обновление такого набора документов не обязательно требует переобучения модели.
Пример: вопрос по инструкции
Допустим, пользователь хочет узнать, какие поля обязательны в заявке. Ответ должен опираться на действующую инструкцию и показывать, где найдено правило.
Подготовить документы
Сохранить текст, название, версию и ссылку на источник каждого фрагмента.
Найти подходящие фрагменты
Извлечь раздел про обязательные поля, учитывая действующую версию инструкции.
Сформировать ответ
Передать найденный текст модели и запросить краткий перечень со ссылкой на раздел.
Проверить опору на источник
Убедиться, что каждый пункт перечня действительно указан в документе.
Что может пойти не так
Ошибка возможна на разных этапах: поиск выбрал старую версию, нужный фрагмент не попал в контекст или модель неверно пересказала найденное правило. Качество поиска и качество ответа нужно оценивать отдельно.