Отбирать полезные источники для ответа AI
rag-jev фильтрует или переставляет найденные фрагменты до передачи их ответной модели. Можно посмотреть, что отброшено, и сравнить пороги на своих данных.
Что это решает
rag-jev встраивается между поиском и моделью ответа. Jev оценивает найденные фрагменты, а программа отбирает, переставляет или объединяет их с исходным ранжированием по заданной политике.
Проверить релевантность найденных фрагментов до ответа LLM
Почему хороший ответ начинается до генерации
В RAG-системе поиск возвращает набор фрагментов, но длинный контекст не гарантирует полезности каждого. rag-jev позволяет проверить релевантность кандидатов и увидеть, какие фрагменты были отброшены, какие сохранены и почему. Генерация ответа остаётся у вашей существующей LLM.
Есть режимы фильтрации, reranking и их сочетания. Shadow-режим предлагает новый выбор, но возвращает исходный контекст — удобный способ сравнить решения без немедленного влияния на пользователей.
Проверка без платного вызова
Приложение можно запустить в replay-only режиме: оно показывает записанные улучшения и ухудшения, позволяет менять пороги, но не делает новый вызов Jev. Для живой оценки нужен API-ключ; текст запроса и фрагментов отправляется TypeSafe, тогда как произвольные метаданные остаются локально по описанию проекта.
Почему нельзя обещать рост качества
Автор публикует несколько ограниченных исследований. В одном пилоте reranking улучшал точечные показатели поиска, но часть доверительных интервалов перекрывала ноль; фильтрация иногда увеличивала число неверных ответов, а стоимость могла вырасти. Поэтому порог следует подбирать на своих запросах и сравнивать не только retrieval-метрику, но и конечный ответ.
Как попробовать самому
- 01Установить
rag-jev, запуститьrag-jev serve --replay-onlyи изучить записанные удачный и неудачный примеры. - 02Передать небольшой набор собственных не конфиденциальных фрагментов и включить shadow-режим.
- 03Сравнить исходный и предложенный контекст, затем проверить ответы на размеченных вопросах до переключения боевого потока.
Ограничение этого проекта
Неверный порог может удалить необходимое доказательство. Живая оценка отправляет текст запроса и фрагментов во внешний API.