Локальный RAG: поиск и ответы по корпоративным документам без облака

RAG - это связка «поиск + языковая модель». Когда пользователь задает вопрос, система сначала ищет ответ в ваших документах, и только потом просит модель сформулировать его на естественном языке. В результате ответ основан на конкретных документах, а не на «общем знании» модели, и сопровождается ссылкой на источник.

Обычный ChatGPT отвечает из своих весов, не имеет доступа к вашим документам и часто галлюцинирует - выдумывает факты. RAG отвечает строго на основе найденных фрагментов из вашей базы знаний, ссылается на источник, и его поведение можно контролировать (например, отказать в ответе, если ничего релевантного не найдено).

Да. Поиск по векторной базе работает на CPU без проблем. Языковая модель - это вопрос компромисса между скоростью ответа и размером модели. Малые модели (3–8B параметров) с квантованием уверенно работают на CPU за 2–10 секунд на ответ. Для большего числа параллельных пользователей или более сложных моделей подключается GPU.

Для типового сценария - десятки тысяч документов на одном сервере. При шардинге индекса - сотни тысяч страниц. Технологически ограничений практически нет, ограничения возникают по времени переиндексации и доступной оперативной памяти. На этапе аудита считаем нужный объем под ваш сценарий.

Обновление работает по событию или по расписанию. Когда документ добавляется или меняется, система его перечитывает, разбивает на фрагменты и обновляет вектора. Модель при этом не переобучается - это сильное преимущество RAG перед дообучением. Полное обновление индекса занимает минуты-часы в зависимости от объема.

Это специализированное хранилище, которое умеет искать «по смыслу», а не по совпадению слов. Каждый фрагмент документа представлен числовым вектором длиной несколько сотен значений, и поиск возвращает ближайшие векторы к вектору запроса. На практике используется pgvector (расширение PostgreSQL), Qdrant, Milvus или FAISS-индекс на диске.

Да, и это критично для корпоративного RAG. Документы помечаются ролями или группами доступа, и при поиске фильтруются по правам текущего пользователя. Сотрудник увидит только те фрагменты, к которым у него есть доступ. Это интегрируется с существующей системой управления правами заказчика.

В правильной архитектуре RAG умеет отказывать: если ни один фрагмент не релевантен запросу, система возвращает «ответ не найден» и предлагает альтернативы (похожие документы, контакт ответственного, переформулировку запроса). Это намного лучше галлюцинации и важно для серьезных корпоративных сценариев.