🛠 RAG: не улучшение модели, а доступ к вашим документам Подключить корпоративную документацию к LLM без дообучения можно через RAG — это архитектурный шаблон, который добавляет этап поиска перед генерацией. Вопрос пользователя превращается в вектор, в векторной базе находятся ближайшие по смыслу фрагменты документов, и только они попадают в запрос к модели. Модель отвечает как на экзамене со шпаргалкой: не из памяти, а по предоставленным данным. Для векторных представлений в примере используется sentence-transformers/all-MiniLM-L6-v2, документы режутся на фрагменты по 500–1000 слов с перекрытием 50, а хранится всё в ChromaDB. Практическая последовательность обработки из статьи на Habr собирается в пять строк: разбиение на фрагменты, создание векторных представлений, добавление в коллекцию, поиск трёх наиболее подходящих документов и вызов OpenAI/Groq API. Запрос «как настроить подключение к БД» находит документ про «конфигурацию пула соединений» — без единого общего слова, потому что совпадают векторы смысла, а не лексемы. Но автор сразу отмечает: простого семантического поиска для рабочей среды мало, потому что точные совпадения терминов теряются. Поэтому в рабочей системе добавляют гибридный поиск — BM25 по ключевым словам плюс семантический, а результаты повторно сортируют с помощью кросс-энкодера. Ключевые детали: модель векторных представлений all-MiniLM-L6-v2, фрагменты по 500–1000 слов, перекрытие 50, top_k=3, векторная база ChromaDB, генерация через gpt-4o-mini. Автор подчёркивает: RAG не делает модель умнее, он лишь организует доступ к вашим данным. Вся работа — в правильном разбиении, выборе векторных представлений и проектировании запроса к модели, чтобы она не выдумывала. Демонстрационный RAG на одном семантическом поиске отвечает хуже, чем обычный grep по коду. Гибридный поиск с BM25 и повторной сортировкой — это не «улучшение», а минимальный порог для рабочей системы, иначе ваша документация будет находиться только по настроению векторных представлений. #RAG #LLM #SentenceTransformers #ChromaDB #гибридныйпоиск