🛠 Obscura: локальный шлюз против утечки секретов в LLM Разработчик представил на Habr шлюз Obscura, который встаёт между сотрудником и нейросетью и проверяет каждый запрос. Он притворяется OpenAI-совместимым API (/v1/chat/completions), поддерживает Anthropic и браузерные расширения, а режимы Monitor, Warn и Enforce позволяют сначала логировать, потом предупреждать, затем блокировать утечки до отправки. Это следующий шаг после офлайн-инструмента, о котором автор писал летом: компания не может полагаться на то, что все вспомнят почистить конфиг. Для русского контекста у Obscura свои правила: ИНН с проверкой контрольной суммы (10 и 12 цифр), СНИЛС, банковские карты, API-ключи, JWT, телефоны. Вместо тупой замены на метки вроде [EMAIL_1], которые ломают структуру кода и JSON, шлюз генерирует синтетические суррогаты: номер карты заменяется на другой, проходящий Luhn, IP — на адрес из тестовой сети RFC 5737. Генератор детерминированный и выдаёт около 18 800 значений в секунду, а ответ модели возвращается клиенту уже с восстановленными настоящими данными. Самая неприятная часть — стриминг: при stream=True ответ приходит кусками по 1–2 символа, и токен может быть разрезан на части. Автор решил это конечным автоматом со скользящим окном, который держит хвост в буфере, пока не станет ясно, что это за токен. На хаотической фрагментации (чанки по 1–3 байта, разорванные скобки, UTF-8) потерянных байт — 0, а латентность детокенизатора: P50 0,056 мс, P95 0,486 мс, P99 10,9 мс на 100 параллельных потоках. Плюс у шлюза есть OCR для картинок, хранилище улик с шифрованием и доступом по принципу четырёх глаз, проверка целостности журнала. Но это пока инженерный прототип, а не готовый продукт. Детектор построен на правилах и NER (spaCy), без обученного классификатора: нестандартные форматы пропускаются, номера заказов иногда ловятся как телефоны, а секрет, пересказанный своими словами, шлюз не заметит. Независимого аудита и боевой эксплуатации нет, все тесты синтетические, с домашнего ПК. Релиз через два месяца, затем 30 дней бесплатного тестирования. Главная ценность Obscura не в обнаружении, а в суррогатах, которые сохраняют структуру ответа модели — это отличает его от большинства DLP, которые просто маскируют. Но для внедрения в реальную компанию нужны независимые бенчмарки на живых логах, иначе рискуешь получить либо ложные срабатывания, либо пропущенный секрет. Habr #Obscura #LLMSecurity #DLP #onprem