🛠 robots.txt — просьба, а не запрет на обучение ИИ Многие владельцы сайтов ставят Disallow для GPTBot и считают, что закрыли свои тексты от ChatGPT. На деле файл лишь регулирует доступ конкретного краулера к страницам, а не то, что система делает с уже скачанными данными. Гари Ильес из Google в видео Search Central от 21 октября 2026 года напомнил: robots.txt задаёт предпочтения по доступу, но не определяет использование контента после обхода. Уже скачанные страницы остаются в обучающих данных, даже если вы добавили запрет сегодня. Разделять нужно не только «обучение» и «ответы», но и конкретных роботов. OpenAI и Anthropic используют разные токены: GPTBot и ClaudeBot собирают тексты для обучения, OAI-SearchBot и Claude-SearchBot ищут страницы для поиска сервиса, а ChatGPT-User и Claude-User заходят по запросу пользователя. Закрыть обучение, но остаться в ответах нейросетей можно, прописав отдельные правила для каждого токена. По данным Habr, в России ситуация беднее: Яндекс советует блокировать YandexAdditional для быстрых ответов Алисы, но отдельного токена для обучения нет, а Сбер вообще не публикует правила для GigaChat. Проблема в том, что robots.txt соблюдают не все. Cloudflare в августе 2025 года показал, что Perplexity при блокировке меняет user agent и ASN, притворяясь браузером Chrome, и продолжает скачивать контент с десятков тысяч доменов. Стандартного способа запретить обучение, но разрешить обход пока нет — есть только черновик IETF, который Google обещает поддержать не раньше 2027 года. Проверить реальное поведение роботов можно по логам доступа: если после Disallow бот всё ещё получает код 200 на закрытых разделах, правила для него не работают. Главная иллюзия — считать robots.txt юридическим барьером. Это этикет, а не закон: воспитанные роботы уходят, невоспитанные меняют user-agent. Пока нет принятого стандарта, единственная надёжная защита от обучения — вообще не публиковать контент в открытом доступе, но для бизнеса это равноценно закрытию сайта. #robotsTxt #GPTBot #ClaudeBot #Perplexity #SEO