Попасть в ответы Claude: нужны поисковый и пользовательский боты, не ClaudeBot
📊 Попасть в ответы Claude: нужны поисковый и пользовательский боты, не ClaudeBot
Сайты, которые закрыли всех ботов Anthropic разом, сами убрали себя из ответов Claude. По данным Habr, у Anthropic три краулера с разными задачами: ClaudeBot собирает тексты для обучения, Claude-SearchBot индексирует страницы для поиска Claude, а Claude-User читает страницу, когда пользователь дал ссылку. Согласно замеру Crawl Readiness за октябрь 2026, Claude-SearchBot закрыт у 63 из 569 сайтов с robots.txt — каждый девятый сайт сам лишил себя видимости в ответах Claude, даже если хотел только запретить обучение.
Страница попадает в источники Claude только если её видит поиск, через который Claude ищет, и при этом сайт пускает поискового и пользовательского ботов. Обучающий ClaudeBot на видимость почти не влияет. Сам Claude ищет нечасто: в исследовании State of AEO 2026 поиск включился в 36,6% случаев, в остальных ответах модель отвечает по памяти. Поисковый провайдер Anthropic не называет, но замеры указывают на Brave Search: 87,8% страниц из выдачи Claude были в топ-10 Brave, а в топ-10 Google — только 45,6%. По данным 52 клиентов, сайт с 1-3 местами в Brave Claude цитировал в 92% ответов, а сайт вне топ-20 — лишь в 12%.
Для попадания в ответы Claude достаточно открыть Claude-SearchBot и Claude-User, а ClaudeBot при желании закрыть отдельно. В robots.txt это выглядит как три группы правил: запрет для ClaudeBot и разрешения для двух других. Отдельная оптимизация под Claude не нужна, важнее попасть в индекс Brave и не закрыться по ошибке. Для русскоязычных сайтов картина может отличаться: исследование охватывало в основном западные ресурсы, и доля ответов с поиском на русском неизвестна. Разница с ChatGPT заметна: Claude чаще ссылается на подборки (36,4% против 19,7% у ChatGPT) и почти не берёт форумы (0,9% против 15,8%), общих доменов у двух нейросетей всего 8%.
Пока SEO-индустрия меряется позициями в Google и ответами ChatGPT, Claude уже собрал собственную выдачу на базе Brave, где форумы почти не имеют веса, а подборки — имеют. Тот, кто запретил всех ботов Anthropic из-за страха перед обучением, сам вычеркнул себя из источников Claude — и, скорее всего, даже не заметил, потому что трафик из AI-ответов пока списывают на погрешность.
#Claude #Anthropic #SEO #robots.txt #BraveSearch
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.