Проверить, видят ли вас GPTBot, ClaudeBot и YandexGPT

Самая частая проблема в AIO-аудитах в 2026 году — сервер или WAF блокируют ИИ-ботов, а владелец сайта об этом не знает. robots.txt с Allow: / ничего не исправит — блокировка происходит уровнем ниже. Разберёмся, как проверить ровно за одну команду.

Список UA, которые нужно проверять

По состоянию на апрель 2026 в российском и международном ИИ-поиске участвует около десятка ботов. Вот ключевые — с официальными UA, которые публикуют сами владельцы:

Команда за 30 секунд

Скопируйте в терминал, замените example.ru на ваш домен:

for ua in \
  "Mozilla/5.0 (compatible; GPTBot/1.0; +https://openai.com/gptbot)" \
  "Mozilla/5.0 (compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" \
  "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" \
  "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
  "Mozilla/5.0 (compatible; CCBot/2.0; +https://commoncrawl.org/faq/)"
do
  code=$(curl -A "$ua" -o /dev/null -s -w "%{http_code}" "https://example.ru/")
  name=$(echo "$ua" | grep -oE "(GPTBot|ClaudeBot|PerplexityBot|YandexBot|Googlebot|CCBot)")
  printf "%-14s %s\n" "$name" "$code"
done

На выходе получите таблицу вида:

GPTBot         000
ClaudeBot      000
PerplexityBot  200
YandexBot      200
Googlebot      200
CCBot          200

Это реальный вывод собственного лендинга SERPion утром 23 апреля 2026 — WAF REG.RU выборочно режет именно GPTBot и ClaudeBot.

Что значат коды

Код 000 — самая частая и скрытая проблема

Если curl показывает 000, в verbose-режиме это выглядит так:

$ curl -v -A "Mozilla/5.0 (compatible; GPTBot/1.0; ...)" https://example.ru/
* Connected to example.ru (185.x.x.x) port 443
* ALPN: offers h2,http/1.1
* SSL connection using TLSv1.3
* ALPN: server accepted h2
> GET / HTTP/2
> Host: example.ru
> User-Agent: Mozilla/5.0 (compatible; GPTBot/1.0; ...)
> Accept: */*
<
* Empty reply from server
curl: (52) Empty reply from server

Сервер принимает соединение, получает запрос — и обрывает его до HTTP-ответа. Это не 403 «вежливо нет» — это прямой разрыв. Бот запомнит ваш сайт как недоступный.

Где обычно сидит блокировка

1. Cloudflare → Security → Bots → «Block AI Scrapers». Включается одной галочкой. По состоянию на апрель 2026 — по умолчанию выключен в новых аккаунтах, но «Super Bot Fight Mode» может ловить GPTBot косвенно.
2. REG.RU / Timeweb / Beget→ Anti-bot WAF. Российские shared-хостинги добавили «AI Scraper Protection» в 2025 году. Часто включён по умолчанию. Ищите в личном кабинете «Безопасность»/«Anti-bot».
3. nginx. if ($http_user_agent ~* "GPTBot|ClaudeBot") { return 444; } — проверяйте /etc/nginx/conf.d/*.conf и .htaccess (если Apache).
4. Qrator, Variti, DDoS-Guard. Эти сервисы ставят JS-challenge, который бот не пройдёт — выглядит как 503 или 000 в зависимости от режима.

Что делать, если вы хотите явно запретить

Обратная задача — «не хочу, чтобы мой контент использовали как обучающую выборку». Корректный способ — записи в robots.txt:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Это — вежливый Disallow. Для поисковых ботов OpenAI/Anthropic (ChatGPT-User, OAI-SearchBot, Claude-Web, Perplexity-User) запрет обычно не ставят: они работают в реальном времени на переходе пользователя из чата и не попадают в обучение.

Частые вопросы