serpion.ru

Лендинг сервиса AIO-аналитики. 3-й аудит за сутки. За ~63 минуты после предыдущего развёрнуты все P2/P3 фиксы прошлого отчёта: CSP Report-Only, og:image + twitter:image, logo.png как ImageObject, секция #case на лендинге, /guides/ с тремя TechArticle-статьями.

Что чинить в первую очередь

• [!!] critical

  GPTBot и ClaudeBot блокируются на уровне сервера

  Третий аудит подряд: UA GPTBot/1.0 и ClaudeBot/1.0 получают HTTP 000 (Empty reply from server / HTTP/2 stream INTERNAL_ERROR) на 3 подряд запросах с паузой. Остальные 6 AI/SEO-ботов проходят с идентичным 72 822 B SSR. robots.txt уже содержит explicit Allow: / для этих ботов — но файл они не видят, WAF обрывает TCP до запроса robots.txt.

  Что сейчас. Тикет в REG.RU поддержку отправлен, ждём ответа. Код сайта со своей стороны ничего сделать не может — нужен доступ в панель хостинга / SSH. Параллельно можно попробовать найти в личном кабинете REG.RU «Безопасность → Anti-bot / AI Scraper Protection» и снять правило самостоятельно (не у всех тарифов настройка доступна пользователю).

  срок: зависит от REG.RU · ожидаемый эффект: +12–15 к общему скору

18 проверок

• ✓HTTPS + HTTP/2nginx, TLS ок
• ✓Единый SSR для всех разрешённых UA72 822 B идентично для browser/Yandex/Google/Perplexity/CCBot/Applebot/ChatGPT-User
• ✓robots.txt — explicit Allow для 20 ботовGooglebot, Google-Extended, YandexBot, GPTBot, ClaudeBot, Perplexity, CCBot, Applebot, Bingbot, и ещё 11
• ✓llms.txt по стандарту llmstxt.org4 391 B, секции Главное / Гайды / FAQ / Услуги / Контакт
• ✓sitemap.xml с 5 URLглавная + /guides/ + 3 статьи, lastmod/changefreq/priority на каждой
• ✓canonical и meta robotscanonical=https://serpion.ru/, robots=index,follow,max-snippet:-1,max-image-preview:large
• ✓Schema.org: 4 JSON-LD блокаOrganization (с ImageObject logo), WebSite, Service + OfferCatalog×3 Offer, FAQPage×7 Q/A
• ✓og:image + twitter:image1200×630 PNG в editorial-стиле, alt-тексты, Organization.image тоже заполнен
• ✓6 из 6 security headersHSTS, nosniff, X-Frame, Referrer-Policy, Permissions-Policy, CSP Report-Only
• ✓Кастомная 404-страницаHTTP 404, 2 221 B в стиле лендинга (было 769 KB REG.RU fallback)
• ✓Семантическая иерархия h1/h2/h31 + 9 + 14 — корректная структура
• ✓FAQ через <details> + FAQPage schema7 Q/A, каждая в Schema.org Question/Answer
• ✓html lang=ruязык корректно задекларирован
• ✓Заполненные og:* и meta descriptionog:title, og:description, og:image, og:locale
• ✓Текстовая плотность лендинга~1 280 слов, плюс ~3 500 слов в /guides/
• ✓/guides/ — 3 TechArticlellms-txt, ai-bot-access, schema-for-aio; у каждой TechArticle + BreadcrumbList + FAQPage JSON-LD
• △CSP в Report-Only, не enforcingправильный старт; через неделю наблюдения переводить в enforcing
• ✗GPTBot / ClaudeBot блокируются3/3 попыток: HTTP 000, Empty reply / stream reset

5 ключевых страниц

Лендинг и гайды используют одинаковую типографику и одинаковую навигацию. Каждая статья в /guides/ содержит три JSON-LD блока (TechArticle, BreadcrumbList, FAQPage) и cross-link на две другие. CTA в «Получить первичную оценку» идёт в одну и ту же форму на главной.

Кто может читать ваш сайт

«Blocked» = WAF-уровень, TCP-разрыв до HTTP-ответа. Повторили 3 раза с паузой — стабильно. robots.txt явно разрешает этих ботов (User-agent: GPTBot, Allow: /), но они до него не доходят. ChatGPT-User (который ходит в реальном времени при переходе из чата) и Perplexity-User — проходят нормально.

Что находят поисковые и ИИ-боты

Homepage — 4 JSON-LD блока. Каждая из 3 статей в /guides/ — ещё по 3 блока (TechArticle, BreadcrumbList, FAQPage). Всего по сайту 13 JSON-LD блоков.

• Organization
  3
• ImageObject (logo)
  1
• WebSite
  1
• Service + OfferCatalog
  1
• Offer
  3
• FAQPage
  4
• Question + Answer
  7+
• TechArticle (guides)
  3
• BreadcrumbList
  4
• CollectionPage (hub)
  1
• ContactPoint
  1

Сервер, рендер, индексация

Хорошая база для AIO

• 6/6 security headers, включая CSP Report-Only (свежий деплой).
• og:image + twitter:image 1200×630 в editorial-стиле лендинга, с alt-текстами.
• Organization.logo теперь ImageObject с width/height, добавлено отдельное image для og-image.
• /guides/ — 3 полноценные TechArticle с BreadcrumbList и FAQPage, cross-links, CTA.
• sitemap.xml с 5 URL вместо 1; llms.txt расширен секцией «Гайды».
• #case на лендинге — собственная дегустация с конкретными цифрами 46→72 и двумя таймстампами.
• robots.txt с 20 explicit Allow для всех значимых AI/SEO-ботов.
• Единый SSR 72 822 B для всех разрешённых UA — никакого cloaking.
• HTML-структура: 1 h1 / 9 h2 / 14 h3, 10 section, 3 article.
• Кастомная 404 в стиле сайта — 2.2 KB вместо 769 KB fallback хостера.

Что мы НЕ можем сейчас измерить

Не продаём магию. Всё, что перечислено ниже, требует публичного API у ИИ-поисковиков (которого нет) или данных, к которым у нас пока нет доступа.

• Фактические цитирования в Яндекс.Нейро / GigaChat / YandexGPT — публичного API нет. Косвенно можно наблюдать через выборочные запросы.
• Core Web Vitals (CrUX) — PSI_API_KEY не задан в окружении аудита.
• Источник блокировки GPTBot/ClaudeBot — REG.RU WAF vs nginx vs Cloudflare — снаружи неразличимо. Нужен доступ в панель хостинга.
• Реальное чтение /guides/ ИИ-поисковиками — заявили в sitemap 10:18 UTC. Индексация в Перплексити и Яндекс.Нейро — от дней до недель.

Как это считалось