🔍
Доступность и индексация
Найдут ли вас поисковики и ИИ-краулеры
- Доступ 9 краулеров: Google, Яндекс, Bing + ИИ. Разделяем ИИ-ботов «поиска» (OAI-SearchBot, PerplexityBot, ChatGPT-User, Claude-SearchBot и YandexAdditional — дают живые цитаты) и «обучения» (GPTBot, Google-Extended, ClaudeBot): не закрыли ли вы случайно поисковых в robots.txt — это лишает сайт ИИ-цитирования
- robots.txt (правила для ботов); llms.txt — по данным 2026 крупные ИИ его не используют, показываем как опциональное, не как фактор
- Контент виден без JS — SSR-gap: что реально видит ИИ-краулер
- sitemap.xml (валидация), canonical, один H1, hreflang, редиректы и дубли
- Реальный граф внутренних ссылок (обход по входящим ссылкам): orphan-страницы без входящих ссылок, глубина клика от главной, битые внутренние ссылки, цепочки редиректов, взаимность hreflang, мусор в sitemap