Sitemap и robots.txt: настройка для индексации

Sitemap.xml и robots.txt — два файла, которые управляют тем, как поисковики видят ваш сайт. Правильная настройка ускоряет индексацию и экономит краулинговый бюджет. Разберём оба файла.

Роль файлов

Файл	Что делает
robots.txt	Разрешает/запрещает сканирование
sitemap.xml	Список страниц для индексации

robots.txt: базовый пример

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /search/

Sitemap: https://site.ru/sitemap.xml

Директива	Назначение
User-agent	Для кого правило (* — все)
Allow	Разрешить раздел
Disallow	Запретить раздел
Sitemap	Указать карту сайта

Ошибки robots.txt

Правила для ИИ-краулеров

Отдельные правила для нейросетей: GPTBot, ClaudeBot, PerplexityBot, Google-Extended. Решите, разрешаете ли обучение на вашем контенте:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Allow: /

Если контент важен для нейропоиска — разрешайте краулерам доступ к страницам статей.

Ошибка	Последствие	Решение
Disallow: /	Блок всего сайта	Проверьте правило
Блок CSS/JS	Плохой рендеринг	Разрешить статику
Синтаксис	Игнор правил	Проверка вебмастером
Устаревшие правила	Ненужные запреты	Аудит правил

sitemap.xml: формат

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://site.ru/</loc>
    <lastmod>2026-08-20</lastmod>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://site.ru/articles/</loc>
    <lastmod>2026-08-20</lastmod>
    <priority>0.9</priority>
  </url>
</urlset>

Что включать в sitemap

Включать	Не включать
Главная, категории	Служебные (admin, cart)
Статьи и страницы	Дубли и параметры
Товары	Страницы поиска
Курсы	Черновики
Калькуляторы	Заблокированные в robots

Правила sitemap

Автоматическая генерация

Для статических сайтов генерируйте sitemap скриптом при сборке; для CMS используйте плагины (Yoast, Rank Math, XML Sitemaps). Важно: дата lastmod должна обновляться при изменении страницы — поисковики быстрее переобходят изменённое.

Правило	Детали
Максимум URL	50 000 на файл
Размер файла	До 50 МБ
Формат	Только индексируемые страницы
lastmod	Актуальные даты обновления
Разделение	Несколько файлов + индекс

Настройка: пошагово

1. Соберите список индексируемых страниц

2. Сгенерируйте sitemap (скрипт/CMS-плагин)

3. Добавьте ссылку на sitemap в robots.txt

4. Отправьте в Вебмастер и Search Console

5. Проверьте индексацию через site:

6. Обновляйте при изменении структуры

Sitemap для статей и блога

Для блога используйте раздельные файлы:

sitemap-pages.xml
sitemap-posts.xml
sitemap-products.xml
sitemap-index.xml (указывает на все)

Проверка индексации

Инструмент	Как
Яндекс.Вебмастер	Раздел «Индексирование»
Google Search Console	URL-инспектор
site:site.ru	Быстрая проверка
Сверка sitemap	Расхождение с индексом

Частые сценарии

Сценарий	Решение
Страницы не индексируются	Проверка robots и sitemap
Мусор в индексе	Disallow + noindex
Дубли страниц	Canonical + 301
Медленная индексация	Sitemap + внутренние ссылки

Что дальше

[Техническое SEO](/articles/tehnicheskoe-seo/)

[llms.txt](/articles/llms-txt/)

[SEO для сайта](/articles/seo-dlya-sajta/)

[Документация OpenChamber (рус.)](/docs/overview/)

Следующие шаги

Часто задаваемые вопросы

Зачем sitemap.xml? — Карта сайта для ускорения индексации.

Что такое robots.txt? — Правила сканирования для краулеров.

Как создать sitemap? — Список страниц → XML → отправка в вебмастеры.

Какие ошибки robots? — Полный запрет, блок статики, синтаксис.

Как проверить индексацию? — Вебмастер, Search Console, site:.

Заключение

Sitemap и robots.txt — фундамент технического SEO: правильные файлы ускоряют индексацию и защищают от мусора. Настройте их один раз и проверяйте после изменений. Настроим индексацию вашего сайта.

---

*Отчёт создан: [email protected] · [refertur.net](https://refertur.net) · [t.me/realhikaz](https://t.me/realhikaz) · [WhatsApp](https://wa.me/+77054384888)*

*SEO, продвижение, разработка, сайты, веб-приложения, сервисы, калькуляторы, контент-маркетинг, каталоги, отчёты, аудиты — на заказ. Напишите нам в [WhatsApp](https://wa.me/+77054384888?text=%D0%97%D0%B4%D1%80%D0%B0%D0%B2%D1%81%D1%82%D0%B2%D1%83%D0%B9%D1%82%D0%B5%2C%20%D1%85%D0%BE%D1%87%D1%83%20%D0%B7%D0%B0%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D1%8C%20%D1%81%D0%B5%D0%BE) — ответим в течение часа.*