---
title: Sitemap и robots.txt: настройка для индексации
slug: sitemap-robots
description: Sitemap.xml и robots.txt: создание, настройка, ошибки и влияние на индексацию. Как правильно настроить файлы для поисковиков.
keywords: [sitemap xml, robots.txt, настройка индексации, sitemap, файл robots]
h1: Sitemap и robots.txt: настройка для индексации
category: SEO и контент
tags: [sitemap, robots, индексация, техническое seo]
date: 2026-08-20
image: /images/articles/sitemap-robots.webp
image_alt: Sitemap и robots.txt — настройка для индексации
reading_time: ~8 мин
author: Refertur
canonical: https://ai-courses.refertur.net/articles/sitemap-robots/
faq:
  - q: Зачем нужен sitemap.xml?
    a: Sitemap.xml — это карта сайта для поисковиков: список всех важных страниц с приоритетами и датами обновления. Он ускоряет индексацию новых страниц и помогает поисковикам находить контент, до которого не доходят ссылки.
  - q: Что такое robots.txt?
    a: robots.txt — текстовый файл, который указывает краулерам, какие разделы сайта можно сканировать, а какие нет. Он защищает служебные страницы от индексации и управляет краулинговым бюджетом.
  - q: Как создать sitemap.xml?
    a: Соберите список индексируемых страниц (без служебных), сгенерируйте XML-файл (вручную или через CMS/скрипт), добавьте ссылку на него в robots.txt и отправьте в Яндекс.Вебмастер и Google Search Console. Проверяйте после изменений структуры.
  - q: Какие ошибки встречаются в robots.txt?
    a: Частые ошибки: запрет нужных разделов (Disallow: /), конфликт правил, синтаксические ошибки, блокировка CSS/JS (мешает рендерингу), указание sitemap несуществующего. Проверяйте через инструменты вебмастеров.
  - q: Как проверить индексацию сайта?
    a: Используйте: Яндекс.Вебмастер (раздел «Индексирование»), Google Search Console (URL-инспектор), оператор site:site.ru в поиске. Сверяйте количество страниц в индексе с количеством в sitemap и исправляйте расхождения.
jsonld: {}
---

# Sitemap и robots.txt: настройка для индексации

Sitemap.xml и robots.txt — два файла, которые управляют тем, как поисковики видят ваш сайт. Правильная настройка ускоряет индексацию и экономит краулинговый бюджет. Разберём оба файла.

## Роль файлов

| Файл | Что делает |
|---|---|
| robots.txt | Разрешает/запрещает сканирование |
| sitemap.xml | Список страниц для индексации |

## robots.txt: базовый пример

```
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /search/

Sitemap: https://site.ru/sitemap.xml
```

| Директива | Назначение |
|---|---|
| User-agent | Для кого правило (* — все) |
| Allow | Разрешить раздел |
| Disallow | Запретить раздел |
| Sitemap | Указать карту сайта |

## Ошибки robots.txt

### Правила для ИИ-краулеров

Отдельные правила для нейросетей: GPTBot, ClaudeBot, PerplexityBot, Google-Extended. Решите, разрешаете ли обучение на вашем контенте:

```
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Allow: /
```

Если контент важен для нейропоиска — разрешайте краулерам доступ к страницам статей.

| Ошибка | Последствие | Решение |
|---|---|---|
| Disallow: / | Блок всего сайта | Проверьте правило |
| Блок CSS/JS | Плохой рендеринг | Разрешить статику |
| Синтаксис | Игнор правил | Проверка вебмастером |
| Устаревшие правила | Ненужные запреты | Аудит правил |

## sitemap.xml: формат

```xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://site.ru/</loc>
    <lastmod>2026-08-20</lastmod>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://site.ru/articles/</loc>
    <lastmod>2026-08-20</lastmod>
    <priority>0.9</priority>
  </url>
</urlset>
```

## Что включать в sitemap

| Включать | Не включать |
|---|---|
| Главная, категории | Служебные (admin, cart) |
| Статьи и страницы | Дубли и параметры |
| Товары | Страницы поиска |
| Курсы | Черновики |
| Калькуляторы | Заблокированные в robots |

## Правила sitemap

### Автоматическая генерация

Для статических сайтов генерируйте sitemap скриптом при сборке; для CMS используйте плагины (Yoast, Rank Math, XML Sitemaps). Важно: дата lastmod должна обновляться при изменении страницы — поисковики быстрее переобходят изменённое.

| Правило | Детали |
|---|---|
| Максимум URL | 50 000 на файл |
| Размер файла | До 50 МБ |
| Формат | Только индексируемые страницы |
| lastmod | Актуальные даты обновления |
| Разделение | Несколько файлов + индекс |

## Настройка: пошагово

1. Соберите список индексируемых страниц
2. Сгенерируйте sitemap (скрипт/CMS-плагин)
3. Добавьте ссылку на sitemap в robots.txt
4. Отправьте в Вебмастер и Search Console
5. Проверьте индексацию через site:
6. Обновляйте при изменении структуры

## Sitemap для статей и блога

Для блога используйте раздельные файлы:

```
sitemap-pages.xml
sitemap-posts.xml
sitemap-products.xml
sitemap-index.xml (указывает на все)
```

## Проверка индексации

| Инструмент | Как |
|---|---|
| Яндекс.Вебмастер | Раздел «Индексирование» |
| Google Search Console | URL-инспектор |
| site:site.ru | Быстрая проверка |
| Сверка sitemap | Расхождение с индексом |

## Частые сценарии

| Сценарий | Решение |
|---|---|
| Страницы не индексируются | Проверка robots и sitemap |
| Мусор в индексе | Disallow + noindex |
| Дубли страниц | Canonical + 301 |
| Медленная индексация | Sitemap + внутренние ссылки |

## Что дальше

- [Техническое SEO](/articles/tehnicheskoe-seo/)
- [llms.txt](/articles/llms-txt/)
- [SEO для сайта](/articles/seo-dlya-sajta/)
- [Документация OpenChamber (рус.)](/docs/overview/)

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@graph": [
    {
      "@type": "Article",
      "headline": "Sitemap и robots.txt: настройка для индексации",
      "description": "Sitemap.xml и robots.txt: создание, настройка, ошибки и влияние на индексацию. Как правильно настроить файлы для поисковиков.",
      "datePublished": "2026-08-20",
      "image": "/images/articles/sitemap-robots.webp",
      "author": {
        "@type": "Organization",
        "name": "Refertur",
        "url": "https://refertur.net",
        "email": "refertur@yandex.ru",
        "sameAs": [
          "https://t.me/realhikaz",
          "https://wa.me/+77054384888"
        ]
      },
      "publisher": {
        "@type": "Organization",
        "name": "Refertur",
        "url": "https://refertur.net",
        "email": "refertur@yandex.ru",
        "sameAs": [
          "https://t.me/realhikaz",
          "https://wa.me/+77054384888"
        ]
      },
      "mainEntityOfPage": "https://ai-courses.refertur.net/articles/sitemap-robots/"
    },
    {
      "@type": "FAQPage",
      "mainEntity": [
        {
          "@type": "Question",
          "name": "Зачем нужен sitemap.xml?",
          "acceptedAnswer": {
            "@type": "Answer",
            "text": "Sitemap.xml — это карта сайта для поисковиков: список всех важных страниц с приоритетами и датами обновления. Он ускоряет индексацию новых страниц и помогает поисковикам находить контент, до которого не доходят ссылки."
          }
        },
        {
          "@type": "Question",
          "name": "Что такое robots.txt?",
          "acceptedAnswer": {
            "@type": "Answer",
            "text": "robots.txt — текстовый файл, который указывает краулерам, какие разделы сайта можно сканировать, а какие нет. Он защищает служебные страницы от индексации и управляет краулинговым бюджетом."
          }
        },
        {
          "@type": "Question",
          "name": "Как создать sitemap.xml?",
          "acceptedAnswer": {
            "@type": "Answer",
            "text": "Соберите список индексируемых страниц (без служебных), сгенерируйте XML-файл (вручную или через CMS/скрипт), добавьте ссылку на него в robots.txt и отправьте в Яндекс.Вебмастер и Google Search Console. Проверяйте после изменений структуры."
          }
        },
        {
          "@type": "Question",
          "name": "Какие ошибки встречаются в robots.txt?",
          "acceptedAnswer": {
            "@type": "Answer",
            "text": "Частые ошибки: запрет нужных разделов (Disallow: /), конфликт правил, синтаксические ошибки, блокировка CSS/JS (мешает рендерингу), указание sitemap несуществующего. Проверяйте через инструменты вебмастеров."
          }
        },
        {
          "@type": "Question",
          "name": "Как проверить индексацию сайта?",
          "acceptedAnswer": {
            "@type": "Answer",
            "text": "Используйте: Яндекс.Вебмастер (раздел «Индексирование»), Google Search Console (URL-инспектор), оператор site:site.ru в поиске. Сверяйте количество страниц в индексе с количеством в sitemap и исправляйте расхождения."
          }
        }
      ]
    },
    {
      "@type": "BreadcrumbList",
      "itemListElement": [
        {
          "@type": "ListItem",
          "position": 1,
          "name": "Главная",
          "item": "https://ai-courses.refertur.net/"
        },
        {
          "@type": "ListItem",
          "position": 2,
          "name": "Статьи",
          "item": "https://ai-courses.refertur.net/articles/"
        },
        {
          "@type": "ListItem",
          "position": 3,
          "name": "Sitemap и robots.txt: настройка для индексации",
          "item": "https://ai-courses.refertur.net/articles/sitemap-robots/"
        }
      ]
    }
  ]
}
</script>

#### Следующие шаги

## Часто задаваемые вопросы

- Зачем sitemap.xml? — Карта сайта для ускорения индексации.
- Что такое robots.txt? — Правила сканирования для краулеров.
- Как создать sitemap? — Список страниц → XML → отправка в вебмастеры.
- Какие ошибки robots? — Полный запрет, блок статики, синтаксис.
- Как проверить индексацию? — Вебмастер, Search Console, site:.

## Заключение

Sitemap и robots.txt — фундамент технического SEO: правильные файлы ускоряют индексацию и защищают от мусора. Настройте их один раз и проверяйте после изменений. Настроим индексацию вашего сайта.

---

*Отчёт создан: refertur@yandex.ru · [refertur.net](https://refertur.net) · [t.me/realhikaz](https://t.me/realhikaz) · [WhatsApp](https://wa.me/+77054384888)*
*SEO, продвижение, разработка, сайты, веб-приложения, сервисы, калькуляторы, контент-маркетинг, каталоги, отчёты, аудиты — на заказ. Напишите нам в [WhatsApp](https://wa.me/+77054384888?text=%D0%97%D0%B4%D1%80%D0%B0%D0%B2%D1%81%D1%82%D0%B2%D1%83%D0%B9%D1%82%D0%B5%2C%20%D1%85%D0%BE%D1%87%D1%83%20%D0%B7%D0%B0%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D1%8C%20%D1%81%D0%B5%D0%BE) — ответим в течение часа.*