Техническое SEO
Sitemap для большого сайта
Один файл sitemap работает нормально, пока страниц немного. С ростом контента до тысяч URL структура карты сайта требует отдельного продуманного подхода.
Sitemap.xml часто воспринимают как формальность для галочки: сгенерировали один раз при запуске сайта и забыли. Для небольшого проекта это действительно почти не имеет значения. Но когда контент-план предполагает рост до тысяч статей, карта сайта превращается в рабочий инструмент управления индексацией, а не просто технический файл для поисковых роботов.
Задача sitemap не гарантировать индексацию — поисковая система в любом случае принимает решение сама, — а подсказать, какие страницы существуют, насколько они приоритетны и когда обновлялись в последний раз, чтобы краулер эффективнее распределял ограниченный ресурс сканирования.
Лимиты одного файла sitemap
- Не более 50 000 URL в одном файле sitemap.xml
- Не более 50 мегабайт в несжатом виде на один файл
- При превышении лимита нужно разбивать URL на несколько файлов
- Отдельные файлы объединяются через sitemap index — файл, который перечисляет остальные карты
На практике лимит в 50 000 URL достигается быстрее, чем кажется: у крупного портала услуг с гео-страницами, категориями и активным блогом счёт URL может пойти на десятки тысяч уже в первый год активного роста контента.
Sitemap index: карта карт
Sitemap index — это файл, в котором вместо отдельных URL страниц перечислены ссылки на другие файлы sitemap. Поисковая система обращается к индексному файлу, находит в нём список карт и обходит их по очереди. Такой подход не только решает проблему лимита, но и даёт возможность логично разделить URL по смысловым группам.
- sitemap-services.xml — коммерческие страницы услуг
- sitemap-categories.xml — хабы категорий блога
- sitemap-articles-1.xml, sitemap-articles-2.xml — статьи, разбитые по мере роста числа файлов
- sitemap-pages.xml — статичные страницы: о компании, контакты, политика
lastmod: честность важнее частоты
Тег lastmod должен отражать реальную дату последнего значимого изменения страницы, а не обновляться автоматически при каждой публикации сайта целиком. Если lastmod проставляется на всех страницах одинаковой текущей датой независимо от того, менялся ли контент, поисковая система со временем перестаёт доверять этому сигналу и просто игнорирует его при принятии решений о повторном сканировании.
- Обновлять lastmod только при реальном изменении контента страницы
- Не выставлять текущую дату на весь sitemap при каждой технической пересборке сайта
- Использовать честную дату публикации для страниц, которые не редактировались после выхода
- Синхронизировать lastmod с полем updatedAt в самой статье, если оно есть в структуре контента
Что включать в sitemap, а что нет
В карту сайта имеет смысл включать только те URL, которые вы хотите видеть в индексе и которые отдают полноценный содержательный контент с кодом ответа 200. Служебные, приватные, дублирующиеся и заблокированные через robots.txt или noindex страницы не должны попадать в sitemap — их присутствие там создаёт противоречивые сигналы для поисковой системы.
- Убедиться, что каждый URL в sitemap отдаёт код 200, а не редирект или ошибку
- Исключить страницы с noindex из карты сайта
- Исключить служебные разделы: личный кабинет, поиск по сайту, страницы фильтров
- Проверить, что canonical каждой включённой страницы указывает сама на себя, а не на другой URL
Приоритет и частота обновления: атрибуты, которые почти не работают
Атрибуты priority и changefreq в спецификации sitemap формально существуют, но крупные поисковые системы давно и открыто сообщают, что практически не учитывают их при принятии решений о сканировании. Тратить время на тонкую настройку этих значений для тысяч URL — низкий приоритет по сравнению с корректностью lastmod, отсутствием дублей в карте и логичным разделением файлов по смыслу.
Автоматизация генерации карты сайта
При объёме в сотни и тысячи статей вручную поддерживать sitemap нереально — карта должна генерироваться автоматически на основе реального списка опубликованных страниц в системе управления контентом, обновляясь при каждой публикации, редактировании или снятии материала с публикации. Хорошая практика — генерировать индексный файл и вложенные карты программно прямо из источника данных о статьях, а не вести их отдельным списком, который легко рассинхронизировать с реальным контентом.
- Sitemap собирается автоматически из актуального списка опубликованных URL
- Удалённые или переведённые в noindex страницы автоматически исчезают из карты
- Индексный файл обновляется при добавлении новой вложенной карты по мере роста контента
- Ссылка на sitemap index актуальна в robots.txt и отправлена в Яндекс.Вебмастер
Мониторинг после внедрения
После настройки структуры sitemap работа не заканчивается: стоит периодически сверять в Вебмастере, сколько URL из каждой вложенной карты реально попадает в индекс. Заметное отставание по одной из карт — например, по разделу статей — сигнал, что стоит проверить эту группу страниц отдельно: возможно, там скопились дубли, тонкий контент или технические ошибки, которые снижают доверие к разделу в целом.
FAQ
Что будет, если превысить лимит в 50 000 URL в одном файле?
Формально такой файл может быть отклонён или обработан некорректно, поэтому при приближении к лимиту стоит заранее перейти на структуру с sitemap index и несколькими вложенными файлами, а не дожидаться превышения.
Нужен ли отдельный sitemap для изображений и видео?
Для сайта услуг с текстовым контентом это редко оправдано. Отдельные карты для изображений и видео имеют смысл, если у вас большая медиатека, которая сама по себе является источником трафика — например, крупная фотогалерея или видеоархив.
Как часто нужно пересобирать sitemap на растущем сайте?
Правильная архитектура подразумевает, что карта обновляется автоматически при каждой публикации или изменении статьи, а не по расписанию вручную. Ручная пересборка раз в неделю или реже неизбежно приводит к запаздыванию новых страниц в карте.
Влияет ли наличие sitemap на скорость появления новых страниц в поиске?
Наличие корректного и актуального sitemap помогает поисковому роботу быстрее узнать о новой странице, но не гарантирует немедленную индексацию — решение о включении в индекс поисковая система всё равно принимает на основе качества и уникальности самой страницы.
SEO-продвижение · Создание сайтов · Ещё в разделе «Техническое SEO»