Технический SEO
Проверьте, может ли страница попасть в sitemap.xml: HTTP-статус, редиректы, canonical, meta robots, robots.txt и понятные подсказки по исправлению.
Чаще всего URL исключается из карты сайта из-за закрытия в robots.txt, тега noindex, канонической ссылки на другой адрес, ошибки 404, цепочки редиректов или не HTML-типа ответа. Инструмент помогает быстро увидеть причину и понять, что именно нужно исправить перед генерацией sitemap.xml.
Вопросы и ответы
Короткие ответы о проверке страниц перед добавлением в XML-карту сайта.
Чаще всего мешают noindex, запрет в robots.txt, ошибка 404, редирект на другой адрес или canonical, который указывает на другую страницу.
Нет, в sitemap.xml лучше указывать конечные страницы со статусом 200, а не промежуточные адреса с 301 или 302.
Это разные уровни управления. Robots.txt регулирует обход, а meta robots управляет индексацией конкретной HTML-страницы.
Canonical помогает понять, какая версия страницы считается основной. Если canonical ведет на другой URL, в sitemap.xml обычно добавляют именно канонический адрес.
Да, генератор robots.txt создает базовый файл с Sitemap и нужными Disallow правилами, который можно использовать как основу.
Такая проверка помогает заранее убрать закрытые, битые и неканонические страницы, чтобы sitemap.xml передавал поисковым системам только полезные адреса.