Анализ файла Sitemap позволяет вовремя обнаружить ошибки в карте сайта, которые мешают корректной индексации интернет-проекта. Самые распространённые примеры таких ошибок мы рассмотрим чуть далее. Однако сначала немного проясним что из себя представляет данный документ и как его можно создать.
Sitemap — это текстовый документ в формате xml или txt. В нём указан список ссылок на все разделы, подразделы и страницы ресурса, продвигаемые в поисковых системах.
Периодически поисковый робот обращается к файлу Sitemap и проводит анализ его содержимого на наличие новых ссылок. Благодаря этому поисковые системы почти сразу видят изменения на сайте и быстрее индексируют новую информацию. Это, в свою очередь, напрямую влияет на скорость появления таких страниц в поиске и их продвижение в интернете.
К слову, на некоторых ресурсах может быть сразу две карты сайта: для роботов и пользователей. Они имеют одинаковое содержание. Отличие только в том, что для посетителей файл создаётся в формате html и помогает им лучше ориентироваться в структуре проекта.
Для создания карты сайта можно использовать любой текстовый редактор. Описание ссылок на страницы ресурса передают в документе с помощью специальных XML-тегов.
Однако ручное создание такого документа требует слишком большого количества времени. Поэтому специалисты обычно пользуются автоматическими генераторами, которые сканируют ресурс и последовательно добавляют в документ все ссылки. Особенно этот способ удобен, если у вас большой проект с кучей страниц.
После создания документа его необходимо загрузить на сервер. Расположение карты сайта может быть только в корневой директории ресурса.
Чтобы поисковик увидел Sitemap, необходимо указать соответствующую директиву в документе роботс (robots.txt). Ускорить процесс можно, загрузив документ в панели вебмастера.
Самостоятельно проверить корректность составления карты сайта можно с помощью встроенного инструмента Яндекса по ссылке: https://webmaster.yandex.ru/tools/sitemap/.
Аналогичный инструмент есть также у Гугл в Search Console.
В карте сайта не должно быть битых ссылок. Если какая-либо страница при обращении робота возвращает 404-ошибку, она не будет проиндексирована и не попадёт в учёт поисковой системы.
Если ссылки будут выполнять слишком много перенаправлений (редиректов), поисковые роботы не смогут их открыть. Проблема может возникнуть в следующих случаях:
Если в карте сайта содержатся ссылки на домен более высокого уровня или на другой домен, поисковый робот не сможет их обработать. Например, если документ находится на странице http://www.ucoz.com/vash_sait/sitemap.xml, для него недействительны следующие ссылки:
Очень часто при техническом анализе файлов Sitemap мы наблюдаем такую ошибку:
Сайт расположен на домене http://www.sait.ru/. При этом в карте сайта ссылки на страницы имеют следующий вид:
Самое сложное в процессе анализа файла Sitemap — проверить правильность применение кодировки, а также тегов и их параметров. Например, причиной ошибки может стать неправильная кодировка (должна быть UTF-8), двукратное повторение xml-тега loc, и т.д. С этой проблемой лучше обратиться к специалисту.
Согласно требованиям поисковых систем размер карты сайта не должен весить больше 10 мегабайт. Аналогично в документе не должно быть более 50 000 ссылок. Если в процессе анализа вы обнаружили, что одно из этих значений превышено, разделите Sitemap на несколько файлов. Названия таким документам можно давать произвольные. Только не забудьте указать ссылки на них в robots.txt.
Даты в документе должны соответствовать кодировке W3C (например, 2019-02-25). Время указывать не обязательно.
В ссылках нельзя использовать пробелы, кавычки, знаки «& ‘ » < >» и т. д. Чтобы робот при обращении к документу мог корректно прочитать ссылку, которая содержит такие символы, используйте правила экранирования.
Если при очередном анализе проекта поисковый робот не обнаружит карту ресурса, в Яндекс.Вебмастере (Yandex.Webmaster) и Google Search Console появится соответствующее уведомление.
Такая проблема может появиться, если в robots.txt отсутствует соответствующая строка со ссылкой на карту сайта или применяется запрещающая директива disallow. Подробнее об этом мы рассказывали в статье «Нет используемых роботом файлов Sitemap«.
Чтобы устранить данную проблему необходимо разрешить индексирование страниц в документе robotx.txt.
Поисковые роботы регулярно проводят анализ файла Sitemap на обновления и ошибки. Если вы хотите ускорить этот процесс, можно сообщить роботу об изменениях вручную через панель вебмастера.
Однако имейте в виду, что в Яндекс.Вебмастере использовать данную функцию можно до 10 раз для одного хоста. Если вы воспользуетесь всеми попыткам, следующая возможность уведомить робота об обновлении появится только через 30 дней.
