Карта сайта sitemap.xml: что это и как сделать?

Зачем нужна карта сайта?

Всё до боли просто: под этой самой картой обычно понимают файл с именем sitemap.xml. Он необходим любому web-проекту в первую очередь для того, чтобы его страницы быстрее индексировались поисковыми системами. Достигается эта цель за счёт того, что любой поисковик при анализе какого-либо сайта пытается найти изменившиеся и новые страницы. При этом поисковики в целях экономии своих вычислительных ресурсов и канала совершают лишь частичный обход ресурса, оставляя множество страниц, которые должно бы проиндексировать или обновить, без внимания. А если мы ещё и обновляем информацию на своём детище нечасто, то поисковый робот и заходит-то к нам редко (может до 1 раза в месяц дойти). Вот такие вот печальные дела. Но не всё так плохо!

При каждом своём посещении web-ресурса робот смотрит в его корень на предмет наличия там заветного файла sitemap.xml. И если он там есть, то он его считывает и берёт увиденное во внимание. А что же он там видит?

Из чего состоит карта сайта sitemap.xml:
Для каждой страницы создаётся блок, состоящий из вот таких вот параметров:

1. Адрес страницы (в виде: <loc>адрес</loc>).
   С этим всё понятно. Если робот обнаружит новые записи (которых доселе не было в индексе поисковика), то пройдётся по ним.
2. Дату последнего изменения (<lastmod>дата</lastmod>).
   Тоже самое: робот сравнивает дату занесения страницы в свой индекс с этой самой датой lastmod.
3. Приоритет (<priority>число от 0.0 до 1.0</priority>).
   Некий показатель важности (значимости) данного URL-а, который является неким вашим пожеланием для поисковика при ранжировании.
4. Частоту изменений (обновлений) страницы (<changefreq>частота</changefreq>).
   Частота может быть такой: always (ежесекундно :)), hourly (1 раз в час), daily (ясно :)), weekly, monthly, yearly, never. С английским, надеюсь, у всех чуть выше уровня beginner, потому пояснять не буду. Если же нет, бегите срочно изучайте. :)
   Смысл данного параметра также очевиден: от него зависит частота заходов робота именно на этот адрес.

В итоге, нужный нам файл состоит из списка блоков с 4-мя вышеуказанными параметрами. Каждый блок - описание отдельной страницы. Этим простеньким и маленьким файликом вы можете показать роботу, куда надо заглянуть и что у себя в индексе обновить. А заодно дать рекомендации (важно: он не обязан следовать параметрам 3 и 4!) по значимости той или иной странице и рекомендации на будущее по частоте заходов. :) Полезно, удобно и реально ускоряет индексирование.

Кто-то скажет: "а зачем мне так торопиться, я могу и подождать денёк-другой-третий"! Да, это верно, но учтите, за этот самый денёк, другой, третий к вам на сайт может зайти недобросовестный конкурент и обнаружив новый материал, бесхитростно скопировать его на свой ресурс, тут же указав роботу на необходимость его индексации в сегодняшний день! Таким образом, не стремясь к скорому индексированию нового контента, вы можете не только остаться ни с чем, но и попасть под фильтр поисковой системы!

HTML-карты

Под ними также подразумевается список всех материалов, размещённых на вашем ресурсе, только уже не в виде текстового xml-документа, а в виде отдельной красивой и удобной web-страницы, ссылка на которую должна быть где-нибудь вроде главного меню сайта. Зачем это надо, думаю, понять нетрудно: такая карта сайта представляет собой структурированное содержание всего зачастую очень большого ресурса и сильно повышает удобство посетителей (что в итоге сказывается на их возвращаемости, конверсии и поведенческих факторах ;)). Но это ещё не всё!

HTML-карта, как sitemap.xml, тоже ускоряет индексацию страниц поисковыми роботами! Происходит это в силу высокого веса и частой обновляемости всех пунктов главного меню, в т.ч. и того, о котором мы сейчас говорим. Поисковики заходят в первую очередь на главную страницу, а во вторую - идут по ссылкам из меню. И уже после них идут по ссылкам, имеющимся на этих самых просмотренных страницах (главная и меню). 

Живой и качественно сделанный пример HTML-карты можете посмотреть на моём блоге. :) В соответствующем пункте меню (вверху).

Кстати, по поводу повышения конверсии и почитайте мои статьи здесь и тут.

Как сделать карту сайта sitemap.xml?

Первый и очевидный способ - создать вручную! Неплохая идея, ведь структура там очень простая. Вот пример карты сайта вашего покорного слуги (отрывок из начала):

Суть, думаю, ясна без лишних пояснений (с учётом описания параметров в предыдущем разделе). То, что написано в самом начале после <uralset пугать не должно: это просто стандартная фраза, которая есть у всех.

Стоит учесть, что у файла sitemap.xml, воспринимаемого поисковыми системами, есть ограничение в 50 000 ссылок. Кроме того, общий вес xml-ки не должен превышать 10 Мб. Маловероятно, что вы выйдите за эти ограничения, если только вы не владелец Microsoft или Google. :) А если владелец, то и сами знаете, как решить эту проблему. :) Однако всё же скажу: если ваш ненасытный web-ресурс требует большего, можете создать несколько сайтмапов, разделив их по определённым направлениям: статьи, комментарии, новости и так далее.

Что-то я отвлёкся. Мы сейчас обсуждаем методы создания карт. Итак, помимо ручного способа (который по понятным причинам не всегда нам подходит), есть ещё автоматические способы генерации sitemap-ов. Тут есть два варианта:

1. Воспользоваться услугами внешнего online-ресурса по генерации карт.
   К примеру, я использую http://www.xml-sitemaps.com/ - вводите URL сайта, жмёте Start и ждёте ссылку на скачивание xml-ки. Удобный и простой ресурс, однако имеет ограничение на бесплатное использование: максимум 500 страниц. Ещё есть русскоязычная и более продвинутая версия: http://www.mysitemapgenerator.com/start/free.html - больше параметров для настроек (к примеру, можно учитывать теги noindex и nofollow и не включать страницы, где онные присутствуют или на которые они ведут, учёт ограничений в robots.txt и т.д.). Если ваш ресурс содержит больше 500 страниц, то уж придётся за это дело раскошелиться - ничего не поделаешь.. 
   Кстати, эти проекты могут автоматически рассчитывать priority по принципу удалённости заданной страницы от главной (по длине цепочки ссылок).
   Чтобы экономить средства можете первоначально воспользоваться услугами этих самых генераторов, а далее - если обновления происходят не так часто и в основном вами, - то с публикацией нового материала добавляете к существующей карте ещё один блок. Сил много не требует и при этом эффективно.
   Интерфейс xml-sitemaps.com:
   
2. Использовать плагины / дополнения внутри вашей CMS.
   Оказывается, это дело можно автоматизировать. Для WordPress - с помощью плагина Google XML Sitemaps. В нём вам надо лишь указать примерную частоту обновления вашего ресурса, после чего забыть об этих sitemap.xml почти навсегда. Кроме того, при добавлении новых материалов, данный плагин сообщает об этом многим поисковым системам, тем самым ещё сильнее ускоряя процесс индексации страниц. В настройках плагина можно самостоятельно указать путь к файлу формата xml, а также указать приоритетные материалы. 
   Для Joomla карта создаётся при помощи популярного компонента Xmap. Этот плагин можно установить в Joomla, зайдя в раздел "Расширения". После чего в разделе "Компоненты" находим плагин Xmap и нажимаем кнопку Add menus, указываем всё, что должно входить в вашу карту сайта, сохраняем и радуемся жизни. :) Конечно, можно ещё настроить адрес sitemap.xml и некоторые другие полезные мелочи (в "Options" -> "Preferences"). 

Заключение

Что можно сказать, подводя итоги? Итак:

1. Карта сайта (как sitemap.xml, так и html) реально увеличивает скорость индексирования ваших страниц и сильно снижает риски воровства контента!
2. Сделать её можно легко, быстро и непринуждённо (потратив на это максимум 5 минут).
3. HTML-версия реально улучшит ваши поведенческие факторы и поспособствует повышению веса (ибо это тоже элемент внутренней перелинковки).

Надеюсь, дорогие читатели, мне удалось убедить вас в необходимости создания карты сайта. Успехов вам в начинаниях! :)

Небольшая порция полезного юмора:

С уважением, А.С.