Що таке мапа сайту (файл Sitemap)?

XML-мапа — перелік сторінок сайту в форматі XML, доступних для сканування пошуковим роботам. Слід відрізняти XML-мапу від звичайної мапи сайту HTML.

XML-мапа сайту дозволяє:

• визначити місцеперебування сторінок сайту;
• вказати час останнього оновлення сторінок;
• визначити частоту (періодичність) поновлення і важливість щодо інших сторінок сайту;
• визначити пріоритет сторінок в структурі.

Визначити правильні установки мапи дозволяє підвищити індексацію сторінок веб-сайту.

У чому різниця між Sitemap.html і Sitemap.xml

Карта сайту HTML-сторінка sitemap.html з функцією спрощення навігації — вона дозволяє знайти будь-яку сторінку на великому сайті та скоротити кількість переходів під час її пошуку.

Карта сайту XML-файл з докладним переліком сторінок веб-сайту для пошукової системи.

Що таке html мапа сайту?

Мапа сайту HTML — це статична HTML-сторінка з посиланнями на всі основні сторінки сайту. Такий формат мапи більше орієнтований на відвідувачів сайту і дозволяє перейти на будь-яку сторінку в 1 клік.

Sitemap.html, в більшості випадків, представляє структуру дерева з розгорнутими розділами.

Найчастіше посилання на html-мапу сайту розташоване у футері:

Якщо у сайту дуже складна структура, то HTML-мапа може складатися зі сторінок з додатковим рівнем вкладеності.

Приклад — мапа сайту TripAdvisor.

Що таке sitemap.xml?

Це файл xml-формату в кореневій папці сайту, який читається всіма існуючими пошуковими системами. Основна роль sitemap.xml — вказати пошуковим системам:

• всі сторінки, які необхідно проіндексувати;
• коли сторінки з’явилися або оновилися;
• як часто перевіряти сторінки на оновлення.

Як виглядає sitemap.xml?

Приклад файлу — https://inweb.ua/sitemap.xml. Один файл sitemap.xml може містити не більше 50 000 посилань. Якщо їх понад 50 000, необхідно створити кілька таких файлів. Розширені можливості пошуку — можливість вказати частоту оновлення сторінок і пріоритет індексації. Коректне кодування файлу sitemap.xml повинна бути UTF-8, а розмір не більше 10 Мб.

Приклад мапи сайту в форматі .xml:

Структура sitemap.xml

Оголошення XML

У цьому рядку ми повідомляємо пошуковій системі, що вона має справу з XML-файлом. Тут же вказується версія XML і кодування, яка використовується (обов’язково використовувати UTF-8).

URL set

urlset — місце зберігання всіх URL-адрес мапи сайту. У цьому рядку краулер повідомляє стандарт протоколу, який використовується. Більшість мап вказують стандарт Sitemap 0.9.

URL

url — батьківський тег для кожної URL-адреси. Необхідно вказати URL-адресу у вкладеному тезі loc.

У тезі url можна вказати додаткові теги:

• lastmod — вказує дату внесення останніх змін. Формат дати повинен бути W3C Datetime . Наприклад, якщо сторінка оновлена 17 жовтня 2020 року, в атрибуті необхідно вказати значення 2020-10-17. Додатково також можна вказати час.
• priority — вказує пріоритет URL-адреси щодо всіх інших. Діапазон значень від 0.0 до 1.0. Чим більше значення, тим вище пріоритет.
• changefreq — вказує частоту змін сторінки. Мета даного властивості — повідомити пошуковій системі про те, як часто їм може знадобитися повторно сканувати URL-адреси. Допускаються значення: never (ніколи), always (завжди), hourly (щогодини), daily (щодня), weekly (щотижня), monthly (щомісяця) і yearly (щорічно).

Додаткові теги не особливо важливі для SEO. Гері Ілш з Google стверджує , що значення тега lastmod ігнорують, так як в більшості випадків« вебмайстри абсолютно не намагаються стежити за його точністю ».

Тег priority в Google, за їхніми словами, ігнорується, тому що це просто «зайвий шум».

Щодо тега changefreq Джон Мюллер говорить: «Пріоритет і зміна частоти насправді більше не грають такої великої ролі, коли мова йде про мапу сайту».

Обов’язкові теги

Необов’язкові теги

Навіщо вам потрібна мапа сайту?

Пошукова система виявляє новий контент, скануючи веб-сторінки. Коли пошуковик сканує сторінку, то враховують і внутрішні, і зовнішні посилання на неї. Якщо виявлена URL-адреса не міститься в індексі, пошуковик, якщо йому потрібно, може спарсити і проіндексувати контент. Але таким чином Google не зможе знайти весь контент: якщо на сторінку не посилається жодна,з вже відомих йому, сторінок, він її навряд чи виявить. Ось тут і вступає в гру мапа сайту. Мапа сайту повідомляє Google (і іншим пошуковикам), де знайти найбільш важливі сторінки для сканування та індексування.

Чи потрібен мені файл Sitemap?

Якщо на сайті коректно вказані посилання на необхідні сторінки, роботи пошукових систем зможуть виявити більшу частину з них. За допомогою файлу Sitemap можна оптимізувати сканування великих або складних сайтів, а також спеціалізованих файлів.

Порядок сканування та індексування визначається складними алгоритмами і навіть якщо ви створили файл Sitemap, це не гарантує, що всі ваші сторінки будуть просканувати і індексовані. Найчастіше використання файлу Sitemap допомагає оптимізувати цей процес і запобігти помилок.

В яких випадках вам може знадобитися файл Sitemap

Файл Sitemap потрібен у випадках якщо:

1. Великий сайт. Багатосторінковість може привести до того, що бот пошукової системи пропустить нові (змінені) сторінки.
2. У сайта відсутня пов’язана структура сторінок. Наприклад, є великий архів сторінок, які не пов’язані між собою.
3. Сайт молодий — містить малу кількість зовнішніх посилань.
4. На сайті присутній великий обсяг мультимедійного (відео та зображення) або новинного контенту. З файлів мап сайту xml пошукова система може отримувати додаткову інформацію для показу в результатах пошуку.

В яких випадках вам не потрібен файл Sitemap

Файл Sitemap не потрібен у випадках якщо:

1. Сайт малий.
2. Сайт максимально структурований, тобто реалізована детальна система внутрішніх посилань. Роботи пошукових систем можуть перейти на всі значущі сторінки, переходячи за посиланями з головної.
3. На сайті трохи медіафайлів (наприклад, відео та зображень) або новинних сторінок.

Які бувають мапи сайту?

XML-sitemap для зображень

Крім XML-мап для сторінок можна створювати окремі мапи сайту для зображень, які допомагають пошуковим системам знайти контент, який неможливо виявити іншими способами (наприклад, контент, який завантажується за допомогою JavaScript).

В мапах зображень використовуються теги:

В мапах зображень, можна використовувати необов’язкові теги:

Приклад XML sitemap для зображень:

XML sitemap для відео

Як і у випадку з зображеннями, якщо на сайті присутні унікальні відеозаписи, — для них можна створити окрему XML-мапу.

За допомогою мапи сайту для відео можна повідомити пошуковій системі:

• назву;
• опис,
• тривалість;
• мініатюру й т.і.

Обов’язкові теги:

• loc — сторінка з відеозаписом;
• video: title — назва відео довжиною не більше 100 символів;
• video: player_loc — де знаходиться плеєр для відео;
• video: content_loc — де знаходиться конкретне відео;
• video: thumbnail_loc — мініатюра відео розміром більше 120х90px;
• video: video — контейнер з описом відео;
• video: description — опис відео, до 2000 символів.

В мапу сайту для відео можна додати необов’язкові теги:

• video: duration — тривалість відео в секундах, максимум 8 годин;
• video: category — до якої категорії відноситься відео;
• video: uploader — хто додав відео. Допускається вказати одне ім’я для одного файлу;
• video: requires_subscription — чи потрібна для перегляду відео підписка (і платна і безкоштовна). Доступні значення: yes, no;
• video: publication_date — дата публікації, в форматі YYYY-MM-DD або YYYY-MM-DDThh: mm: ss + TZD;
• video: family_friendly — доступне відео для безпечного пошуку чи ні;
• video: restriction — перелік країн, в яких відтворюється або не чути відео. Вказується у вигляді кодів країн у форматі ISO 3166. Для кожного відео допускається тільки один тег & lt; video: restriction. За відсутності тега & lt; video: restriction & gt ;, передбачається можливість відтворювати на всіх територіях;
• video: gallery_loc — посилання на галерею;
• video: expiration_date — дата і час, коли відео стає неактуальним;
• video: price; — вартість (вказується валюта в форматі ISO 4217);
• video: rating — рейтинг відео. Доступні значення: від 0 до 5;
• video: tag — теги відео;
• video: platform — перелік платформ на яких є відтворення відео. Доступні значення: mobile, web, tv. При відсутності тега передбачається, що відео може відтворюватися на всіх платформах;
• video: view_count — кількість переглядів;
• video: live — вказує на те, чи є відео прямою трансляцією (live). Доступні значення: yes, no.

Приклад:

Google «підтримує» такі формати:

• .mpg, .mpeg, .mp4, .m4v;
• .wmv;
• .asf, .avi;
• .ra, .ram, .rm;
• .mov;
• .flv.

XML-мапа для Google Новин

Для сайтів-новинарів доцільно створити окрему sitemap новинних публікацій з динамічної генерацією та щоденним оновленням. Дані файли будуть працювати тільки для ресурсів, доданих в Google Новини.

Файл sitemap новин повинен містити тільки URL статей, опублікованих за останні два дні. Статті, опубліковані більше двох днів тому, можна видалити з файлу, при цьому вони залишаться в індексі Google Новин протягом 30 днів. Карта сайту новин може містити не більше 1000 URL. Якщо на сайті за два дні з’являється більша кількість новин, можна створити файл індексу sitemap для декількох мап.

Обов’язкові теги:

• news: publication — загальний тег, вказуємо видання. У даного тега є два обов’язкових дочірніх тега:
  • news:name; — назва видання;
  • news:language — мова в форматі ISO 639;
• publication_date — дата публікації в форматі W3C (вказуємо повну дату. Пошукової робот Google розуміє дати аж до часток секунд, наприклад: РРРР-ММ-ДДTчч: мм: cc.с ± чч: мм (2017-05-10T19: 20 : 30.45 + 01: 00)

• news:title — назва статті, аналогічна назві на сайті.

Крім цього, існують необов’язкові теги:

• news:genres — властивості статті. Допустимі значення:
  • PressRelease — прес-реліз;
  • Satire — стаття, яка виставляє предмет обговорення в комічній формі.
  • Blog — стаття опублікована в форматі блогу.
  • OpEd — стаття, яка висловлює особисту думку і розміщена в колонці редактора.
  • Opinion — стаття, яка висловлює особисту думку і не розміщена в колонці редактора. До цього тегу відносяться рецензії колумністів та інтерв’ю.
  • UserGenerated — будь-який матеріал, створений користувачем і пройшовши редакторську правку.
• keywords — ключові слова;
• stock_tickers — перелік біржових / фінансових символів (не більше п’яти, через кому). Перед кожним символом необхідно вказувати назву відповідної біржі, що збігається із записом у Google Фінансах, наприклад NASDAQ: AMAT або BOM: 500325. Використовується для статей про бізнес.

Приклад sitemap для Google Новин:

Як створити мапу сайту?

Деякі CMS по-замовчуванням генерують мапу сайту. Вона буде оновлюватися автоматично, якщо ви будете додавати або прибирати сторінки. Якщо CMS цього не робить, швидше за все є можливість встановити для неї відповідний плагін.

Створення мапи сайту в WordPress

Один із способів згенерувати мапу сайту для WordPress це скористатися плагіном Yoast SEO. Для установки Yoast SEO, перейдіть в консоль WordPress.

Натисніть Модулі > Додати новий.

Знайдіть «Yoast SEO».

Натисніть кнопку «Встановити», а потім — «Активувати».

Перейдіть в розділ SEO > Загальні > Можливості і переконайтеся, що «XML-мапа сайту» включена.

Створення мапи сайту без CMS

Згенерувати XML-мапу сайту можна за допомогою програм краулерів, наприклад Screaming Frog чи Netpeak Spider.

Створення мапи сайту за допомогою Screaming Frog

Відкрийте розділ Mode > Spider

Вставте URL-адресу головної сторінки в полі з підписом «Enter URL to spider».

Натисніть кнопку «Start».

Коли сканування завершиться, перейдіть в розділ Sitemaps > XML sitemap.

Так як теги lastmod, changefreq и priority є несуттєвими, їх можна не включати в файл sitemap.xml.

Натисніть «Export» і збережіть файл sitemap.xml на комп’ютері. Готово.

Створення мапи сайту за допомогою Netpeak Spider

Вставте URL-адресу головної сторінки в полі з підписом «Початковий URL».

Натисніть кнопку «Старт».

Коли сканування завершиться, перейдіть в розділ Інструменти > Генератор Sitemap.

Як і у випадку з Screaming Frog, теги lastmod, changefreq і priority можна не включати в файл sitemap.xml.

Натисніть «Згенерувати …» і збережіть файл sitemap.xml на комп’ютері. Готово.

Як перевірити коректність мапи сайту

Для перевірки коректності XML-мапи сайту можна скористатися інструментом Netpeak Spider. Докладний мануал по перевірці за допомогою валідатора XML описаний в статті. Також можна протестувати sitemap.xml в Яндекс (для перевірки необхідно додати сайт в Яндекс Вебмастер) — https://webmaster.yandex.ru/tools/sitemap/.

Основні помилки під час складання мапи сайту

Під час складання мапи сайту найпоширенішими помилками є:

• редіректи;
• биті посилання;
• некоректні дати публікації або оновлення контенту.

Помилки не є критичними для пошукових систем, але їх усунення дозволить спрямувати вивільнені ресурси пошукового робота на переобход важливих сторінок.

Як правильно вказати посилання на sitemap.xml в robots.txt

По-перше, XML-мапу сайту необхідно створити і завантажити на сервер, потім необхідно додати вказівку про наявність файлу. Для цього пропишіть в robots.txt такий рядок:

Sitemap: {url-файла-sitemap},

где {url-файла-sitemap} — це повний URL вашої мапи сайту.

Як побудувати XML-мапу для багатомовних сайтів

За допомогою файлу sitemap.xml можна передати Google атрибут rel=”alternate” hreflang=”x”.

Простір імен XHTML має бути зазначено так:

xmlns:xhtml=”http://www.w3.org/1999/xhtml”

Для кожної адреси необхідно створити окремий елемент URL, який повинен включати:

1. Тег loc, який вказує на URL-адреси;
2. піделементи xhtml: link rel = “alternate” hreflang = “XX” для кожної альтернативної версії сторінки, обов’язково включаючи поточну версію.

Наприклад, на сайті існують 3 мовні версії:

• російська (mysite.com/ru /);
• українська (mysite.com/ua /);
• англійська (mysite.com/en /).

Нижче наведено приклад мапи сайту, яка повідомляє, що у сторінки mysite.com/ru/ існує відповідна версія англійською та українською мовами:

Як повідомити пошуковику про мапу сайту

В першу чергу необхідно визначити, де знаходиться мапа сайту. Найчастіше під час використання плагіна, згенерована мапа сайту буде знаходитися за URL-адресою domain.com/sitemap.xml. У разі, якщо ви генеруєте мапу сайту вручну, назвіть її sitemap.xml і завантажте в кореневу папку вашого веб-сайту. Після цього мапа сайту буде доступна за адресою domain.com/sitemap.xml.

Як відправити мапу сайту в Google

Щоб відправити мапу сайту через Google Search Console, необхідно:

1. Обрати сайт в Google Search Console:
2. Обрати «Файлы Sitemap»:
3. Додати URL-адрес файла Sitemap й натиснути на кнопку «Відправити»:

Готово.

Як відправити мапу сайту в Яндекс

Для додавання мапи сайту в Яндекс.Вебмастер необхідно:

1. Обрати сайт у переліку:
2. Вибрати «Індексування» — «Файли sitemap»:
3. Додати посилання (або кілька) на файл:

В даному розділі також можна відстежувати помилки, дати останнього завантаження і кількість посилань у файлі.

Як часто повинна оновлюватися мапа сайту?

Стандартизованого нормативу за кількістю оновлень немає. Все залежить від частоти створення нових сторінок на сайті, змін адрес або контенту, а також зв’язків вже існуючих сторінок.

Не варто забувати, що дані, зазначені в Sitemap, пошуковий робот сприймає як рекомендації: якщо встановити частоту оновлень, наприклад, раз на годину — робот не стане індексувати сторінку так часто.

Рекомендації Яндекса

Яндекс підтримує формати файлів sitemap:

• XML (рекомендуємо);
• текстовий файл.

Вимоги Яндекса для мап:

1. розмір в стислому вигляді не більше 10 Мб;
2. Яндекс розпізнає Punycode (пунікод) як в закодованому вигляді, так і в оригіналі.

Рекомендації Google

Обов’язково:

• мапа містить не більше 50 000 URL;
• загальний розмір до 50 Мб (в стислому вигляді).

Формати, які підтримує Google в якості sitemap:

• XML — стандартний файл;
• RSS, media RSS і Atom 1.0 — підходить для блогів з фідом RSS або Atom;
• текстовий файл .txt.

Основні вимоги до текстових файлів:

• використовується кодування UTF-8;
• файл не містить нічого, крім переліку URL;
• текстовому файлу можна дати будь-яке ім’я, але тільки з розширенням .txt (наприклад, sitemap.txt).

Які можливості дає мапа сайту?

Пошуковики здатні просканувати всі адреси сайту самостійно, але створення мапи сайту допоможе їм дізнатися, як це краще зробити.

Мапа сайту дозволяє:

1. Знайти нові сторінки на ресурсі та проіндексувати їх;
2. Розставити пріоритетність сторінок;
3. Відстежити зміни на індексованих сторінках;
4. Контролювати індексацію сторінок (наприклад за допомогою звіту про індексування в розділі Файли Sitemap в Google Search Console)
5. Запам’ятати частоту оновлення індексованих сторінок.

Чи впливає Sitemap на просування?

Карта сайту — зручний інструмент для спрощення передачі структури сайту пошуковій системі. При цьому варто не забувати, що мапа сайту ніяк не пов’язана з ранжируванням. Без неї можна обійтися. Пошуковик і так рано чи пізно дійде до більшості веб-сторінок, але з мапою сайту індексація нових сторінок буде більш ефективною.