Прискорення індексації – як правильно заманити пошукових роботів на сайт

Часто відбуваються ситуації, в яких необхідно, щоб краулер Google в найкоротші терміни проіндексував сторінки, які нещодавно з’явилися на сайті. Ось перелік найбільш частих причин, які можуть призвести до цієї ситуації:

• Додавання великої кількості матеріалу на сайт;
• Реорганізація структури сайту, яка веде до зміни URL розділів;
• Перенесення сайту на новий домен.

Найвитратніший процес з перерахованих вище – перенесення сайту на новий домен. Для безболісного переїзду необхідно зробити безліч дій, і важливо про що не забути. Детально про алгоритм перенесення сайту на новий домен почитайте у нашій статті.

Для більшості завдань, що стосуються взаємодії пошукових роботів Google та вашого сайту, необхідно під’єднати сайт до системи Google Search Console. Розберемося, як це зробити і які можливості із залучення пошукових роботів цей крок дасть.

Додавання сайту у Google Search Console

Google Search Console – інструмент для відстеження рівня оптимізації сайту в пошуковій системі. З його допомогою зручно стежити за такими параметрами:

• Запити, що призводять до появи сайту в пошуковій видачі, та кількість користувачів, які переходять за ними;
• Сайти, на яких містяться посилання на ваш сайт;
• Яка інформація показується про сайт під час розширеного пошуку.

Якщо ваш сайт ще не підключений до Search Console, ви можете зробити це в кілька кроків.

1. Перейдіть за посиланням і залогіньтеся під своїм Google-аккаунтом;
2. Додайте посилання на сайт і натисніть “додати ресурс”;
3. Оберіть спосіб підтвердження права власності на сайт. Способів здійснити це багато, і вони нескладні:
   1. Додавання певного метатега на головну сторінку сайту;
   2. Вхід через Google Analytics або Диспетчер тегів Google;
   3. Додавання вказаного html-файлу на сервер.

Після підтвердження сайт зобразиться на головній сторінці Search Console.

Додавання в індекс окремої сторінки

Якщо ви хочете додати в індекс одну або невелику кількість сторінок, можна скористатися формою на цій сторінці Search Console:

Це найпростіший спосіб, однак, як попереджає сам Google, досить повільний і ненадійний. До того ж набагато зручніше за допомогою Search Console стежити за індексацією всіх розділів сайту відразу.

Запит на пересканування сайту

За допомогою Search Console можна запустити пересканування головної сторінки сайту і всіх посилань, що на ній знаходяться.

Для цього на панелі інструментів оберіть в бічному меню “Сканування – Переглянути як Googlebot”. Ця функція меню дозволить дізнатися, як сайт виглядає для пошукового робота. Натисніть кнопку “Сканувати”, а потім на рядку, що з’явився в таблиці – “Додати в індекс”. У вікні підтвердження виберіть “Сканувати цей URL і прямі посилання”.

Ця опція вкаже пошуковику просканувати всі сторінки, на які можна перейти з зазначеного URL за внутрішніми посиланнями.

Створення та додавання карти сайту Sitemap.xml

Карта сайту – це документ у форматі XML, що служить для надання пошуковику докладної інформації про структуру сайту, його розділи, а також різну додаткову інформацію.  Модифікуючи файл Sitemap, можна точно вказати пошуковій системі на ті сторінки, які варто індексувати в першу чергу, і як часто це робити.

Формат карти сайту

Головна частина файлу sitemap.xml складається з таких блоків:

Розглянемо, для чого служить кожен з тегів блоку .

• loc– єдиний обов’язковий параметр. У ньому міститься абсолютне посилання на адресу сторінки, яку слід проіндексувати.
• lastmod – містить дату останньої зміни сторінки в форматі W3C Datetime (точний час можна опустити й обмежитися датою:2016-05-12. Пошуковий робот не буде переіндексувати сторінку, вміст якої не змінилося.
• changefreq – вказує на приблизну частоту оновлення сторінки. Можна вказувати такі значення:
  • always – постійна перевірка;
  • hourly – інформація оновлюється щогодини;
  • daily – інформація оновлюється щодня;
  • weekly – щотижневе оновлення інформації на сайті;
  • monthly – щомісячне оновлення;
  • yearly – сторінка повинна скануватися в середньому раз на рік;
  • never – вказується для сторінок, що містять архівну інформацію.
• priority – відносний пріоритет щодо інших сторінок в рамках сайту. Варіюється в рамках від 0 до 1. Тут можна виділити надвисоким пріоритетом ті сторінки, які найбільш важливі для індексації в порівнянні з іншими.

Генерація карти сайту

Якщо структура сайту складна і громіздка, ручне складання карти сайту стає скрутним. Благо, в мережі існують онлайн-сервіси для генерації Sitemap (наприклад, цей), а найбільш популярні CMS мають свої інструменти для вирішення цього завдання: наприклад, Google Sitemap Generator для WordPress, XMAP для Joomla.

Додавання карти сайту в Search Console

На панелі управління в бічному меню оберіть “Сканування – файли Sitemap”, потім кнопку “Додавання / перевірка файлу Sitemap”. У вікні вкажіть посилання, за яким доступний згенерований файл карти сайту на сервері.

Висновок

Google Search Console надає широкий арсенал можливостей контролю та оптимізації сайту для пошукових систем. У цій статті були розглянуті його можливості за необхідності швидкої індексації нових або переіндексації старих сторінок.