Как приманить поисковых роботов на сайт. Работаем с Google Search Console

A A A

Часто происходят ситуации, в которых необходимо, чтобы краулер Google в кратчайшие сроки проиндексировал недавно появившиеся страницы на сайте. Вот список наиболее частых причин, которые могут привести к этой ситуации:

 

  • Добавление большого количества материала на сайт;
  • Реорганизация структуры сайта, ведущая к смене URL разделов;
  • Перенос сайта на новый домен.

 

Самый затратный процесс из вышеперечисленных — перенос сайта на новый домен. Для безболезненного переезда необходимо совершить множество действий, и важно о многом не забыть. Подробно об алгоритме переноса сайта на новый домен почитайте в нашей статье.

 

Для большинства задач, касающихся взаимодействия поисковых роботов Google и вашего сайта, необходимо подключить сайт к системе Google Search Console. Разберемся, как это сделать и какие возможности по привлечению поисковых роботов этот шаг предоставит.

Добавление сайта в Google Search Console

Google Search Console — инструмент, служащий для отслеживания уровня оптимизации сайта в поисковой системе. С его помощью удобно следить за такими параметрами:

  • Запросы, приводящие к появлению сайта в поисковой выдаче, и количество пользователей, переходящих по ним;
  • Сайты, на которых содержатся ссылки на ваш сайт;
  • Какая информация отображается о сайте при расширенном поиске.

Если ваш сайт еще не подключен к Search Console, вы можете проделать это в несколько шагов.

  1. Перейдите по ссылке и залогиньтесь под своим Google-аккаунтом;
  2. Добавьте ссылку на сайт и нажмите «добавить ресурс»;
  3. Выберите способ подтверждения права собственности на сайт. Способов осуществить это много, и они несложные:
    1. Добавление определенного метатега на главную страницу сайта;
    2. Вход через Google Analytics или Диспетчер тегов Google;
    3. Добавление указанного html-файла на сервер.

После подтверждения сайт отобразится на главной странице Search Console.

Добавление в индекс отдельной страницы

Если вы хотите добавить в индекс одну или небольшое количество страниц, можно воспользоваться формой на этой странице Search Console:

 

Добавление URL в Search Console

 

Это самый простой способ, однако, как предупреждает сам Google, довольно медленный и ненадежный. К тому же гораздо удобнее при помощи Search Console следить за индексированием всех разделов сайта сразу.

Запрос на пересканирование сайта

С помощью Search Console можно запустить пересканирование главной страницы сайта и всех ссылок, которые на ней находятся.

Для этого в панели инструментов выберите в боковом меню «Сканирование — Просмотреть как Googlebot». Эта функция меню позволит узнать, как сайт выглядит для поискового робота. Нажмите кнопку «Сканировать», а затем на появившейся строке в таблице — «Добавить в индекс». В появившемся окне подтверждения выберите «Сканировать этот URL и прямые ссылки».

Сканирование сайта при помощи Search Console

Эта опция укажет поисковику отсканировать все страницы, на которые можно перейти с указанного URL по внутренним ссылкам.

Создание и добавление карты сайта Sitemap.xml

Карта сайта — это документ в формате XML, служащий для предоставления поисковику подробной информации о структуре сайта, его разделах, а также различной дополнительной информации. Модифицируя файл Sitemap, можно точно указать поисковику на те страницы, которые стоит индексировать в первую очередь, и как часто это делать.

Формат карты сайта

Главная часть файла sitemap.xml состоит из таких блоков:

Рассмотрим, для чего служит каждый из тегов блока .

  • loc— единственный обязательный параметр. В нем заключена абсолютная ссылка на адрес страницы, которую следует проиндексировать.
  • lastmod — содержит дату последнего изменения страницы в формате W3C Datetime (точное время можно опустить и ограничиться датой: 2016-05-12. Поисковой робот не будет переиндексировать страницу, содержимое которой не изменилось.
  • changefreq — указывает на примерную частоту обновления страницы. Можно указывать такие значения:
    • always — постоянная проверка;
    • hourly — информация обновляется ежечасно;
    • daily — информация обновляется ежедневно;
    • weekly — еженедельное обновление информации на сайте;
    • monthly — ежемесячное обновление;
    • yearly — страница должна сканироваться в среднем раз в год;
    • never — указывается для страниц, содержащих архивную информацию.
  • priority — относительный приоритет относительно других страниц в рамках сайта. Варьируется в рамках от 0 до 1. Здесь можно выделить более высоким приоритетом те страницы, которые наиболее важны для индексации по сравнению с другими.

Генерация карты сайта

Если структура сайта сложная и громоздкая, ручное составление карты сайта становится затруднительным. Благо, в сети существуют онлайн-сервисы для генерации Sitemap (например, этот), а наиболее популярные CMS имеют свои инструменты для решения этой задачи: например, Google Sitemap Generator для WordPress, XMAP для Joomla.

Добавление карты сайта в Search Console

На панели управления в боковом меню выберите «Сканирование — файлы Sitemap», затем кнопку «Добавление/проверка файла Sitemap». В появившемся окне укажите ссылку, по которой доступен сгенерированный файл карты сайта на сервере.

Заключение

Google Search Console предоставляет широкий арсенал возможностей по контролю и оптимизации сайта для поисковых систем. В этой статье были рассмотрены его возможности при необходимости быстрой индексации новых либо переиндексации старых страниц.

Если вы нашли ошибку, выделите участок текста и нажмите Ctrl + Enter или , чтобы сообщить нам.