>

Как проверить индексацию сайта в Google и Яндекс?

Вы создали сайт — что дальше? Чтобы пользователи увидели его, сайт нужно «показать» поисковым системам – проиндексировать. И только после того, как поисковые системы добавят контент вашего ресурса в свою базу данных, можно применять инструменты продвижения.

Индексация — это процесс сбора данных поисковыми роботами обо всем, что размещается на сайте: о количестве страниц, контенте, ключевых словах и т. д. Чем больше качественных страниц будет проиндексировано, тем больше будет охват целевой аудитории и посещаемость. Если в индекс попадают не все страницы, это может говорить о проблемах во внутренней структуре и/или наличии технических ошибок, которые не дают возможности GoogleBot корректно просканировать и проиндексировать сайт. Как проверить индексацию в поисковиках, почему роботы могут игнорировать отдельные страницы и как это определить, читайте в этом обзоре.

Анализ индексирования в сервисах Яндекс.Вебмастер и Google Search Console

У каждой поисковой системы есть свой сервис, который помогает вебмастерам в анализе эффективности своего сайта в поисковой выдаче.. У Google это Search Console, у Яндекса — Яндекс.Вебмастер. Они позволяют отслеживать, какие страницы есть в индексе, какие нет, а также отправлять на индексацию новые приоритетные страницы и т. д.

Как проверить индексирование сайта в Google:

  1. Зайдите в Search Console. В панели слева нажмите «Добавить ресурс» и укажите url сайта. Подробнее о том, как добавить сайт в Google Search Console, читайте здесь.

    Проверка индексации Google

  2. Подтвердите право собственности на сайт: скачайте предложенный поисковой системой HTML-файл. Также право собственности можно подтвердить с помощью HTML-тега или через Google Tag Manager.
  3. В консоли выберите вкладку «Обзор», перейдите во вкладку «Покрытие». Здесь можно увидеть количество индексируемых страниц и ошибок в виде цифровых значений и графика.

Проверка индексации Гугл

Что должно быть у качественного сайта:

  • Количество индексируемых страниц должно совпадать с количеством страниц сайта. Допускается незначительная погрешность.
  • Количество ошибок должно быть равно нулю.
  • Столбцы, показывающие количество страниц в базе поисковика, должны иметь горизонтальный или восходящий вид.
  • В отчете “Исключено” нет важных страниц, которые должны быть в индексе поисковой системы.

В этом случае проблем с индексацией нет. Также здесь можно посмотреть историю индексации за 3, 6 и 12 месяцев.

Если есть ошибки или страницы попали в группу «Исключено», с индексацией проблемы – посмотрите причины. Некоторые страничные данные могут временно «зависнуть» — робот их уже просмотрел (о чем есть уведомление), но пока не проиндексировал. Возможные причины: страница низкого качества или имеет место дублирование контента.

Google Search Console позволяет проверить индексацию и отдельной страницы. В поисковую строку консоли вставьте ее url. Если появится окошко с зеленой галочкой и отметкой «Страница отправлена и проиндексирована», проблем нет. Если она еще не представлена в индексе, галочка будет неактивна.

Проверка индексирования сайта в Яндекс:

  1. Узнайте количество страниц на ресурсе. Алгоритм описан выше.
  2. Пройдите авторизацию в Яндекс.Паспорт и откройте Яндекс.Вебмастер.
  3. Перейдите во вкладку «Индексирование сайта — Страницы в поиске».

Хороший пример индексации: количество проиндексированных страниц растет— линия на графике имеет ровный восходящий вид. Количество ошибок — ноль. Если на линии графика есть просадки, зигзаги, линия уходит вниз — с индексацией есть проблемы.

Проверка индексации с помощью документарных операторов

Попавшие в индекс страницы можно увидеть, применив документарный оператор «Site:». Вбейте его в поисковую строку и укажите полный адрес.

Пример для Google:

Как проверить индексируется ли сайт

Проиндексировано около 294 000 страниц. Сопоставив эту цифру с их количеством на сайте, можно приблизительно оценить полноту индексации. Небольшие расхождения могут быть по причине того, что часть новых страниц еще не проиндексированы и находится на рассмотрении поисковых роботов. Большие расхождения говорят об ошибках. Если при периодической проверке расхождение увеличивается, возможны проблемы с индексацией.

У Google есть дополнительные инструменты для более глубокого анализа. Например, можно посмотреть сколько появилось в индексе новых страниц за определенный период времени.

Как проверить какие страницы проиндексировал Google

Пример для Яндекс:

Проверка индексации Яндекс

Использование операторов дает лишь приблизительное представление о проверке индексации. Хорошо, если количество страниц у Google и Яндекс совпадают между собой. Если нет, как на скринах выше, нужно искать причины расхождений. Например, есть внутренние ошибки, которые влияют на индексацию в поисковых системах.

Плагины и букмарклеты для проверки индексирования

Букмарклет — скрипт, который после установки сохраняется в закладках браузера. Применение плагинов и букмарклетов позволяет ускорить процесс проверки сайта. Вместо того чтобы каждый раз вбивать в поисковую строку браузера оператор и url, достаточно после установки плагина запускать его из закладок на том сайте, по которому нужно получить информацию.

Примеры плагинов и скриптов: SEO-Tools, SEO-magic, RDS bar. С их помощью можно проверять:

  • Количество прошедших индексацию страничных данных в Гугл и Яндексе. Часть скриптов работает и с другими поисковиками.
  • Индексирование сайта или отдельной страницы.
  • Анализ семантики, кода, распределения ссылок.

Отличие между плагинами в панели управления, возможностях каждого из них и в том, какой именно функционал доступен в бесплатной версии.

Проверить индексацию сайта онлайн

Так выглядит панель управления SEO-Tools.

Программы, позволяющие контролировать и проверять индексирование сайта

Есть платные и бесплатные программы, помогающие контролировать скорость и этапы индексации. Отличия между ними в функционале и постоянном обновлении. Пример платной версии — Semonitor. Это пакет программ для раскрутки и оптимизации платформы. Состоит из набора утилит, позволяющих проверять позиции сайта в поисковиках, анализировать внешние ссылки, проверять индексацию, искать на страницах битые ссылки, ошибки изображения и т. д. Есть бесплатная демо-версия.

Пример бесплатной программы — Site-Auditor. Помогает оценить уровень «популярности» сайта в поисковых системах, дает информацию о внешних ссылках и индексировании.

Проблемы индексации сайта

У качественного сайта количество попавших в поисковой индекс страниц и их общее число должно приблизительно совпадать. И желательно в нескольких поисковых системах одновременно. Допускается небольшая разбежность, учитывающая страничные данные, находящиеся на рассмотрении. Но если разбежность высокая, часть страниц не индексируется и не попадает в поисковую выдачу — ищем ошибки.

Основные ошибки индексирования и как их исправить:

  • Ошибки в файле robots.txt. Файл находится в корневом каталоге веб-сайта и содержит основную информацию о правилах сканирования сайта. В нем можно указывать страницы, на которые поисковым роботам заходить не нужно. Важные страницы, по ошибке, могут быть закрыты от сканирования либо некачественные документы открыты для поисковых систем.
  • Ошибки или отсутствие файла sitemap.xml. Это документ, в котором находятся ссылки на страницы и который используют роботы для получения их списка. О том, как правильно составить карту, сформировать файл sitemap и указать на него ссылку поисковикам, можно найти, например, в документации Google.
  • Проблемы с контентом. Мусорные страницы, не несущие информации, неуникальный контент, дубли, медленная загрузка контента из-за «тяжелых» изображений, ошибки «404», одинаковые метатеги — это все нужно исправлять или скрывать от индексации.
  • Технические ошибки. Нестабильная работа хостинга, некорректные HTTP-заголовки, ошибки кодировки, ошибки сканирования. Найти их можно с помощью специальных утилит, иногда на ошибки указывают и сами роботы.
  • Сайт новый. Роботы в первую очередь проверяют сайты, которые уже закрепились в ТОПе поисковой выдачи и постоянно обновляются. До новых сайтов роботы доходят в последнюю очередь.
  • Сайт очень редко обновляется. Если на нем ничего не меняется годами (не добавляется и не изменяется контент) поисковые системы не будут его часто сканировать.

Процесс индексации нового сайта может занимать более месяца. Потому здесь рекомендация одна — ждать, параллельно проверяя структуру на наличие технических ошибок, постоянно обновлять контент и развивать ссылочную базу. Если сайт существует давно — периодически проверяйте график индексации. Появился спад, упала поисковая выдача — ищите ошибки.

Способы по ускорению индексации сайта

Чем быстрее будут проиндексирован контент поисковыми системами, тем быстрее он попадет в поисковую выдачу и тем быстрее его увидят пользователи. О проблемах индексирования вы можете прочитать здесь.

Как ускорить индексирование:

  • Добавляйте сайт и отдельные страничные данные в поисковые системы через сервисы веб-мастеров — не ждите, пока поисковые роботы сами найдут и проиндексируют их. Например, в Яндекс.Вебмастере предусмотрена функция отправки до 20 ссылок в день на те страничные данные, которые нужно проиндексировать в первую очередь. Если речь идет об индексации всего сайта, то можно сделать следующим образом: добавить его в Google и Яндекс, затем дать поисковым системам ссылку на карту сайта. Скорость попадания в выдачу зависит от разных факторов и может составлять 1-3 недели.
  • Размещайте ссылки на ваш сайт на других ресурсах. Чем выше в поисковой выдаче находится ресурс со ссылкой, тем быстрее на него обратят внимание поисковые роботы и тем быстрее добавят сайт в индекс. Например, роботами с большой частотой на предмет обновления контента проверяются новостные порталы. Размещение на их страницах вашей ссылки позволит пройти индексацию в течение 1-3 дней.
  • Регулярно добавляйте и обновляйте контент. Один из методов SEO-продвижения заключается в составлении семантического ядра, охватывающего ключевые запросы по тематике сайта. Постоянное добавление новых страниц с уникальным текстовым и видео контентом, заточенным под ключевые слова семантического ядра, повышают к сайту интерес со стороны поисковых роботов. Чем больше контента, чем лучше он структурирован и чем чаще он обновляется, тем чаще заходят на сайт роботы и тем быстрее проходит индексация.
  • Перелинковывайте страницы между собой. У внутренней перелинковки есть два плюса. Роботы по внутренним ссылкам быстрее переходят на другие страницы сайта, тем самым быстрее их индексируя. Пользователи, переходя по линкам, посещают большее количество страниц, поднимая сайт в поисковой выдаче.
  • Задействуйте социальные сети для продвижения нового контента. Добавляйте ссылки, привлекайте на новые страницы пользователей — так вы сможете быстрее привлечь внимание роботов и добавить контент в поиск.

Задача вебмастера — повысить авторитетность сайта в глазах поисковых роботов, оптимизировать контент и ссылки.

Юля Залиховская

Руководитель отдела продаж

Узнайте о рекламе для вашего бизнеса!

Задайте Юле вопросы о продвижении сайта в интернете.

Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь с политикой конфиденциальности

Справочные разделы Яндекса и Google

И в заключении несколько ссылок на справочные разделы поисковых систем. Здесь вы найдете базовую информацию о том, как работать с сервисами веб-мастеров и оптимизировать индексацию.

Здесь есть общие сведения об индексировании, управление файлами sitemap и т. д.

Здесь вы найдете информацию о том, как происходит процесс загрузки страниц в базу Яндекса, как ускорить индексацию и многое другое.


Алина Глазырина

главный редактор блога Inweb

Подпишитесь и будьте в курсе!

Алина раз в неделю пишет о главных новостях интернет-маркетинга
Пользовательского соглашения