Как проверить индексацию сайта в Google?

Вы создали сайт — что дальше? Чтобы пользователи увидели его, сайт нужно «показать» поисковым системам – проиндексировать. И только после того, как поисковые системы добавят контент вашего ресурса в свою базу данных, можно применять инструменты продвижения.

Индексация — это процесс сбора данных поисковыми роботами обо всем, что размещается на сайте: о количестве страниц, контенте, ключевых словах и т. д. Чем больше качественных страниц будет проиндексировано, тем больше будет охват целевой аудитории и посещаемость. Если в индекс попадают не все страницы, это может говорить о проблемах во внутренней структуре и/или наличии технических ошибок, которые не дают возможности GoogleBot корректно просканировать и проиндексировать сайт. Как проверить индексацию в поисковиках, почему роботы могут игнорировать отдельные страницы и как это определить, читайте в этом обзоре.

Анализ индексирования в Google Search Console

У каждой поисковой системы есть свой сервис, который помогает вебмастерам в анализе эффективности своего сайта в поисковой выдаче. У Google это Search Console. Он позволяют отслеживать, какие страницы есть в индексе, какие нет, а также отправлять на индексацию новые приоритетные страницы и т. д.

Как проверить индексирование сайта в Google:

1. Зайдите в Search Console. В панели слева нажмите «Добавить ресурс» и укажите url сайта. Подробнее о том, как добавить сайт в Google Search Console, читайте здесь.
2. Подтвердите право собственности на сайт: скачайте предложенный поисковой системой HTML-файл. Также право собственности можно подтвердить с помощью HTML-тега или через Google Tag Manager.
3. В консоли выберите вкладку «Обзор», перейдите во вкладку «Покрытие». Здесь можно увидеть количество индексируемых страниц и ошибок в виде цифровых значений и графика.

Что должно быть у качественного сайта:

• Количество индексируемых страниц должно совпадать с количеством страниц сайта. Допускается незначительная погрешность.
• Количество ошибок должно быть равно нулю.
• Столбцы, показывающие количество страниц в базе поисковика, должны иметь горизонтальный или восходящий вид.
• В отчете “Исключено” нет важных страниц, которые должны быть в индексе поисковой системы.

В этом случае проблем с индексацией нет. Также здесь можно посмотреть историю индексации за 3, 6 и 12 месяцев.

Если есть ошибки или страницы попали в группу «Исключено», с индексацией проблемы – посмотрите причины. Некоторые страничные данные могут временно «зависнуть» — робот их уже просмотрел (о чем есть уведомление), но пока не проиндексировал. Возможные причины: страница низкого качества или имеет место дублирование контента.

Google Search Console позволяет проверить индексацию и отдельной страницы. В поисковую строку консоли вставьте ее url. Если появится окошко с зеленой галочкой и отметкой «Страница отправлена и проиндексирована», проблем нет. Если она еще не представлена в индексе, галочка будет неактивна.

Хороший пример индексации: количество проиндексированных страниц растет— линия на графике имеет ровный восходящий вид. Количество ошибок — ноль. Если на линии графика есть просадки, зигзаги, линия уходит вниз — с индексацией есть проблемы.

Проверка индексации с помощью документарных операторов

Попавшие в индекс страницы можно увидеть, применив документарный оператор «Site:». Вбейте его в поисковую строку и укажите полный адрес. Пример для Google:

Проиндексировано около 294 000 страниц. Сопоставив эту цифру с их количеством на сайте, можно приблизительно оценить полноту индексации. Небольшие расхождения могут быть по причине того, что часть новых страниц еще не проиндексированы и находится на рассмотрении поисковых роботов. Большие расхождения говорят об ошибках. Если при периодической проверке расхождение увеличивается, возможны проблемы с индексацией.

У Google есть дополнительные инструменты для более глубокого анализа. Например, можно посмотреть сколько появилось в индексе новых страниц за определенный период времени.

Использование операторов дает лишь приблизительное представление о проверке индексации. Хорошо, если количество страниц совпадает между собой. Если нет, как на скрине выше, нужно искать причины расхождений. Например, есть внутренние ошибки, которые влияют на индексацию в поисковых системах.

Плагины и букмарклеты для проверки индексирования

Букмарклет — скрипт, который после установки сохраняется в закладках браузера. Применение плагинов и букмарклетов позволяет ускорить процесс проверки сайта. Вместо того чтобы каждый раз вбивать в поисковую строку браузера оператор и url, достаточно после установки плагина запускать его из закладок на том сайте, по которому нужно получить информацию.

Примеры плагинов и скриптов: SEO-Tools, SEO-magic. С их помощью можно проверять:

• Количество прошедших индексацию страничных данных в Google. Часть скриптов работает и с другими поисковиками.
• Индексирование сайта или отдельной страницы.
• Анализ семантики, кода, распределения ссылок.

Отличие между плагинами в панели управления, возможностях каждого из них и в том, какой именно функционал доступен в бесплатной версии.

Программы, позволяющие контролировать и проверять индексирование сайта

Есть платные и бесплатные программы, помогающие контролировать скорость и этапы индексации. Отличия между ними в функционале и постоянном обновлении.

Пример бесплатной программы — Site-Auditor. Помогает оценить уровень «популярности» сайта в поисковых системах, дает информацию о внешних ссылках и индексировании.

Проблемы индексации сайта

У качественного сайта количество попавших в поисковой индекс страниц и их общее число должно приблизительно совпадать. И желательно в нескольких поисковых системах одновременно. Допускается небольшая разбежность, учитывающая страничные данные, находящиеся на рассмотрении. Но если разбежность высокая, часть страниц не индексируется и не попадает в поисковую выдачу — ищем ошибки.

Основные ошибки индексирования и как их исправить:

• Ошибки в файле robots.txt. Файл находится в корневом каталоге веб-сайта и содержит основную информацию о правилах сканирования сайта. В нем можно указывать страницы, на которые поисковым роботам заходить не нужно. Важные страницы, по ошибке, могут быть закрыты от сканирования либо некачественные документы открыты для поисковых систем.
• Ошибки или отсутствие файла sitemap.xml. Это документ, в котором находятся ссылки на страницы и который используют роботы для получения их списка. О том, как правильно составить карту, сформировать файл sitemap и указать на него ссылку поисковикам, можно найти, например, в документации Google.
• Проблемы с контентом. Мусорные страницы, не несущие информации, неуникальный контент, дубли, медленная загрузка контента из-за «тяжелых» изображений, ошибки «404», одинаковые метатеги — это все нужно исправлять или скрывать от индексации.
• Технические ошибки. Нестабильная работа хостинга, некорректные HTTP-заголовки, ошибки кодировки, ошибки сканирования. Найти их можно с помощью специальных утилит, иногда на ошибки указывают и сами роботы.
• Сайт новый. Роботы в первую очередь проверяют сайты, которые уже закрепились в ТОПе поисковой выдачи и постоянно обновляются. До новых сайтов роботы доходят в последнюю очередь.
• Сайт очень редко обновляется. Если на нем ничего не меняется годами (не добавляется и не изменяется контент) поисковые системы не будут его часто сканировать.

Процесс индексации нового сайта может занимать более месяца. Потому здесь рекомендация одна — ждать, параллельно проверяя структуру на наличие технических ошибок, постоянно обновлять контент и развивать ссылочную базу. Если сайт существует давно — периодически проверяйте график индексации. Появился спад, упала поисковая выдача — ищите ошибки.

Способы по ускорению индексации сайта

Чем быстрее будут проиндексирован контент поисковыми системами, тем быстрее он попадет в поисковую выдачу и тем быстрее его увидят пользователи. О проблемах индексирования вы можете прочитать здесь.

Как ускорить индексирование:

• Добавляйте сайт и отдельные страничные данные в поисковые системы через сервисы веб-мастеров — не ждите, пока поисковые роботы сами найдут и проиндексируют их. Добавьте сайт в Google, затем дайте поисковым системам ссылку на карту сайта. Скорость попадания в выдачу зависит от разных факторов и может составлять 1-3 недели.
• Размещайте ссылки на ваш сайт на других ресурсах. Чем выше в поисковой выдаче находится ресурс со ссылкой, тем быстрее на него обратят внимание поисковые роботы и тем быстрее добавят сайт в индекс. Например, роботами с большой частотой на предмет обновления контента проверяются новостные порталы. Размещение на их страницах вашей ссылки позволит пройти индексацию в течение 1-3 дней.
• Регулярно добавляйте и обновляйте контент. Один из методов SEO-продвижения заключается в составлении семантического ядра, охватывающего ключевые запросы по тематике сайта. Постоянное добавление новых страниц с уникальным текстовым и видео контентом, заточенным под ключевые слова семантического ядра, повышают к сайту интерес со стороны поисковых роботов. Чем больше контента, чем лучше он структурирован и чем чаще он обновляется, тем чаще заходят на сайт роботы и тем быстрее проходит индексация.
• Перелинковывайте страницы между собой. У внутренней перелинковки есть два плюса. Роботы по внутренним ссылкам быстрее переходят на другие страницы сайта, тем самым быстрее их индексируя. Пользователи, переходя по линкам, посещают большее количество страниц, поднимая сайт в поисковой выдаче.
• Задействуйте социальные сети для продвижения нового контента. Добавляйте ссылки, привлекайте на новые страницы пользователей — так вы сможете быстрее привлечь внимание роботов и добавить контент в поиск.

Задача вебмастера — повысить авторитетность сайта в глазах поисковых роботов, оптимизировать контент и ссылки.

Справочный раздел Google

Здесь вы найдете базовую информацию о том, как работать с сервисами веб-мастеров и оптимизировать индексацию.

• • Расширенное руководство по Search Console Google.

Здесь есть общие сведения об индексировании, управление файлами sitemap и т. д.