Як перевірити індексацію сайту в Google і Яндекс?

Ви створили сайт — що далі? Щоб користувачі побачили його, сайт потрібно «показати» пошуковим системам — проіндексувати. І тільки після того, як пошукові системи додадуть контент вашого ресурсу в свою базу даних, можна застосовувати інструменти просування.

Індексація — це процес збору даних пошуковими роботами про все, що розміщується на сайті: про кількість сторінок, контенту, ключових слів й інше. Чим більше якісних сторінок буде проіндексовано, тим більше буде охоплення цільової аудиторії і відвідуваність. Якщо в індекс потрапляють не всі сторінки, це може говорити про проблеми у внутрішній структурі і / або наявності технічних помилок, які не дають можливості GoogleBot коректно просканувати і проіндексувати сайт. Як перевірити індексацію в пошукових системах, чому роботи можуть ігнорувати окремі сторінки і як це визначити, читайте в цьому огляді.

Аналіз індексування в сервісах Яндекс.Вебмастер і Google Search Console

У кожної пошукової системи є свій сервіс, який допомагає веб-майстрам в аналізі ефективності свого сайту в пошуковій видачі. У Google це Search Console, у Яндекса — Яндекс.Вебмайстер. Вони дозволяють відслідковувати, які сторінки є в індексі, які ні, а також відправляти на індексацію нові пріоритетні сторінки.

Як перевірити індексування сайту в Google:

  1. Зайдіть в Search Console . В панелі зліва натисніть «Додати ресурс» і вкажіть url сайту. Детальніше про те, як додати сайт в Google Search Console, читайте тут .Вибір типу ресурсу в Google Search Console.
  2. Підтвердіть право власності на сайт: скачайте запропонований пошуковою системою HTML-файл. Також право власності можна підтвердити за допомогою HTML-тега або через Google Tag Manager.
  3. У консолі виберіть вкладку «Огляд», перейдіть у вкладку «Покриття». Тут можна побачити кількість індексованих сторінок і помилок у вигляді цифрових значень і графіка.

Кількість індексованих сторінок і помилок у вигляді цифрових значень і графіка.
Що повинно бути у якісного сайту:

  • Кількість індексованих сторінок має збігатися з кількістю сторінок сайту. Допускається незначна похибка.
  • Кількість помилок має дорівнювати нулю.
  • Стовпці, що показують кількість сторінок в базі пошукача, повинні мати горизонтальний або висхідний вигляд.
  • У звіті «Вимкнено» немає важливих сторінок, які повинні бути в індексі пошукової системи.

В цьому випадку проблем з індексацією немає. Також тут можна подивитися історію індексації за 3, 6 і 12 місяців.

Якщо є помилки або сторінки потрапили в групу «Вимкнено», з індексацією проблеми — подивіться причини. Деякі сторінкові дані можуть тимчасово «зависнути» — робот їх уже переглянув (про що є повідомлення), але поки не проіндексував. Можливі причини: сторінка низької якості або має місце дублювання контенту.

Google Search Console дозволяє перевірити індексацію і окремої сторінки. У пошуковий рядок консолі вставте її url. Якщо з’явиться віконце із зеленою галочкою і відміткою «Сторінка відправлена ​​і проіндексована», проблем немає. Якщо вона ще не представлена ​​в індексі, галочка буде неактивна.

Перевірка індексування сайту в Яндекс:

  1. Дізнайтеся кількість сторінок на ресурсі. Алгоритм описано вище.
  2. Пройдіть авторизацію в Яндекс.Паспорт і відкрийте Яндекс.Вебмайстер.
  3. Перейдіть у вкладку «Індексування сайту — Сторінки в пошуку».

Хороший приклад індексації: кількість проіндексованих сторінок росте — лінія на графіку має рівний висхідний вигляд. Кількість помилок — нуль. Якщо на лінії графіка є просадки, зигзаги, лінія йде вниз — з індексацією є проблеми.

Перевірка індексації за допомогою документарних операторів

Сторінки, що потрапили в індекс, можна побачити, застосувавши документарний оператор «Site:». Вбийте його в пошуковий рядок і вкажіть повну адресу.

Приклад для Google:

Приклад перевірки індексації за допомогою документарних операторів для Google.

Проіндексовано близько 294 000 сторінок. Зіставивши цю цифру з їх кількістю на сайті, можна приблизно оцінити повноту індексації. Невеликі розбіжності можуть бути через те, що частина нових сторінок ще не проіндексована і знаходиться на розгляді пошукових роботів. Великі розбіжності говорять про помилки. Якщо під час періодичної перевіраи розбіжність збільшується, можливі проблеми з індексацією.

У Google є додаткові інструменти для більш глибокого аналізу. Наприклад, можна подивитися скільки з’явилося в індексі нових сторінок за певний період часу.

Додаткові інструменти Google для більш глибокого аналізу сайту.

Приклад для Яндекс:

Приклад перевірки індексації за допомогою документарних операторів для Яндекс.

Використання операторів дає лише приблизне уявлення про перевірку індексації. Добре, якщо кількість сторінок у Google і Яндекс збігаються між собою. Якщо немає, як на скрінах вище, потрібно шукати причини розбіжностей. Наприклад, є внутрішні помилки, які впливають на індексацію в пошукових системах.

Плагіни та букмарклети для перевірки індексування

Букмарклет — скрипт, який після налаштування зберігається в закладках браузера. Застосування плагінів і букмарклетів дозволяє прискорити процес перевірки сайту. Замість того щоб кожен раз забивати в пошуковий рядок браузера оператор і url, досить після налаштування плагіна запускати його із закладок на тому сайті, з якого потрібно отримати інформацію.

Приклади плагінів і скриптів: SEO-Tools, SEO-magic, RDS bar. З їх допомогою можна перевіряти:

  • Кількість пройшовших індексацію сторінкових даних в Гугл і Яндексі. Частина скриптів працює і з іншими пошуковими системами.
  • Індексування сайту або окремої сторінки.
  • Аналіз семантики, коду, розподілу посилань.

Відмінність між плагінами в панелі управління, можливості кожного з них і в тому, який саме функціонал доступний у безкоштовній версії.

Панель управління SEO-Tools.

Так виглядає панель управління SEO-Tools.

Програми, що дозволяють контролювати і перевіряти індексування сайту

Є платні і безкоштовні програми, які допомагають контролювати швидкість і етапи індексації. Відмінності між ними в функціоналі і постійному оновленні. Приклад платної версії — Semonitor. Це пакет програм для розкрутки і оптимізації платформи. Складається з набору утиліт, що дозволяють перевіряти позиції сайту в пошукових системах, аналізувати зовнішні посилання, перевіряти індексацію, шукати на сторінках биті посилання, помилки зображення й інше. Є безкоштовна демо-версія.

Приклад безкоштовної програми — Site-Auditor. Допомагає оцінити рівень «популярності» сайту в пошукових системах, дає інформацію про зовнішні посилання та індексування.

Проблеми індексації сайту

У якісного сайту кількість проіндексованиз сторінок і їх загальне число повинне приблизно збігатися. І бажано в декількох пошукових системах одночасно. Допускається невелика розбіжність, що враховує сторінкові дані, що знаходяться на розгляді. Але якщо розбіжність висока, частина сторінок не індексується і не потрапляє в пошукову видачу — шукаємо помилки.

Основні помилки індексування і як їх виправити:

  • Помилки в файлі robots.txt . Файл знаходиться в кореневому каталозі веб-сайту і містить основну інформацію про правила сканування сайту. У ньому можна вказувати сторінки, на які пошуковим роботам заходити не потрібно. Важливі сторінки, помилково, можуть бути закриті від сканування або неякісні документи відкриті для пошукових систем.
  • Помилки або відсутність файлу sitemap.xml . Це документ, в якому знаходяться посилання на сторінки і який використовують роботи для отримання їх переліку. Про те, як правильно скласти карту, сформувати файл sitemap і вказати на нього посилання пошуковикам, можна знайти, наприклад, в документації Google .
  • Проблеми з контентом. Сміттєві сторінки, що не несуть інформації, неунікальний контент, дублі, повільне завантаження контенту через «важких» зображень, помилки «404», однакові метатеги — це все потрібно виправляти або приховувати від індексації.
  • Технічні помилки. Нестабільна робота хостингу, некоректні HTTP-заголовки, помилки кодування, помилки сканування. Знайти їх можна за допомогою спеціальних утиліт, іноді на помилки вказують і самі роботи.
  • Сайт новий. Роботи в першу чергу перевіряють сайти, які вже закріпилися в ТОПі пошукової видачі і постійно оновлюються. До нових сайтів роботи доходять в останню чергу.
  • Сайт дуже рідко оновлюється. Якщо на ньому нічого не змінюється роками (не додають і не змінюють контент) пошукові системи не будуть його часто сканувати.

Процес індексації нового сайту може займати більше місяця. Тому тут рекомендація одна — чекати, паралельно перевіряючи структуру на наявність технічних помилок, постійно оновлювати контент і розвивати кількість посилань бази. Якщо сайт існує давно — періодично перевіряйте графік індексації. З’явився спад, впала пошукова видача — шукайте помилки.

Способи щодо прискорення індексації сайту

Чим швидше буде проіндексовано контент пошуковими системами, тим швидше він потрапить в пошукову видачу і тим швидше його побачать користувачі. Про проблеми індексування ви можете прочитати тут .

Як прискорити індексування:

  • Додавайте сайт і окремі сторінкові дані в пошукові системи через сервіси веб-майстрів — не чекайте, поки пошукові роботи самі знайдуть і проїндексируют їх. Наприклад, в Яндекс.Вебмастері передбачена функція відправки до 20 посилань в день на ті сторінкові дані, які потрібно проіндексувати в першу чергу. Якщо мова йде про індексацію всього сайту, то можна зробити наступним чином: додати його в Google і Яндекс, потім дати пошуковим системам посилання на карту сайту. Швидкість попадання у видачу залежить від різних факторів і може становити 1-3 тижні.
  • Розміщуйте посилання на ваш сайт на інших ресурсах. Чим вище в пошуковій видачі знаходиться ресурс з посиланням, тим швидше на нього звернуть увагу пошукові роботи і тим швидше додадуть сайт в індекс. Наприклад, роботами з великою частотою на предмет оновлення контенту перевіряються новинні портали. Розміщення на їхніх сторінках вашого посилання дозволить пройти індексацію протягом 1-3 днів.
  • Регулярно додавайте і оновлюйте контент. Один з методів SEO-просування полягає в складанні семантичного ядра, що охоплює ключові запити за тематикою сайту. Постійне додавання нових сторінок з унікальним текстовим і відео контентом, заточеним під ключові слова семантичного ядра, підвищують до сайту інтерес з боку пошукових роботів. Чим більше контенту, ніж краще він структурований і чим частіше він оновлюється, тим частіше заходять на сайт роботи та тим швидше проходить індексація.
  • Перелінковуйте сторінки між собою. У внутрішнього перелінкування є два плюси. Роботи по внутрішнім посиланням швидше переходять на інші сторінки сайту, тим самим швидше їх індексуючи. Користувачі, переходячи по лінках, відвідують більшу кількість сторінок, піднімаючи сайт в пошуковій видачі.
  • Задіюйте соціальні мережі для просування нового контенту. Додавайте посилання, залучайте на нові сторінки користувачів — так ви зможете швидше привернути увагу роботів і додати контент в пошук.

Завдання вебмастера — підвищити авторитетність сайту в очах пошукових роботів, оптимізувати контент і посилання.

Юля Заліховська

Керівник відділу продажів

Дізнайтеся про рекламу для вашого бізнесу!

Задайте Юлі питання про просування сайту в інтернеті.

Натискаючи на кнопку, ви даєте згоду на обробку персональних даних і погоджуєтеся з політикою конфіденційності

Довідкові розділи Яндекса і Google

І на завершення кілька посилань на довідкові розділи пошукових систем. Тут ви знайдете базову інформацію про те, як працювати з сервісами веб-майстрів і оптимізувати індексацію.

Тут є загальні відомості про індексування, управління файлами sitemap й інше.

Тут ви знайдете інформацію про те, як відбувається процес завантаження сторінок в базу Яндекса, як прискорити індексацію і багато іншого.


Аліна Глазиріна

головний редактор блогу Inweb

Підпишіться і будьте в курсі!

Аліна раз на тиждень пише про головні новини інтернет-маркетингу
Користувальницької угоди