Як перевірити індексацію сайту в Google?

Ви створили сайт — що далі? Щоб користувачі побачили його, сайт потрібно «показати» пошуковим системам — проіндексувати. І тільки після того, як пошукові системи додадуть контент вашого ресурсу в свою базу даних, можна застосовувати інструменти просування.

Індексація — це процес збору даних пошуковими роботами про все, що розміщується на сайті: про кількість сторінок, контенту, ключових слів й інше. Чим більше якісних сторінок буде проіндексовано, тим більше буде охоплення цільової аудиторії і відвідуваність. Якщо в індекс потрапляють не всі сторінки, це може говорити про проблеми у внутрішній структурі і / або наявності технічних помилок, які не дають можливості GoogleBot коректно просканувати і проіндексувати сайт. Як перевірити індексацію в пошукових системах, чому роботи можуть ігнорувати окремі сторінки і як це визначити, читайте в цьому огляді.

Аналіз індексування в Google Search Console

У кожної пошукової системи є свій сервіс, який допомагає веб-майстрам в аналізі ефективності свого сайту в пошуковій видачі. У Google це Search Console. Вони дозволяють відслідковувати, які сторінки є в індексі, які ні, а також відправляти на індексацію нові пріоритетні сторінки.

Як перевірити індексування сайту в Google:

1. Зайдіть в Search Console . В панелі зліва натисніть «Додати ресурс» і вкажіть url сайту. Детальніше про те, як додати сайт в Google Search Console, читайте тут .
2. Підтвердіть право власності на сайт: скачайте запропонований пошуковою системою HTML-файл. Також право власності можна підтвердити за допомогою HTML-тега або через Google Tag Manager.
3. У консолі виберіть вкладку «Огляд», перейдіть у вкладку «Покриття». Тут можна побачити кількість індексованих сторінок і помилок у вигляді цифрових значень і графіка.

Що повинно бути у якісного сайту:

• Кількість індексованих сторінок має збігатися з кількістю сторінок сайту. Допускається незначна похибка.
• Кількість помилок має дорівнювати нулю.
• Стовпці, що показують кількість сторінок в базі пошукача, повинні мати горизонтальний або висхідний вигляд.
• У звіті «Вимкнено» немає важливих сторінок, які повинні бути в індексі пошукової системи.

В цьому випадку проблем з індексацією немає. Також тут можна подивитися історію індексації за 3, 6 і 12 місяців.

Якщо є помилки або сторінки потрапили в групу «Вимкнено», з індексацією проблеми — подивіться причини. Деякі сторінкові дані можуть тимчасово «зависнути» — робот їх уже переглянув (про що є повідомлення), але поки не проіндексував. Можливі причини: сторінка низької якості або має місце дублювання контенту.

Google Search Console дозволяє перевірити індексацію і окремої сторінки. У пошуковий рядок консолі вставте її url. Якщо з’явиться віконце із зеленою галочкою і відміткою «Сторінка відправлена ​​і проіндексована», проблем немає. Якщо вона ще не представлена ​​в індексі, галочка буде неактивна.

Хороший приклад індексації: кількість проіндексованих сторінок росте — лінія на графіку має рівний висхідний вигляд. Кількість помилок — нуль. Якщо на лінії графіка є просадки, зигзаги, лінія йде вниз — з індексацією є проблеми.

Перевірка індексації за допомогою документарних операторів

Сторінки, що потрапили в індекс, можна побачити, застосувавши документарний оператор «Site:». Вбийте його в пошуковий рядок і вкажіть повну адресу.

Приклад для Google:

Проіндексовано близько 294 000 сторінок. Зіставивши цю цифру з їх кількістю на сайті, можна приблизно оцінити повноту індексації. Невеликі розбіжності можуть бути через те, що частина нових сторінок ще не проіндексована і знаходиться на розгляді пошукових роботів. Великі розбіжності говорять про помилки. Якщо під час періодичної перевіраи розбіжність збільшується, можливі проблеми з індексацією.

У Google є додаткові інструменти для більш глибокого аналізу. Наприклад, можна подивитися скільки з’явилося в індексі нових сторінок за певний період часу.

Використання операторів дає лише приблизне уявлення про перевірку індексації. Добре, якщо кількість сторінок у Google збігається між собою. Якщо немає, як на скріні вище, потрібно шукати причини розбіжностей. Наприклад, є внутрішні помилки, які впливають на індексацію в пошукових системах.

Плагіни та букмарклети для перевірки індексування

Букмарклет — скрипт, який після налаштування зберігається в закладках браузера. Застосування плагінів і букмарклетів дозволяє прискорити процес перевірки сайту. Замість того щоб кожен раз забивати в пошуковий рядок браузера оператор і url, досить після налаштування плагіна запускати його із закладок на тому сайті, з якого потрібно отримати інформацію.

Приклади плагінів і скриптів: SEO-Tools, SEO-magic. З їх допомогою можна перевіряти:

• Кількість пройшовших індексацію сторінкових даних в Google. Частина скриптів працює і з іншими пошуковими системами.
• Індексування сайту або окремої сторінки.
• Аналіз семантики, коду, розподілу посилань.

Відмінність між плагінами в панелі управління, можливості кожного з них і в тому, який саме функціонал доступний у безкоштовній версії.

Програми, що дозволяють контролювати і перевіряти індексування сайту

Є платні і безкоштовні програми, які допомагають контролювати швидкість і етапи індексації. Відмінності між ними в функціоналі і постійному оновленні. Приклад безкоштовної програми — Site-Auditor. Допомагає оцінити рівень «популярності» сайту в пошукових системах, дає інформацію про зовнішні посилання та індексування.

Проблеми індексації сайту

У якісного сайту кількість проіндексованиз сторінок і їх загальне число повинне приблизно збігатися. І бажано в декількох пошукових системах одночасно. Допускається невелика розбіжність, що враховує сторінкові дані, що знаходяться на розгляді. Але якщо розбіжність висока, частина сторінок не індексується і не потрапляє в пошукову видачу — шукаємо помилки.

Основні помилки індексування і як їх виправити:

• Помилки в файлі robots.txt . Файл знаходиться в кореневому каталозі веб-сайту і містить основну інформацію про правила сканування сайту. У ньому можна вказувати сторінки, на які пошуковим роботам заходити не потрібно. Важливі сторінки, помилково, можуть бути закриті від сканування або неякісні документи відкриті для пошукових систем.
• Помилки або відсутність файлу sitemap.xml . Це документ, в якому знаходяться посилання на сторінки і який використовують роботи для отримання їх переліку. Про те, як правильно скласти карту, сформувати файл sitemap і вказати на нього посилання пошуковикам, можна знайти, наприклад, в документації Google .
• Проблеми з контентом. Сміттєві сторінки, що не несуть інформації, неунікальний контент, дублі, повільне завантаження контенту через «важких» зображень, помилки «404», однакові метатеги — це все потрібно виправляти або приховувати від індексації.
• Технічні помилки. Нестабільна робота хостингу, некоректні HTTP-заголовки, помилки кодування, помилки сканування. Знайти їх можна за допомогою спеціальних утиліт, іноді на помилки вказують і самі роботи.
• Сайт новий. Роботи в першу чергу перевіряють сайти, які вже закріпилися в ТОПі пошукової видачі і постійно оновлюються. До нових сайтів роботи доходять в останню чергу.
• Сайт дуже рідко оновлюється. Якщо на ньому нічого не змінюється роками (не додають і не змінюють контент) пошукові системи не будуть його часто сканувати.

Процес індексації нового сайту може займати більше місяця. Тому тут рекомендація одна — чекати, паралельно перевіряючи структуру на наявність технічних помилок, постійно оновлювати контент і розвивати кількість посилань бази. Якщо сайт існує давно — періодично перевіряйте графік індексації. З’явився спад, впала пошукова видача — шукайте помилки.

Способи щодо прискорення індексації сайту

Чим швидше буде проіндексовано контент пошуковими системами, тим швидше він потрапить в пошукову видачу і тим швидше його побачать користувачі. Про проблеми індексування ви можете прочитати тут .

Як прискорити індексування:

• Додавайте сайт і окремі сторінкові дані в пошукові системи через сервіси веб-майстрів — не чекайте, поки пошукові роботи самі знайдуть і проіндексирують їх. Додайте сайт в Google, потім дайте пошуковим системам посилання на карту сайту. Швидкість попадання у видачу залежить від різних факторів і може становити 1-3 тижні.
• Розміщуйте посилання на ваш сайт на інших ресурсах. Чим вище в пошуковій видачі знаходиться ресурс з посиланням, тим швидше на нього звернуть увагу пошукові роботи і тим швидше додадуть сайт в індекс. Наприклад, роботами з великою частотою на предмет оновлення контенту перевіряються новинні портали. Розміщення на їхніх сторінках вашого посилання дозволить пройти індексацію протягом 1-3 днів.
• Регулярно додавайте і оновлюйте контент. Один з методів SEO-просування полягає в складанні семантичного ядра, що охоплює ключові запити за тематикою сайту. Постійне додавання нових сторінок з унікальним текстовим і відео контентом, заточеним під ключові слова семантичного ядра, підвищують до сайту інтерес з боку пошукових роботів. Чим більше контенту, ніж краще він структурований і чим частіше він оновлюється, тим частіше заходять на сайт роботи та тим швидше проходить індексація.
• Перелінковуйте сторінки між собою. У внутрішнього перелінкування є два плюси. Роботи по внутрішнім посиланням швидше переходять на інші сторінки сайту, тим самим швидше їх індексуючи. Користувачі, переходячи по лінках, відвідують більшу кількість сторінок, піднімаючи сайт в пошуковій видачі.
• Задіюйте соціальні мережі для просування нового контенту. Додавайте посилання, залучайте на нові сторінки користувачів — так ви зможете швидше привернути увагу роботів і додати контент в пошук.

Завдання вебмастера — підвищити авторитетність сайту в очах пошукових роботів, оптимізувати контент і посилання.

Довідковий розділ Google

Тут ви знайдете базову інформацію про те, як працювати з сервісами веб-майстрів і оптимізувати індексацію.

• Розширене керівництво по Search Console Google .

Тут є загальні відомості про індексування, управління файлами sitemap й інше.