Чому сайт погано індексується, що таке індексація і які існують методи прискорення

Проблема індексації посадкових сторінок — одна з основних, з якою стикається майже кожен власник сайту. Індексація — додавання інформації про ваш сайт в базу даних пошукових систем. Сторінки, яких немає в індексі, користувачі не зможуть знайти, отже — трафіку на них не буде.

Пошукові системи сканують сайти в інтернеті на предмет якісних документів, що задовольняють попит користувачів. Пошуковики зацікавлені, щоб база сайтів була максимально повною та актуальною, тому регулярно сканують всі, відомі їм, сайти в пошуках нового контенту. Є цілі сайти і / або окремі документи, які рідко сканують пошукові системи або які не скануються зовсім. У статті ми розберемо основні моменти, що впливають на швидкість індексації документів.

Причини поганої індексації сайту

Щоб розібратися, чому сайт погано індексується, потрібно визначитися з поняттями «краулінга» і «краулінгового бюджету».

google bot

Краулінг — це процес сканування сторінок ботами пошукових систем. Основна мета краулінга — знайти якомога більше корисних і актуальних документів.

Краулінговий бюджет — це ліміт, який виділяється кожному сайту на сканування. Іншими словами це обмеження кылькості сторінок, які пошуковий робот може просканувати в певний проміжок часу. Краулінговий бюджет розраховується для кожного сайту окремо, виходячи з частоти оновлення контенту, якості ресурсу, відповіді сервера, розміру сторінок та інших параметрів.

Логічно, якщо на сайті 10 сторінок і нічого не змінюється роками — роботи рейтингів не будуть сканувати такі сайти часто. Немає сенсу витрачати ресурси на це завдання.

Виходячи з поняття «краулінга» і нашого SEO-досвіду розглянемо помилки та способи їх виправлення.

Як дізнатися, що сайт погано індексується?

Сайт або сторінка рідко індексується, якщо дата збереженої копії (кешу) понад два тижні. Перевіряємо дату кешу документа в Google через оператор cache: cache:inweb.ua

Кеш документа в Google Analytics

Примітка. Подивитися дату індексації сторінки можна за допомогою букмарклету.

Якщо даті кешованої копії понад місяць — з індексацією серйозні проблеми. Результати сканування вашого сайту пошуковими системами можна подивитися в спеціальних звітах Google і Яндекс. Для пошукової системи Google даний звіт доступний в сервісі Search Console. Ось що пише Google про свій звіт:

Звіт про статистику сканування сайтів

Приклад звіту в Google Search Console:

Приклад звіту в Google Search Console

Статистика сканування в Google

Такого ж типу звіт є і в Яндексі. Доступний він в Яндекс Вебмайстері. Візуалізація звіту:

Приклад звіту в Яндекс вебмайстрів

Найчастіше, проблема краулінга стосується тільки дуже великих сайтів. Якщо ваш сайт має до 1000 сторінок і вони індексуються раз на місяць або рідше, основна причина поганої індексації десь на самих сторінках. Розглянемо основні помилки, що впливають на сканування та індексування сторінок.

  1. Закриття сайту або окремих сторінок у файлі robots.txt, noindex, X-Robots tag

    Окремі сторінки або сайт в цілому можуть бути закритими від індексації всіх пошукових систем або якоїсь конкретної. В такому випадку сайт не буде скануватися, потрібні сторінки потрапляти в індекс, підсумок — ви не зможете ранжуватися в пошуку.

    Приклад закритого сайту від індексації у файлі robots.txt:

    Приклад закритого сайту від індексації у файлі robots.txt

    Приклад закритої сторінки від індексації за допомогою метатегу noindex:

    Приклад закритої сторінки від індексації за допомогою метатега noindex

    Приклад закритої для індексації сторінки за допомогою X-Robots tag:

    Приклад закритої сторінки від індексації за допомогою метатега X-Robots tag

  2. Фільтр, санкції від пошукових систем

    Щоб надавати користувачам якісний контент, Google і Яндекс створили алгоритми для обчислення якісних сайтів. Якщо ваш ресурс добре росте тільки в одній пошуковій системі, а в інший трафіку майже немає, можливо на сайт було накладені санкції (перевірити можна в Google Analytics, Search Console або Яндекс.Вебмайстер).

    Статистика трафіку в Google Analytics

  3. Неякісний контент (неунікальний, неінформативний, дубльований) і дублі сторінок

    Дублі сторінок — це сторінки, оптимізовані під однакові запити, але на різних url-адресах. Загальний обсяг сайту збільшується шляхом таких дублів, боти, своєю чергою, витрачають більше часу на індексацію цих «сміттєвих» сторінок, тим самим неефективно витрачаючи краулінговий бюджет сайту, а якісні сторінки можуть зовсім не потрапити в індекс.

    Повертаємося в поняття «краулінговий бюджет», де пошукові роботи витрачають на сканування сайту n часу. Якщо робот «бачить», що контент регулярно повторюється, індексація буде проводитися значно довше або може зовсім припинитися. Пошуковик вважатиме контент неякісним, не побачить сенсу його взагалі або часто сканувати.

    Дублюватися можуть не тільки сторінки, а й контент. Дублі контенту — повторювані матеріали на різних сторінках сайту (часто зустрічаються на сторінках пагінації, фільтрів або сортуваннях). Ось приклад дубльованого контенту на сторінках, які не закриті від індексації: http://smoke-gadgets.com.ua/kalyany/kalyany_cwp_razor/filter/hit-is-recommend/apply/

    Дубль контент на сторінці фільтра

    Той самий контент на сторінці категорії: http://smoke-gadgets.com.ua/kalyany/kalyany_cwp_razor/

    Повторюваний контент на сторінці категорії

  4. Помилки в коді сайту

    Пошуковий робот повинен обробити HTML-код. Якщо сторінки зроблені на JavaScript, то пошуковий бот не зможе розпізнати їх, обробити й додати в кеш пошукової системи. Щоб перевірити кеш сторінки, потрібно додати до неї cache: і переглянути текстову версію:

    Перевірка на помилки в коді сайту

  5. Неправильна відповідь сервера на потрібні сторінки

    Сторінка, що доступна для індексації, має віддавати код відповіді сервера 2хх. Якщо цього немає, не буде й індексації. Для пошукових роботів кожна група відповідей сервера дає вказівки, що потрібно робити:
    3хх означає, що потрібний контент розташовано за іншою адресою;
    4хх — сторінка не доступна;
    5хх — проблема з сервером;
    і тільки група відповіді сервера 2хх означає, що сторінка доступна за поточною адресою, отже її можна сканувати та індексувати. Якщо сервер дає невірний код відповіді потрібної сторінки, сторінка не потрапить в індекс.

  6. Великий рівень вкладеності

    Від вкладеності залежить пріоритетність сторінок під час індексування пошуковими ботами. Чим більше рівень вкладеності, тим менше у неї пріоритет: якщо ви створили нову сторінку або нову категорію, але для того, щоб до неї дістатися користувач повинен зробити більше 3-х кліків — швидкість індексації такої сторінки буде не високою. Наприклад: https://remshop.com.ua/p1007251549-kryshka-blendernoj-chashi.html

    Великий рівень вкладеності сторінки

    Щоб дістатися до карток товару на сторінці «Крышка чаши» нужно:

    • Зайти на сайт.
    • Перейти в категорію «Для кухонних комбайнів».
    • Далі — на підкатегорію «Кришка чаші».

    І тільки після цього можна буде перейти на потрібну картку товару. Погодьтеся, не швидко.

  7. Повільна швидкість сайту

    Швидкість завантаження сторінок умовно складається з трьох складових:

    • швидкість завантаження контенту;
    • швидкість завантаження зображень;
    • швидкість відповіді сервера.

    Чим менше у вас розмір контенту, зображень і вище швидкість завантаження сервера, тим швидше бот просканує сторінку та додасть її в індекс.

    Додаток для перевірки швидкості завантаження сторінок

  8. Відсутність мобільної версії

    Здавалося б, до чого тут мобільна або адаптивна версія сайту до швидкості індексації сторінок пошуковою системою. Але з 1 липня 2019 року пошукова система віддала пріоритет мобільному контенту. Якщо сторінки відсутні в мобільній або адаптивній версії вашого сайту, пошукова система їх може будь-коли побачити.

  9. Чи не регулярне оновлення контенту сайту

    Частота оновлення контенту сигналізує пошуковому боту про її регулярність. Якщо на сайті давно нічого не публікувалося або не додавати нові товари, робот не буде ставити в пріоритет сканування та індексування вашого сайту. Наприклад, ви створили інтернет-магазин, наповнили його товарами, контентом і всіма необхідними даними. Тут можна подумати, що робота над сайтом закінчена і потрібно просто акцентувати на посилальному профілі. І ось ви регулярно розширюєте його, а результату немає. У чому ж проблема? У тому, що сайт без постійного оновлення контенту (асортименту), здається пошуковому боту «мертвим», а отже — час витрачати на нього не варто.

  10. Відсутність внутрішнього перелінкування

    Перехід за внутрішнім посиланням сприяє прискоренню індексації нових сторінок. Чим більше лінків веде на сторінку, тим більшу вагу вона набуває, тобто стає більш значущою для пошукових систем. Наприклад, на цю сторінку веде тільки одне посилання з переліку статей: http://eco-food.com.ua/articles/sushi-is-popular/

    Стаття на блозі

Як дізнатися, що сайт погано індексується

Спосіб №1

В адмін панелі дивимося загальну кількість сторінок вашого сайту, а потім в пошуковому рядку до домену додаємо site: Приклад: site: https:/домен.org

Спосіб перевірки індексації №1

Під пошуковим рядком ви побачите кількість результатів, які знайшла пошукова система у видачі з вашим доменом. Далі потрібно зробити порівняння кількості сторінок в адмін панелі з кількістю сторінок у видачі. З різниці робимо висновок, скільки сторінок ще не проіндексовано.

Спосіб №2

Порівнюємо кількість сторінок з адмін панелі з даними з Search Console або Яндекс.Вебмайстер.
Приклад: Всього проіндексованих сторінок в Search Console:

Список проіндексованих сторінок в Search Console

Також можна подивитися звіт “Статистика сканування”

Звіт статистика сканування в Search Console

Яндекс.Вебмайстер, звіт “Сторінки в пошуку”

Звіт сторінки в пошуку в Яндекс. Веб-майстер

Потім завантажуємо таблицю

Таблиця звіту в Яндекс. Веб-майстер

Дивимося кількість сторінок, що проіндексовані пошуковою системою:

Кількість сторінок проіндексовані пошуковою системою

Спосіб №3

Можна подивитися, чи є конкретна сторінка у видачі, використовуючи той самий алгоритм, що і в способі №1. В цьому випадку потрібно додати site: з конкретною url-адресою. Приклад:

Спосіб перевірки індексації №2

Юля Заліховська

Керівник відділу продажів

Дізнайтеся про рекламу для вашого бізнесу!

Задайте Юлі питання про просування сайту в інтернеті.

Натискаючи на кнопку, ви даєте згоду на обробку персональних даних і погоджуєтеся з політикою конфіденційності

12 методів прискорення індексації сайту

Підсумовуючи вище описане, ми підготували 12 дієвих методів для поліпшення індексації сайту пошуковими системами Яндекс або Google.

  1. Оновлення поточного контенту.Один зі способів привернути пошукових роботів — це регулярне оновлення контенту на вашому сайті. Оновлення контенту може відбуватися шляхом перепису старого контенту або його окремих частин, наприклад, шляхом написання нових відгуків на старі сторінки сайту.
  2. Додавання нового контенту. Домогтися залучення уваги пошукових роботів до вашого інтернет-ресурсу можна шляхом додавання нового контенту на сайт. Для цього можна регулярно писати нові статті на блог, додавати нові товари, категорії або інформаційні сторінки.
  3. Відсутність дублікатів і сміттєвих сторінок. Як ми писали вище, на сканування кожного сайту виділяється n часу пошукового робота. Відсутність дублів і / або сміттєвих сторінок сайту збільшить кількість часу пошукових роботів на сканування потрібних сторінок. Як визначити, то що на сайті є сміттєві або дублі сторінок? Почніть з самого простого: перевірте коректність оптимізації сторінок пагінації, фільтрів і сортувань на сайті. Перевірте доступність сторінок з /, www і без. Якщо у вас зроблена ця оптимізація, проскануйте сайт спеціальними SEO-програмами, наприклад Netpeak Spider чи Screaming Frog, зверніть увагу на дублі метатегів.

    Сторінки, оптимізовані під однакові запити, також є дублями в «очах» пошукової системи.

    Дублі метатегов оптимізовані під однакові запити

  4. Створити коректний і автообновлювальний Sitemap.xml.

    Для прискорення індексації сайту, створіть коректну xml-карту і додайте її в файл robots.txt і Веб-майстер. Вона буде, свого роду, навігатором вашим сайтом для пошукових систем. А додавання в неї Last-Modified вкаже ботам дату останнього оновлення конкретної сторінки та скануватиме сторінки з новим контентом швидше.

    Коректний і автообновляемий Sitemap.xml

  5. Зовнішні ресурси. Розміщення посилань на сторонніх ресурсах або лiнкбилдiнг не тільки допомагає збільшити контрольну вагу сайту в цілому або конкретної його сторінки, а й залучає пошукового бота для поліпшення індексації. Кілька способів розміщення посилання на ваш сайт на сторонніх ресурсах:
    • форуми;
    • рейтинги;
    • статті;
    • довідники;
    • отзовікі.

    У поточній рекомендації важливо вибрати якісні інтернет-ресурси з хорошими показниками, такими як відвідуваність майданчиків, кількість вхідних і вихідних посилань, основні ключові слова ранжирування сайту і приналежність до регіону, в якому ви рухаєтеся.

  6. HTML-карта сайту для категорій, а також для підтвердження бронювання.

    Карта сайту в форматі HTML — це, свого роду, каталог усіх розділів сайту з категоріями та підкатегоріями, розміщених відповідно до їх ієрархії. Наявність html-карти сайту показує пошуковій системі, які сторінки є основними та зменшує рівень вкладеності для підкатегорії.

    HTML-карта сайту для категорій

  7. HTML-карта сайту для карток товару.

    Цей спосіб покращення індексації добре підходить для великих інтернет-магазинів: всі картки з товарами знаходяться в одному місці та є, свого роду, путівником для пошукової системи за асортиментом.

    HTML-карта сайту для карток товару

  8. Хлібні крихти.

    Елемент інтерфейсу в веб-сайтах, що показує шлях від початкової сторінки до того рівня, який наразі переглядає користувач. Хлібні крихти є елементом додаткового лінкування, яке в цілому впливає на поліпшення індексації.

    Хлібні крихти

  9. Спливаюче меню.

    Як швидко бот дістанеться до потрібної сторінки, залежить від рівня вкладеності. Кращий результат вкладеності сторінок — не більше 2-3 кліків. З цією метою багато веб-ресурсів створюють спливаюче меню, в яке виводяться всі основні посилання на розділи та категорії.

    Випадаюче меню

  10. Перелінкування за характеристиками на картках товарів.

    Посилання в характеристиках на картках товару, провідні на відповідні категорії або підкатегорії, є елементом додаткового лінкування, яке впливає на поліпшення індексації.

    Перелінковка за характеристиками на картках товарів

  11. Посилання в контенті.

    Щоб пошуковий бот швидше зайшов на нові сторінки сайту, поставте посилання з вже проіндексованих сторінок на нові. Проставлені посилання в контенті повинні вести на релевантні сторінки категорій.

    Посилання в контенті

  12. Мобільна або адаптивна версія сайту. Як вже говорили, якщо сторінки відсутні у вашій мобільній або адаптивній версії, пошукова система їх може не побачити. Переконайтеся, що всі рекомендації, описані вище, доступні в мобільній або адаптивній версії сайту. Якщо це не так, почніть працювати над своєю індексацією саме з цього пункту.

Аліна Глазиріна

головний редактор блогу Inweb

Підпишіться і будьте в курсі!

Аліна пише про головні новини інтернет-маркетингу
Користувальницької угоди