6 способів видалити сторінку з пошуку Яндекса або Google

Часта індексація нових сторінок сайту — одна з основних задач сеошника. Але іноді ці сторінки необхідно швидко видалити з індексу пошукових систем Google і Яндекс. Причин для видалення, безліч: додавання інформації помилково, дублювання наявних даних або втрата їх актуальності, витік конфіденційних відомостей та інше.

В цій статті пропоную розглянути 6 найбільш ефективних і дієвих методів видалення проіндексованих сторінок.

Робот в пошуку Яндекс і Google

Які сторінки варто виключити з індексації і навіщо?

Не весь вміст веб-сайту призначений для показу в пошуку Яндекс і Google. До непотрібного, в першу чергу, відносяться ті сторінки, які ви не плануєте просувати і використовувати для залучення трафіку, наприклад:

  1. сторінки угруповань;
  2. дублікати сторінок;
  3. неінформативні документи (версія сторінок для друку, копії сторінок, що згенерували CMS та інші);
  4. сторінки логіна або реєстрації;
  5. конфіденційні дані;
  6. дублі посадкових сторінок;
  7. сторінки з неунікальним контентом;
  8. системні файли.

Видалити сторінки варто і в тому випадку, якщо контент, який ви прибрали зі свого сайту, все ще проіндексований пошуковими системами.

Існує велика кількість способів прибрати сторінку з індексу пошукових систем і для кожного випадку доведеться підбирати окремий метод. Якщо вибрати невідповідний умов підхід, сторінка продовжить індексуватися.

Видалення з індексу обов’язкове з наступних причин:

  1. захист особистих відомостей користувачів;
  2. підвищення релевантності вмісту сайту;
  3. потреба прибрати дублі сторінок.

Як перевірити індексацію URL-адреси

Щоб перевірити, чи включають Яндекс і Google сайт в свій індекс чи ні, можна скористатися спеціальними сервісами. Одним з них є оператор « site ». Він дозволяє з’ясувати, які сторінки проіндексовані і скільки їх всього. Щоб скористатися оператором, необхідно ввести в пошуковий рядок site: https: // назва сайту / і натиснути enter. У результатах одразу видно всі проіндексовані сторінки сайту:

Проіндексовані сторінки сайту в результатах пошуку

Для перевірки індексації окремої сторінки потрібно вказати її конкретну адресу.

Оператор URL — застосовується для пошуку сторінок, розміщених за певною адресою (URL).

Синтаксис:

url: повний URL

url: ім’я хоста / категорія / *

Приклад запиту:

пошук url: “ru.wikipedia.org/wiki/Ранжування”]

Будуть знайдені документи, що містять слово « пошук » і розміщені за заданою адресою.

[яндекс url: ru.wikipedia.org/wiki / *]

Будуть знайдені документи, що містять слово « яндекс », адреси яких починаються з ru.wikipedia.org/wiki.

Ще одним популярним способом пошуку проіндексованих сторінок є використання браузерних плагінів і розширень. Щоб запустити такий інструмент, потрібно відкрити інтернет-магазин Chrome і завантажити його. До найбільш простих і зручних розширеннь, що дозволяють швидко уточнити наявність URL-адреси в індексі пошуковика, відносяться:

  1. Search Console . Якщо сайт доданий в консоль, через інструмент перевірки URL можна дізнатися індексується чи сторінка. Необхідно зайти в Search Console і ввести ваш URL в рядок пошуку:

Перевірка індексації сторінки через інструмент перевірки URL Search Console

Якщо сайт індексується, то ви побачите:

Підтвердження індексації сайту через інструмент перевірки URL Search Console

Якщо ні:

Підтвердження що сайт не індексується через інструмент перевірки URL Search Console

  1. Зв’язка Netpeak Spider і Netpeak Checker . Netpeak Spider дозволяє просканувати весь сайт, отримавши список всіх URL. Його можна завантажити в Netpeak Checker і перевірити сторінки на факт індексації пошуковими системами.
  2. RDS Bar. Призначений для аналітики всіх функцій сайту, також включає можливість підсвітити проіндексовані сторінки.
  3. SEO Magic. Демонструє кількість сторінок, що знаходяться в індексах Яндекс і Google, і відкриває видачу пошукової системи.

Крім браузерних розширень перевірки індексації, можна скористатися платними або безкоштовними онлайн-сервісами. Найбільш затребувані — Серпхант , X-SEO і PR-CY . З їх допомогою вдасться перевірити не тільки URL-адресу, а й загальну оптимізацію сайту.

6 ефективних методів виключити сторінки з результатів пошуку

Перейдемо до основних варіантів видалення сайтів з індексу. Ми виділили 6 ключових способів:

  1. Налаштування 404, 403, 401 і 410 HTTP-кодів відповіді від сервера

    Цей інструмент забороняє роботам індексувати сторінку. При передачі 404/410 коду відповіді сервера вона буде видалена з індексу після наступного сканування. До цього сторінка буде видаватися в результатах пошуку. Навіть якщо вона вже стала недоступною, її кеш може невизначений термін перебувати в результатах видачі. При подальшому зверненні до неї буде видаватися помилка, що означає, що доступ неможливий. Значення помилок:

    • 403 forbidden / доступ заборонений (сервер відмовляється виконувати запит через обмеження в доступі);
    • 404 not found / сторінка не знайдена (сервер не може знайти дані, відповідні запиту);
    • 401 unauthorized / неавторизовано (запит вимагає ідентифікації користувача);
    • 410 gone / сторінка видалена (ресурс вилучений і більше недоступний).

    Після передачі одного з цих кодів, пошуковик сприймає сторінку як неіснуючу і прибирає з індексу. Робоча, що підлягає індексації, сторінка передає код 200.

  2. Директива Disallow в файлі Robots.txt

    Файл не є прямою вказівкою для пошукових систем, а скоріше носить рекомендаційний характер. Якщо прописати в ньому команду, яка забороняє сканування певної сторінки, існує велика ймовірність, що вона все одно буде проіндексована.

    Слід також зауважити, що для пошукової системи Яндекс директива Robots.txt є чітким наказом, а для Google — не більше ніж рекомендацією: навіть закрита через Robots.txt сторінка може бути проіндексована Гуглом.

    В разі, якщо сторінки індексуються, незважаючи на заборону в файлі Robots.txt, читати тут .

  3. Заголовки X-Robots-Tag

    Дія тега відбувається на рівні заголовків і поширюється на будь-який тип контенту. Цей інструмент має такі ж директиви як Robots.txt., Але диктує пошуковим роботам умови індексації без завантаження вмісту сторінки, тим самим значно скорочуючи час інтерпретації відповіді сторінки.

    Для заборони доступу потрібне налаштування HTTP-заголовка X-Robots-Tag для конкретну URL на головному конфігураційному сервері сайту.

    Не всі пошукові системи взаємодіють з X-Robots-Tag. Гугл і Яндекс підтримують цей інструмент, але робота з іншими системами може зажадати використання інших способів.

  4. Тег noindex

    Додавши цю прописану директиву, можна також отримати заборону індексації. Перш noindex виставлявся в файлах Robots.txt, але тепер його застосування стало неприпустимим.

    Для використання вводимо в коді через рядок:

    <meta name=”robots”content=”noindex”>

    Для того щоб закрити доступ через HTTP-заголовок, в коді відповіді сервера потрібно ввести:

    <meta name=”robots”content=”noindex”>

    Сторінки ховаються після наступного сканування сайту.

  5. Ручне видалення з панелі за допомогою Google Search Console і Яндекс Вебмайстер

    Щоб прибрати контент із загального доступу, можна скористатися спеціальними сервісами пошукових систем. Сторінки стануть невидимі для користувачів на кілька місяців, після чого Яндекс і Гугл знову покажуть їх у видачі. Ці інструменти прибирають сторінки не тільки з індексу, а й з кеша.

    Для того щоб приховати інформацію через Google Search Console, сайт повинен бути авторизований в сервісі Гугл для веб-майстрів. Це швидкий спосіб для екстрених випадків, наприклад, як витік особистих відомостей. Запит приховання даних здійснюється протягом декількох годин. Але, щоб насправді видалити контент, доведеться використовувати інший метод.

  6. Налаштування редиректу 301 або склеювання непотрібної сторінки з потрібною

    Існує метод закриття сторінки від індексації через Google Tag Manager. Про те, як закрити сторінку таким чином, можна прочитати за цим посиланням . Набагато складніше видалити сторінки чужого сайту. Але і у цій ситуації є рішення. Якщо контент був скопійований і з’явився на чужому ресурсі, достатньо заповнити відповідну форму і направити Google або Яндекс запит про порушення авторських прав. Або написати лист вебмайстру з проханням видалити відомості.

    Додаткову інформацію про методи виключення сторінок сайту з індексу читайте в телеграм-каналі « Канал Владислава Наумова » (Head of SEO в Inweb).

Юля Заліховська

Керівник відділу продажів

Дізнайтеся про рекламу для вашого бізнесу!

Задайте Юлі питання про просування сайту в інтернеті.

Натискаючи на кнопку, ви даєте згоду на обробку персональних даних і погоджуєтеся з політикою конфіденційності

Висновок

  1. Потрібно закривати доступ до тих сторінок, які не використовуються для залучення трафіку або розкривають конфіденційну інформацію.
  2. Видалення зайвого покращує позицію сайту і позитивно впливає на глибину перегляду, проведений час на сайті і інші поведінкові фактори.
  3. Для блокування від індексації всього сайту або окремих розділів можна скористатися такими методами:
    • налаштування HTTP-кодів відповіді сервера по помилках 403, 404, 401 і 410;
    • проставлення директиви Disallow в Robots.txt;
    • використання тега Noindex в HTTP-відповіді сторінки;
    • прописування тега X-Robots-Tag;
    • ручне видалення сторінок з використанням Яндекс Вебмайстер і Google Search Console;
    • склеювання непотрібної сторінки з потрібною.
  4. Не всі методи приховування даних з видачі однаково надійні. Сервіси Яндекс Вебмайстер і Google Search Console здійснюють лише тимчасове виключення інформації з індексу, а використання директиви Disallow взагалі не гарантує повного видалення відомостей.

Існує чимало причин для заборони індексування сторінок пошуковими роботами, і різні умови задачі вимагають від веб-майстра різних способів вирішення.


Аліна Глазиріна

головний редактор блогу Inweb

Підпишіться і будьте в курсі!

Аліна раз на тиждень пише про головні новини інтернет-маркетингу
Користувальницької угоди