6 способов удалить страницу из поиска Яндекса или Google

Частая индексация новых страниц сайта — одна из основных задач сеошника. Но иногда эти самые страницы необходимо быстро удалить из индекса поисковых систем Google и Яндекс. Причин для удаления, множество: добавление информации по ошибке, дублирование имеющихся данных или потеря их актуальности, утечка конфиденциальных сведений и другие.

В этой статье предлагаю рассмотреть 6 наиболее эффективных и действенных методов удаления проиндексированных страниц.

Робот в поиске Яндекс и Google

Какие страницы стоит исключить из индексации и зачем?

Не все содержимое веб-сайта предназначено для показа в поиске Яндекс и Google. К ненужному, в первую очередь, относятся те страницы, которые вы не планируете продвигать и использовать для привлечения трафика, например:

  1. страницы сортировок;
  2. дубликаты страниц;
  3. неинформативные документы (версия страниц для печати, копии страниц, сгенерированные CMS и другие);
  4. страницы логина или регистрации;
  5. конфиденциальные данные;
  6. дубли посадочных страниц;
  7. страницы с неуникальным контентом;
  8. системные файлы.

Удалить страницы стоит и в том случае, если контент, который вы убрали со своего сайта, все еще проиндексирован поисковыми системами.

Существует большое количество способов убрать страницу из индекса поисковых систем и для каждого случая придется подбирать отдельный метод. Если выбрать несоответствующий условиям подход, страница продолжит индексироваться.

Удаление из индекса обязательно по следующим причинам:

  1. защита личных сведений пользователей;
  2. повышение релевантности содержимого сайта;
  3. потребность убрать дублирующие друг друга страницы.

Как проверить индексацию URL-адреса

Чтобы проверить, включают ли Яндекс и Google сайт в свой индекс или нет, можно воспользоваться специальными сервисами. Одним из них является оператор «site». Он позволяет выяснить, какие страницы проиндексированы и сколько их всего. Чтобы воспользоваться оператором, необходимо ввести в поисковую строку site:https://название сайта/ и нажать enter. В результатах сразу видны все проиндексированные страницы сайта:

Проиндексированные страницы сайта в результатах поиска

Для проверки индексации отдельной страницы нужно указать ее конкретный адрес.

Оператор URL — применяется для поиска страниц, размещенных по определенному адресу (URL).

Синтаксис:

url:полный URL

url:имя хоста/категория/*

Пример запроса:

поиск url:»ru.wikipedia.org/wiki/Ранжирование»]

Будут найдены документы, содержащие слово «поиск» и размещенные по заданному адресу.

[яндекс url:ru.wikipedia.org/wiki/*]

Будут найдены документы, содержащие слово «яндекс», адреса которых начинаются с ru.wikipedia.org/wiki.

Еще одним популярным способом поиска проиндексированных страниц является использование браузерных плагинов и расширений. Чтобы запустить такой инструмент, нужно открыть интернет-магазин Chrome и скачать его. К наиболее простым и удобным расширениям, позволяющим быстро уточнить наличие URL-адреса в индексе поисковика, относятся:

  1. Search Console. Если сайт добавлен в консоль, через инструмент проверки URL можно узнать индексируется ли страница. Необходимо зайти в Search Console и ввести интересующий вас URL в строку поиска:

Проверка индексации страницы через инструмент проверки URL Search Console

Если сайт индексируется, то вы увидите:

Подтверждение индексации сайта через инструмент проверки URL Search Console

Если нет:

Подтверждение что сайт не индексируется через инструмент проверки URL Search Console

  1. Cвязка Netpeak Spider и Netpeak Checker. Netpeak Spider позволяет просканировать весь сайт, получив список всех URL. Его можно загрузить в Netpeak Checker и проверить страницы на факт индексации поисковыми системами.
  2. RDS Bar. Предназначен для аналитики всех функций сайта, также включает возможность подсветить проиндексированные страницы. 
  3. SEO Magic. Демонстрирует количество страниц, находящихся в индексах Яндекс и Google, и открывает выдачу поисковой системы.

Кроме браузерных расширений проверки индексации, можно воспользоваться платными или бесплатными онлайн-сервисами. Наиболее востребованные — Серпхант, X-SEO и PR-CY. С их помощью удастся проверить не только URL-адрес, но и общую оптимизацию сайта.

6 эффективных методов исключить страницы из результатов поиска

Перейдем к основным вариантам удаления сайтов из индекса. Мы выделили 6 ключевых способов:

  1. Настройка 404, 403, 401 и 410 HTTP-кодов ответа от сервера

    Этот инструмент запрещает роботам индексировать страницу. При передаче 404/410 кода ответа сервера она будет удалена из индекса после следующего сканирования. До этого страница будет выдаваться в результатах поиска. Даже если она уже стала недоступной, ее кэш может неопределенный срок находиться в результатах выдачи. При дальнейшем обращении к ней будет выдаваться ошибка, означающая, что доступ невозможен. Значение ошибок:

    • 403 forbidden/доступ запрещен (сервер отказывается выполнять запрос из-за ограничений в доступе);
    • 404 not found/страница не найдена (сервер не может найти данные, соответствующие запросу);
    • 401 unauthorized/неавторизован (запрос требует идентификации пользователя);
    • 410 gone/страница удалена (ресурс удален и больше недоступен).

    После передачи одного из этих кодов, поисковик воспринимает страницу как несуществующую и убирает из индекса. Рабочая, подлежащая индексации, страница передает код 200.

  2. Директива Disallow в файле Robots.txt

    Файл не является прямым указанием для поисковых систем, а скорее носит рекомендательный характер. Если прописать в нем команду, запрещающую сканирование определенной страницы, существует большая вероятность, что она все равно будет проиндексирована.

    Следует также заметить, что для поисковой системы Яндекс директива Robots.txt является четким приказом, а для Google — не более чем рекомендацией: даже закрытая через Robots.txt страница может быть проиндексирована Гуглом.

    В случае, если страницы индексируются, несмотря на запрет в файле Robots.txt, читать здесь.

  3. Заголовки X-Robots-Tag

    Действие тега происходит на уровне заголовков и распространяется на любой тип контента. Этот инструмент обладает такими же директивами как Robots.txt., но диктует поисковым роботам условия индексации без загрузки содержимого страницы, тем самым значительно сокращая время интерпретации ответа страницы.

    Для запрета доступа потребуется настройка HTTP-заголовка X-Robots-Tag для конкретного URL на главном конфигурационном сервере сайта.

    Не все поисковики взаимодействуют с X-Robots-Tag. Гугл и Яндекс поддерживают этот инструмент, но работа с прочими системами может потребовать использования других способов.

  4. Тег noindex

    Добавив эту прописанную директиву, можно также получить запрет индексации. Прежде noindex выставлялся в файлах Robots.txt, но теперь его применение стало недопустимым.

    Для использования вводим в коде через строку:

    <meta name=”robots” content=”noindex”>

    Для того чтобы закрыть доступ через HTTP-заголовок, в коде ответа сервера потребуется ввести:

    <meta name=”robots” content=”noindex”>

    Страницы скрываются после следующего сканирования сайта.

  5. Ручное удаление из панели с помощью Google Search Console и Яндекс Вебмастер

    Чтобы убрать контент из общего доступа, можно воспользоваться специальными сервисами поисковых систем. Страницы станут невидимы для пользователей на несколько месяцев, после чего Яндекс и Гугл вновь покажут их в выдаче. Эти инструменты убирают страницы не только из индекса, но и из кеша.

    Для того чтобы скрыть информацию через Google Search Console, сайт должен быть авторизован в сервисе Гугл для вебмастеров. Это быстрый способ для экстренных случаев, например, как утечка личных сведений. Запрос по скрытию данных осуществляется в течение нескольких часов. Но, чтобы на самом деле удалить контент, придется использовать другой метод.

  6. Настройка редиректа 301 или склейка ненужной страницы с нужной

    Существует метод закрытия страницы от индексации через Google Tag Manager. О том, как закрыть страницу данным образом, можно прочесть по этой ссылке. Намного сложнее удалить страницы чужого сайта. Но и у этой ситуации есть решение. Если контент был скопирован и появился на чужом ресурсе, достаточно заполнить соответствующую форму и направить Google или Яндекс запрос о нарушении авторских прав. Или написать письмо вебмастеру с просьбой удалить сведения.

    Дополнительную информацию о методах исключения страниц сайта из индекса читайте в телеграм-канале «Канал Владислава Наумова» (Head of SEO в Inweb).

Юля Залиховская

Руководитель отдела продаж

Узнайте о рекламе для вашего бизнеса!

Задайте Юле вопросы о продвижении сайта в интернете.

Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь с политикой конфиденциальности

Заключение

  1. Нужно закрывать доступ к тем страницам, которые не используются для привлечения трафика или раскрывают конфиденциальную информацию.
  2. Удаление лишнего улучшает позицию сайта и положительно влияет на глубину просмотра, проведенное время на сайте и другие поведенческие факторы.
  3. Для блокирования от индексации всего сайта или отдельных разделов можно воспользоваться такими методами
    • настройка HTTP-кодов ответа сервера по ошибкам 403, 404, 401 и 410;
    • проставление директивы Disallow в Robots.txt;
    • использование тега Noindex в HTTP-ответе страницы;
    • прописывание тега X-Robots-Tag;
    • ручное удаление страниц с использованием Яндекс Вебмастер и Google Search Console;
    • склеивание ненужной страницы с нужной.
  4. Не все методы сокрытия данных из выдачи одинаково надежны. Сервисы Яндекс Вебмастер и Google Search Console осуществляют лишь временное исключение информации из индекса, а использование директивы Disallow вообще не гарантирует полного удаления сведений.

Существует немало причин для запрета индексирования страниц поисковыми роботами, и разные условия задачи требуют от вебмастера разных способов решения.


Алина Глазырина

главный редактор блога Inweb

Подпишитесь и будьте в курсе!

Алина раз в неделю пишет о главных новостях интернет-маркетинга
Пользовательского соглашения