1. Блог Inweb
  2. Ask Inweb
  3. SEO
  4. Робот просканировал нерабочий сайт

Робот просканировал нерабочий сайт

Есть

ответ

Дата вопроса: 23.07.2021, 16:43

Сайт не был закрыт к индексу от поисковых систем и бот просканировал его. Что делать: закрывать или оставлять как есть?

Автор: None

Просмотров: 28

Категория:

SEO

Оцените вопрос

Рекомендуйте нас друзьям

Частный ответ

Рейтинг автора

0

Дано ответов

11

Аватар
0
Рейтинг ответа

Артем Лебедев

Upper Junior SEO IM

Добрый вечер, спасибочки за вопрос. Если поисковый бот уже просканировал страницы сайта в их нерабочем состоянии, то следует после восстановления сайта выполнить такие действия:

  1. Отправить страницы на переобход, чтобы поисковая система чтобы поисковик увидел что ресурс работает нормально.
  2. Повторно отправьте на переобход файл Sitemap. Это способ сообщить о том, которые из ваших страниц следует обработать.

В каких случаях сайт может плохо индексироваться:

  1.  Нет карты сайта (sitemap). Карта сайта помогает поисковикам быстрее просканировать и проиндексировать сайт. Ссылку на карту следует указывать в файле Robots.txt и в панели вебмастеров.

 

  1. Наличие ошибок на сайте. Не тратьте зря краулинговый бюджет на битые ссылки, пускай лучше он будет распределяться на нужные страницы. Следите за техническим состоянием сайта на постоянной основе.
  2. Нужные страницы закрыты от индексации. Проверьте, не закрыты ли важные для продвижения страницы при помощи метатега robots, в X-Robot-Tag или в файле Robots.txt. Возможно, при изменении настроек CMS или хостинга страницы стали недоступными для поисковых систем.

Как ускорить индексацию страниц сайта:

  1. Автоматическое обновление карты сайта sitemap. Благодаря данному методу новые страницы сайта будут попадать в файл sitemap автоматически.
  2. Удаление дублирующихся страниц и неуникального контента. Данные страницы только расходуют краулинговый бюджет, при этом бот может не дойти до нужных страниц, если у вас большой интернет-магазин.
  3. Отсутствие битых страниц и внутренних редиректов. Данные страницы тоже попусту расходуют краулинговый бюджет.
  4. Корректная настройка файла Robots.txt, на нашем блоге есть полное руководство по файлу Robots.txt, советую ознакомиться.
  5. Мусорные страницы закрыты от индексации.
  6. Оптимизация внутренней перелинковки и структуры сайта. Использование грамотной внутренней перелинковки увеличивает скорость индексации новых страниц, которые за счет этого быстрее появятся в выдаче.
Приложения:

    Дата сообщения: 26.07.2021, 17:22

      Похожие вопросы

      Для того чтобы оставить вопрос, необходимо войти используя свой аккаунт одной из социальных сетей.

      
      Алина Глазырина

      главный редактор блога Inweb

      Подпишитесь и будьте в курсе!

      Алина раз в неделю пишет о главных новостях интернет-маркетинга
      Пользовательского соглашения