1. Блог Inweb
  2. Ask Inweb
  3. SEO
  4. Что должно быть в файле Robots.txt?

Что должно быть в файле Robots.txt?

1

ответ

Дата вопроса: 16.05.2019, 09:53

Что должно быть прописано обязательно в файле Robots.txt? У меня сайт на WordPress и в сети есть достаточно много примеров оптимального содержимого файла Robots.txt

Пример:

User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search
Disallow: /author/
Disallow: *?attachment_id=
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */page/
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-*.svg
Allow: /wp-*.pdf

Sitemap: http://site.ru/sitemap.xml
Host: site.ru

Получается для каждой CMS есть свой стандартный файл Robots.txt и можно такое содержимое установить, и не будет проблем с индексированием страниц?

Скажите, пожалуйста, что обязательно стоит там указать для Worpress.

Автор: Marakdae

Просмотров: 20

Категория:

SEO

Оцените вопрос

Рекомендуйте нас друзьям

Частный ответ

Рейтинг автора

1

Дано ответов

5

Виктор Саркисов
0
Рейтинг ответа

Виктор Саркисов

Middle SEO IM

Добрый день, спасибо за ваш вопрос!

Файл robots.txt должен присутствовать. Поэтому, если вашим сайтом не занимается специалист, имеющий компетенции в его составлении, то шаблоны файла под разные движки обычно помогают. Но нужно понимать, что они на то и шаблонные, что не учитывают специфику каждого конкретного сайта. Например, если у вас реализована система фильтрации на сайте через определённый фрагмент URL (например, /filter/) и её (фильтрацию) нужно закрыть от индексации, то предложенный вами шаблон этой проблемы не решит.

В условно «обязательном» порядке нужно закрыть в robots.txt технические страницы (URL админ-панели, страницу авторизации и т.д.), а остальное — действовать по обстоятельствам самого сайта, здесь шаблон не поможет.

К тому же шаблон файла robots.txt может сыграть с вами в злую шутку. Разберём ваш пример:

Disallow: */page/

Может статься так, что пагинация (а значит, и пагинация категорий) реализована через этот фрагмент. В таком случае вы закроете от сканирования странички пагинации, содержащие карточки товаров, которые роботу полезно видеть.

Дата сообщения: 21.05.2019, 13:25

    Похожие вопросы

    Для того чтобы оставить вопрос, необходимо войти используя свой аккаунт одной из социальных сетей.