Как закрыть страницу сайта от индексации через Google Tag Manager

При оптимизации сайта с ограниченным функционалом и доступами, часто возникают сложности с закрытием от индексации групп страниц, которые не соответствуют критериям качества поисковых систем. Такая проблема часто встречается при работе с различными конструкторами сайтов, где нет полноценных доступов к коду. И чтобы ее решить, на помощь приходит метод закрытия страниц при помощи метатега robots, внедренный через Google Tag Manager.

Также он помогает, если нужно срочно закрыть от индексации определенные страницы сайта, а программист клиента, по каким-то причинам, не может выполнить эту задачу в оговоренные сроки. В нашей практике работы с клиентами такое, к сожалению, встречается часто.

Важно: данный метод работает только для поисковых систем, которые рендерят Javascript, например Google. Мы не рекомендуем использовать его как основной, для закрытия страниц от индексации. Есть много факторов, из-за которых могут возникнуть ошибки и страницы будут проиндексированы поисковыми системами. Закрывать от индексации страницы при помощи Google Tag Manager стоит только в том случае, когда нет другого выбора либо нужно это сделать временно, пока разработчик не реализует добавление метатега robots на все мусорные страницы сайта.

Как добавить пользовательский скрипт с помощью Google Tag Manager

В этой статье предполагается, что на вашем сайте уже есть менеджер тегов Google. Если Google Tag Manager еще не установлен, рекомендуем воспользоваться этим руководством.

Метатег robots можно добавить на страницы сайта через Google Tag Manager при помощи типа «Пользовательский HTML», который реализует следующий скрипт:

Как видно из комментариев этот скрипт:

  • удалит существующий тег;
  • создаст новый;
  • добавит нужную директиву;
  • вставит ее в head нужной страницы либо страниц.

Конфигурация тега «Пользовательский HTML»

Добавление триггеров для запуска метатега robots

После создания тега необходимо установить триггеры, которые будут определять, на каких страницах он будет запускаться. Рекомендуем выбирать тип триггера «Модель DOM готова». Вы также можете использовать «Просмотр страницы». Однако, рекомендуем обратить внимание, что некоторые триггеры не будут срабатывать, если страница была не полностью построена (браузер не до конца загрузил HTML, не построено DOM-дерево (объектная модель)).

Далее, вы должны указать необходимые условия (в данном случае URL), чтобы тег сработал. Это можно сделать, выбрав «Условия активации триггера» — «Некоторые события «Модель DOM готова»».

Ни в коем случае не оставляйте условия активации на «Все события «Модель DOM готова»» , так как это добавит тег на каждую страницу вашего сайта.

В открывшемся поле условий выберите «URL страницы» и определите структуру URL, которая соответствует страницам, которые вы хотите запускать.

Например, если вы хотите, чтобы все страницы содержащие /blog/category/ запускали этот тег, вы должны установить «содержит» и «/blog/category/».

Если же установить тег нужно на определенных страницах, вы можете выбрать «равно» и ввести полный URL (или добавить несколько фильтров для нескольких страниц). Для нашего примера мы устанавливаем «равно» на «https://inweb.ua/blog/»:

Настройка триггера «Просмотр страницы — Модель DOM готова»

Тестирование ваших тегов и триггеров

Очень важно и необходимо проверить свои теги и триггеры, чтобы убедиться, что они запускаются только на нужных страницах. Для этого войдите в режим «Предварительный просмотр» в GTM, где вы увидите следующее сообщение:

Предварительный просмотр в GTM

В режиме предварительного просмотра перемещайтесь по страницам вашего сайта, чтобы увидеть, какие теги запускаются, а какие нет.

Тег robots должен срабатывать только на страницах, которые соответствуют указанным в триггере условиям. На нашем примере тег сработает только на главной странице нашего блога:

Пример отработки тега на главной странице

А на страницах категорий, например SEO, срабатывать не будет и не должен, хотя тоже содержит https://inweb.ua/blog/ в адресе:

Пример отработки тега на странице категории

Обращайте внимание на выбор параметров условия активации триггера, таких как «равно», «содержит» или «регулярное выражение».

Как проверить тег в реальном времени

Важно: при просмотре исходного кода для проверки изменений просто «Просмотреть исходный код» — недостаточно (по умолчанию — увидите код страницы). Чтобы увидеть измененный код страницы, нужно использовать инструмент «Проверка».

Как проверить тег в реальном времени

Со временем ваша страница будет просканирована, проанализирована и удалена из индекса поисковой системы. Чтобы ускорить этот процесс, вы можете запросить сканирование страницы через Google Search Console.

Вот и все. Добавление тега через GTM — это относительно простой подход, который использует огромную техническую мощь SEO для структуры вашего сайта, элементов страницы и контента.