Настройка robots.txt

Плагин WT Geotargeting Pro, начиная с версии 1.7.8, поддерживает настройку файла robots.txt для региональных поддоменов, региональных доменов (ver.1.8.4 Pro) и основного домена. Файл robots.txt генерируется автоматически на основе настроек плагина WT Geotargeting Pro и Регионов.

Плагин WT Geotargeting Pro вносит изменения в файл robots.txt в следующем составе:

  • Добавляет параметр Host.
  • Добавляет ссылку на файл Sitemap.
  • Генерирует геозависимое содержимое файла в соответствии с настройками в панели администратора.

Внимание! Прежде чем приступить к настройке необходимо удалить из корня сайта файл robots.txt

Как настроить файл robots.txt на поддоменах?

  1. Включите видимость сайта поисковыми системами на странице Настройки — Чтение.
  2. Удалите из корня сайта файл robots.txt.
  3. Активируйте поддержку субдоменов на странице WT Geotargeting — Субдомены.
  4. Активируйте генерацию файла robots.txt на странице WT Geotargeting — robots.txt.
  5. На странице редактирования Региона, во вкладке Настройки — Технические, напишите команды, которые необходимо вывести в файле robots.txt.
  6. На странице WT Geotargeting — robots.txt вы так-же можете написать команды файла robots.txt которые необходимо вывести только на основном домене, или на всех сайтах одновременно.

Настройки

  • Опция Перезаписать robots.txt.
  • Поле ввода Код для всех файлов. Напишите код, который необходимо отобразить во всех файлах robots.txt.
  • Поле ввода Код для основного домена. Напишите код, который необходимо отобразить только в файле robots.txt на сайте основного доменного имени.
  • Поле ввода Код для всех субдоменов (ver.1.8 Pro). Напишите код, который необходимо отобразить во всех файлах robots.txt на поддоменах.
  • Поле ввода Путь к файлу Sitemap. Укажите относительный путь к файлу Sitemap.
  • Отключить устаревшую директиву Host (ver.1.8.3 Pro).

Важно! Файл robots.txt генерируется с помощью WordPress хука-фильтра robots_txt с приоритетом 100000. В версии плагина 1.10 Pro приоритет был изменён с 10 на 100000, так как плагин Yoast SEO в формировании файла robots.txt установил приоритет 99999, тем самым нарушив настройки файла в плагина WT Geotargeting Pro.