Есть два варианта: первый - если просто нужно избежать склейки поддоменов, второй - если нужны разные правила для разных регионов.
Внимание
Не забывайте следить за тем, чтобы галочка "Сделать не txt-файл, а php-файл" всегда была нажата, и не забывайте прописывать правило в .htaccess.
Robots.txt с одинаковыми правилами на разных поддоменах
Идём в Сервисы -> Регионы продаж, на вкладку "Robots.txt (простой путь)". Выглядит она так:
Теперь, допустим, изначально robots.txt выглядит так (это, кстати, стандартный набор правил для Битрикса):
User-Agent: * Disallow: */index.php Disallow: /bitrix/ Disallow: /*show_include_exec_time= Disallow: /*show_page_exec_time= Disallow: /*show_sql_stat= Disallow: /*bitrix_include_areas= Disallow: /*clear_cache= Disallow: /*clear_cache_session= Disallow: /*ADD_TO_COMPARE_LIST Disallow: /*ORDER_BY Disallow: /*PAGEN Disallow: /*?print= Disallow: /*&print= Disallow: /*print_course= Disallow: /*?action= Disallow: /*&action= Disallow: /*register= Disallow: /*forgot_password= Disallow: /*change_password= Disallow: /*login= Disallow: /*logout= Disallow: /*auth= Disallow: /*backurl= Disallow: /*back_url= Disallow: /*BACKURL= Disallow: /*BACK_URL= Disallow: /*back_url_admin= Disallow: /*?utm_source= Allow: /bitrix/components/ Allow: /bitrix/cache/ Allow: /bitrix/js/ Allow: /bitrix/templates/ Allow: /bitrix/panel/ Host: av-promo.ru
Видим, что адрес сайта - "av-promo.ru", значит в форму подставляем "av-promo.ru". Нажимаем кнопку "Сделать динамическим", проверяем результат на поддоменах. Всё, кроме адреса сайта в "Host" будет одинаковым для всех регионов, но мы уберегаем себя от склейки за счёт того, что адрес сайта получается разный.
Robots.txt с разными правилами на разных поддоменах
Смысл этого способа в том, что можно прописывать абсолютно разные robots.txt, с разными правилами для отдельных поддоменов. Например, запретить на определённом регионе индексацию страницы доставки.
Для этого в инфоблоке регионов создаём свойство региона "robots.txt" типа HTML/текст (код, например, "ROBOTS_TXT") и заполняем его у разных регионов тем содержимым, которое вам нужно.
Затем идём на вкладку - "Robots.txt (сложный путь)". Указываем там созданное свойство.
Нажимаем на кнопку "Сделать динамическим" и проверяем работу файла /robots.txt на поддоменах.
Кстати, для быстрого старта всем регионам можно быстро заполнить это свойство с помощью формы на той же вкладке.
Важно! Редиректы
Вы создали php-файл, его расширение .php, а значит его адрес - /robots.php. Но адрес robots.txt всегда должен быть robots.txt. Следовательно, обязательно пропишите такой редирект в .htaccess:
RewriteRule ^robots\.txt$ /robots.php [L]
Если редирект не работает, скорее всего .txt-файлы у вас обрабатывает nginx. В таком случае напишите хостерам, чтобы вынесли .txt-файлы из правил обработки nginx, чтобы на них срабатывали правила из .htaccess.
Если они отказываются это сделать, а такое бывает на простых и недорогих хостингах, то иногда для срабатывания правил помогает переименование/удаление robots.txt.
