Закрыть от индекса Urlы offset_

BestFish

Старатель
Регистрация
14 Июн 2014
Сообщения
171
Реакции
12
Доброго времени суток, столкнулся с дублями страниц типа: сайт\категория\offset_20, цифра в конце меняется, бывает 20, 40, 40, и тд... Подскажите как закрыть от индекса страницы с offset_Х?
В роботс тхт Disallow: */offset_* добавлено.
 

Denzy

Добрый самаритянин
Регистрация
29 Июл 2016
Сообщения
124
Реакции
121
Disallow: *_offset_*
Disallow: *_show_all*
 

aroman80

Создатель
Регистрация
28 Мар 2012
Сообщения
46
Реакции
6
и добавить,
если для всех поисковых
User-agent: *
если для конкретных
User-agent: Yandex
 

zabolots

Постоялец
Регистрация
11 Сен 2012
Сообщения
54
Реакции
22
Звездочка в конце не нужна – по умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол * (см. доки Яндекса). Для просмотра ссылки Войди или Зарегистрируйся про Clean-param – это похоже то, что вам нужно в данном случае.
 
Сверху