Закрыть от индекса Urlы offset_

BestFish

Старатель
Регистрация
14 Июн 2014
Сообщения
171
Реакции
12
Доброго времени суток, столкнулся с дублями страниц типа: сайт\категория\offset_20, цифра в конце меняется, бывает 20, 40, 40, и тд... Подскажите как закрыть от индекса страницы с offset_Х?
В роботс тхт Disallow: */offset_* добавлено.
 
Disallow: *_offset_*
Disallow: *_show_all*
 
и добавить,
если для всех поисковых
User-agent: *
если для конкретных
User-agent: Yandex
 
Звездочка в конце не нужна – по умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол * (см. доки Яндекса). Для просмотра ссылки Войди или Зарегистрируйся про Clean-param – это похоже то, что вам нужно в данном случае.
 
Назад
Сверху