Robots.txt для SS premium

Евгешко777

Создатель
Регистрация
24 Ноя 2008
Сообщения
31
Реакции
0
помогите написать роботса для для SS premium!вот так выглядит мой роботс.тхт

User-Agent: *
Host: Для просмотра ссылки Войди или Зарегистрируйся
Disallow: /index.php?show_aux_page=5

Но гугл почему-то проиндексировал страницу которая в Disallow!Я в гугле ввел запрос такого типа: мой-сайт.ru.Потом нажал, чтобы показал еще опущенные страницы.Эту страницу он мне дал в выдаче как просто ссылку без описания что там!

з.ы. надеюсь понятно написал:)
 
Файл должен называться robots.txt, а не Robots.txt или ROBOTS.TXT.

Директива host Является корректной только для робота Яндекса
 
robots.txt у меня..это я тут просто написал так:)
 
Такая ситуация может бить потому што странички то не статические.
Попробуй другим способом:
С помощью мета-тэгов.

<META NAME="ROBOTS" CONTENT="значение">

В атрибуте content можно применять следующие директивы:

NOINDEX - запрещает индексацию документа, но разрешает переходить по ссылкам с него:

<META NAME="ROBOTS" CONTENT="NOINDEX">

NOFOLLOW - запрещает переходить по ссылкам, но не запрещает индексировать документ:

<META NAME="ROBOTS" CONTENT="NOFOLLOW">

Или их комбинацию: NOINDEX, NOFOLLOW - запрещает индексировать документ и переходить с него по ссылкам:

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

Или

Чтобы запретить роботу посещение динамических страниц, можно использовать частичный путь. Возвращаясь к идентификаторам сессий, для запрета страниц содержащих их в адресе можно использовать подобную конструкцию:

User-agent: *
Disallow: /page3.php;phpessionid
Страница page3.php будет нормально проиндексирована, а все её копии, начинающиеся на page3.php;phpessionid будут запрещены к индексации.
 
вот держите правильный robots.txt



если у вас всего пару сотень товаров то строчку
Disallow: /index.php?show_price=yes
можно убрать, а так с 10к позиций все равно яндексу не под силу её загрузить
 
у меня в robots.txt нет запрета на rpoduct_pictures а в яндекс картинки все равно вообще оттуда ничего не попадает... не в курсе с чем это связано....?
 
у меня в robots.txt нет запрета на rpoduct_pictures а в яндекс картинки все равно вообще оттуда ничего не попадает... не в курсе с чем это связано....?
А как названы сами картинки (имя файла) ?
125-567.jpg или что то вроде plazmennaya_panel.jpg ? Во втором случае поисковику картинка будет интереснее :)
 
Назад
Сверху