Информация Идеальный robots.txt для DLE

[darmoid]

И для этой цмс тоже интересует идеальный роботс.тхт
Мой вариант:

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /katalog_sajtov.html
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://expertinternet.ru/sitemap.xml
User-agent: Yandex
Host: expertinternet.ru

 

[yavasilek]

я вот ссылки к примеру продаю и мне не очень интересно закрывать такие ссылки как /user/ и /*print ... пусть и выпадают, зато их много и страницы для печати яша кушает с большим аппетитом.

 

[nohc]

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /cnstats/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /favorites/
Disallow: /statistics.html
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

Что неправильно? Ссылки я не продаю.

PS. Как вставить код?

 

[diabl]

Что неправильно? Ссылки я не продаю.
PS. Как вставить код?

Создаёшь файл роботс.тхт записываешь всё это туда, а потом в корень сайта кидаешь

 

[acelotuse]

сто раз же обсуждалось уже.
Поисковый робот не регистрируется на сайтах, следовательно, ведет себя как гость, а у гостей не бывает доступа к персональным сообщениям, следовательно, строка
Disallow: /index.php?do=pm
не нужна совершенно.
Далее, какой смысл указывать admin.php и autobackup.php если эти файлы необходимо переименовать, и ссылок к ним на сайте не бывает? Робот не найдет ссылки на эти файлы, а значит, не сможет их индексировать. Вы хотите, чтобы злоумышленники знали какие у вас названия этих файлов? Убирайте:
Disallow: /autobackup.php
Disallow: /admin.php
Далее. Все нижеследующее:
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
даже если робот и проиндексирует, то ничего страшного не произойдет. На фоне тысячи страниц с контентом эти одиночные страницы погоды не сделают.
Далее
Disallow: /index.php?do=lastcomments
Индексация комментов настраивается в админке. Там можно запретить индексацию или разрешить. Так что в роботсе эта функция только дублирует движок.
Из всего я бы оставил
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /index.php?subaction=newposts
И то, print на любителя, может кому и захочется оставить. Как видно из поста выше, кому-то и user закрывать не нужно.
В папку backup никто не сможет залезть, только из админки, так что роботы итак не смогут ее проиндексировать.
Так что, не тратьте зря время, думайте перед тем как создавать файл роботс. Ведь некоторые папки, которые вы указываете, роботы попросту не видят.
Вообще, по большому счету, лучше всего использовать роботс для настройки времени загрузки страниц роботами. crawl-delay кажется. И для блокирования определенных категорий с контентом для вашего сайта.
Все ИМХО. Вы делайте так, как Вам этого хочется.

 

[MaximMax]

Если делать СДЛ робот.тхт обязательно надо настраивать чтобы мусор не индексировался если для продажи ссылок то робот.тхт вообще трогать не надо.
К примеру у меня на принтах на данный момент куплено 10 ссылок не много но копеечка течет.

 

[yavasilek]

а у меня на принтах процентов 70 ссылочной массы.
Идеального роботс - нет.ИМХО.

 

[darmoid]

Ладно тогда давайте создадим идеальный роботс.тхт для сайтов СДЛ и для сателлитов и сайтов по продаже ссылок. Думаю все сайты можно грубо поделить на эти две категории.

 

[Christmasnet]

Вот вроде универсальный

User-agent: *
Disallow:
Host: Для просмотра ссылки Войди или Зарегистрируйся
Disallow: /*print
Disallow: /user/
Disallow: */rss.xml
Disallow: /tags/
Crawl-delay: 10
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

 

[BKK]

зачем плодить темы??))) уже 100 раз обсуждалось

http://dle.in.ua/hacks/4154-robots.txt.html