Информация Идеальный robots.txt для Wordpress

[darmoid]

Давайте порассуждаем на эту тему. Интересует какие robots.txt в этой цмс используете Вы.
Вот мой:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yourdomain.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://yourdomain.ru/sitemap.xml

 

[waldy]

А закрывать разделы - действительно важно? Является ли это признаком хорошего тона или как-то помогает?

 

[efs]

И сразу два вопроса:
1. На зачем

Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

если достаточно

Disallow: /wp-content/

вы тогда уже и папку с картинками закройте, чего уж там.
2. На зачем дублировать все те же инструкции для Тындекса?

 

[Rap3r]

Помимо дефолтного роботса, надо еще и свои директории закрывать (если требуется). А если все дефолтно и созданных Вами директорий нет, то и роботс дефолтный сгодится. ИМХО конечно же.
Приходилось работать с не малым кол-вом WP блогов, везде хватало дефолтного.
Мой совет, если не знаете, что делаете (всмысле правка роботса), то лучше все оставить как есть

 

[Gtvar]

Disallow: /wp-admin
Disallow: /wp-includes

чтобы закрыть всю директорию нужно вконце добавить "/":

Disallow: /wp-admin[COLOR="Red"]/[/COLOR]

 

[WINTERSPROWS]

Давайте порассуждаем на эту тему. Интересует какие robots.txt в этой цмс используете Вы.
Вот мой:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yourdomain.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://yourdomain.ru/sitemap.xml

а вот мой

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Allow: /wp-content/uploads

User-agent: Yandex
Host: site.ru
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: Googlebot-Image
Disallow: /wp-includes/

Вычитал хорошую статью на каком то унылом сайте, и по прочитанному сделал себе robots.txt
сайт хорошо интексируется

 

[efs]

Вычитал хорошую статью на каком то унылом сайте, и по прочитанному сделал себе robots.txt
сайт хорошо интексируется

Опять таки, вместо

Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

достаточно

Disallow: /wp-content/

Непонятно зачем персональные инструкции для Тындекса, если они ничем не отличаются.
И конечно же радует бессмысленный запрет для Googlebot-Image.

 

[STsoldier]

Давайте порассуждаем на эту тему.

Тут и рассуждать то нечего, не философия Все должно быть четко.

чтобы закрыть всю директорию нужно вконце добавить "/":

Необязательно. Да, возможно есть стандарты, но роботы понимают и с слэшом и без. Пишу без /, пока.

Непонятно зачем персональные инструкции для Тындекса, если они ничем не отличаются.

Поясняю. Для Гугла в директиве Sitemap путь к xml карте указывается без http.
Для яндекса тоже самое только с http.Я вас всех обманул с умным видом У Яндекса есть директива Host, которую Гугл не понимает.
Вот отсюда и дублирование инструкций для роботов.
Пользуйтесь:

User-agent: Yandex
Disallow: /author #закрываем авторов с их дублированным контентом
Disallow: /tag # тэги
Disallow: /wp-includes # системные штучки
Disallow: */feed # ленты. "*" потому, что на блогах часто бывает вот такие адреса http://example.com/post.htm/feed
Disallow: */trackback # трэкбэки. Читаем строку выше
Disallow: /xmlrpc.php # опять системные штучки
Disallow: /wp-login.php # -||-
Disallow: /?s=* # страницы с результатами поиска
Disallow: */print # для тех у кого установлен wp-print
Disallow: */page* # закрываем все возможные страницы, где опять-таки дублируется контент
Sitemap: http://example.com/sitemap.xml
Host: example.com
User-agent: Google
Disallow: /author
Disallow: /tag
Disallow: /wp-includes
Disallow: */feed
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /?s=*
Disallow: */print
Disallow: */page*
Sitemap: http://example.com/sitemap.xml
User-agent: * # не забываем про остальных пауков
Disallow: /author
Disallow: /tag
Disallow: /wp-includes
Disallow: */feed
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /?s=*
Disallow: */print
Disallow: */page*

Комменты для тех кто не в теме. Добавлю еще, что знак подстановки * понимают все основные роботы.

 

[BadMotherFucker]

Поясняю. Для Гугла в директиве Sitemap путь к xml карте указывается без http.

Мне вот интересно, откуда вы вообще такой бред берете!? Не надо писать ерунды.

Для Google (а также для Ask, Bing, Yahoo... etc) путь к xml карте сайта прописывается с http

Sitemap: http://www.example.tld/sitemap.xml

 

[efs]

Для Гугла в директиве Sitemap путь к xml карте указывается без http.

это вы ребятам из гугла расскажите, а то они не в курсе

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.