Информация Идеальный robots.txt для Wordpress

Статус
В этой теме нельзя размещать новые ответы.

darmoid

Киллер
Регистрация
9 Мар 2007
Сообщения
397
Реакции
125
Давайте порассуждаем на эту тему. Интересует какие robots.txt в этой цмс используете Вы.
Вот мой:
Код:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yourdomain.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://yourdomain.ru/sitemap.xml
 

waldy

Писатель
Регистрация
14 Дек 2009
Сообщения
4
Реакции
0
А закрывать разделы - действительно важно? Является ли это признаком хорошего тона или как-то помогает?
 

efs

SEO оптимизатор дискрипторов одностраничных сайтов
Регистрация
20 Ноя 2009
Сообщения
835
Реакции
493
И сразу два вопроса:
1. На зачем
PHP:
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
если достаточно
PHP:
Disallow: /wp-content/
вы тогда уже и папку с картинками закройте, чего уж там.
2. На зачем дублировать все те же инструкции для Тындекса?
 

Rap3r

Создатель
Регистрация
17 Ноя 2007
Сообщения
34
Реакции
2
Помимо дефолтного роботса, надо еще и свои директории закрывать (если требуется). А если все дефолтно и созданных Вами директорий нет, то и роботс дефолтный сгодится. ИМХО конечно же.
Приходилось работать с не малым кол-вом WP блогов, везде хватало дефолтного.
Мой совет, если не знаете, что делаете (всмысле правка роботса), то лучше все оставить как есть
 

WINTERSPROWS

Постоялец
Регистрация
22 Мар 2010
Сообщения
215
Реакции
95
Давайте порассуждаем на эту тему. Интересует какие robots.txt в этой цмс используете Вы.
Вот мой:
Код:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yourdomain.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://yourdomain.ru/sitemap.xml

а вот мой
Код:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Allow: /wp-content/uploads

User-agent: Yandex
Host: site.ru
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: Googlebot-Image
Disallow: /wp-includes/

Вычитал хорошую статью на каком то унылом сайте, и по прочитанному сделал себе robots.txt
сайт хорошо интексируется :)
 

efs

SEO оптимизатор дискрипторов одностраничных сайтов
Регистрация
20 Ноя 2009
Сообщения
835
Реакции
493
Вычитал хорошую статью на каком то унылом сайте, и по прочитанному сделал себе robots.txt
сайт хорошо интексируется :)
Опять таки, вместо
PHP:
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
достаточно
PHP:
Disallow: /wp-content/
Непонятно зачем персональные инструкции для Тындекса, если они ничем не отличаются.
И конечно же радует бессмысленный запрет для Googlebot-Image.
 

STsoldier

Постоялец
Регистрация
9 Дек 2008
Сообщения
96
Реакции
38
Давайте порассуждаем на эту тему.
Тут и рассуждать то нечего, не философия :) Все должно быть четко.
чтобы закрыть всю директорию нужно вконце добавить "/":
Необязательно. Да, возможно есть стандарты, но роботы понимают и с слэшом и без. Пишу без /, пока.
Непонятно зачем персональные инструкции для Тындекса, если они ничем не отличаются.
Поясняю. Для Гугла в директиве Sitemap путь к xml карте указывается без http.
Для яндекса тоже самое только с http.
Я вас всех обманул с умным видом:) У Яндекса есть директива Host, которую Гугл не понимает.
Вот отсюда и дублирование инструкций для роботов.
Пользуйтесь:
PHP:
User-agent: Yandex
Disallow: /author #закрываем авторов с их дублированным контентом
Disallow: /tag # тэги
Disallow: /wp-includes # системные штучки
Disallow: */feed # ленты. "*" потому, что на блогах часто бывает вот такие адреса http://example.com/post.htm/feed
Disallow: */trackback # трэкбэки. Читаем строку выше
Disallow: /xmlrpc.php # опять системные штучки
Disallow: /wp-login.php # -||-
Disallow: /?s=* # страницы с результатами поиска
Disallow: */print # для тех у кого установлен wp-print
Disallow: */page* # закрываем все возможные страницы, где опять-таки дублируется контент
Sitemap: http://example.com/sitemap.xml
Host: example.com
User-agent: Google
Disallow: /author
Disallow: /tag
Disallow: /wp-includes
Disallow: */feed
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /?s=*
Disallow: */print
Disallow: */page*
Sitemap: http://example.com/sitemap.xml
User-agent: * # не забываем про остальных пауков
Disallow: /author
Disallow: /tag
Disallow: /wp-includes
Disallow: */feed
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /?s=*
Disallow: */print
Disallow: */page*
Комменты для тех кто не в теме. Добавлю еще, что знак подстановки * понимают все основные роботы.
 

BadMotherFucker

Модератор (Core Team)
Регистрация
13 Ноя 2009
Сообщения
760
Реакции
574
Поясняю. Для Гугла в директиве Sitemap путь к xml карте указывается без http.
Мне вот интересно, откуда вы вообще такой бред берете!? Не надо писать ерунды.

Для Google (а также для Ask, Bing, Yahoo... etc) путь к xml карте сайта прописывается с http

HTML:
Sitemap: http://www.example.tld/sitemap.xml
 

efs

SEO оптимизатор дискрипторов одностраничных сайтов
Регистрация
20 Ноя 2009
Сообщения
835
Реакции
493
Статус
В этой теме нельзя размещать новые ответы.
Сверху