• DONATE to NULLED!
    Вы можете помочь Форуму и команде, поддержать финансово.
    starwanderer - модератор этого раздела будет Вам благодарен!

Информация Идеальный robots.txt для Wordpress

Статус
В этой теме нельзя размещать новые ответы.

darmoid

Киллер
Регистрация
9 Мар 2007
Сообщения
397
Реакции
126
Давайте порассуждаем на эту тему. Интересует какие robots.txt в этой цмс используете Вы.
Вот мой:
Код:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yourdomain.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://yourdomain.ru/sitemap.xml
 
А закрывать разделы - действительно важно? Является ли это признаком хорошего тона или как-то помогает?
 
И сразу два вопроса:
1. На зачем
PHP:
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
если достаточно
PHP:
Disallow: /wp-content/
вы тогда уже и папку с картинками закройте, чего уж там.
2. На зачем дублировать все те же инструкции для Тындекса?
 
Помимо дефолтного роботса, надо еще и свои директории закрывать (если требуется). А если все дефолтно и созданных Вами директорий нет, то и роботс дефолтный сгодится. ИМХО конечно же.
Приходилось работать с не малым кол-вом WP блогов, везде хватало дефолтного.
Мой совет, если не знаете, что делаете (всмысле правка роботса), то лучше все оставить как есть
 
Давайте порассуждаем на эту тему. Интересует какие robots.txt в этой цмс используете Вы.
Вот мой:
Код:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yourdomain.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://yourdomain.ru/sitemap.xml

а вот мой
Код:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Allow: /wp-content/uploads

User-agent: Yandex
Host: site.ru
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: Googlebot-Image
Disallow: /wp-includes/

Вычитал хорошую статью на каком то унылом сайте, и по прочитанному сделал себе robots.txt
сайт хорошо интексируется :)
 
Вычитал хорошую статью на каком то унылом сайте, и по прочитанному сделал себе robots.txt
сайт хорошо интексируется :)
Опять таки, вместо
PHP:
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
достаточно
PHP:
Disallow: /wp-content/
Непонятно зачем персональные инструкции для Тындекса, если они ничем не отличаются.
И конечно же радует бессмысленный запрет для Googlebot-Image.
 
Давайте порассуждаем на эту тему.
Тут и рассуждать то нечего, не философия :) Все должно быть четко.
чтобы закрыть всю директорию нужно вконце добавить "/":
Необязательно. Да, возможно есть стандарты, но роботы понимают и с слэшом и без. Пишу без /, пока.
Непонятно зачем персональные инструкции для Тындекса, если они ничем не отличаются.
Поясняю. Для Гугла в директиве Sitemap путь к xml карте указывается без http.
Для яндекса тоже самое только с http.
Я вас всех обманул с умным видом:) У Яндекса есть директива Host, которую Гугл не понимает.
Вот отсюда и дублирование инструкций для роботов.
Пользуйтесь:
PHP:
User-agent: Yandex
Disallow: /author #закрываем авторов с их дублированным контентом
Disallow: /tag # тэги
Disallow: /wp-includes # системные штучки
Disallow: */feed # ленты. "*" потому, что на блогах часто бывает вот такие адреса http://example.com/post.htm/feed
Disallow: */trackback # трэкбэки. Читаем строку выше
Disallow: /xmlrpc.php # опять системные штучки
Disallow: /wp-login.php # -||-
Disallow: /?s=* # страницы с результатами поиска
Disallow: */print # для тех у кого установлен wp-print
Disallow: */page* # закрываем все возможные страницы, где опять-таки дублируется контент
Sitemap: http://example.com/sitemap.xml
Host: example.com
User-agent: Google
Disallow: /author
Disallow: /tag
Disallow: /wp-includes
Disallow: */feed
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /?s=*
Disallow: */print
Disallow: */page*
Sitemap: http://example.com/sitemap.xml
User-agent: * # не забываем про остальных пауков
Disallow: /author
Disallow: /tag
Disallow: /wp-includes
Disallow: */feed
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /?s=*
Disallow: */print
Disallow: */page*
Комменты для тех кто не в теме. Добавлю еще, что знак подстановки * понимают все основные роботы.
 
Поясняю. Для Гугла в директиве Sitemap путь к xml карте указывается без http.
Мне вот интересно, откуда вы вообще такой бред берете!? Не надо писать ерунды.

Для Google (а также для Ask, Bing, Yahoo... etc) путь к xml карте сайта прописывается с http

HTML:
Sitemap: http://www.example.tld/sitemap.xml
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху