Информация Идеальный robots.txt для Wordpress

Статус
В этой теме нельзя размещать новые ответы.

STsoldier

Постоялец
Регистрация
9 Дек 2008
Сообщения
96
Реакции
38
Мне вот интересно, откуда вы вообще такой бред берете!? Не надо писать ерунды.
Для Google (а также для Ask, Bing, Yahoo... etc) путь к xml карте сайта прописывается с http
HTML:
Sitemap: http://www.example.tld/sitemap.xml
Где-где, в Хургаде:D Проверил, исправил, спасибо.
 

efs

SEO оптимизатор дискрипторов одностраничных сайтов
Регистрация
20 Ноя 2009
Сообщения
835
Реакции
493
PHP:
User-agent: *
Crawl-delay: 3
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.google.com
Sitemap: http://google.com/sitemap.xml
И незачем городить непонятно что, если робот не знает директивы, то просто не обращает внимания.
Вам дай волю, вы каждому боту будете расписывать. Тут проскакивал robots.txt под полметра весом, в нем были расписаны чуть ли не все известные боты.
 

xbreaker

Вверх ногами
Регистрация
15 Авг 2007
Сообщения
227
Реакции
54
У Яндекса есть директива Host, которую Гугл не понимает.
имхо, вместо того чтобы дублировать все правила для Яндекса, достаточно для него просто указать хост, а остальные правила он возьмет как для всех ботов, например:

Код:
User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/

User-Agent: Yandex
Host: hip-hop.name
 

niza

Постоялец
Регистрация
7 Май 2009
Сообщения
494
Реакции
117
у меня еще добавлено
PHP:
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
 

Kira

Писатель
Регистрация
5 Ноя 2007
Сообщения
9
Реакции
0
мне попадалось часто мнение, что стоит закрыть так же теги...
Disallow: /tag
во избежание дублирования контента...
но - тот же гугл, например, дает трафик именно на страници тегов...
пока оставила их открытыми...
 

Vasar

Создатель
Регистрация
18 Сен 2009
Сообщения
38
Реакции
5
Кроме того, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.

А у вас тут все склеенные :)
 

BadMotherFucker

Модератор (Core Team)
Регистрация
13 Ноя 2009
Сообщения
760
Реакции
574
у меня еще добавлено
PHP:
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

Гугл и без вашего разрешения прекрасно будет добавлять картинки в images.google.com, поэтому эта запись не нужна..

Она должна использоваться только в том случае если ваш сайт через robots.txt полность закрыт от индексации для гугла, но вы хотите чтобы картинки попадали в images.google.com
 

archi123

Писатель
Регистрация
24 Дек 2009
Сообщения
8
Реакции
0
Ребята а что вот это?
User-agent: Yanga
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: msnbot/
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Baiduspider+(
Disallow: /
User-agent: MJ12bot/
Disallow: /
User-agent: Gigabot/
Disallow: /
User-agent: msnbot-media/
Disallow: /
User-agent: Scooter/
Disallow: /
User-agent: Ask Jeeves
Disallow: /
User-agent: msnbot-NewsBlogs/
Disallow: /
User-agent: SEO search Crawler/
Disallow: /
User-agent: SEOsearch/
Disallow: /
User-agent: voyager/1.0
Disallow: /
User-agent: W3 SiteSearch Crawler
Disallow: /
User-agent: W3C-checklink/
Disallow: /
User-agent: W3C_*Validator
Disallow: /
User-agent: Yahoo-MMCrawler/
Disallow: /
User-agent: Yahoo! DE Slurp
Disallow: /
User-agent: YahooSeeker/
Disallow: /
User-agent: *
Disallow: /x/
Allow: /
Crawl-delay: 2
 

Bobka

Постоялец
Регистрация
7 Сен 2007
Сообщения
82
Реакции
4
мне попадалось часто мнение, что стоит закрыть так же теги...
Disallow: /tag
во избежание дублирования контента...
но - тот же гугл, например, дает трафик именно на страници тегов...
пока оставила их открытыми...
обязательно закройте, для Яндекса это дублирование контента
 
Статус
В этой теме нельзя размещать новые ответы.
Сверху