• DONATE to NULLED!
    Вы можете помочь Форуму и команде, поддержать финансово.
    starwanderer - модератор этого раздела будет Вам благодарен!

Информация Идеальный robots.txt для Wordpress

Статус
В этой теме нельзя размещать новые ответы.
Мне вот интересно, откуда вы вообще такой бред берете!? Не надо писать ерунды.
Для Google (а также для Ask, Bing, Yahoo... etc) путь к xml карте сайта прописывается с http
HTML:
Sitemap: http://www.example.tld/sitemap.xml
Где-где, в Хургаде:D Проверил, исправил, спасибо.
 
PHP:
User-agent: *
Crawl-delay: 3
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.google.com
Sitemap: http://google.com/sitemap.xml
И незачем городить непонятно что, если робот не знает директивы, то просто не обращает внимания.
Вам дай волю, вы каждому боту будете расписывать. Тут проскакивал robots.txt под полметра весом, в нем были расписаны чуть ли не все известные боты.
 
У Яндекса есть директива Host, которую Гугл не понимает.
имхо, вместо того чтобы дублировать все правила для Яндекса, достаточно для него просто указать хост, а остальные правила он возьмет как для всех ботов, например:

Код:
User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/

User-Agent: Yandex
Host: hip-hop.name
 
у меня еще добавлено
PHP:
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
 
мне попадалось часто мнение, что стоит закрыть так же теги...
Disallow: /tag
во избежание дублирования контента...
но - тот же гугл, например, дает трафик именно на страници тегов...
пока оставила их открытыми...
 
Кроме того, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.

А у вас тут все склеенные :)
 
у меня еще добавлено
PHP:
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

Гугл и без вашего разрешения прекрасно будет добавлять картинки в images.google.com, поэтому эта запись не нужна..

Она должна использоваться только в том случае если ваш сайт через robots.txt полность закрыт от индексации для гугла, но вы хотите чтобы картинки попадали в images.google.com
 
Ребята а что вот это?
User-agent: Yanga
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: msnbot/
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Baiduspider+(
Disallow: /
User-agent: MJ12bot/
Disallow: /
User-agent: Gigabot/
Disallow: /
User-agent: msnbot-media/
Disallow: /
User-agent: Scooter/
Disallow: /
User-agent: Ask Jeeves
Disallow: /
User-agent: msnbot-NewsBlogs/
Disallow: /
User-agent: SEO search Crawler/
Disallow: /
User-agent: SEOsearch/
Disallow: /
User-agent: voyager/1.0
Disallow: /
User-agent: W3 SiteSearch Crawler
Disallow: /
User-agent: W3C-checklink/
Disallow: /
User-agent: W3C_*Validator
Disallow: /
User-agent: Yahoo-MMCrawler/
Disallow: /
User-agent: Yahoo! DE Slurp
Disallow: /
User-agent: YahooSeeker/
Disallow: /
User-agent: *
Disallow: /x/
Allow: /
Crawl-delay: 2
 
мне попадалось часто мнение, что стоит закрыть так же теги...
Disallow: /tag
во избежание дублирования контента...
но - тот же гугл, например, дает трафик именно на страници тегов...
пока оставила их открытыми...
обязательно закройте, для Яндекса это дублирование контента
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху