Помощь robots.txt для IPB 3.*

Статус
В этой теме нельзя размещать новые ответы.

KveSteR

Постоялец
Регистрация
19 Апр 2007
Сообщения
68
Реакции
5
В связи с вводом новых методов фильтров от Яши, и избегания дублирования контента, а так же не нужного мусора. Предлагаю всем вместе создать оптимальный robots.txt для тройки.
Такой робот мы видим в дистрибьютиве, но он не савсем подходит для яши. так как там немного отличается "стандарт".
User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/js/
Disallow: /forum/public/style_captcha/
Disallow: /forum/public/style_css/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$

Вот такой сейчас у меня на рабочем форуме:
User-Agent: Yandex
Host: forum.alternative-by.org
Disallow: /journal*
Disallow: /calendar*
Disallow: /user*
Disallow: /lofiversion*
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /admin/install/index.php
Disallow: /index.php?app=core&module=global&section=rss*
Disallow: /index.php?app=forums&module=extras&section=stats*
Disallow: /index.php?app=calendar*

User-agent: Googlebot
Disallow: /journal*
Disallow: /calendar*
Disallow: /user*
Disallow: /lofiversion*
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?app=core&module=global&section=rss*
Disallow: /index.php?app=forums&module=extras&section=stats*
Disallow: /index.php?app=calendar*

/journal* и /lofiversion* старые утрянные страницы.
/calendar*, /user*, /index.php?app=calendar* закрывают от индексации профили и календарь.
index.php?app=members&module=messaging взял из стандартного, судя по всему, что бы боты не пытались отправлять сообщения :)
Disallow: /index.php?app=members&module=chat чат, которого нет
Disallow: /index.php?app=members&module=search закрывает от индексации любые действия с поиском
index.php?app=members&module=search&do=active активные пользователи...
/index.php?app=core&module=global&section=rss* расс летны... их яша вообще не понимает.
/index.php?app=forums&module=extras&section=stats* сдесь поисковики какимто образом находили страницы.. кто отвечал в теме.. судя по всему недоделаная функция разработчиков.


Теперь далее, хотелось бы такой robotx.txt, в котром кроме тем и главной страницы и страниц с списком тем, более ничего не индексировалось.
 
  • Заблокирован
  • #11
насчет ЧПУ. Если закрывать страницу от роботов в виде ЧПУ, то нужно закрывать страницу с адресом НЕЧПУ? робот понимает что это одна и та же страница?
у меня в яндекс вебмастер хоть я использую ЧПУ были ссылки вида
- следовательно робот не понимает и надо закрыть
 
Закрыть можно для вероятности, но поидее яндекс после включения ЧПУ этих ссылок не должен видеть. А движок его с старых на новые перенаправляет ошибкой 301 или 302 (временное или постоянное перемещение)
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху