Помощь robots.txt для IPB 3.*

[KveSteR]

В связи с вводом новых методов фильтров от Яши, и избегания дублирования контента, а так же не нужного мусора. Предлагаю всем вместе создать оптимальный robots.txt для тройки.
Такой робот мы видим в дистрибьютиве, но он не савсем подходит для яши. так как там немного отличается "стандарт".

User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/js/
Disallow: /forum/public/style_captcha/
Disallow: /forum/public/style_css/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$

Вот такой сейчас у меня на рабочем форуме:

User-Agent: Yandex
Host: forum.alternative-by.org
Disallow: /journal*
Disallow: /calendar*
Disallow: /user*
Disallow: /lofiversion*
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /admin/install/index.php
Disallow: /index.php?app=core&module=global&section=rss*
Disallow: /index.php?app=forums&module=extras&section=stats*
Disallow: /index.php?app=calendar*

User-agent: Googlebot
Disallow: /journal*
Disallow: /calendar*
Disallow: /user*
Disallow: /lofiversion*
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?app=core&module=global&section=rss*
Disallow: /index.php?app=forums&module=extras&section=stats*
Disallow: /index.php?app=calendar*

/journal* и /lofiversion* старые утрянные страницы.
/calendar*, /user*, /index.php?app=calendar* закрывают от индексации профили и календарь.
index.php?app=members&module=messaging взял из стандартного, судя по всему, что бы боты не пытались отправлять сообщения
Disallow: /index.php?app=members&module=chat чат, которого нет
Disallow: /index.php?app=members&module=search закрывает от индексации любые действия с поиском
index.php?app=members&module=search&do=active активные пользователи...
/index.php?app=core&module=global&section=rss* расс летны... их яша вообще не понимает.
/index.php?app=forums&module=extras&section=stats* сдесь поисковики какимто образом находили страницы.. кто отвечал в теме.. судя по всему недоделаная функция разработчиков.


Теперь далее, хотелось бы такой robotx.txt, в котром кроме тем и главной страницы и страниц с списком тем, более ничего не индексировалось.

 

[Maskad]

насчет ЧПУ. Если закрывать страницу от роботов в виде ЧПУ, то нужно закрывать страницу с адресом НЕЧПУ? робот понимает что это одна и та же страница?

у меня в яндекс вебмастер хоть я использую ЧПУ были ссылки вида

index.php?showtopic...

- следовательно робот не понимает и надо закрыть

 

[KveSteR]

Закрыть можно для вероятности, но поидее яндекс после включения ЧПУ этих ссылок не должен видеть. А движок его с старых на новые перенаправляет ошибкой 301 или 302 (временное или постоянное перемещение)

 

[maniak1987]

Не правильно прописан Host: forum.alternative-by.org
он всегда должен быть в самом низу после всех команд

 

[Copoket]

Это так критично? Всегда думал, что располажение не важно

 

[maniak1987]

Это так критично? Всегда думал, что располажение не важно

Да, в противном случаи команда host просто не будет работать

 

[juves]

чем стандартный плох?
не ограничивать же себя двумя поисковиками и под каждый не напишешь же отдельно