Как исключить из индекса?

Статус
В этой теме нельзя размещать новые ответы.

Xack-Root

Гуру форума
Регистрация
16 Фев 2007
Сообщения
301
Реакции
71
Был форум на булке проиндексировался яшей затем по некоторым причинам пришлось снести форум и поставить сайт на дле, но в индексе остались страницы вида сайт.ру/showthread.php?t=18004 как их можно через robots.txt удалить из индекса? Что нужно прописать? Заранее благодарю за ответ.
 
ну удалить то ты их не удалишь если ты про это
просто правильнее было бы поставить 301 первый редирект на страницы содержащие showthread.php это бы означало, что страница окончательно изменила адрес или удалена и пс сама со временем исключит все страницы форума.
как правильно настроить 301 редирект поищи, там зависит от того какой сервер, поддерживает ли он .htaccess если нет, то редирект можно на php.
Готовых решений много, если уж будут проблемы, то можно даже к хостеру обратиться, мне с ним всегда помогали, чтобы правильно составить.
 
И вот ещё вопрос как на dle исключить из поиска теги? Поговаривают из-за них агс не за горами из-за дубля контента
 
исключить просто, чтобы они не индексировались в роботс добавить
Disallow: /tags/
и пс просто не будет их индексировать. После в панеле вебмастера, хоть гугла, хоть яндекса, вы сможете посмотреть страницы, которые у вас закрыты в роботс от индексации и теги там также будут.
Я на своих варезниках также закрываю теги.
 
А там же в роботсе надо перед этим сайт прописывать ещё что-то на сколько помню, пришли если не трудно полностью содержимое этого файла.
 
примерное содержание, которое я ставлю у себя


страницы админки и бекапа не ставлю здесь, так как их адреса делаю отличными от стандартных, тем самым не к чему их тут палить. А пс авторизовываться не умеет, так что ей они неподвластны. Также у гугла ставлю ссыль на xml карту, яндексу такая карта не нужна, для него ставлю модуль карты и делаю html карту для яндекса.
 
А зачем дублировать? яндекс отлично понимает
User-agent: *
это просто шаблон, для яши еще добавляю свое в зависимости от настройки и модулей. Бывает также, на сайтах со сложной структурой метки закрываю от всех кроме яндекса, так как яндекс суровее всех к ним может отнестись. В основном опирался на топовые варезники, там сделано аналогично.
 
В основном опирался на топовые варезники, там сделано аналогично.
Я считаю, что ОЧЕНЬ важно для поисковиков отдавать в роботсе команды по отдельности для каждого поисковика. Это как если поздороваться с каждым по отдельности или сказать привет один раз для всех. Приятнее по отдельности, как я думаю.

Сравнил свой роботс и тот, что тут предлагается.

Я ещё закрываю вот эти разделы от индексации:
Disallow: /*userinfo
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /index.php?do=rules
Disallow: /index.php?subaction=userinfo
Disallow: /upgrade/
Disallow: /*rss
Disallow: /language/
Disallow: /go.php*
 
И сюда зайти не забудь:
Скрытое содержимое доступно для зарегистрированных пользователей!


jabbaxatt - Ссылки не забываем убирать под хайд! См. правила.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху