Закрыть сайт от индексации

Почему это не поможет. Условие запрещает всем роботом индексирование
Справка гугл пишет: "Настройки файла robots.txt являются указаниями, а не прямыми командами. Googlebot и большинство других поисковых роботов следуют инструкциям robots.txt, однако некоторые системы могут игнорировать их. "
Поэтому чтобы наверняка, лучше прописывать мета тег дополнительно в head.
 
Справка гугл пишет: "Настройки файла robots.txt являются указаниями, а не прямыми командами. Googlebot и большинство других поисковых роботов следуют инструкциям robots.txt, однако некоторые системы могут игнорировать их. "
Поэтому чтобы наверняка, лучше прописывать мета тег дополнительно в head.

У меня несколько проектов в разработке, закрывал с помощью роботс, единственное где он появляется в выдаче (если в поисковике набрать имя_домена) - то это в google. И то, вместо сниппета написано - Описание недоступно из-за ограничений в файле robots.txt.
 
Попробуй еще в хедере проставить мета тег noindex, nofollow, вместе с запретом в роботс.
 
Добрый день. Пытаюсь закрыть сайт Опенсарт от индексации сделал много
robots.txt:
User-agent: *
Disallow: /
и раскидал по всем папкам, начиная с корня и заканчиваю подпапками.
При вводе ключевых слов - яндекс, гугл находят мой сайт без проблем(, и под наименованием выдают тексты, размещенные на сайте.
Как можно полностью закрыться от индексирования, подскажите пожалуйста.
robots.txt не строго учитывается ПС, лучше в шаблоне сайта \catalog\view\theme\название_шаблона\template\common\header.tpl после тега <title></title> добавить строку <meta name="robots" content="noindex, nofollow" /> так будет надежнее, даже если сайт проиндексирован то через несколько обновлений ПС должен исчезнуть из выдачи.
 
Только ограничение по ип поможет. После игнора роботса гуглом и появления демоверсии в выдаче всегда только по ип ограничение делаю.
 
Назад
Сверху