запрет для паука через htaccess

[Jaarg]

Это запрет любого обращения к файлу, запрет индексирования делается через роботс.тхт или так:

<Files config.inc.php>
RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]
RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]
...
RewriteRule ^(.*)$ - [F]
</Files>

а куда поисковики в этом случае идут? ну, я понимаю, что **х , а если глазами робота смореть - что он видит?

 

[General Fizz]

а куда поисковики в этом случае идут? ну, я понимаю, что **х , а если глазами робота смореть - что он видит?

Поисковики или серферы с пречисленными юзер-агентами получают ошибку 403 Access Forbidden на что указывает ключ [F].

 

[Dimaker]

а можно как нить эмуляцию сделать чтобы проверить ?

 

[savage_tm]

.htaccess самые распространенные боты (закоменируйте #RewriteCond те что вам нужны). Как вариант значительно снимает нагрузку на сервер.

RewriteEngine On
RewriteCond %{http_user_agent} ^Ask\ Jeeves/Teoma [OR]
RewriteCond %{http_user_agent} ^Feedfetcher-Google [OR]
RewriteCond %{http_user_agent} ^Feedfetcher-Google [OR]
RewriteCond %{http_user_agent} ^Googlebot/2.1 [OR]
RewriteCond %{http_user_agent} ^Mozilla/5.0 [OR]
RewriteCond %{http_user_agent} ^Nokia6682/2.0 [OR]
RewriteCond %{http_user_agent} ^Opera [OR]
RewriteCond %{http_user_agent} ^Opera/9.0 [OR]
RewriteCond %{http_user_agent} ^Opera\ 7.23 [OR]
RewriteCond %{http_user_agent} ^Yahoo\! [OR]
RewriteCond %{http_user_agent} ^YahooSeeker [OR]
RewriteCond %{http_user_agent} ^Yahoo!\ Slurp [OR]
RewriteCond %{http_user_agent} ^[Ww]eb[Bb]andit [OR]
RewriteCond %{http_user_agent} ^192.comAgent [OR]
RewriteCond %{http_user_agent} ^1-More\ Scanner\ v1.10 [OR]
RewriteCond %{http_user_agent} ^Accoona-AI-Agent [OR]
RewriteCond %{http_user_agent} ^Alexibot [OR]
RewriteCond %{http_user_agent} ^almaden.ibm.com [OR]
RewriteCond %{http_user_agent} ^AppleWebKit [OR]
RewriteCond %{http_user_agent} ^AppleWebKit/85 [OR]
RewriteCond %{http_user_agent} ^archive.org [OR]
RewriteCond %{http_user_agent} ^archive.org_bot/heritrix-1.15.1-x [OR]
RewriteCond %{http_user_agent} ^Ask\ Jeeves/Teoma [OR]
RewriteCond %{http_user_agent} ^asterias [OR]
RewriteCond %{http_user_agent} ^BabalooSpider/1.3 [OR]
RewriteCond %{http_user_agent} ^BackDoorBot [OR]
RewriteCond %{http_user_agent} ^Badex-Bot [OR]
RewriteCond %{http_user_agent} ^Baiduspider [OR]
RewriteCond %{http_user_agent} ^BecomeBot [OR]
RewriteCond %{http_user_agent} ^BecomeBot [OR]
RewriteCond %{http_user_agent} ^BilgiBot/1.0 [OR]
RewriteCond %{http_user_agent} ^BilgiFeedBot/experimental [OR]
RewriteCond %{http_user_agent} ^Black.Hole [OR]
RewriteCond %{http_user_agent} ^BlackWidow [OR]
RewriteCond %{http_user_agent} ^BlowFish [OR]
RewriteCond %{http_user_agent} ^bot/1.0 [OR]
RewriteCond %{http_user_agent} ^BotALot [OR]
RewriteCond %{http_user_agent} ^Brontok.A\ Browser [OR]
RewriteCond %{http_user_agent} ^BuiltBotTough [OR]
RewriteCond %{http_user_agent} ^Bullseye [OR]
RewriteCond %{http_user_agent} ^BunnySlippers [OR]
RewriteCond %{http_user_agent} ^CazoodleBot/CazoodleBot-0.1 [OR]
RewriteCond %{http_user_agent} ^Cegbfeieh [OR]
RewriteCond %{http_user_agent} ^CheeseBot [OR]
RewriteCond %{http_user_agent} ^CherryPicker [OR]
RewriteCond %{http_user_agent} ^CherryPicker [OR]
RewriteCond %{http_user_agent} ^ChinaClaw [OR]
RewriteCond %{http_user_agent} ^CopyRightCheck [OR]
RewriteCond %{http_user_agent} ^cosmos [OR]
RewriteCond %{http_user_agent} ^Crescent [OR]
RewriteCond %{http_user_agent} ^Crescent [OR]
RewriteCond %{http_user_agent} ^Custo [OR]
RewriteCond %{http_user_agent} ^Dead\ Link\ Checker [OR]
RewriteCond %{http_user_agent} ^DepSpid/5.25 [OR]
RewriteCond %{http_user_agent} ^DIIbot [OR]
RewriteCond %{http_user_agent} ^DIIbot [OR]
RewriteCond %{http_user_agent} ^DISCo [OR]
RewriteCond %{http_user_agent} ^disco/Nutch-1.0-dev [OR]
RewriteCond %{http_user_agent} ^DittoSpyder [OR]
RewriteCond %{http_user_agent} ^Download\ Demon [OR]
RewriteCond %{http_user_agent} ^eCatch [OR]
RewriteCond %{http_user_agent} ^EirGrabber [OR]
RewriteCond %{http_user_agent} ^EmailCollector [OR]
RewriteCond %{http_user_agent} ^EmailCollector [OR]
RewriteCond %{http_user_agent} ^EmailSiphon [OR]
RewriteCond %{http_user_agent} ^EmailSiphon [OR]
RewriteCond %{http_user_agent} ^EmailWolf [OR]
RewriteCond %{http_user_agent} ^EmailWolf [OR]
RewriteCond %{http_user_agent} ^EroCrawler [OR]
RewriteCond %{http_user_agent} ^e-SocietyRobot [OR]
RewriteCond %{http_user_agent} ^Exabot/3.0 [OR]
RewriteCond %{http_user_agent} ^Express\ WebPictures [OR]
RewriteCond %{http_user_agent} ^ExtractorPro [OR]
RewriteCond %{http_user_agent} ^ExtractorPro [OR]
RewriteCond %{http_user_agent} ^EyeNetIE [OR]
RewriteCond %{http_user_agent} ^FAST\ MetaWeb\ Crawler [OR]
RewriteCond %{http_user_agent} ^FlashGet [OR]
RewriteCond %{http_user_agent} ^Foobot [OR]
RewriteCond %{http_user_agent} ^FrontPage [NC,OR]
RewriteCond %{http_user_agent} ^GetRight [OR]
RewriteCond %{http_user_agent} ^GetWeb! [OR]
RewriteCond %{http_user_agent} ^Gigabot/2.0 [OR]
RewriteCond %{http_user_agent} ^Go!Zilla [OR]
RewriteCond %{http_user_agent} ^Go-Ahead-Got-It [OR]
RewriteCond %{http_user_agent} ^GrabNet [OR]
RewriteCond %{http_user_agent} ^Grafula [OR]
RewriteCond %{http_user_agent} ^Harvest [OR]
RewriteCond %{http_user_agent} ^help.naver.com [OR]
RewriteCond %{http_user_agent} ^hloader [OR]
RewriteCond %{http_user_agent} ^HMView [OR]
RewriteCond %{http_user_agent} ^holmes/3.12.1 [OR]
RewriteCond %{http_user_agent} ^httplib [OR]
RewriteCond %{http_user_agent} ^HTTrack [NC,OR]
RewriteCond %{http_user_agent} ^humanlinks [OR]
RewriteCond %{http_user_agent} ^ia_archiver [OR]
RewriteCond %{http_user_agent} ^ia_archiver [OR]
RewriteCond %{http_user_agent} ^ichiro [OR]
RewriteCond %{http_user_agent} ^Image\ Stripper [OR]
RewriteCond %{http_user_agent} ^Image\ Sucker [OR]
RewriteCond %{http_user_agent} ^Indy\ Library [NC,OR]
RewriteCond %{http_user_agent} ^Indy\ Library [OR]
RewriteCond %{http_user_agent} ^InetURL:/1.0 [OR]
RewriteCond %{http_user_agent} ^InfoNaviRobot [OR]
RewriteCond %{http_user_agent} ^InterGET [OR]
RewriteCond %{http_user_agent} ^Internet\ Ninja [OR]
RewriteCond %{http_user_agent} ^InternetSeer.com [OR]
RewriteCond %{http_user_agent} ^Java [OR]
RewriteCond %{http_user_agent} ^Java/1.4.1_04 [OR]
RewriteCond %{http_user_agent} ^Java/1.4.2_13 [OR]
RewriteCond %{http_user_agent} ^Java/1.6.0_03 [OR]
RewriteCond %{http_user_agent} ^Java/1.6.0_04 [OR]
RewriteCond %{http_user_agent} ^JennyBot [OR]
RewriteCond %{http_user_agent} ^JetCar [OR]
RewriteCond %{http_user_agent} ^JOC\ Web\ Spider [OR]
RewriteCond %{http_user_agent} ^Kenjin.Spider [OR]
RewriteCond %{http_user_agent} ^Keyword.Density [OR]
RewriteCond %{http_user_agent} ^Konqueror/3 [OR]
RewriteCond %{http_user_agent} ^larbin [OR]
RewriteCond %{http_user_agent} ^Larbin/2.6.3 [OR]
RewriteCond %{http_user_agent} ^LeechFTP [OR]
RewriteCond %{http_user_agent} ^LexiBot [OR]
RewriteCond %{http_user_agent} ^libWeb/clsHTTP [OR]
RewriteCond %{http_user_agent} ^libwww-perl [OR]
RewriteCond %{http_user_agent} ^LinkextractorPro [OR]
RewriteCond %{http_user_agent} ^LinkScan/8.1a.Unix [OR]
RewriteCond %{http_user_agent} ^LinkWalker [OR]
RewriteCond %{http_user_agent} ^LinkWalker [OR]
RewriteCond %{http_user_agent} ^LWP::Simple/5.803 [OR]
RewriteCond %{http_user_agent} ^lwp-trivial [OR]
RewriteCond %{http_user_agent} ^lwp-trivial [OR]
RewriteCond %{http_user_agent} ^Mail.Ru/1.0 [OR]
RewriteCond %{http_user_agent} ^Mass\ Downloader [OR]
RewriteCond %{http_user_agent} ^Mata.Hari [OR]
RewriteCond %{http_user_agent} ^Microsoft.URL [OR]
RewriteCond %{http_user_agent} ^Microsoft.URL [OR]
RewriteCond %{http_user_agent} ^MIDown\ tool [OR]
RewriteCond %{http_user_agent} ^MIIxpc [OR]
RewriteCond %{http_user_agent} ^Mister.PiX [OR]
RewriteCond %{http_user_agent} ^Mister\ PiX [OR]
RewriteCond %{http_user_agent} ^MJ12bot [OR]
RewriteCond %{http_user_agent} ^MJ12bot/v1.0.8 [OR]
RewriteCond %{http_user_agent} ^MJ12bot/v1.1.1 [OR]
RewriteCond %{http_user_agent} ^MJ12bot/v1.2.1 [OR]
RewriteCond %{http_user_agent} ^moget [OR]
RewriteCond %{http_user_agent} ^Moreoverbot/5.00 [OR]
RewriteCond %{http_user_agent} ^Mozilla.*Indy [OR]
RewriteCond %{http_user_agent} ^Mozilla.*NEWT [OR]
RewriteCond %{http_user_agent} ^Mozilla.*NEWT [OR]
RewriteCond %{http_user_agent} ^Mozilla/2 [OR]
RewriteCond %{http_user_agent} ^Mozilla/2.0 [OR]
RewriteCond %{http_user_agent} ^Mozilla/2.0 [OR]
RewriteCond %{http_user_agent} ^Mozilla/3.0 [OR]
RewriteCond %{http_user_agent} ^Mozilla/3.Mozilla/2.01 [OR]
RewriteCond %{http_user_agent} ^Mozilla/5.0\ \(Twiceler-0.9 [OR]
RewriteCond %{http_user_agent} ^MSFrontPage [OR]
RewriteCond %{http_user_agent} ^msnbot [OR]
RewriteCond %{http_user_agent} ^NaverBot/1.0 [OR]
RewriteCond %{http_user_agent} ^Navroad [OR]
RewriteCond %{http_user_agent} ^NearSite [OR]
RewriteCond %{http_user_agent} ^Net\ Vampire [OR]
RewriteCond %{http_user_agent} ^NetAnts [OR]
RewriteCond %{http_user_agent} ^NetMechanic [OR]
RewriteCond %{http_user_agent} ^NetSpider [OR]
RewriteCond %{http_user_agent} ^NetZIP [OR]
RewriteCond %{http_user_agent} ^NextGenSearchBot [OR]
RewriteCond %{http_user_agent} ^nicebot [OR]
RewriteCond %{http_user_agent} ^NICErsPRO [OR]
RewriteCond %{http_user_agent} ^NICErsPRO [OR]
RewriteCond %{http_user_agent} ^noxtrumbot [OR]
RewriteCond %{http_user_agent} ^NPBot [OR]
RewriteCond %{http_user_agent} ^Octopus [OR]
RewriteCond %{http_user_agent} ^Offline.Explorer [OR]
RewriteCond %{http_user_agent} ^Offline\ Explorer [OR]
RewriteCond %{http_user_agent} ^Offline\ Navigator [OR]
RewriteCond %{http_user_agent} ^OmniExplorer_Bot [OR]
RewriteCond %{http_user_agent} ^OneTouchSystems [OR]
RewriteCond %{http_user_agent} ^Openfind [OR]
RewriteCond %{http_user_agent} ^PageGrabber [OR]
RewriteCond %{http_user_agent} ^Papa\ Foto [OR]
RewriteCond %{http_user_agent} ^pavuk [OR]
RewriteCond %{http_user_agent} ^pcBrowser [OR]
RewriteCond %{http_user_agent} ^PHP\ version\ tracker [OR]
RewriteCond %{http_user_agent} ^Ping [OR]
RewriteCond %{http_user_agent} ^Port\ Huron\ Labs [OR]
RewriteCond %{http_user_agent} ^ProPowerBot/2.14 [OR]
RewriteCond %{http_user_agent} ^ProWebWalker [OR]
RewriteCond %{http_user_agent} ^ProWebWalker [OR]
RewriteCond %{http_user_agent} ^psbot [OR]
RewriteCond %{http_user_agent} ^psbot [OR]
RewriteCond %{http_user_agent} ^QihooBot\ 1.0 [OR]
RewriteCond %{http_user_agent} ^QueryN.Metasearch [OR]
RewriteCond %{http_user_agent} ^ReGet [OR]
RewriteCond %{http_user_agent} ^RepoMonkey [OR]
RewriteCond %{http_user_agent} ^RMA [OR]
RewriteCond %{http_user_agent} ^RMA/1.0 [OR]
RewriteCond %{http_user_agent} ^RufusBot [OR]
RewriteCond %{http_user_agent} ^Safari [OR]
RewriteCond %{http_user_agent} ^Safari/85 [OR]
RewriteCond %{http_user_agent} ^SBIder/0.8-dev [OR]
RewriteCond %{http_user_agent} ^SBIder/SBIder-0.8.2-dev [OR]
RewriteCond %{http_user_agent} ^shelob\ v1.0 [OR]
RewriteCond %{http_user_agent} ^ShopWiki/1.0 [OR]
RewriteCond %{http_user_agent} ^ShoWiki/1.0 [OR]
RewriteCond %{http_user_agent} ^Siphon [OR]
RewriteCond %{http_user_agent} ^sitecheck.internetseer.com [OR]
RewriteCond %{http_user_agent} ^sitecheck.internetseer.com [OR]
RewriteCond %{http_user_agent} ^SiteSnagger [OR]
RewriteCond %{http_user_agent} ^SlySearch [OR]
RewriteCond %{http_user_agent} ^SmartDownload [OR]
RewriteCond %{http_user_agent} ^Sogou\ web\ spider/3.0 [OR]
RewriteCond %{http_user_agent} ^Sosospider [OR]
RewriteCond %{http_user_agent} ^SpankBot [OR]
RewriteCond %{http_user_agent} ^spanner [OR]
RewriteCond %{http_user_agent} ^Speedy\ Spider [OR]
RewriteCond %{http_user_agent} ^StackRambler [OR]
RewriteCond %{http_user_agent} ^StackRambler [OR]
RewriteCond %{http_user_agent} ^SuperBot [OR]
RewriteCond %{http_user_agent} ^SuperHTTP [OR]
RewriteCond %{http_user_agent} ^Surfbot [OR]
RewriteCond %{http_user_agent} ^SurveyBot/2.3 [OR]
RewriteCond %{http_user_agent} ^suzuran [OR]
RewriteCond %{http_user_agent} ^Szukacz/1.4 [OR]
RewriteCond %{http_user_agent} ^tAkeOut [OR]
RewriteCond %{http_user_agent} ^Teleport [OR]
RewriteCond %{http_user_agent} ^Teleport [OR]
RewriteCond %{http_user_agent} ^Teleport\ Pro [OR]
RewriteCond %{http_user_agent} ^Telesoft [OR]
RewriteCond %{http_user_agent} ^The.Intraformant [OR]
RewriteCond %{http_user_agent} ^TheFreeDictionary.com [OR]
RewriteCond %{http_user_agent} ^TheNomad [OR]
RewriteCond %{http_user_agent} ^TightTwatBot [OR]
RewriteCond %{http_user_agent} ^Titan [OR]
RewriteCond %{http_user_agent} ^TMCrawler [OR]
RewriteCond %{http_user_agent} ^toCrawl/UrlDispatcher [OR]
RewriteCond %{http_user_agent} ^True_Robot [OR]
RewriteCond %{http_user_agent} ^turingos [OR]
RewriteCond %{http_user_agent} ^TurnitinBot [OR]
RewriteCond %{http_user_agent} ^TurnitinBot/1.5 [OR]
RewriteCond %{http_user_agent} ^Twiceler [OR]
RewriteCond %{http_user_agent} ^Twiceler-0.9 [OR]
RewriteCond %{http_user_agent} ^UniversalFeedParser/4.1 [OR]
RewriteCond %{http_user_agent} ^URLy.Warning [OR]
RewriteCond %{http_user_agent} ^VCI [OR]
RewriteCond %{http_user_agent} ^VoidEYE [OR]
RewriteCond %{http_user_agent} ^VoilaBot [OR]
RewriteCond %{http_user_agent} ^VoilaBot\ BETA\ 1.2 [OR]
RewriteCond %{http_user_agent} ^Web.Image.Collector [OR]
RewriteCond %{http_user_agent} ^Web\ Image\ Collector [OR]
RewriteCond %{http_user_agent} ^Web\ Sucker [OR]
RewriteCond %{http_user_agent} ^WebAlta\ Crawler/2.0 [OR]
RewriteCond %{http_user_agent} ^WebAuto [OR]
RewriteCond %{http_user_agent} ^WebBandit [OR]
RewriteCond %{http_user_agent} ^WebCopier [OR]
RewriteCond %{http_user_agent} ^WebEMailExtrac.* [OR]
RewriteCond %{http_user_agent} ^WebEMailExtrac.* [OR]
RewriteCond %{http_user_agent} ^WebEnhancer [OR]
RewriteCond %{http_user_agent} ^WebEx [OR]
RewriteCond %{http_user_agent} ^WebExtractor [OR]
RewriteCond %{http_user_agent} ^WebFetch [OR]
RewriteCond %{http_user_agent} ^WebGo\ IS [OR]
RewriteCond %{http_user_agent} ^WebLeacher [OR]
RewriteCond %{http_user_agent} ^WebmasterWorldForumBot [OR]
RewriteCond %{http_user_agent} ^WebReaper [OR]
RewriteCond %{http_user_agent} ^WebSauger [OR]
RewriteCond %{http_user_agent} ^Website.Quester [OR]
RewriteCond %{http_user_agent} ^Website\ eXtractor [OR]
RewriteCond %{http_user_agent} ^Website\ Quester [OR]
RewriteCond %{http_user_agent} ^Webster.Pro [OR]
RewriteCond %{http_user_agent} ^WebStripper [OR]
RewriteCond %{http_user_agent} ^WebWhacker [OR]
RewriteCond %{http_user_agent} ^WebZip [OR]
RewriteCond %{http_user_agent} ^Wget [OR]
RewriteCond %{http_user_agent} ^Wget [OR]
RewriteCond %{http_user_agent} ^Widow [OR]
RewriteCond %{http_user_agent} ^Для просмотра ссылки Войди или Зарегистрируйся [OR]
RewriteCond %{http_user_agent} ^Для просмотра ссылки Войди или Зарегистрируйся [OR]
RewriteCond %{http_user_agent} ^WWW-Collector-E [OR]
RewriteCond %{http_user_agent} ^WWWOFFLE [OR]
RewriteCond %{http_user_agent} ^Xaldon\ WebSpider [OR]
RewriteCond %{http_user_agent} ^Xenu's [OR]
RewriteCond %{http_user_agent} ^Yandex/1.01.001 [OR]
RewriteCond %{http_user_agent} ^Yeti/0.01 [OR]
RewriteCond %{http_user_agent} ^YodaoBot/1.0 [OR]
RewriteCond %{http_user_agent} ^YodaoBot/1.0 [OR]
RewriteCond %{http_user_agent} ^Zeus [NC]
RewriteCond %{http_user_agent} ^Zeus.*Webster [OR]
RewriteCond %{http_user_agent} ^ZyBorg [OR]
RewriteCond %{http_user_agent} ^ZyBorg [OR]
RewriteCond %{http_user_agent} ^ZyBorg/1.0 [OR]
RewriteCond %{http_user_agent} ^ZyBorg/1.0 [OR]
RewriteRule /* Для просмотра ссылки Войди или Зарегистрируйся [R=301,L]

 

[Dimaker]

ip адреса гугла и яндекса с которых обращаются посиковики может ктонить выложть, хочется их тоже побанить в .htaccess

 

[Dimaker]

Яндекс все равно проходит пичем ипишники очень странные

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Crucifer]

ip адреса гугла и яндекса с которых обращаются посиковики может ктонить выложть, хочется их тоже побанить в .htaccess

Яндекс, Рамблер

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[General Fizz]

Яндекс все равно проходит пичем ипишники очень странные
*** скрытое содержание ***

Это не яндекс, а кто-то под него косит, пытаясь сделать запрос пост. Скорее всего тестируется скрипт для спама твоего сайта

 

[Dimaker]

ну все равно забанил умника по ip

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

как то так получается ,яху,альтвисты, гугла еще бы ипишники

 

[General Fizz]

ну все равно забанил умника по ip

*** скрытое содержание ***
как то так получается ,яху,альтвисты, гугла еще бы ипишники

Лучше банить по юзер-агенту, ипишники ботов вычислять нудная работа, к тому же не надежно.