Составляем список "лишних" роботов которые грузят сервер, их описание и способы бана

Лично я для продвижения в гугле использую такой список блокировок через .htaccess.

Скрытое содержимое доступно для зарегистрированных пользователей!


Пока что ни разу не подводил.

UPD: удалил дубли в прошлом списке.
 
Последнее редактирование:
Ребятки! Чтобы не грузить сервак, "одним robots.txt сыт не будешь"! Есть боты, которым положить на robots.txt. Используйте подмену. Вот кусок моего конфига для nginx (от апача давно отказался, но переделать ума много не надо) :

sitemap.deny.txt делаете пустым, а robots.deny.txt:
Скрытое содержимое доступно для зарегистрированных пользователей!

Надеюсь идея понятна. За одно усложните жизнь малолетним недохацкерам.
 
можно и iptales резать
iptables -I INPUT -p tcp -m tcp --dport 80 -m string --string "InterfaxScanBot" --algo kmp --to 65535 -j DROP
 
Назад
Сверху