Помощь Сколько ставить одновременных соединений для одного IP адреса чтобы он не обрушивал интернет-магаз ?

Тут мысль пришла в голову - так как основная загвоздка в том что идет
огромная нагрузка на базу mysql (процессорное время почти полностью
отдается этой задаче в моменты таких ситуаций) и судя по логу запрос
строился на поиск по тегу
Для просмотра ссылки Войди или Зарегистрируйся

может эти теги вообще поубирать все?
тег этот вот здесь в карточке товара:
Для просмотра ссылки Войди или Зарегистрируйся

может его убрать так как теперь есть модуль который выводит всю серию
ниже?

так как здесь могут быть даже не конкуренты а поисковые боты которые
полезли по поиску по тегам?
 
У операторов мобильной связи статичиские IP клиентам выдают за отдельную плату. То есть 99% клиентов, которые сидят через мобильный интернет имеют 200 одинаковых IP адресов. Забанив такой адрес, можете лишится тысячи клиентов.
 
Да я это понимаю про бан IP - я пытаюсь найти решение. пока к сожалению идей не много
попробую удрать теги чтобы не гоняли боты по поиску по ним - где то читал что это серьезно грузит сервер
но пока это все!
Остальные идеи что были предложены довольно сложны и есть риск потерять долю клиентов
 
Боты будут всегда лазить и так и так. Просто надо удалить плохих ботов из роботс.тхт и поставить crawl delay.
По типу:
User-agent: *
Crawl-delay: 50
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*en/forgot-your-password
Disallow: /*en/address
Disallow: /*en/addresses
Disallow: /*en/authentication
Disallow: /*en/cart
Disallow: /*en/discount
Disallow: /*en/order-history
Disallow: /*en/identity
Disallow: /*en/my-account
Disallow: /*en/order-follow
Disallow: /*en/order-slip
Disallow: /*en/order
Disallow: /*en/search
Disallow: /*en/quick-order
Disallow: /*en/guest-tracking
Disallow: /*ru/guest-tracking
Disallow: /*ru/quick-order
Disallow: /*ru/search
Disallow: /*ru/order
Disallow: /*ru/order-follow
Disallow: /*ru/forgot-your-password
Disallow: /*ru/order-slip
Disallow: /*ru/my-account
Disallow: /*ru/address
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/authentication
Disallow: /*ru/addresses
Disallow: /*ru/order-history
Disallow: /*ru/identity

# Sitemap
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

User-agent: AhrefsBot
Disallow: /

User-agent: Alexibot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: Xenu’s
Disallow: /

User-agent: Xenu’s Link Sleuth 1.1c
Disallow: /

User-agent: rogerbot
Disallow:/

User-agent: YaDirectFetcher
Disallow: /

User-agent: YandexCalendar
Disallow: /*.ics$

User-agent: Yandex
Crawl-delay: 50

User-agent: AbachoBOT
Disallow: /

User-agent: EtaoSpider
Disallow: /

З.Ы это роботс для престы 1.6
 
Crawl-delay: 50 - я ставил разумеется

а каких роботов нужно отключить и как правильно прописать их?

мой файл робота выглядит вот так (для версии 1.4.11:(

# Для просмотра ссылки Войди или Зарегистрируйся
# GoogleBot specific
User-agent: Googlebot
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*id_lang=
Disallow: /*back=
Disallow: /*utm_source=
Disallow: /*utm_medium=
Disallow: /*utm_campaign=
Disallow: /*n=
# All bots
User-agent: *
# Directories
Disallow: /classes/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /tools/
# Files
Disallow: /addresses.php
Disallow: /address.php
Disallow: /authentication.php
Disallow: /cart.php
Disallow: /discount.php
Disallow: /footer.php
Disallow: /get-file.php
Disallow: /header.php
Disallow: /history.php
Disallow: /identity.php
Disallow: /images.inc.php
Disallow: /init.php
Disallow: /my-account.php
Disallow: /order.php
Disallow: /order-opc.php
Disallow: /order-slip.php
Disallow: /order-detail.php
Disallow: /order-follow.php
Disallow: /order-return.php
Disallow: /order-confirmation.php
Disallow: /pagination.php
Disallow: /password.php
Disallow: /pdf-invoice.php
Disallow: /pdf-order-return.php
Disallow: /pdf-order-slip.php
Disallow: /product-sort.php
Disallow: /search.php
Disallow: /statistics.php
Disallow: /attachment.php
Disallow: /guest-tracking.php
Disallow: /address
Disallow: /addresses
Disallow: /authentication
Disallow: /cart
Disallow: /discount
Disallow: /guest-tracking
Disallow: /order-history
Disallow: /identity
Disallow: /my-account
Disallow: /order
Disallow: /order-follow
Disallow: /quick-order
Disallow: /order-slip
Disallow: /password-recovery
Disallow: /search
Disallow: /*?ktr*
Allow: /modules/faq/faqs.php
# Sitemap
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
host: Для просмотра ссылки Войди или Зарегистрируйся
Crawl-delay: 50
 
кстати заинтересовал вопрос в файле робота что приведен выше везде есть звездочка /*
а в моем же файле она есть не везде - это нормально?
 
sentu написал(а):
User-agent: AhrefsBot
Disallow: /

User-agent: Alexibot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: Xenu’s
Disallow: /

User-agent: Xenu’s Link Sleuth 1.1c
Disallow: /

User-agent: rogerbot
Disallow:/

User-agent: YaDirectFetcher
Disallow: /

User-agent: YandexCalendar
Disallow: /*.ics$

User-agent: AbachoBOT
Disallow: /

User-agent: EtaoSpider
Disallow: /
Нажмите для раскрытия...

как я понимаю эти боты опытным путем вычисленные что от них пользы мало и они заблокированы к идексации ими магазина?
а что за бот User-agent: YandexCalendar
что он делает?
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху