Помощь Сколько ставить одновременных соединений для одного IP адреса чтобы он не обрушивал интернет-магаз ?

[lightman555]

Ситуация следующая:
Магазин на движке 1.4.11 (переходить на более новый не хочу)
открывается все шустро даже если одновременно лазит по магазину и выбирает порядка 100 человек!
товаров в нем 20К
НО периодически при минимальнейшей нагрузке по пользователям (клиентам) 5-7-мь одновременно сидящих людей в магазине - магазин полностью обрушивается минут на 5-15-ть
Служба поддержки ответила так:
За 10 минут от 13:00 до 13:10, было 7195 HTTP запросов, хотя среднее значение у Вас в 2-3 раза меньше, от 1.5 до 4 тысяч запросов в 10 минут, вероятно, медленная работа была связана именно с этим и как только лишние запросы прекратились, сайт стал работать как обычно.

Исходя из этого можно сделать вывод что скорее всего магазин парсят и тем самым вешают его
Как сделать так чтобы при таких вариантах магазин все таки не падал?
Может ка кто ограничить количество соединений на один IP например? Но непонятно сколько оставлять для обычного пользователя чтобы он с комфортом мог выбирать товар?

 

[Anton]

Анализируй логи, может боты какие левые лазят. Бань по ипам/юзерагентам.
Ставь кеширование.

Переедь на нормальный хостинг/впс

 

[lightman555]

А что толку банить по IP - прокси никто не отменял!!!
Конкуренты и те кто таскает контент - 100% лазят и будут лазить хоть ты что делай - для них что ли более мощный сервер покупать?

Кеширование установлено - мемкешед (на 2-а гига)
диски SSD проц 2-х ядерный ксеон 2.5

я же говорю когда лазят обычные клиенты - хоть 100 человек одновременно - все летает!

 

[Anton]

Про банить по ипу, настрой nginx так чтоб банило автоматом того откуда много запросов.
Ясен хрен что не руками)
Ну и анализируй логи может это не конкуренты и т.п. А просто боты.

Забань прокси по заголовкам, отсечешь большую часть паблик прокси.

 

[bestt]

Поставить бан IP если идет больше 10 обращений в секунду с 1 IP.
Увеличить оперативу с 2 до 4 минимум гигов.
Закрыть доступ на открытые директивы и файлы. Поставить редирект обращений на воздух.
Не парсят скорее всего, а банально вешают сайт прогами.

Не поможет если, тогда 2 варианта. 1 - ждать когда прекратится. 2 - перейти на Dedicated servers. Виртуалка не прокатит. Цена решения зависит от отбивки сайта.

 

[lightman555]

Про банить по ипу, настрой nginx так чтоб банило автоматом того откуда много запросов.
Ясен хрен что не руками)
Ну и анализируй логи может это не конкуренты и т.п. А просто боты.

Забань прокси по заголовкам, отсечешь большую часть паблик прокси.

Я к сожалению не силен в настройках nginx и могу напортачить так что может заблокировать и поисковые боты а этого естественно допустить нельзя
Мне бы реальный опыт построения как у других сделано найти так чтобы не напортачить
Так же я к сожалению не знаю где настраивается бан на прокси да и опять же а если по какой то причине под прокси на пример на работе сидит клиент ? Здесь не угадаешь

Поставить бан IP если идет больше 10 обращений в секунду с 1 IP.
Увеличить оперативу с 2 до 4 минимум гигов.
Закрыть доступ на открытые директивы и файлы. Поставить редирект обращений на воздух.
Не парсят скорее всего, а банально вешают сайт прогами.

Оперативки у меня 8 GB DDR4
2-а отдано под кеш мемкешед

Поставить бан IP если идет больше 10 обращений в секунду с 1 IP
а если это поисковые боты?
Самостоятельно смогу поставить если не особо разбираюсь в этом?
Как точно называется програмка (модуль)?

Закрыть доступ на открытые директивы и файлы. Поставить редирект обращений на воздух.
Для меня это как на Китайском Мало что понял Я поставил согласно рекомендациям у престы права доступа на разные директории и файлы где то на чтение только где то и на запись и все

По поводу парсят или нет:
Уверен на 100% что минимум что делается это постоянно специальными программами мониторят цены на сайте так как у нас поставщики очень ревностно и жестко относятся к тем кто занижает цены ниже рекомендованной в розницу поэтому конкуренты постоянно лазят по сайтам друг друга и мониторят цены друг у друга чтобы сдать тех у кого демпинг - вот такая вот у нас чехарда
И знаю точно что кто то в ручную смотрит а кто о специально написанными программами по всем позициями после предоставляют отчет в экселе уже поставщикам

 

[Kosstas]

Я к сожалению не силен в настройках nginx и могу напортачить так что может заблокировать и поисковые боты а этого естественно допустить нельзя
Мне бы реальный опыт построения как у других сделано найти так чтобы не напортачить
Так же я к сожалению не знаю где настраивается бан на прокси да и опять же а если по какой то причине под прокси на пример на работе сидит клиент ? Здесь не угадаешь

Была подобная ситуация, даже лимит на 30 не спасал, пока не обновился......Помогало отключение Geolocation by IP address

 

[lightman555]

а у меня служба поддержки пишет следующее - так как опять такая же ерунда возникла :
Нагрузка возникла из-за следующих запросов к Вашему сайту:
31.181.45.2 - - [18/Jan/2016:13:50:57 +0300] "GET /img/c/60-logo.png HTTP/1.1" 302 20 "Для просмотра ссылки Войди или Зарегистрируйся" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 YaBrowser/15.12.1.6475 Safari/537.36"
31.181.45.2 - - [18/Jan/2016:13:50:57 +0300] "GET /img/c/101-logo.png HTTP/1.1" 302 20 "Для просмотра ссылки Войди или Зарегистрируйся" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 YaBrowser/15.12.1.6475 Safari/537.36"
31.181.45.2 - - [18/Jan/2016:13:50:57 +0300] "GET /img/c/57-logo.png HTTP/1.1" 302 20 "Для просмотра ссылки Войди или Зарегистрируйся" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 YaBrowser/15.12.1.6475 Safari/537.36"
31.181.45.2 - - [18/Jan/2016:13:50:57 +0300] "GET /img/c/64-logo.png HTTP/1.1" 302 20 "Для просмотра ссылки Войди или Зарегистрируйся" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 YaBrowser/15.12.1.6475 Safari/537.36"
31.181.45.2 - - [18/Jan/2016:13:50:57 +0300] "GET /img/c/72-logo.png HTTP/1.1" 302 20 "Для просмотра ссылки Войди или Зарегистрируйся" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 YaBrowser/15.12.1.6475 Safari/537.36"
31.181.45.2 - - [18/Jan/2016:13:50:57 +0300] "GET /img/c/73-logo.png HTTP/1.1" 302 20 "Для просмотра ссылки Войди или Зарегистрируйся" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 YaBrowser/15.12.1.6475 Safari/537.36"
31.181.45.2 - - [18/Jan/2016:13:50:57 +0300] "GET /img/c/78-logo.png HTTP/1.1" 302 20 "Для просмотра ссылки Войди или Зарегистрируйся" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 YaBrowser/15.12.1.6475 Safari/537.36"

Таких запросов было огромное количество с разных IP адресов из-за чего нагрузка так резко возросла. В данный момент нагрузка на сервере не большая.

 

[bestt]

Ну сделать тогда вот что можно.
Не в точности но что то похожее)
Регнутся у гугля яндекса мсм, поставить их вебмастер мониторинг. Посмотреть сколько в сутки их бот лазиет по сайту.
Запросить у админов список хостав IP сайтов которые лазили по сайту в большом колличестве. В бан их.
Так как поставщики сами мониторят цены, попытатся связаться с ними и попросить их IP что бы не банить их.
Как вариант если есть у них сайты с поддержкой синхронизации, сделать синхронизацию цен с ними. Я думаю модули ннайти можно такие.
Самому прописать баны не получится если нет опыта работы с никсами и модулями. Лучше попросить админов сделать. Будет проще и безопаснее)
Самое главное. Сделать запрет на доступ ко всему серверу с IP которые не указаны в настройке сервера. Перед работой с сфтп фтп мускулем и тог далее в админке прописывают IP с которого работают. И только тогда сервак допускает к себе. Для обеспечения безопасности и попыток взлома (всякую бяку и нехорошие веши повесить не смогут).

Програмки которые могут вешать слабые каналы их много. Например Xenu. Безобидная програмка которая собирает ссылки проверяет их валидность и делат мап карту сайта. Но. При запуске множества ее копий 3-4-10 может повесить сайт со слабым каналом.

Можно конечно попробовать снизить нагрузку с помощью сервиса DDoS-GUARD

(как вариант)) (не реклама))

 

[lightman555]

Тут вроде как не канал слабый а именно идет огромная нагрузка на базу mysql хотя она и небольшая и занимает всего 150 МБ но именно огромное количество запросов к базе и забирает всю процессорную мощность сервака