[FreeWare] Скрипт учета сайтов

[psknnn]

тоже с яшей проблема, пачками плохо обновляет, думается нужны прокси... кто прикручивал уже? помогло?

 

[Neow15ard]

Готовая аддурилка нужна ? есть addurl 1.3.6 делает гошу,раму и яшу. автомат и полуавтомат (с антикапчей) для встраивания в скрипт ...
уж не знаю чей скрипт , но прожка приятная ))

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[o_nix]

psknnn - поддержка прокси ненужна ...
прокси надо будет гденибудь искать обновлять .. и не факт что прокси неиспользуют для парсинга .. опять таки проблемы будут

нужно только лиш переделать cron ...

Нужно чтобы за 1 запуск обновлялся только один сайт из списка имеющий самую старую дату обновления ну или по номеру хотябы чтоб не заморачиваться зря...
поставить его на выполнение раз в 5 минут и будем иметь (теоретически) 288 провереных сайта за сутки... без бана от поисковиков...
Помоему 288 сайтов это намного больше чем есть у большенства на данный момент

 

[Neow15ard]

эээ..а что мешает в файле cron поставить задержку между парсингом в скажем 120 секунд ? 300 секунд?
там в конце почти есть sleep(xx);
а уж если у кого очень много сайтов , то это либо 2-3 крона, либо еще что нить.
Но идея вообщем интерестная. автор подскажешь куда копать что сделать разделяемый крон - одна категория сайтов будет апдейтится раз в неделю, друга я everyday, а третья никак или по алерту ?(типа апдейт тица, пыра и т.п.)

 

[bost84]

помоему большинство использует для проверки именно в Яшке...
можно парсить когда у Яши ап тогда и обновлять...

 

[psknnn]

а уж если у кого очень много сайтов , то это либо 2-3 крона

бессмыслено поскольку банится айпишник, получается что парсить надо с нескольких ip

o_nix - поставил пробовать именно так, причем те кто пошол по такому пути советую сделать интервал случайным, от 1 минуты до 7, пока работает )

 

[goodvin]

Я бы советовал сделать так: ствате крон каждые 10 мин, а крону отдаете на проверку 1 сайт, перед проверкой отдать слип(1-5 мин) и все будет ок, а лучше прикрутить xml зпросы и добавит IP к разрешенным тода можно пачками кидать и не парится.

А воще ели не понимаете как это сделать не сорите в теме, а ждите пока автор прикрутит чето, ато лем итак везде хватает.

 

[z3rg]

Как я заметил банит ип за то что проверяешь нулевые/новые сайты, где запросы "не индаксированны", тоесть яндекс ищет наверное в прямом эфире по базе я так думаю, соотвественно большая нагрузка на сервер, соответственно пошол нахер. Хотя это и идиотизм но другого в голову ничего не приходит. Что интересно на сайтах с историей 2-3 года забаненый ип проверяет без проблем. 23 ипа забанило, проверило успешно только 5 сайтов(10 запросов). С 1 раза ип в бан это жесть что-то еще проверяет гадость.

зы нужно было скрипт на паблик не выкладывать, прально так яшу пинговать ))Ыыы

 

[o_nix]

z3rg - ну нетакуж и много людей я думаю скриптом пользуются ...
я думаю для яши обычный активный юзверь пострашнее будет в плане нагрузки ...

Так что даже если сделать так как предложил goodvin неполучится от бана уйти ??

Веть за один запуск крона будет проверяться всего 1 сайт причём с переменной паузой от 5 до 10 мин ...

 

[z3rg]

z3rg - ну нетакуж и много людей я думаю скриптом пользуются ...
я думаю для яши обычный активный юзверь пострашнее будет в плане нагрузки ...

да я прикалываюсь

через хмл не должно банить, но это тоже извращения у меня например ип динамический и каждый раз авторизироватся и добавлять не есть гуд.

ну возми пробни хотябы так, замени в крон пхп

$site6561=$db->query("SELECT * FROM `site`);

на

$rr=rand(1,999);
$site6561=$db->query("SELECT * FROM `site` LIMIT $rr, 1");

где 999 число сайтов и посмотри будет банить или нет