CURL и глюки

[pslava]

Есть парсер, он исправно стягивает страницы из инета через CURL и парсих их. В последнее время стал проявляться глюк: скрипт загружает страницы и потом некоторый период (1-2 часа) вообще ничего не может стянуть, потом опять может. У кого было нечто похожее поделитесь пожалуйста решением

 

[Dimkich]

А что парсишь?
Если один и тот же ресурс, то может быть он тебя по ip банит на 2 часа?

 

[pslava]

Не банит, когда он тупит, я пробовал загружать другие общедоступные страницы - и ничего, даже никаких сообщений об ошибке, просто белый экран и все. Хостер тоже ничего не менял в настройках

 

[myweb]

А сайт из которого тянеться информация в это время доступный, может донор в это время висит.
Как альтернативу попробуй через сокеты тянуть и выводить поетампно сообщение типа :

>подключаемся - Ок
>даные через Get - Ok ....

то есть сделать простенький лог

 

[phgrey]

Это хостер! Они спецом со сплогами борятся.

 

[elcaste]

Есть парсер, он исправно стягивает страницы из инета через CURL и парсих их. В последнее время стал проявляться глюк: скрипт загружает страницы и потом некоторый период (1-2 часа) вообще ничего не может стянуть, потом опять может. У кого было нечто похожее поделитесь пожалуйста решением

Я в таких случаях проверяю ф-ей file_get_contents. Еще можно во время дебага взять строку урла которая идет в curl_init или CURLOPT_URL и вставить ее в браузер. С другого IP можно еще попробовать.

У меня есть такой рес, который из моей локалки не парсится ни при каких обстоятельствах, ничем. Браузером все отлично открывается. Тот же скрипт на VDS отлично все парсит...

 

[pslava]

В момент тупения CURLа, из браузера эти страницы открываются нормально, между загрузкой страниц стоит пауза в 3 сек., Такие чудеса начались когда на хостинге поменялся админ.
Что такое сплоги? Их можно как-то обойти или узнать что они включены? Как их отключить? У меня тарифный план типа VDS

 

[Lonely Wolf]

Что за флуд понаписали, в курле есть режим отладки...
ставишь опцию

set_opt($ch, 'CURLOPT_VERBOSE', true);

он тебе будет выводить каждый шаг операции, потом на конце после выполнения добавишь:

$errnum=curl_errno($ch);
if($errnum){ echo "ERROR[".$errnum."]: ".curl_error($ch); }
echo "<br><pre>"; print_r(curl_getinfo($ch)); echo "</pre>";

И посмотришь полный лог работы, сначало ошибки и описание, потом ответы параметры обращения сервера...

 

[elcaste]

В момент тупения CURLа, из браузера эти страницы открываются нормально, между загрузкой страниц стоит пауза в 3 сек., Такие чудеса начались когда на хостинге поменялся админ.
Что такое сплоги? Их можно как-то обойти или узнать что они включены? Как их отключить? У меня тарифный план типа VDS

Человек имел ввиду, что для того, чтобы пресечь наличие сплогов(автоматически наполняемый блог) у себя, хостер установливает ограничения на исходящие соединения. Такое происходит повсеместно на фришный хостингах. Попробуй запустить скрипт с другого сервака.

 

[pslava]

Человек имел ввиду, что для того, чтобы пресечь наличие сплогов(автоматически наполняемый блог) у себя, хостер установливает ограничения на исходящие соединения. Такое происходит повсеместно на фришный хостингах. Попробуй запустить скрипт с другого сервака.

Где админы это включают, где указывают количество на исходящиые соединения (нужен файл и параметр, хостинг под *nix)?