[Архив] Lynx parser

[maestro88]

у меня гугля дальше 2 страницы не парсит, несмотря на кучу рабочих проксей....гугл банит ... никто не сталкивался?
да и еще, у кого мсн парсит?

 

[MadZee]

у меня гугля дальше 2 страницы не парсит, несмотря на кучу рабочих проксей....гугл банит ... никто не сталкивался?
да и еще, у кого мсн парсит?

Месяц назад МСН парсил нормально. Насчет бана гугла, прокси точно рабочие и анонимные? Половина чекеров transparent прокси пишет как анонимные. Попробуй прокси прогони через спамит. У меня лучше всего парсил именно через прокси после спамита.
Есть еще вариант, влезть в код и после запроса к гуглу или перед ним добавить sleep на секунд 5-10, работает дольше, но и бана меньше.

 

[zloi_4elovek]

хороший парсер неплохо работает а по поводу прокси видать они у тебя действительно не совсем анонимные или просто из паблика (пер****ены нахрен) у мну на приватном прокси листе все прекрастно работает

 

[sunny puppy]

у меня гугля дальше 2 страницы не парсит, несмотря на кучу рабочих проксей....гугл банит ... никто не сталкивался?
да и еще, у кого мсн парсит?

парсю без проксей. только задержка 10 стоит. Всё ок.
у меня была похожая проблема, когда я выставлял широкий диапазон запросов (все языки и зоны и буквы). Процессы вообще не запускались. В последствии оказалось, что это не обязательно. Парсит хорошо и гугль, и мсн.
Только результаты не показывает в админке. Но они в папке pars/google/

 

[Paradise]

Только результаты не показывает в админке. Но они в папке pars/google/

Посмотри на предыдущей странице, там есть решение этой
проблемы.

 

[sunny puppy]

2 файла получились больше 10 метров. не показывает в результатах
Видать не предусмотрен он к таким испытаниям
Ну ничего. главное, что работает хорошо. Спасибо за расшифрованую версию.

 

[Mamadu]

Не работает злыдень.... Показывает на денвере
Count of urls: 524160


SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
И на этом все.....
На фествдс и этого не показывает... в логах появляются 0 длины... В папке парс -чисто. Никто не в курсе в чем засада?

 

[sharapov]

у меня гугля дальше 2 страницы не парсит, несмотря на кучу рабочих проксей....гугл банит ... никто не сталкивался?
да и еще, у кого мсн парсит?

таймауты обычно помогают. а что до проксей, так если ведь паблик, то следует помнить, что вы не одни, такие умные с парсерами на свете
private proxy+timeouts = ok

 

[noIIIpera]

На фествдс и этого не показывает... в логах появляются 0 длины... В папке парс -чисто. Никто не в курсе в чем засада?

Ну его **х фест-вдс.
Я запустил на Разгоне, 20 часов и месячному трафику хана.

 

[Allexl1]

Парсер хороший , только мусора много нагребает, а так в целом весчь незаменимая в нашем тяжком деле