Парсер Datacol

[APSALIM]

Datacol - парсер для любых сайтов

Связанные темы:

 

[Asgaryk]

Друзья может кто помочь создать шаблон по сбору объявлений вот с этой доски ?

Спойлер: Ссылка

kupiprodai.ru

для дальнейшего импорта в Unisite cms

 

[papa]

А кто знает дешёвые прокси пулы для граберов чтобы вставить , а то сайты часто банят и всё, чтобы продолжить парсить )) тот же ситилинк, или пул ротатор называют и т.д., то есть один прокси, а за ним сотни стоят , в программе один прописываешь , а на сервере меняются они по критерием автоматом.

 

[gramlik]

А кто знает дешёвые прокси пулы для граберов чтобы вставить , а то сайты часто банят и всё, чтобы продолжить парсить )) тот же ситилинк, или пул ротатор называют и т.д., то есть один прокси, а за ним сотни стоят , в программе один прописываешь , а на сервере меняются они по критерием автоматом.

для 7,5+

• Ротация списков прокси. Теперь список прокси можно загружать по ссылке. Кроме того, если в списке больше нет рабочих проксей — Datacol может переключаться на следующий список прямо в процессе работы кампании. Итого — вы получаете более стабильную загрузку сайтов, которые постоянно блокируют парсинг. Как работает:
  • Вы можете задать несколько списков прокси. Каждый список по URL.
  • У списков можно задать очередность (случайно или по порядку).
  • Если в списке не осталось рабочих прокси, то подгружается следующий список.
  • Данный функционал работает при выборе стандартного загрузчика или браузера Cefsharp.

 

[papa]

для 7,5+

• Ротация списков прокси. Теперь список прокси можно загружать по ссылке. Кроме того, если в списке больше нет рабочих проксей — Datacol может переключаться на следующий список прямо в процессе работы кампании. Итого — вы получаете более стабильную загрузку сайтов, которые постоянно блокируют парсинг. Как работает:
  • Вы можете задать несколько списков прокси. Каждый список по URL.
  • У списков можно задать очередность (случайно или по порядку).
  • Если в списке не осталось рабочих прокси, то подгружается следующий список.
  • Данный функционал работает при выборе стандартного загрузчика или браузера Cefsharp.

а вот программа сама понимает что наткнулась на нерабочий прокси или её заблокировали и надо менять прокси ?
и если прокси кончились она тормозит и ждёт рабочие ? тоесть очередь сканирования нетеряется ?
и в итоге есть рабочий 7,5 или нет )?

 

[gramlik]

а вот программа сама понимает что наткнулась на нерабочий прокси или её заблокировали и надо менять прокси ?
и если прокси кончились она тормозит и ждёт рабочие ? тоесть очередь сканирования нетеряется ?
и в итоге есть рабочий 7,5 или нет )?

нет не ждет . Работает с готовыми списками , которые тянет по ссылке . Все зависит от того как часто обновляется список . Рабочий Datacol 7.507 есть , в ЛС