[FreeWare] Парсер товаров интернет-магазинов

[Pipa Narydnaya]

Они постоянно делают какие то правки что бы закрыть возможность парсинга или хотя бы урезать объемы запросов, так чсто регулярно надо правки вносить.
В аттаче моя версия, немного доработал её в свое время на работу с проксями и кроном (отслеживать постоянно глупо, если парсишь конечно в больших объемах).
Заливаем на хост, скармливаем список ссылок и забываем на месяцок.
советую на актуальность проверить и подредактировать при необходимости.

 

[suslovvk]

А не вкурсе почему яшу перестал парсить?

 

[Pipa Narydnaya]

А не вкурсе почему яшу перестал парсить?

Надо смотреть, там постоянно что то меняется, впринципе там код открыт самостоятельно подправить не составит труда.

 

[kot488]

вот последняя версия

 

[foxkod]

как воспринимают такой контент поисковые системы?

 

[arsen]

Без прокси серверов яндекс реально парсить(таймаут 10 сек к примеру если выставить)?

 

[TonyC]

Без прокси серверов яндекс реально парсить(таймаут 10 сек к примеру если выставить)?

Нет, довольно быстро банит - оставлял на ночь с задержкой 30 сек, утром уже не работал парсинг.

 

[davemax]

В ShopScript кто-нибудь напарсенное импортирует?

 

[BadBro]

как воспринимают такой контент поисковые системы?

После парсинга я еще синонимайзером по тексту прохожу, для поднятия уникальности