Парсер товаров

[Fadey]

все не проверял ну основные не работают, на фо. сайте написано что переписан полностью парсер под яндекс маркет.

Яндекс-Маркет мне и не нужен был. Сландо и Авито, главное, парсит?

 

[ZiX]

подтверждаю, яндекс маркет не парсит. вернее парсит только первую страницу, автоподгрузки нет.
(яндекс активно борется с парсерами)

Можно открыть скриптик и подправить все вручную, подскажу только куда копать, а копать в файлик includes.php функция parse_list

  preg_match("/<span id=\"m\_count1\">(.*?)\s(.*?)<\/span>/",$page,$items_col);

В основном парсер не работает из за уже устаревших регулярок.
Прокси можно найти тут Для просмотра ссылки Войди или Зарегистрируйся
Сам переписал этот скрипт под другой ресурс. Парсит все, и добавляет в престу. Описание, характеристики, метатеги, вычисляет кейворды, исправляет грамматические ошибки. Добавляет характеристики. Также грабит ютюб и выдирает коментарии к товару
Все это можно через этот скрипт, только немного модифицировать

 

[Fadey]

ZiX, а если поделиться готовым? Никак? Под хайдом, разумеется.

 

[ZiX]

ZiX, а если поделиться готовым? Никак? Под хайдом, разумеется.

Вам он окажется абсолютно бесполезен, я писал его под один магазинчик, под свою локальную базу, и под некоторые модули. Структура некоторых таблиц в базе немного изменена. У вас он не будет работать, вы попросту с ним не разберетесь. А обьяснять что, и какие были сделаны изменения, очень долго.Лучше в коде что-то дописать самому. Вот примерно что из него можно сделать:

Сейчас прикрутил еще фильтр товаров по характеристикам. Хорошая штука. Но в моем случае парсинга проблема в том, что характеристики могут отличатся. Например у них на сайте в некоторых товарах встречается: Обьем жесткого диска: 8GB, а может быть и так: жесткий диск: 8GB
Естественно обе характеристики парсер определяет и записывает в базу как две разные, и фильтр товаров в этом случае выдает как 2 разные характеристики. Пытаюсь сейчас это побороть
Парсинг дело индивидуальное под каждый сайт, на php парсере можно спарсить все что угодно(пока проблем не было). Мой парсер слишком много ресурсов ест. На хостинг к сожалению не поставить. Буду делать облегченную версию которая обновляет цены и количество товара. А так если поставить крон задачу то все будет автоматизированно. Меня недавно на сайте который я парсил забанили все 4 мои прокси сервера, теперь чтобы тоже не искать и не подставлять в скрипт новые, парсю все прокси сервера с сайта Для просмотра ссылки Войди или Зарегистрируйся и больше проблем пока не было .

 

[Fadey]

Картинка не увеличивается.

Лучше в коде что-то дописать самому.

Какие минимальные знания в программировании будут достаточны?

 

[ZiX]

Картинка не увеличивается.

Какие минимальные знания в программировании будут достаточны?

Впринципе начальные. Изучите сначала код. На каком этапе что делает функция парсера.
Возьмите файлик includes.php и начните его изучать. Там есть блоки функций и классы. Например class wikimartparse extends mailparse {
Парсер викимарта. И начните его изучать. Что делает на определенном этапе данный класс. Откройте викимарт и смотрите в исходном коде страницы что он парсит. В основном парсинг идет из регулярных выражений. В парсере увидите строки, и другие похожие.

preg_match('@<div class="pages">(.*?)</div>@smi',$page2,$tmpxz);
Данная строка для примера парсит количество страниц на wikimarte.
preg_match("@/brand/(.*?)/@smi",$page2,$brand);
Парсит например производителя.
Снизу если дописать
$this->flush_echo("<b>$brand[1]</b>");
То в окне парсера он покажет производителя.
Далее если нужно добавить в базу например престы
допишем ниже:
mysql_query("INSERT INTO `vashabaza`.`ps_manufacturer` (`id_manufacturer`, `name`, `date_add`, `date_upd`, `active`) VALUES ('', '$brand[1]', '2000-00-00 00:00:00', '2000-00-00 00:00:00', '1');");
Ну что-то типа того. Потом уже можно дописывать всякие проверки. Если например производитель есть в базе то идем дальше и.т.д

 

[Fadey]

Ясно. Точнее, ничего не ясно. Еще точнее, я понял, что ничего не смыслю в программировании.
Не подскажете, сколько можно предложить фрилансерам за допиливание этого парсера под мои нужды -

Яндекс-Маркет мне и не нужен был. Сландо и Авито, главное, парсит?

чтоб не переплатить?

 

[ZiX]

Ясно. Точнее, ничего не ясно. Еще точнее, я понял, что ничего не смыслю в программировании.
Не подскажете, сколько можно предложить фрилансерам за допиливание этого парсера под мои нужды -

чтоб не переплатить?

Все зависит какой функционал вы хотите. Ну там расценки разные, могут и за 40$ дописать, а могут и больше. Все зависит от качества спарсенного контента и опять же от функционала.

 

[Sevser]

А для opencart вот этот кто нибудь пользовал : Для просмотра ссылки Войди или Зарегистрируйся , как работает?

 

[kredit24]

Авито и Slando тоже не парсит, по крайней мере нужный мне регион((