Парсер Datacol

[APSALIM]

Datacol - парсер для любых сайтов

Связанные темы:

 

[1van]

Тут нужен спец sql.
Но мне кажется количество полей в скобках после `oc_t_category_description` должно соответствовать количеству полей в скобках после VALUES. А у тебя и скобок нет и поле только одно. Да и запросы разделяются точкой с запятой.

 

[Andrey-]

Мне не удалось объединить 2 запроса INSERT INTO в один. Т.е. результаты парсинга могу записать только в одну таблицу на сервере. Печалька.

PS удалось, выполнить запросы последовательно, что уже радует.
Вопрос к гуру mySQL: Как взять значение `id` элемента из одной таблицы и вставить его в поле `item_id` другой таблицы?

Если я правильно понял, то наверное так Для просмотра ссылки Войди или Зарегистрируйся

 

[1van]

Вот, сваял. результат парсинга DATACOL напрямую пишется в БД сайта, а фотки заливаются в нужную папку. Занялся вопросом, т.к. моя доска объявлений не имеет возможности импорта и экспорта объявлений. Используя этот принцип вы можете заливать результаты парсинга в любую БД

INSERT INTO kajio_djcf_items(cat_id,type_id,user_id,name,description,intro_desc,image_url,date_exp,display,special,payed,notify,published,ordering,price,price_negotiable,contact,address,region_id,exp_days,post_code,website,ip_address,currency) VALUES ('23','10','0','%Заголовок%','%Описание%','%Краткое описание%','%Фото%',DATE_ADD(NOW(), INTERVAL 14 DAY),'7','0','1','0','1','0','%Цена%','0','%Телефон%','%Адрес%','22','7','355000','https://stavrinok.ru','81.177.249.19','₽');
INSERT INTO kajio_djcf_images (item_id,type,ext,path,caption,ordering,optimized) VALUES ((SELECT MAX(id) FROM kajio_djcf_items),'item','jpg','/components/com_djclassifieds/images/item/','%Фото без расширения%','1','0');

Таким образом можно заносить данные парсинга в любое количество таблиц БД.

 

[Andrey-]

Вот, сваял. результат парсинга DATACOL напрямую пишется в БД сайта, а фотки заливаются в нужную папку. Занялся вопросом, т.к. моя доска объявлений не имеет возможности импорта и экспорта объявлений. Используя этот принцип вы можете заливать результаты парсинга в любую БД

INSERT INTO kajio_djcf_items(cat_id,type_id,user_id,name,description,intro_desc,image_url,date_exp,display,special,payed,notify,published,ordering,price,price_negotiable,contact,address,region_id,exp_days,post_code,website,ip_address,currency) VALUES ('23','10','0','%Заголовок%','%Описание%','%Краткое описание%','%Фото%',DATE_ADD(NOW(), INTERVAL 14 DAY),'7','0','1','0','1','0','%Цена%','0','%Телефон%','%Адрес%','22','7','355000','https://stavrinok.ru','81.177.249.19','₽');
INSERT INTO kajio_djcf_images (item_id,type,ext,path,caption,ordering,optimized) VALUES ((SELECT MAX(id) FROM kajio_djcf_items),'item','jpg','/components/com_djclassifieds/images/item/','%Фото без расширения%','1','0');

Таким образом можно заносить данные парсинга в любое количество таблиц БД.

Спасибо Иван, попробую

 

[1van]

С НАСТУПАЮЩИМ ВСЕХ!
Для экспорта картинок в БД необходим формат имени вида id_имяКартинки, где id это инкремент новой записи в БД. В Datacol предусмотрена возможность генерировать имена картинок, но оперировать можно только со значениями полей парсинга. А надо получить результат mysql запроса к своей БД. Может это можно реализовать плагином?

Решено! ID можно присваивать самому и на его основе генерировать названия картинок.

 

[leoNeo]

Что не так в датском королевстве?
Парсит только первую ссылку.

 

[1md]

Что не так в датском королевстве?
Парсит только первую ссылку.

Тип Время Сообщение
11:24:51 Страница не подходит для сбора контента (URL не соответствует)
Проверьте вкладки навигация и сбор данных, поправил парсинг пошел.

Вы планируете собирать товар только из раздела cisco или все?
Цена с префиксом руб.
Описание с тегами.
Img и img2 полностью ссылка с тегами.
В rating парсится срок доставки.

 

[leoNeo]

Тип Время Сообщение
11:24:51 Страница не подходит для сбора контента (URL не соответствует)
проверьте вкладки навигация и сбор данных, поправил парсинг пошел

Не выгрузите файл? Если не сложно - уже не надо
вроде заработал

 

[leoNeo]

Тип Время Сообщение
11:24:51 Страница не подходит для сбора контента (URL не соответствует)
Проверьте вкладки навигация и сбор данных, поправил парсинг пошел.

Вы планируете собирать товар только из раздела cisco или все?
Цена с префиксом руб.
Описание с тегами.
Img и img2 полностью ссылка с тегами.
В rating парсится срок доставки.

Только из одного раздела

 

[1md]

Только из одного раздела

Для 7 версии которая ранее здесь выкладывалась
Для просмотра ссылки Войди или Зарегистрируйся
Если что нужно скорректировать пишите.

Сейчас подправил выгрузку в файл и сбора фото, забыл назначить папку.
Думаю по примеру разберетесь.