Парсер Datacol

[APSALIM]

Datacol - парсер для любых сайтов

Связанные темы:

 

[animal_x]

Если Датакол вам реально нужен то 7ку лучше купить. А если на один раз то проще парсинг заказать.
Обновления выходят гдето 1 раз в месяц и доработка функционала приличная.

 

[Alexstyle]

Какой xpath используете? Попробуйте этот //a[@class='gallery']

Добрый день! И такой xpath тоже использовал - результат тот же...

 

[01K]

Салют!
Подходит ли сабж (5-ая версия) для следующей ситуации?
- есть несколько сайтов на которых предоставлена куча текстовой информации. Это всевозможные законы, указы с пунктами, подпунктами, главами и другой лабудой
- семантически сегменты плохо разделены, нет чёткого разделения по атрибутам. Т.е. пункты или подпункты в узлах никак не описаны классами или id

Задача правильно сегментировать весь текст, разделить его на логические составляющие (с минимальным ручным редактированием) для дальнейшего перевода в свою БД

Собственно, возможно ли это? Если ответ положительный, какие параметры изучить в программе для начала?

 

[kozukhar]

Всем привет!
Помогите с настройкой, все настроил кроме цены и фото, уже все перепробовал ничего не сохраняет.
Цену вообще не выдает, а фото сохраняет с кодировкой фото.jpg_dflgkdjflg
Все остальное ок!
Сайт: moreobuvi.com.ua

 

[proovit09]

Сайт

Цена:
Строки вырезания - обычное поле:
Цена за ед. <span class="price" style="font-size: 34px;">(.*?)<span

Замена:
Цена за ед. => замена на пусто
<span => замена на пусто
class="price" style="font-size: 34px;"> => замена на пусто

Картинка:
Строки вырезания - обычное поле:
<div class="image">(.*?)" class="zoom"

Замена:
<a href=" => замена на пусто
" class="zoom" => замена на пусто

Собирает ссылки на фото - потом можно выпарсить по ссылке. Обычно сбор таких фото делаю экселем.

 

[kozukhar]

Цена:
Строки вырезания - обычное поле:
Цена за ед. <span class="price" style="font-size: 34px;">(.*?)<span

Замена:
Цена за ед. => замена на пусто
<span => замена на пусто
class="price" style="font-size: 34px;"> => замена на пусто

Картинка:
Строки вырезания - обычное поле:
<div class="image">(.*?)" class="zoom"

Замена:
<a href=" => замена на пусто
" class="zoom" => замена на пусто

Собирает ссылки на фото - потом можно выпарсить по ссылке. Обычно сбор таких фото делаю экселем.

Сделал все как описано но цену по прежнему не сохраняет, а с фото ничего не изменилось.
Может и навигацию со сбором ссылок у вас получится.
Прикладываю ссылку на компанию datacol 5 гляньте что не так.
Для просмотра ссылки Войди или Зарегистрируйся

 

[proovit09]

Прикладываю ссылку на компанию datacol 5 гляньте что не так.Для просмотра ссылки Войди или Зарегистрируйся

Стрелки не надо было копировать.
Поправил, вроде парсит. Поправьте пути до папок экспорта, глубину прохода по сайту, ну и свой метод экспорта.
расширение txt переименовать в par.
Получилось стянуть картинку 300х300 в папку. Большие картинки не тянет, тянет ссылки на них.
Лишние столбцы можно удалить, если не нужны.

 

[Andrey Romanov]

друзья, подскажите please, чем спарсить или как спарсить
Для просмотра ссылки Войди или Зарегистрируйся

к примеру. телефонный номер. ...там как то на кнопку "показать номер" нажать)

 

[proovit09]

друзья, подскажите please, чем спарсить или как спарсить

Качаете данные без дешифрровки, если они качаются.
<a data-phone="KzcgOTk5IDE1NS0yNy04Nw==" class="btnRed js-showPhone">Показать номер</a>
потом вставляете в base64 decoder
Как это выглядит можно глянуть здесь

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Вставляете, дальше копируете результат в блокнот и сохраняете, открываете,
делаете замену в Notepad++
Найти +7
Заменить \n +7 (режим поиска расширенный).

 

[Andrey Romanov]

ОК. а здесь по аналогии?
Для просмотра ссылки Войди или Зарегистрируйся
только абракадабра получается после ДЕкодировки...