Парсер Datacol

APSALIM

Постоялец
Регистрация
28 Фев 2013
Сообщения
131
Реакции
95
Datacol - парсер для любых сайтов
Скрытое содержимое доступно для зарегистрированных пользователей!


Связанные темы:
Скрытое содержимое доступно для зарегистрированных пользователей!

Скрытое содержимое доступно для зарегистрированных пользователей!
 
Из того что я тестировал то:
7.27 стабильная работа.
7.30 стабильная работа.
А в 7.31 присутствует ошибка при импорте. И еще иногда выбрасывает при парсинге.
В 7.32 вроде бы стабильно (но до конца не проверял).
А есть 7.27 версия рабочая у Вас? Можете в ЛС скинуть =) А то из-за ссл не парсится контент блин
 
Последнее редактирование:
В последних версия Datacol стал употреблять все больше и больше ресурсов. Я помню еще с версии 7.12 это началось. Говорю потому что именно 7.12 кряк делал лично. После 7.12 работал еще и на 7.15, может и разработчик что и оптимизирует. Но когда в много-поточном (20 потоков) режиме, к примеру, делаю парсинг почты то нагрузка на ЦП 60-70% минимум.
прожорливость вебдрайверов растет. Если камень не старше 3 лет и количество потоков парсинга совпадает с количеством потоков камня то нормальная нагрузка идет и распределяется. В целом парсер никак не оптимизирован под большие объемы данных.
 
При импорте чего ?
Скорее всего при импорте результатов . Проблемы с импортом существуют как в простом режиме, так и в потоке . У меня встречалась ситуация что в Эксель вообще не сохранялось , а в csv сбой строк с данными
 
Ну ок. Что бы просто не бросаться словами, снял видео по кря-кря-кря:) версии 7.12.
Показано все для простого пользователя, можно сделать не только эту версию, но это уже другой разговор.
На версию 7,32 коды такие же?
 
Ребята, да, при импорте контактов. По поводу сохранения то такого не встречал, но мне тоже говорили что с сохранением тоже не все гладко. Мое мнение таково что: "Разработчику Datacol нужно не гнаться за добавлением функционала и выпускать новые версии со скоростью звука а подумать про оптимизацию того функционала что уже есть.".
проблемы начинаются на больших обьемах . например на 40 000 строк уже можно встретить проблемы даже в сохранении в потоке
 
Честно говоря, я так и не понял, что вы импортируете в Datacol.
Проблемы с экспортом/сохранением в Excel у него есть и были в различных версиях. В 7.27 проявляется значительно реже, чем в предыдущих и как и раньше решается сохранением в произвольный формат.
Добавлю, что зачастую это проявляется из-за скриптов работающих на сайте-источнике или потому, что данные не могут быть сохранены в Excel ячейке.
 
Последнее редактирование:
Честно говоря, я так и не понял, что вы импортируете в Datacol.
Проблемы с экспортом/сохранением в Excel у него есть и были в различных версиях. В 7.27 проявляется значительно реже, чем в предыдущих и как и раньше решается сохранением в произвольный формат.
Добавлю, что зачастую это проявляется из-за скриптов работающих на сайте-источнике или потому, что данные не могут быть сохранены в Excel ячейке.
в произвольный формат например в csv тоже ошибки в т.ч. и в потоке.
 
без конкретики возникающие проблемы обсуждать бесполезно. Надо смотреть, что отдаёт или не отдаёт сайт. У меня с произвольным потоком проблем не было.
 
без конкретики возникающие проблемы обсуждать бесполезно. Надо смотреть, что отдаёт или не отдаёт сайт. У меня с произвольным потоком проблем не было.
Да причем тут что отдает сайт , суть в том что программа например 10 000 строк может сохранить , а 50 000 строк не может. Берем произвольный формат csv с сохранением в конце парсинга или в потоке и в файле получаем что на каких то строках в одном и том же столбце данные из других столбцов и получается что данные поплыли. v 7.31 .
 
Последнее редактирование:
Назад
Сверху