Ищу Скрипт/софтину для парсинга deviantart.com

Статус
В этой теме нельзя размещать новые ответы.

nizulko

Полезный
Регистрация
5 Ноя 2007
Сообщения
170
Реакции
17
Коллеги, парсить картинки (все), которые находятся по определенному запросу. Т.е. я ввожу в поиске, к примеру, слово "city" и мне находится 777 картинок. Необходимо все их сохранить, причем е превьюхи, а те, что отображаются по переходу по превьюхе.
Есть ли такое и если нет, сколько будет стоит такое под заказ? Есть ли желающие взяться?..
 
да тем же Content Downloader'ом
Озвучь примерные объемы (ключевиков или картинок)
Пиши в аську (в профиле) может быть договоримся.
 
Коллеги, парсить картинки (все), которые находятся по определенному запросу.
1) открываеш сайт, вводиш запрос. Например твой запрос "sity"
2) Смотриш все странички с результатом. Их там не так много, первая
Для просмотра ссылки Войди или Зарегистрируйся
а дальше
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
.....
Для просмотра ссылки Войди или Зарегистрируйся
(страницы идут с шагом в 24 картинки, максимум 2500 картинок выдает, список страниц генернуть - гавно вопрос, 104 ссылки, даже руками не сложно и не долго сделать, последняя страница будет ссылка выше, которая на 2496 заканчивается.)
3) качаеш программу Teleport VLX с рутрекера портативный или нормальный по желанию
4) создаеш проект со стартовым адресом Для просмотра ссылки Войди или Зарегистрируйся и глубиной скачивания = 2 (в настройках выбираеш "создать дубликат" и "скачать все")
5) после создания проекта добавляеш сгенереный лист с остальными адресами через импорт списков. Глубина скачивания тоже = 2 (и галочку "скачать со всех серверов на глубину тоже = 2)
6) Жмеш кнопку "старт"
7) Ждеш
8) Ждеш
9) Ждеш
10) После окончания работы программы в папке с проектом удаляеш все заведомо левые каталоги типа гуглы и макромедии, оставляя только поддомены deviantart.com.
11) Немного посмотрев стуктуру получившегося месива папок разбираешся, где там картинки нужные. Тотал коммандером по этим папкам массово ищеш файлы типа .jpeg и если какие то еще будут там (я много не качал - желания нет) и складываеш их в отдельную папочку массово. Еще как вариант упрощения поиска в тотале дополнительным фильтром поставить файлы больше 100 кб например, чтоб превьюшки отсеить автоматом.
Профит.

В принцепе ничего сложного, можно загнать сразу список на много запросов, главное посомтреть запрос как выглядит на сайте и генернуть автозаменой новый список урлов. Можно сразу по нескольким запросам качать, только после 3-5к стартовых адресов телепорт будет неоправдано долго открываться и требовать до 500-1000 мегов оперативки, так что не факт, что это выйдет быстрее чем несколько меньших проектов.
 
могу предложить написание РНР граббера, если еще актуально. Не будет лишнего мусора, а только нужные фото.
 
bulk image downloader решит все твои проблемы
 
могу предложить написание РНР граббера, если еще актуально. Не будет лишнего мусора, а только нужные фото.
Цена вопроса, я так понимаю?..
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху