Grabber картинок с сохранением на сервер

[unsiker]

Напиши команду которою ты юзаешь для запуска crontab.
дожно быть что то типа такого

 0 5 * * * /usr/bin/php  /home/www/script.php

вызов через эмулятор браузера (может не работать, если требуются какие-нибудь действия пользователя)

 0 5 * * * /usr/bin/wget /home/www/script.php

В общем,щас лето, телепаты в отпуске. Поэтому если хочешь что помогли напиши ОС сервера и есть ли доступ к командной строке. Если на сервере стоит какая то панель то напиши хостеру (обычно очень быстро помогают).

Да и еще ВСЕ ПУТИ в вызываемом php файле должны быть абсолютными.
В команде copy поменяй image/ на /home/usr/mysitedir/image/ где /home/usr/mysitedir/ - Путь к каталогу с сайтом начиная от корня

$url="http://www.namesite.ru/catalog/".$product."/";
$page=file_get_contents ($url);
preg_match("|src\=\"\/_catalog_images\/(.*)\">|",$page,$size);
$size = $size[1];
if($size){copy("http://www.namesite.ru/_catalog_images/".$size, "/home/usr/mysitedir/image/".$size);}

 

[fredis69]

Вот команда:

# NAME: graber
* * * * * /usr/local/php5/bin/php -f /usr/home/hosting/wtdz4/htdocs/index_graber_content.php >/dev/null 2>&1

Данная команда запускаес файл каждую минуту, потому что надо скачать продукцию порядка 30000 наименований.
Файл запускается прекрасно, потому что в БД данные заносятся и адрес картинки тоже нормальный всё правильно но вот сама картинка не грузится на сервер, хотя когда файл вызываю через браузер загрузка каринки происходит.
В чем дело непойму.

Кстати этот код для "crontab" мне сам админ хостинга прислал.
может в нем че нетак?


Кстати, ща путь поменять попробую.

Добавлено через 19 минут
Всё заработало, ура, спасибо большое unsiker
Запарился я просто уже, php учу потихоньку, просто граббер данный уже вторые сутки пишу без отдыха, вот и подустал.
unsiker еще раз спасибо, вроде простая вещ а пять часов я на неё убил

 

[unsiker]

Запарился я просто уже, php учу потихоньку, просто граббер данный уже вторые сутки пишу без отдыха, вот и подустал.

Ну хоть день не прошел зря, а так всегда пожалуйста

 

[swer]

Советую ставить промежуток времени по больше,я к примеру мониторю траффик(ограничен) и смотрю что бы сайт не грабили,а при твоем случае если админ хот немного опытный то он забанит тя по ип.

 

[a_n_d_y]

Советую ставить промежуток времени по больше,я к примеру мониторю траффик(ограничен) и смотрю что бы сайт не грабили,а при твоем случае если админ хот немного опытный то он забанит тя по ип.

Однозначно.
Так что просто отображение картинок с того сайта нормуль, а заход каждую минуту однозначно к бану приведет...

 

[fredis69]

Ребята всё отлично скрипт доработан таким образом, что в БД данные заносятся файлом CSV, а описание и image заносятся граббером, данный граббер один раз прогоняет по всем записям (записей около 20.000) примерно за 3-4 дня, а потом лезет на сайт только в том случае если поступили обновления и прогоняет только новые записи, после чего опять торчит до следующих обновлений. Обновление производится тем же CSV файлом (обновляется через админку).

 

[bork75]

Для совсем комфортной работы, могу ещё посоветовать поставить программу dbForge Studio for MySQL, что бы управлять БД удалённо с домашнего пк. Работает с csv. Имеет русский интерфейс.
Имеет планировщик заданий, а также Мастера экспорта и импорта БД.

Думаю, это будет поудобнее чем через админку.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.