[Ищу] для проверки наличия страниц на сайтах

bertolai

Гуру форума
Регистрация
21 Янв 2008
Сообщения
157
Реакции
56
программу или скрипт для такого вот:
есть файл с урлами типа _www.sait1.ru/register , потом сайт2 и т.д.

нужно проверить, существует ли на них (сайтах) страница /register или нет. кто что посоветует?
 

zzallexx

Хранитель порядка
Регистрация
11 Июн 2008
Сообщения
1.053
Реакции
690
PHP:
<?php
ini_set('max_execution_time',0);
function get_web_page( $url )
{
  $uagent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.8) Gecko/2009032609 Firefox/3.0.8";

  $ch = curl_init( $url );

  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  // возвращает веб-страницу
  curl_setopt($ch, CURLOPT_REFERER,"http://google.com");
  curl_setopt($ch, CURLOPT_HEADER, 0);           // не возвращает заголовки
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);   // переходит по редиректам
  curl_setopt($ch, CURLOPT_ENCODING, "");        // обрабатывает все кодировки
  curl_setopt($ch, CURLOPT_USERAGENT, $uagent);  // useragent
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 120); // таймаут соединения
  curl_setopt($ch, CURLOPT_TIMEOUT, 120);        // таймаут ответа
  curl_setopt($ch, CURLOPT_MAXREDIRS, 10);       // останавливаться после 10-ого редиректа

  $content = curl_exec( $ch );
  $err     = curl_errno( $ch );
  $errmsg  = curl_error( $ch );
  $header  = curl_getinfo( $ch );
  curl_close( $ch );

  $header['errno']   = $err;
  $header['errmsg']  = $errmsg;
  $header['content'] = $content;
  return $header;
}

$file=file("urls.txt"); //файл с урлами вида http://sait1.ru/register каждый урл с новой строки
$fp1=fopen("ok.txt","a+");
$fp2=fopen("bad.txt","a+");
$count_str=count($file);
for ($i=0;$i<$count_str;$i++){
$url=trim($file[$i]);
$result=get_web_page( $url );
if ( $result['http_code'] == 404 ){echo 'Страницы '.$url.' не существует<br>'; fwrite($fp2,$url."\n");flush();ob_flush();flush();}
else { fwrite($fp1,$url."\n"); echo 'Записали '.$url.'<br>';flush();ob_flush();flush();}
   }
fclose($fp1);
fclose($fp2);
?>
 

bertolai

Гуру форума
Регистрация
21 Янв 2008
Сообщения
157
Реакции
56
я пока на Денвере-3 2008-01-13, на ноуте пробовал.
 

zzallexx

Хранитель порядка
Регистрация
11 Июн 2008
Сообщения
1.053
Реакции
690
вот отсюда скачай _http://nulled-mirror.com/showthread.php?t=135747&page=3
 

bertolai

Гуру форума
Регистрация
21 Янв 2008
Сообщения
157
Реакции
56
может кому пригодится: allsubmitter может делать то, что мне и надо было, а именно: искать на сайтах определённые ссылки на (допустим) страницы регистрации, в моём случае /register . база каталогов -> найти формы добавления.

кстати, так и недопонял я, почему у меня скрипт на денвере не заработал. посоветовали мне раскомментировать строку extension=php_curl.dll в файле php.ini - не помогло однако.
 

zzallexx

Хранитель порядка
Регистрация
11 Июн 2008
Сообщения
1.053
Реакции
690
кстати, так и недопонял я, почему у меня скрипт на денвере не заработал. посоветовали мне раскомментировать строку extension=php_curl.dll в файле php.ini - не помогло однако
потому что курл у тебя на денвере не работает, а по поводу раскоментировать кроме этого еще надо было Денвер перезагрузить
 

bertolai

Гуру форума
Регистрация
21 Янв 2008
Сообщения
157
Реакции
56
перезагружал, понятное дело... всё равно неработает... придётся ставить новый денвер.
 

andrkaa1

Писатель
Регистрация
14 Июл 2011
Сообщения
0
Реакции
0
Старая версия денвера

Видимо в денвере не включена библиотека в PHP. Я так понял что у вас старый денвер. скачайте на их сайте новый - там все точно работает.
 
Сверху