[Ищу] для проверки наличия страниц на сайтах

bertolai

Гуру форума
Регистрация
21 Янв 2008
Сообщения
157
Реакции
56
программу или скрипт для такого вот:
есть файл с урлами типа _www.sait1.ru/register , потом сайт2 и т.д.

нужно проверить, существует ли на них (сайтах) страница /register или нет. кто что посоветует?
 
PHP:
<?php
ini_set('max_execution_time',0);
function get_web_page( $url )
{
  $uagent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.8) Gecko/2009032609 Firefox/3.0.8";

  $ch = curl_init( $url );

  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  // возвращает веб-страницу
  curl_setopt($ch, CURLOPT_REFERER,"http://google.com");
  curl_setopt($ch, CURLOPT_HEADER, 0);           // не возвращает заголовки
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);   // переходит по редиректам
  curl_setopt($ch, CURLOPT_ENCODING, "");        // обрабатывает все кодировки
  curl_setopt($ch, CURLOPT_USERAGENT, $uagent);  // useragent
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 120); // таймаут соединения
  curl_setopt($ch, CURLOPT_TIMEOUT, 120);        // таймаут ответа
  curl_setopt($ch, CURLOPT_MAXREDIRS, 10);       // останавливаться после 10-ого редиректа

  $content = curl_exec( $ch );
  $err     = curl_errno( $ch );
  $errmsg  = curl_error( $ch );
  $header  = curl_getinfo( $ch );
  curl_close( $ch );

  $header['errno']   = $err;
  $header['errmsg']  = $errmsg;
  $header['content'] = $content;
  return $header;
}

$file=file("urls.txt"); //файл с урлами вида http://sait1.ru/register каждый урл с новой строки
$fp1=fopen("ok.txt","a+");
$fp2=fopen("bad.txt","a+");
$count_str=count($file);
for ($i=0;$i<$count_str;$i++){
$url=trim($file[$i]);
$result=get_web_page( $url );
if ( $result['http_code'] == 404 ){echo 'Страницы '.$url.' не существует<br>'; fwrite($fp2,$url."\n");flush();ob_flush();flush();}
else { fwrite($fp1,$url."\n"); echo 'Записали '.$url.'<br>';flush();ob_flush();flush();}
   }
fclose($fp1);
fclose($fp2);
?>
 
я пока на Денвере-3 2008-01-13, на ноуте пробовал.
 
вот отсюда скачай _http://nulled-mirror.com/showthread.php?t=135747&page=3
 
может кому пригодится: allsubmitter может делать то, что мне и надо было, а именно: искать на сайтах определённые ссылки на (допустим) страницы регистрации, в моём случае /register . база каталогов -> найти формы добавления.

кстати, так и недопонял я, почему у меня скрипт на денвере не заработал. посоветовали мне раскомментировать строку extension=php_curl.dll в файле php.ini - не помогло однако.
 
кстати, так и недопонял я, почему у меня скрипт на денвере не заработал. посоветовали мне раскомментировать строку extension=php_curl.dll в файле php.ini - не помогло однако
потому что курл у тебя на денвере не работает, а по поводу раскоментировать кроме этого еще надо было Денвер перезагрузить
 
перезагружал, понятное дело... всё равно неработает... придётся ставить новый денвер.
 
Старая версия денвера

Видимо в денвере не включена библиотека в PHP. Я так понял что у вас старый денвер. скачайте на их сайте новый - там все точно работает.
 
Назад
Сверху