Ищу Список всех урлов сайта

[nikky]

Большое количество сайтов, нужно быстро получить список всех урлов (страниц) каждого сайта, может сервис или скрипт?

 

[LEE_ROY]

погугли в сторону - site crawler|site spider

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[nikky]

несовсем подходит
xenu находит вообще все картинки, флеш, css + найденные урлы гемор из ние вытаскивать... експортирует с кучей мусора

 

[bork75]

Большое количество сайтов, нужно быстро получить список всех урлов (страниц) каждого сайта, может сервис или скрипт?

Если нужно забрать просто список линков вида


Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся

то:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Очень простая прога, в виде браузера. Ходишь по страницам и Кликаешь F2 и все линки собраны, что бы лишние не собирать, пишешь маску исключения.

Я эту прогу использовал как ручной парсер googla. За пол часа по 10k сайтов по признакам собирал.

 

[antifilter]

Я для этой цели пользуюсь SiteMap Generator с wonderwebware.com - создает как SiteMap, так и список страниц в txt. Бесплатна.

 

[DryTt]

Я для этой цели пользуюсь SiteMap Generator с wonderwebware.com - создает как SiteMap, так и список страниц в txt. Бесплатна.

спасибо, то что надо.

 

[dfcbkbq1]

Гыг, если сайты не свои, и не совсем УГ, то может помочь волшебная универсальная ссылка вида:

http://сайт.com/sitemap.xml

С помощью простых регулярных выражений в notepad++ удаляем мусор и получаем просто список урлов.(можно также заюзать ворд )

 

[nikky]

Выбрал SiteMap Generator, проще, лучше и то что я искал, всем спасибо!