Кто чем парсит сейчас?!

[Aesma]

агресс это вообще не вариант, я хрефером больше парсю... интересуют имено большие объемы хрефер у меня вытаскивает за один прогон не более 30к урлов и при том парсит очень долго прокси всегда на подливе нормальные, и парсинг с сервака с каналом 10мбит. Вот интересует такой вопрос кто и как парсит большие базы порядка 0,5кк

Аггресс может и 100к и 200к и больше напарсить. Тут больше вопрос в настройках программы и в списке запросов. В зависимости от задач он тоже бывает вполне пригодным. А вообще больше 300к за один раз сложно напарсить, и не потому что ПС банит, просто софт уже подтормаживать начинает. Канал кстати не особо важен при сборе большой базы, лучше парсить медленне но надежнее. Ставить таймаут 8-13 секунд, не более 2-х потоков, юзать прокси, не юзать inurl: и "powered by phpbb".

 

[holms]

Аггресс может и 100к и 200к и больше напарсить. Тут больше вопрос в настройках программы и в списке запросов. В зависимости от задач он тоже бывает вполне пригодным. А вообще больше 300к за один раз сложно напарсить, и не потому что ПС банит, просто софт уже подтормаживать начинает. Канал кстати не особо важен при сборе большой базы, лучше парсить медленне но надежнее. Ставить таймаут 8-13 секунд, не более 2-х потоков, юзать прокси, не юзать inurl: и "powered by phpbb".

Это у тебя 300к без дублей парсит?

 

[Maxim-SS-]

Использую Hrefer парсинг по MSN без проксей. Для меня вполне достаточно.

 

[Aesma]

Это у тебя 300к без дублей парсит?

Напарсить 300 к без дублей практически невозможно. Для этого надо чтобы каждый следующий запрос исключал предыдущие Я имел ввиду что у меня при моем железе максимум 300к урлов можно получить за раз.

 

[ViD]

сам понял чего сказал? )

 

[Aesma]

сам понял чего сказал? )

Я то да Я вообще помоему довольно понятно выражаюсь.

 

[holms]

Напарсить 300 к без дублей практически невозможно. Для этого надо чтобы каждый следующий запрос исключал предыдущие Я имел ввиду что у меня при моем железе максимум 300к урлов можно получить за раз.

я запустил хрефера, он вытащил 2 ляма урлов по моим запросам, 400к уникальных, два дня парсил. А ты говоришь невозможно

 

[Zonderman]

я запустил хрефера, он вытащил 2 ляма урлов по моим запросам, 400к уникальных, два дня парсил. А ты говоришь невозможно

а какая скорость нета?

 

[root230101]

не юзать inurl: и "powered by phpbb"

почему?

а какая скорость нета?

ну он писал же что с сервака, 10Мбит/c

 

[breath]

Кроме ауры есть серверные парсеры (не виндовые приложения)? Запускаю ауру, сервак подвисает, хотя количество потоков минимальное. Может дело в качестве проксей?