парсинг гугла

[Zircool]

Лучше при парсинге менять время задержки, рефера, браузер, прокси. При таком раскладе гугл отлично парсится...

 

[Maroon]

Сейчас еще хуже. Гугл не показывает дальше 10-ой страницы выдачи даже не из-за операторов, а из-за просто URL-а в поисковом запросе, хотя, это, может быть, какой-то глюк. (url длинный и не шибко известный, выдачу по google.com гугл показывает как есть, все 10 страниц =) хотя это тоже мало -(

 

[anarki]

бан производится на основе двух параметров - 1) частота запросов 2) характер запросов.
причем второй параметр имхо основной. Прикиньте есть организация с 500 (условно) рабочими местами и 1 внешним айпишником (прокси например). И все эти сотрудники что то ищут в гугле постоянно; Нельзя их банить никак.

Они будут вводить капчу.