парсинг гугла

[mc_dr]

Вообще гугл неплохо определяет ботов. Нужно эмулировать поведение реального браузера, плюс делать запросы с разных IP и с разными временными интервалами.

Вопрос: а зачем вообще выдачу парсить, раз такой геморрой?

 

[shuffle]

причем тут куки если речь идет о парсинге через скрипты. На куки гуглу пофиг. Как и на то какой у вас броузер, включены ли в нем картинки, CSS и прочее.

бан производится на основе двух параметров - 1) частота запросов 2) характер запросов.
причем второй параметр имхо основной. Прикиньте есть организация с 500 (условно) рабочими местами и 1 внешним айпишником (прокси например). И все эти сотрудники что то ищут в гугле постоянно; Нельзя их банить никак.

 

[Piflit]

юзайте

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

нет банов и ограничений по запросам

 

[denover]

юзайте *** скрытое содержание *** нет банов и ограничений по запросам

выдаёт

302 Moved Temporarily

если делаю CURLOPT_FOLLOWLOCATION - пустая страница

 

[Piflit]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

раньше работало

 

[Zircool]

Гугл сейчас особенно внимателен к запросам inurl, т.к. знает что в основном вставками inurl пользуются парсеры. Вводит свои ограницения, даже если вы с браузера серфите нередко натыкаешься на сообщения что вы бот, а если нет введите код с картинки.. Лучше всего при парсинге не использовать комманду inurl

 

[denover]

юзайте

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

100% нет банов

 

[netwom]

Для эмуляции работы браузера пытался как раз куки нужные передавать каждый раз. Гугль их немного меняет после первых запросов. Короче и это не прошло)

 

[dimamak]

А установка задержки между запросами разве не помогает?

 

[Hesh]

Для эмуляции работы браузера пытался как раз куки нужные передавать каждый раз. Гугль их немного меняет после первых запросов. Короче и это не прошло)

Ну, с куками ты загнул))
Не в куках дело, а в хороших проксях.