Парсинг на Питоне с имитацией действий пользователя

[Insendio]

Попробуйте про анализировать запросы с помощью HTTP Analyzer, посмотреть какие POST / GET запросы отправляются, с помощь request, а парсить можно с помощью регулярных выражении(regex), если там json то парсит даже особо и не придётся питон с этим спокойно справляется.

 

[andrei_k]

Скрапи хорош, но это тяжелая артиллерия. Библиотека beautifulsoup попроще в освоении.

Вот еще неплохая библиотека на замену Супу: Для просмотра ссылки Войди или Зарегистрируйся

 

[asd777]

попробуй юзать random-agent

 

[Windik]

Я использую Python + Selenuim.
Связка как раз для тестирования веб-приложений\сайтов и выполнения на них действий имитирующих поведение обычного юзера.
В кратце это просто движок для удаленного управления браузером так сказать.
На машине открывается браузер и выполняет то что вы написали в .py скрипте.
Соответственно JS & другое полнофункционально так как вы используете реальный браузер.
При этом вы конечно же можете получить любые данные со страницы хоть по классу, хоть по css-selector'у.
Для просмотра ссылки Войди или Зарегистрируйся

Спасибо, Acider! Благодаря Вашему совету решил подобную задачу. Selenium оказался именно тем решением, что я искал ;-)

 

[x5d6]

Спасибо, Acider! Благодаря Вашему совету решил подобную задачу. Selenium оказался именно тем решением, что я искал ;-)

Для заметки, есть не пайтоновское решение - BrowserAutomationStudio.

 

[DEAD BEEF]

Когда Selenium станет мало, или он станет палиться сервером.

Может быть полезен Puppeteer АКА "Кукловод" ) Как я понял, он довольно нативно инжектится в страницу, с помощью chrome devtools протокола. Есть API для Python.

Puppeteer is a Node library which provides a high-level API to control Chrome or Chromium over the Для просмотра ссылки Войди или Зарегистрируйся. Puppeteer runs Для просмотра ссылки Войди или Зарегистрируйся by default, but can be configured to run full (non-headless) Chrome or Chromium.

Для просмотра ссылки Войди или Зарегистрируйся

 

[man_from_nowhere]

1) Selenium, Puppeteer - оба легко палятся целевыми сайтами (через navigator.webdriver и прочие артефакты). Не дают нормально имитировать движения мышью (т.е. на уровне OS)

2) Browser Automation Studio - довольно странная штука, лично мне не понравилось. Какой-то стремный визуальный полуязык программирования. Возможно, просто ориентировано всё на тех кто не шарит в программировании

3) Sikuli и подобные ему - 100% браузер, эмуляция движений мышью и нажатий клавиш на уровне OS. Идеальное решение для того чтобы имитировать живого человека, но за все приходится платить - он тормозной, да и программировать на нем не очень удобно

 

[drema1971]

lxml,requests на запросах самый топ. На край можно юзать selenium если нужно прям браузерно. Если сайт сильно палит, что юзаете его, используйте мобильные прокси + selenium_stealth утилиту или undetected_chromedriver(в последнее время обнаруживается)

 

[GiT]

Все привет.
У кого-то есть готовые скрипты для парсинга Авито + Телефон?
Готов купить (до 3к).

[Ищу] Парсер + Авито + Телефон

 

[akkela]

Все привет.
У кого-то есть готовые скрипты для парсинга Авито + Телефон?
Готов купить (до 3к).

[Ищу] Парсер + Авито + Телефон

А какой функционал необходим? Иногда использую следующий скрипт для парсинга -