Нужно большое количество proxy

p2rcoder

Постоялец
Регистрация
16 Июл 2012
Сообщения
315
Реакции
154
Привет! тему похожую нашел, но она уже закрыта. Подскажите где можно купить пакеты прокси от 10000, прописка СНГ, нужны для парсинга гугла и яндекса, и пары других несговорчивых сайтов. Знаю только fineproxy, но там мало IP.
 
TOR+proxychains4+curl (wget), можно даже запустить софт с графическим интерфейсом.

#proxychains4 open coolsoft → после блокировки ip всегда можно открыть новый циркуль, а в исключительных случаях новый профиль. Вот уж воистину бесконечный ресурс
 
TOR уже использую, но в нем всего тысяч 10 ip и все они отдают запросы с пометкой что тор, или как минимум в сети есть полные списки этих IP-адресов и все их не проблема отправить в бан. или возможно proxychains4 что-то делает эдакое и я не разобрался что? иначе почему это бесконечный ресурс?
 
Забавно, но я лично использую тор для парсинга из яши. Да, там есть ограничения, но в совокупе адресов, с одного IP можно получить до ста товаров в сутки! В следующие 24 часа можно продолжить. При правильных конфигах всегда можно выбрать нужные выходные точки. При достаточно мощном железе, достаточном кол-ве оперативки и десятке виртуалок, можно неприрывно мониторить десятки сайтов. Ведь иногда даже смена агента дает возможность качать с одного и того же IP адреса.
Скрытое содержимое доступно для зарегистрированных пользователей!
 
а в торе как-то можно сказать ему каким будет конечный IP из списка который у него есть? ну т.е. вручную это определить, а не случайным образом как он дает? или просто хранить список IP которые он дал сегодня например и в случае если такое уже было, то брать новый? ограничение в 100 на один IP но наверное не мы одни такие умные использовать тор и наверняка еще десяток найдется, т.е. айпишники будут повторяться. Кроме того, как яндекс банит IP, на время или навсегда с ним уже после этого будут проблемы?

Скрытое содержимое доступно для зарегистрированных пользователей!
 
Последнее редактирование:
а в торе как-то можно сказать ему каким будет конечный IP из списка который у него есть? ну т.е. вручную это определить, а не случайным образом как он дает?
Можно указывать принудительную цепочку используемых выходных нод, исключать страны и т.д.

Почитать подробно как конфигурировать тор идем по ссылке, там вы найдете о выходах, входах, цепочках и т.п.:
Для просмотра ссылки Войди или Зарегистрируйся
Если у вас сложности с языком, используйте переводчики.

Код:
ClientOnly 1
EnforceDistinctSubnets 0
EntryNodes spfTOR1e1,spfTOR1e2,spfTOR1e3,spfTOR3,spfTOR4e1,spfTOR4e2,spfTOR4e3,spfTOR5e1,spfTOR5e2,spfTOR5e3,wagtail,chaoscomputerclub18,chaoscomputerclub19,chaoscomputerclub20,chaoscomputerclub21,chaoscomputerclub27,chaoscomputerclub28,chaoscomputerclub29,chaoscomputerclub30,chaoscomputerclub31,chaoscomputerclub32,chaoscomputerclub33,chaoscomputerclub34,DFRI0,DFRI1,DFRI2,DFRI3,hamburgerphone,hitgirl,junis,kimya,luftgitarr,assk,assk2,chomsky,edwardsnowden0,edwardsnowden1,edwardsnowden2,edwardsnowden3,hessel0,hessel1,hessel2,hessel3,amartysen,lumumba,politkovskaja,politkovskaja2,psilotorlu,rainbowwarrior,abbie,yahyaoui,gpfTOR6,HCandersen,JacobRiis,KOPA,DDR,KillEmAll,OveSprogoee,marcuse1,marcuse2,ekumen,Lifuka,ph3x,srvph3xat,PsychoOnion1,PsychoOnion3,atticus,blanqui,enjolras,luxemburg,thoreau,dannenberg,dizum,gabelmoo,maatuska,Tonga,tor26,CalyxInstitute00,CalyxInstitute01,CalyxInstitute02,CalyxInstitute03,CalyxInstitute04,CalyxInstitute05,CalyxInstitute06,CalyxInstitute07,CalyxInstitute08,CalyxInstitute09,CalyxInstitute10,loki1,loki2,orilla,chulak,aurora,onak,calmah,avernakis,kalach,remoc,invincibleAI,hviv1020,hviv1021,hviv1022,hviv1023,hviv103,hviv104,froschschenkel,IPredator,angkat,ign,criticalcat,OIX4,OIX5,OIX11
ExcludeNodes agitator,46.30.42.152,46.30.42.153,46.30.42.154,atlas,hosg,kapler,miller,Musicmail,Octavian,Parker,HKT01,HKT02,SuperDuperLative,mjolnirexit04,TorExitHU,squarcio,Unnamed,default,{bh},{by},{mm},{cn},{mo},{hk},{tw},{cu},{ir},{kp},{sa},{sy},{tm},{uz},{vn},{eg},{er},{in},{kz},{my},{ru},{ua},{kr},{lk},{th},{tn},{tr},{ae},{au},{ca},{nz},{gb},{us},{ie},{??}
ExcludeExitNodes {af},{al},{dz},{ao},{am},{az},{bd},{bj},{bt},{ba},{bn},{bg},{bf},{bi},{kh},{cm},{cf},{td},{co},{km},{cd},{cg},{cy},{dj},{et},{gq},{ga},{gm},{ge},{gh},{gn},{gw},{hn},{id},{iq},{il},{ci},{jo},{kw},{kg},{la},{lb},{lr},{ly},{mk},{mg},{mw},{mv},{ml},{mr},{mu},{yt},{mn},{me},{ma},{mz},{ne},{ng},{om},{pk},{ps},{rw},{qa},{sn},{sl},{sg},{so},{sd},{sr},{sz},{tj},{tz},{tg},{ug},{ve},{eh},{ye},{zw},{dk},{be},{it},{fi},{no}
ExitNodes spfTOR1e1,77.109.141.138,spfTOR1e2,77.109.141.139,spfTOR1e3,77.109.141.140,spfTOR3,62.220.135.129,spfTOR4e1,77.109.138.42,spfTOR4e2,77.109.138.43,spfTOR4e3,77.109.138.44,spfTOR5e1,77.109.139.26,spfTOR5e2,77.109.139.27,spfTOR5e3,77.109.139.28,gpfTOR6,62.212.67.209,wagtail,77.109.139.87,chaoscomputerclub18,31.172.30.1,chaoscomputerclub19,31.172.30.2,chaoscomputerclub20,31.172.30.3,chaoscomputerclub21,31.172.30.4,chaoscomputerclub27,77.244.254.227,chaoscomputerclub28,77.244.254.228,chaoscomputerclub29,77.244.254.229,chaoscomputerclub30,77.244.254.230,chaoscomputerclub31,217.115.10.131,chaoscomputerclub32,217.115.10.132,chaoscomputerclub33,217.115.10.133,chaoscomputerclub34,217.115.10.134,DFRI0,171.25.193.20,DFRI1,171.25.193.21,DFRI2,171.25.193.131,DFRI3,171.25.193.235,assk,78.108.63.46,assk2,78.108.63.44,abbie,chomsky,77.247.181.162,edwardsnowden0,109.163.234.7,edwardsnowden1,109.163.234.8,edwardsnowden2,109.163.234.9,edwardsnowden3,109.163.234.10,hessel0,109.163.234.2,hessel1,109.163.234.3,hessel2,109.163.234.4,hessel3,109.163.234.5,politkovskaja,politkovskaja2,77.247.181.165,psilotorlu,212.117.180.65,rainbowwarrior,77.247.181.164,amartysen,lumumba,77.247.181.163,yahyaoui,77.247.181.164,blanqui,thoreau,46.165.221.166,enjolras,81.89.96.88,luxemburg,81.89.96.89,PsychoOnion1,89.187.142.96,PsychoOnion3,89.187.142.208,marcuse1,178.20.55.16,marcuse2,178.20.55.18,ekumen,95.142.161.63,loki1,46.149.20.202,loki2,46.149.28.96,orilla,94.242.252.41,chulak,37.221.161.234,aurora,37.221.161.235,onak,185.25.253.24,calmah,185.25.253.25,hviv103,178.162.193.213,hviv104,192.42.116.16,IPredator,194.132.32.42,angkat,223.223.175.2,ign,185.17.93.142,CalyxInstitute00,37.218.244.211,CalyxInstitute01,37.218.244.7,CalyxInstitute02,37.218.244.212,CalyxInstitute03,37.218.244.213,CalyxInstitute04,37.218.245.204,CalyxInstitute05,37.218.245.74,CalyxInstitute06,37.218.245.206,CalyxInstitute07,82.94.251.227,CalyxInstitute08,37.218.244.216,CalyxInstitute09,37.218.244.217,CalyxInstitute10,37.218.245.201,criticalcat,46.182.106.190
LongLivedPorts 21,22,80,443,706,1863,5050,5190,5222,5223,6523,6667,6697,8080,8300,9001,9030
NumEntryGuards 8

Если указать меньше цепочек выходов, то при недостаточном количестве, или просто отсутствии действующих выходных точек вы вообще никуда не попадете.
Указатели на выходы могут быть страны, ip адреса, названия серверов и т.п.
В некоторых случаях можно даже брать в аренду на месяц пятидоллоровые виртуальные сервера на Digital Ocean и менять в дроплетах IP адреса и указывать в качестве маршрутизатора выходную точку вашего океан-сервера. На их основе, кстати, работают многие плагины для FF, позволяющие обойти блокировки запрещенных сайтов.

Изучайте матчасть и вы будете экономить на парсинге от 1к рублей в сутки с максимальным выхлопом для себя.
Хорошего сёрфинга. ;)
 
мне еще недавно ломились luminati.io и сильно хотели продать, я так понял они или вирусов каких-то наставили, или через какую-то сеть прог говорят типа аж 20 мильенов айпишников пользовательских со всего мира, как конечная точка выхода - супер конечно тема, но цена космос, 500$ за 40Гб трафика, а 40Гб это мне на пару дней... если бы за 500 безлимит был, то можно сказать решение всех проблем. Может есть что-то аналогичное но без ограничения по трафику и скорости?
 
Может есть что-то аналогичное но без ограничения по трафику и скорости?
с точки зрения скорости, тор сети вполне себе выдают скорость 2-3 мегабайта в секунду. Если нужно быстрее, то я вам уже говорил, официальная безлимитная скорость парсинга яндекс маркета — 1к рублей в сутки и это официальные цены партнеров яндекса. Есть тарифы по запросам, по предложениям в месяц, они конечно дороже, но дают максимальную межпровайдерскую скорость — от 100 мегабит, до гигабита, все зависит от вашего сервера.
И есть бесплатный тор. Другие dark сети предлагают высокие цены, но не факт, что они полностью анонимные и ваш IP может случайно стать в цепочке открытой "20 мильенов" + 1 (не анонимной) преступной деятельности, например, как выходная точка обналичивания кредитных карт (выходящий трафик то от вас шифрованный пойдет) . С точки зрения СНГ — к вам вопросов возможно не будет, а с точки зрения запада, вы съездите на Бали и неприятно удивитесь, что будете в розыске за продажу кредитных карт — минимум, и за торговлю запрещенными предметами черного рынка — как максимум.
Поэтому вам выбирать чем вы будете пользоваться — быстро (медленно) — но надежно и быстро (много) — но сомнительно.
 
так что за официальный партнер яндекса?
 
Да их на рынке наверное полно, известные мне:
Скрытое содержимое доступно для зарегистрированных пользователей!

А тут тарифы яндекса: Для просмотра ссылки Войди или Зарегистрируйся
Скрытое содержимое доступно для зарегистрированных пользователей!
 
Назад
Сверху