您的位置: 网站首页> selenium爬虫> 当前文章
selenium不重启更改代理ip(使用隧道代理)
老董-我爱我家房产SEO2021-10-21169围观,127赞
selenium添加代理ip非常简单,直接这样即可:
options.add_argument('--proxy-server=http://ip:port') # 代理IP:端口
用这个driver请求任何网页都将使用这个代理ip地址。但是我们用selenium采集数据的时候需要切换ip,如果切换ip就得重启1个driver添加代理ip,如果请求成千上万的页面反复重启driver显然是不合适的。那么selenium如何可以不用切换就使用代理ip呢?
我目前只想到了一种方法:购买隧道代理(或者叫动态转发)。隧道代理是动态IP代理服务器,将换IP操作放到云端,用户在代码层面不用去请求获取代理ip再添加代理ip,而是直接用代理隧道这个ip和端口即可。隧道代理会将请求转发到不同的代理IP,转发周期可以按需指定,具体看代理商的套餐。
买1个隧道代理,然后把隧道代理的ip和端口添加到1个driver,这样一来我们请求任何网页,代理商那边会自动帮我们进行动态转发来实现换ip。
options.add_argument('--proxy-server=http://tunnelhost:tunnelport') # 隧道域名:端口号
PS:如果隧道代理需要进行HTTP Basic Auth身份认证,那么selenium起来使用较为复杂(温馨提示:需要借助add_extension的方式来实现),具体可以加站长微信咨询(站长每日耕田,如果回复慢的花直接砸个红包提醒)。
很赞哦!
python编程网提示:转载请注明来源www.python66.com。
有宝贵意见可添加站长微信(底部),获取技术资料请到公众号(底部)。同行交流请加群
上一篇:selenium谷歌浏览器崩溃out of memory彻底解决
下一篇:没有了
相关文章
文章评论
-
selenium不重启更改代理ip(使用隧道代理)文章写得不错,值得赞赏
站点信息
- 网站程序:Laravel
- 客服微信:a772483200