最近接到了一个需求,要爬取外网上的某个资源,小白边学边干,记录下遇到的问题及解决方式,希望有机会也可以帮助有同样困惑的家人们

一.外网无法登录

有一些外网即使你开了vpn和TUN模式,依然会被拦截请求,提示“不要使用VPN”或“所在地域受限制”,这是因为自身的ip地址有被泄露。 如果遇到这种情况,可以使用一个chrome插件,叫WebRTC Control https://chrome.google.com/webstore/detail/webrtc-control/fjkmabmdepjfammlpliljpnbhleegehm?hl=zh-CN 下载后,开启即可

然后再尝试登录外网,应该会解决,亲测是有效果的

二.在Selenium打开的chrome浏览器中如何添加插件

默认selenium打开的浏览器是“裸”浏览器,什么插件都没有,这时可以使用selenium提供的语法

chrome_options.add_extension("crx文件本地下载路径")

//例子

chrome_options.add_extension("E:/project/webrtc_control.crx")

这里要注意,这个方法内部要填写插件的crx文件本地下载路径,如果没有的话,拿到chrome插件的下载链接,到这个网站转换一下https://tool.lu/crx/即可,下载到本地后,将路径在方法中替换就好用啦

三.selenium开启隐藏浏览器模式

这里要注意,旧版headless隐藏模式是不支持携带插件的,这里被卡住好久 想实现隐藏浏览器且携带插件,使用

chrome_options.add_argument("--headless=new")

这种方式是新版的headless,支持隐藏浏览器且带插件!

四.拿到元素,但click()不生效

当终于找到某一元素时,发现click()点击不生效,简直太生气了 你可以尝试另外一种方式,即模拟鼠标点击

from selenium.webdriver import ActionChains

driver = webdriver.Chrome(options=options)

actions = ActionChains(driver)

actions.click(videoDiv).perform()

//videoDiv是通过XPATH拿到的element

如果你也遇到同样的问题,可以试试模拟鼠标点击

推荐链接

评论可见,请评论后查看内容,谢谢!!!评论后请刷新页面。