使用 pyppeteer 碰到的错误

Andrew说Python爬虫

2020-02-05 05:48
关注

pyppeteer 实在是有点坑,坑太多了,填不完。

使用 pyppeteer 碰到的错误

pyppeteer.errors.ElementHandleError: Error: failed to find element matching selector ".btn_ok"我使用了下面的代码后出现的:为了实现检测元素是否存在,存在则程序结束,不存在则重试btn_ok = await page.Jeval('.btn_ok', 'node => node.style')

解决办法:btn_ok = await page.querySelector('[class="nc_iconfont btn_ok"]')但是使用这个之后,当滑动失败之后,重现刷新滑动验证码之后,又会出现下面的错误。更新(2020-01-20):之前的理解错误了,这个根本原因是执行关闭浏览器 await browser.close() 的时候没有权限删除用户的浏览数据。解决办法:定义浏览器的时候设置参数 'userDataDir': r'D:\temporary',指定一个用户可以执行的目录,这样的话就可以了。但是这样的话,相当于保存了用户的浏览数据。可能又会碰到这么个错误,事件循环打开浏览器后,并没有执行,直接返回结果看了一下文档,调用 createIncogniteBrowserContext()直接打开一个无痕浏览器。这样就爽多了关闭的时候需要注意分开关闭,无痕关闭,正常打开的浏览器也需要关闭。pyppeteer.errors.NetworkError: Protocol Error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.

解决办法:这是由于库本身的问题。pyppeteer 库的问题。

具体可参考 天猫淘宝知乎爬虫神器 -- Pyppeteer

也可以降低 websockets 的版本,改为 6.0 的版本

pip install websockets==6.0

这样问题就会少很多

这个文章会一直更新,碰到了就会更新,未完待续。。。

举报/反馈