请问scrapy如何使用内部的spider,selenium 来 shell?

发布于 2020-07-28 11:34:13

有些页面做了防爬,单独使用scrapy 的shell命令是获取不到数据,需要调用内部spider selenium才能获取网页。请问如何使用基于spider的shell呢?

查看更多

关注者
0
被浏览
346
莫小豆
莫小豆 2020-07-28

可以在,你的spider的parse方法里添加:

from scrapy.shell import inspect_response
inspect_response(response, self)

然后运行或者debug,就会进入shell模式,而这个shell就是就有该spder的

1 个回答

撰写答案

请登录后再发布答案,点击登录

发布
问题

分享
好友

手机
浏览

扫码手机浏览