我正在抓取一个页面并从hrefs获得一个链接列表
['www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=SDM0347','www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=SDM0346', 'www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=AXS0229' ....]
是否可以从同一个蜘蛛抓取这些链接？它就像在爬虫已经抓取链接时爬行另一个链接一样 . 我不需要代码只是一个小指南，它是如何做到的 .
1 回答
使用CrawlSpider并为链接列表定义适当的规则？