我刚刚开始学习Scrapy，我不明白为什么下面描述的XPath返回零结果 .
我正在尝试构建一个爬行的蜘蛛http://www.foodsafety.gov/recalls/recent/index.html
特别是在我使用Scrapy shell测试时，我试图提取头条新闻 . 在Safari的开发者控制台中使用检查器，我确定 Headers 文本的XPath是// div [@ id =“recallList”] / h2 / a / text（） . 在开发人员控制台中使用find，我能够使用上述XPath找到25个 Headers .
但是，当我使用Scrapy shell测试XPath时，我得到一个空列表
>> response.xpath('//div[@id="recallList"]/h2/a/text()').extract()
我在用
>> scrapy shell "http://www.foodsafety.gov/recalls/recent/index.html"
抓取网站 .
1 回答
响应为空结果，因为内容是通过Javascript加载的，目前scrapy不支持 . 如果您在开发人员控制台中查看
network面板，您将看到另一个请求此URL [911231_]返回json. 您可以使用此网址获取所有数据 .