我想使用scrapy spider从以下网站的所有帖子中获取数据(问题 Headers 内容和答案):
问题是我只是不知道如何首先按照帖子的链接,然后抓取所有15个帖子/网站的数据 .
{import scrapy
class ArticleSpider(scrapy.Spider):name = "post" start_urls = ['https://forums.att.com/t5/Data-Messaging-Features-Internet/Throttling-for-unlimited-data/m-p/4805201#M73235']
def parse(self, response):
SET_SELECTOR = 'body'
for post in response.css(SET_SELECTOR):
# Selector for title, content and answer
TITLE_SELECTOR = '.lia-message-subject h5 ::text'
CONTENT_SELECTOR = '.lia-message-body-content'
ANSWER_SELECTOR = '.lia-message-body-content'
yield {
# [0].extract() = extract_first()
'Qtitle': post.css(TITLE_SELECTOR)[0].extract(),
'Qcontent': post.css(CONTENT_SELECTOR)[0].extract(),
'Answer': post.css(ANSWER_SELECTOR)[1].extract(),
}
# Running through all 173 pages
NEXT_PAGE_SELECTOR = '.lia-paging-page-next a ::attr(href)'
next_page = response.css(NEXT_PAGE_SELECTOR).extract_first()
if next_page:
yield scrapy.Request(
response.urljoin(next_page),
callback=self.parse
)}
我希望你能帮助我 . 提前致谢!
1 回答
您需要添加一种用于抓取帖子内容的方法 . 您可以像这样重写您的蜘蛛代码(我使用xpath选择器):
此代码解析主页面中的所有链接,并调用
parse _post
方法来抓取每个帖子内容 .parse
和parse_post
方法都检查是否存在下一个链接以及True
是否继续抓取 .