我是网络爬行的新手，我最近开始了一项工作，我需要抓取一些网站（大约300个） . 我的问题是那些网站不遵循相同的结构，它们有不同的布局 . 所以，我需要做一个适用于所有人的通用爬虫 . 有人可以告诉我是否有可能使用scrapy这样做，如果不可能推荐一些其他技术？
注意：我已经搜索并找到了这个解决方案How to crawl thousands of pages using scrapy?但有人知道更好或更容易吗？
我是网络爬行的新手，我最近开始了一项工作，我需要抓取一些网站（大约300个） . 我的问题是那些网站不遵循相同的结构，它们有不同的布局 . 所以，我需要做一个适用于所有人的通用爬虫 . 有人可以告诉我是否有可能使用scrapy这样做，如果不可能推荐一些其他技术？
注意：我已经搜索并找到了这个解决方案How to crawl thousands of pages using scrapy?但有人知道更好或更容易吗？