使用Scrapy解析站点地图

| 我希望能够使用scrapy来爬行站点地图上的链接。我对该应用程序了解不多,所以我会对您可以提供的任何链接/信息/文档感兴趣。 谢谢     
已邀请:
        为此,刚刚将新的通用蜘蛛添加到Scrapy行李箱中。它将在下一版本(Scrapy 0.14)中可用 此处的代码:http://snippets.scrapy.org/snippets/20/ 此处的文档:http://readthedocs.org/docs/scrapy/zh-CN/latest/topics/spiders.html#sitemapspider     
        所有文档都位于http://doc.scrapy.org/。教程也可以在scrapy.org上找到。 至于您的问题,请参见以下SO问题:如何使用scrapy的XmlFeedSpider解析sitemap.xml文件?     

要回复问题请先登录注册