爬虫管理平台推荐

推荐列表

1. Crawlab
2. ScrapydWeb
3. Gerapy
4. SpiderKeeper

对比介绍

框架	技术	优点	缺点	Github统计
Crawlab	Golang + Vue	不限于Scrapy，可用于所有编程语言和框架。漂亮的UI界面。支持分布式爬虫。支持爬虫管理，任务管理，计划任务，结果导出，分析，通知，可配置爬虫，在线代码编辑器等。	尚不支持爬虫版本控制
ScrapydWeb	Python Flask + Vue	漂亮的UI界面，内置的Scrapy日志解析器，用于执行任务的统计信息和图形，支持节点管理，cron作业，邮件通知，移动设备。全功能爬虫管理平台。	除了Scrapy以外，不支持其他爬虫。由于Python Flask后端，性能有限。
Gerapy	Python Django + Vue	Gerapy由网络爬虫大师Germey Cui构建。简单的安装和部署。漂亮的UI界面。支持节点管理，代码编辑，可配置的爬网规则等。	再次不支持除Scrapy以外的爬虫。很多错误都是基于v1.0中的用户反馈。期待v2.0的改进
SpiderKeeper	Python Flask	开源Scrapyhub。简洁的UI界面。支持cron工作。	也许过于简化，不支持分页，不支持节点管理，不支持Scrapy以外的爬虫。