爬虫管理平台推荐

推荐列表

  1. Crawlab
  2. ScrapydWeb
  3. Gerapy
  4. SpiderKeeper

对比介绍

框架 技术 优点 缺点 Github 统计
Crawlab Golang + Vue 不限于 Scrapy,可用于所有编程语言和框架。漂亮的 UI 界面。支持分布式爬虫。支持爬虫管理,任务管理,计划任务,结果导出,分析,通知,可配置爬虫,在线代码编辑器等。 尚不支持爬虫版本控制 img img
ScrapydWeb Python Flask + Vue 漂亮的 UI 界面,内置的 Scrapy 日志解析器,用于执行任务的统计信息和图形,支持节点管理,cron 作业,邮件通知,移动设备。全功能爬虫管理平台。 除了 Scrapy 以外,不支持其他爬虫。由于 Python Flask 后端,性能有限。 img img
Gerapy Python Django + Vue Gerapy 由网络爬虫大师 Germey Cui 构建。简单的安装和部署。漂亮的 UI 界面。支持节点管理,代码编辑,可配置的爬网规则等。 再次不支持除 Scrapy 以外的爬虫。很多错误都是基于 v1.0 中的用户反馈。期待 v2.0 的改进 img img
SpiderKeeper Python Flask 开源 Scrapyhub。简洁的 UI 界面。支持 cron 工作。 也许过于简化,不支持分页,不支持节点管理,不支持 Scrapy 以外的爬虫。 img img