Crawlab |
Golang + Vue |
不限于 Scrapy,可用于所有编程语言和框架。漂亮的 UI 界面。支持分布式爬虫。支持爬虫管理,任务管理,计划任务,结果导出,分析,通知,可配置爬虫,在线代码编辑器等。 |
尚不支持爬虫版本控制 |
|
ScrapydWeb |
Python Flask + Vue |
漂亮的 UI 界面,内置的 Scrapy 日志解析器,用于执行任务的统计信息和图形,支持节点管理,cron 作业,邮件通知,移动设备。全功能爬虫管理平台。 |
除了 Scrapy 以外,不支持其他爬虫。由于 Python Flask 后端,性能有限。 |
|
Gerapy |
Python Django + Vue |
Gerapy 由网络爬虫大师 Germey Cui 构建。简单的安装和部署。漂亮的 UI 界面。支持节点管理,代码编辑,可配置的爬网规则等。 |
再次不支持除 Scrapy 以外的爬虫。很多错误都是基于 v1.0 中的用户反馈。期待 v2.0 的改进 |
|
SpiderKeeper |
Python Flask |
开源 Scrapyhub。简洁的 UI 界面。支持 cron 工作。 |
也许过于简化,不支持分页,不支持节点管理,不支持 Scrapy 以外的爬虫。 |
|