Crawlab是一个基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。
Crawlab架构：
Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库。
前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收到任务之后，开始执行爬虫任务，并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简，去除了不必要的节点监控模块Flower，节点监控主要由Redis完成。
主节点
主节点是整个Crawlab架构的核心，属于Crawlab的中控系统。主节点负责与前端应用进行通信，并通过Redis将爬虫任务派发给工作节点。同时，主节点会同步（部署）爬虫给工作节点，通过Redis和MongoDB的GridFS。
工作节点
工作节点的主要功能是执行爬虫任务和储存抓取数据与日志，并且通过Redis的PubSub跟主节点通信。通过增加工作节点数量，Crawlab可以做到横向扩展，不同的爬虫任务可以分配到不同的节点上执行。
MongoDB
MongoDB是Crawlab的运行数据库，储存有节点、爬虫、任务、定时任务等数据，另外GridFS文件储存方式是主节点储存爬虫文件并同步到工作节点的中间媒介。
Redis
Redis是非常受欢迎的Key-Value数据库，在Crawlab中主要实现节点间数据通信的功能。例如，节点会将自己信息通过HSET储存在Redis的nodes哈希列表中，主节点根据哈希列表来判断在线节点。
前端
前端是一个基于Vue-Element-Admin的单页应用。其中重用了很多Element-UI的控件来支持相应的展示。
- 方太 CXW-189-JX05抽油烟机 使用说明书
- 舒特一卡通软件-考勤子系统操作说明书
- 舒特一卡通软件-核心平台(新版)说明书
- 舒特ST5588系列消费机使用说明书
- 科密ET-4510考勤机说明书
- Galanz格兰仕 KFR-35GW/A1分体挂壁式房间空调器 使用说明书
- Galanz格兰仕 KFR-32GW/G1分体挂壁式房间空调器 使用说明书
- Realtek瑞昱RTL81xxCE系列无线网卡驱动
- 荣事达波轮洗衣机XQB46-366A(376A)说明书
- 荣事达波轮洗衣机XQB50-458578576使用说明书
- 海尔 欧式吸油烟机CXW219-J67型 说明书
- 海尔 欧式吸油烟机CXW219-D68VQ型 说明书
- Galanz格兰仕 KFR-32GW/HA1分体挂壁式房间空调器 使用说明书
- 德龙 ESAM4200.S全自动咖啡机 说明书
- 德龙 ESAM3200全自动咖啡机 说明书
- 德龙 ESAM3000B全自动咖啡机 说明书
- 德龙 ESAM3500全自动咖啡机 说明书
- 西门子M440变频器使用说明书
- SONY索尼SLT-A77V数码相机说明书
- SONY索尼SLT-A77数码相机说明书
- WMF presto全自动咖啡机 用户手册
- NUOVA SIMONELLI咖啡研磨机 使用手册
- 博世 KGF29642TI冰箱 使用说明书
- 博世 KGF25622TI冰箱 使用说明书
- 博世 KGF25340TI冰箱 使用说明书
- 生化危机2重制版克莱尔暴君军大衣礼帽套装MOD 免费版
- 侠盗猎车手5沙漠地堡MOD免费版
- 巫师3狂猎亚瑟王的神剑MOD 免费版
- 模拟人生4温室之家MOD 免费版
- 上古卷轴5天际美女剑者希里独立随从MOD 免费版
- 守护一棵树A28正式版 附隐藏英雄密码及攻略 魔兽防守地图
- 魔兽自走棋1.4.9正式版 附游戏攻略及隐藏英雄密码 魔兽防守地图
- 剑动九荒1.0.7正式版 附游戏攻略及隐藏英雄密码 魔兽防守地图
- 西游仙魔录1.0.8正式版 附游戏攻略及隐藏英雄密码 魔兽防守地图
- 混沌世界の太古神王1.0.0正式版 附游戏攻略及隐藏英雄密码 魔兽防守地图
- 阿龟，乌龟
- 月璃 以爱的名义，签订
- 琉璃女孩之心
- 良人觅
- 竖子传[gl]
- 晚安，爱情
- 妖姬
- 离天
- [反QY]还珠之晴满溢心
- 探員實習生
- 天空之城
- 风流戏王
- 中国式离婚
- 金枝欲孽
- 荆轲传奇
- 神探狄仁杰
- 汉武大帝
- 神医侠侣
- 王保长新传
- 原来就是你