Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。
架构
Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。
Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。
Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
Downloader Middlewares（下载中间件）：一个可以自定义扩展下载功能的组件。
Spider Middlewares（Spider中间件）：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。
- 优巢（工程师端）
- PC记事本
- 卓豪源APP
- 神马一号仓
- 旺码配送
- 鞋商会卖家端
- 云交科驾培预约教练端
- 逗娃机器人
- 同城代驾
- 幸福洋州
- 幸福洋州商家版
- 梯易行
- 南开附中门户
- 小橙子服务器
- 雷霆运动
- 百吃百味
- 金坛河长通.
- 国际文交所
- 海星租房
- 六医卫医生版
- 爱康复专业端
- 才课OA
- 儋州师生通
- 小斑充电
- 酷博士
- 我的山羊 for Android v1.0.1 安卓版
- 击打节奏 免安装硬盘版
- 昆仑王传奇 for Android v0.2 安卓版
- 白雪公主皇宫大逃离 for Android v1.4 安卓版
- 茶香世家(经营小小茶园) v1.2.6 安卓手机版
- 凡人修仙传之七派六宗 for Android v1.0.0 安卓版
- 智力消球 for Android v1.1 安卓版
- 中国好学霸新年版 for Android v3.0 安卓版
- 恋舞ol官方最新版(音乐舞蹈手游) v1.11.1116 安卓版
- 谜狂热 for Android v5.0 安卓版
- 超级疯狂阅读系列：回眸不为人知的中国历史【彩绘】
- NieR Art幸田和磨ART集
- 机械制图练习册(英文版国际化课程专项建设规划教材)
- 英语(4上人教版RJPEP)/实验班学霸笔记
- 仕女画法/中国画技法丛书
- 水乡画法/中国画技法丛书
- 勇敢的半虫男孩/唐可可的奇妙冒险
- 悠游英语拼读乐园(智慧学习套装点读版1-2共8册)(精)
- 广告法规与治理/新媒体公共传播
- 揭秘度量衡(精)/尤斯伯恩看里面
- 玉海棠
- 我的媳妇是女王
- 幸福归来
- 古镜
- 映山红
- 哦我的鬼神大人
- 热血青春
- 殊死七日
- 半为苍生半美人
- 于无声处