Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。
架构
Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。
Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。
Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
Downloader Middlewares（下载中间件）：一个可以自定义扩展下载功能的组件。
Spider Middlewares（Spider中间件）：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。
- PE-M
- 乐1图书-小狗怕怕
- 爱霞购物天堂客户端
- android趣味软件古代的你
- 中国电影报道
- 城市风光北京篇
- 娱乐闹钟
- GO主题-速度于激情
- 潜艇观景海底世界动态壁纸
- GO主题-3D云
- 唯美风景壁纸
- 少年集邮网
- 浪漫提醒
- 精品笑话
- 画图！
- 只是爱情壁纸
- 宝宝血型查询
- 饮食助手
- inMind2
- 提醒管家
- 面对效果
- 名车别克
- 任务管理器 OW ProcessEr
- 黑龙江论坛
- 怪医杜利德 Doctor Dolittle
- 刺客信条：兄弟会（Assassins Creed Brotherhood）DNA完成度100存档
- 刺客信条：兄弟会（Assassins Creed Brotherhood）通关存档
- 魔法门之英雄无敌 1.4至1.4.1 官方升级档补丁
- 警察大战僵尸
- VR特警战争
- 画皮世界
- 九阴真经
- 俄罗斯方块豪华版
- 鬼话钟馗
- 机战王
- 梦染舞台
- 特大型镍矿数字化矿山建设与进展/特大型镍矿充填法开采技术著作丛书
- 摄影MOOK--数码单反风光摄影轻松学
- 精准沟通：没有沟通力就没有竞争力
- 我们的麦场主/曹文轩纯美小说系列
- 心安然(随心写意集)
- 藏地女人书(风情随笔集)
- 再生资源产业绿色发展研究(基于再生铅的点链网视角)
- 人工智能实现技术及发展研究
- 我们之间/韩青辰品藏书系
- 青春无季
- 我的青春也灿烂
- 美国恐怖故事：启示录 第八季
- 小妖的金色城堡
- 龙城1937
- 念念
- 为了你我愿意热爱整个世界
- 动物系恋人啊
- 胜算
- 越活越来劲