软件介绍：NwebCrawler是用C#写的一款多线程网络爬虫程序，它的实现原理是先输入一个或多个种子URL到队列中，然后从队列中提取URL（先进先出原则），分析此网页寻找相应标签并获得其href属性值，爬取有用的链接网页并存入网页库中，其中用爬取历史来记录爬过的网页，这样避免了重复爬取。提取URL存入队列中，进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。
功能介绍：可配置：线程数，等待时间，连接超时，允许MIME类型和优先级，下载文件夹。
统计信息：URL数量，总下载文件，总下载字节数，CPU利用率和可用内存。
Preferential crawler：用户可以设置优先级的MIME类型。
Robust: 10+ URL normalization rules, crawler trap avoiding rules.
- 会捷通
- 国科服务
- 商标进度查询
- 宝宝启蒙入门课
- 红逗号
- 奇妙昆虫世界
- 拼音宝
- 有声语文
- 宝宝情商养成
- ABC Learning
- 公安基础知识练题狗
- 文化天府
- 亿师学
- 星华遴选
- 轻松翻译中英互译
- 宝宝睡前故事
- 掌上大学
- 宝宝恐龙世界
- 儿童识汉字
- 大管加
- 宝宝儿童右脑开发
- 赛信
- 叫叫识字
- 财学堂
- 报考大学
- 块
- Safe Breaker
- Mantra of all indian Gods
- 颜色战争
- LGSM
- 混乱拼图
- Jumping YellowMan
- Draw A Line
- Drums HD
- ASTRA Time Machine
- 送你一枝合欢花
- 实例版Photoshop CS2数码照片处理(附光盘)/新电脑课堂
- 风云Flash8动漫设计全程实录(附光盘)
- 矿产资源经济论
- 中国文学批评史新编(共3册英文版)(精)
- 土地评价(普通高等教育土地管理类规划教材)
- 走出困惑(我该怎么办)/青少年快乐成长方案
- 农药剂型与制剂及使用方法
- 秘书(职业培训计划培训大纲)
- 土地管理典型案例评析
- 嘉庆传奇
- 不在犯罪现场
- 阮玲玉
- 后天美女
- 铁色高原
- 家有儿女2
- 青城之恋
- 天下太平
- 你是苹果我是梨
- 实习医生格蕾 第二季