小米范网站批量爬虫工具是一款网站辅助的小工具，它能针对网站进行快速批量的爬取，小米范网站批量爬虫工具能将爬取的URL进一步调用wvs、sqlmap、brutexss等工具进行检测，挺实用，也蛮简单，需要的朋友们可以下载试试吧！
使用方法
随便点击下面的任一个文件
出现如下界面时，点任意键运行。
打开软件界面后，点击新建任务，输入要检测的URL。
设置子域名白名单，属于白名单域名的URL则自动保留并进行抓取。
设置并发站点、并发线程等参数，点击开始即可。
工作流程
假设我们新建任务，放入100个URL作为爬虫的起始URL，那么具体的爬取过程如下：
1、针对这100个URL，按照是否同源进行合并，同源的URL则放入一个目标，并将这些URL作为这个源的起始URL。
2、针对每个目标进行爬取（默认并发5个目标），针对每个目标的起始URL采用浏览器点击抓包（默认每个目标最多开5个浏览器）+HTML解析的方式获取URL，浏览器点击在后台运行，没有界面，这里的浏览器点只是在点击后将发出去的请求URL记录，但并不真正发出去请求。
3、将前两步收集到的URL作为种子，进行传统的爬取，这里的爬取主要采用了webmagic框架，并对框架本身做了一点修改。另外每一个页面下载之前会进行爬取URL黑名单匹配，匹配到黑名单则跳过，下载到的每个页面提取出来的URL会进行子域名白名单匹配，匹配到白名单则会放入爬取队列。
针对爬到的URL可直接右键使用sqlmap、brutexss、panoptic、wvs进行安全检测，目前还在考虑再加入一些其他的检测工具。
此外也提供了目录扫描功能，在左侧树形结构的任意节点右键目录扫描会对当前选中节点所在的路径进行目录扫描。
- 益佰零售
- 头像制作
- 趣拼图-美图拼接
- 顺辔通
- 司机宝企业版
- 掌缘
- XPrinter
- 全能扫描
- 亿厂惠
- 爱玖库
- 汽车报价大全
- 物流天空
- 易车汽车报价
- 轻学堂
- 北斗导航地图
- 雄安电商
- 3D实景地图
- 北斗找人
- 诚易科技
- 起名
- 鼠标右键
- AI相机
- 喜鹊声声
- Quicker
- 极简浏览器
- 快打旋风ONE
- 在哪之第九维
- Triline连连看
- 五伙伴历险记
- 星际宝贝
- 酒井法子壁纸
- 给力客运对对碰
- LSSense3魔力锁屏主题
- 骷髅卫兵塔防之战
- 超级越野行动
- 谁动了我的牛奶
- 某苦逼男的狗血生活
- 君本佳人
- 第一章
- 岁月 拭不去的哀伤
- 只为错过
- [切丸]你最珍贵
- [剑三/万花中心]青岩笔章
- 我都老了你才来
- 有她在，阳光独好
- 齐丑无艳之破镜重圆
- 女孩子不好惹
- 不可思议的爱情
- 陀枪师姐2021
- 向往的生活
- 陪你一起长大
- 我的宠物少将军
- 几度菊花香
- 当家的女人
- 真情年代