内容 |
网页抓取采用累计加入及目录优化爬行,防止死循环爬行,严格过滤其他域名链接及处理网页内相对网址,防止抓取无关页面,浪费资源,优化抓取、爬行效率。 软件使用多线程急速爬行,严格处理线程许可区,防止线程冲突,可同时并发300线程不冲突。 内存优化,在线程结束之后及时释放所有内存,降低内存使用。 程序在并发线程时,会自动检测线程延时,自动关闭超时线程,防止线程假死。 本程序可检测SQL注入、XSS跨站等漏洞,后续会加入更多。。。 除漏洞检测外,本程序还可用作整站扫描,记录所有爬行页面,遍历整个网站。 软件可自动校验本身MD5值,防止软件被恶意修改。
|