Skip to content

Commit edbe6a2

Browse files
authored
Update README.md
1 parent 3715c34 commit edbe6a2

File tree

1 file changed

+4
-13
lines changed

1 file changed

+4
-13
lines changed

README.md

Lines changed: 4 additions & 13 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,10 @@
11
# crawlergo
22

3-
![chromedp](https://img.shields.io/badge/chromedp-v0.5.2-brightgreen.svg) ![Chromium version](https://img.shields.io/badge/chromium-79.0.3945.0-important.svg) ![SKP](https://img.shields.io/badge/Project-360天相-blue.svg)
3+
![chromedp](https://img.shields.io/badge/chromedp-v0.5.2-brightgreen.svg) ![Chromium version](https://img.shields.io/badge/chromium-79.0.3945.0-important.svg)
44

5-
> A powerful dynamic crawler for web vulnerability scanners
5+
> A powerful browser crawler for web vulnerability scanners
66
7-
crawlergo是一个使用`chrome headless`模式进行URL入口收集的**动态爬虫**。 使用Golang语言开发,基于[chromedp](https://github.com/chromedp/chromedp) 进行一些定制化开发后操纵CDP协议,对整个页面关键点进行HOOK,灵活表单填充提交,完整的事件触发,尽可能的收集网站暴露出的入口。同时,依靠智能URL去重模块,在过滤掉了大多数伪静态URL之后,仍然确保不遗漏关键入口链接,大幅减少重复任务。
7+
crawlergo是一个使用`chrome headless`模式进行URL入口收集的**浏览器爬虫**。 使用Golang语言开发,基于[chromedp](https://github.com/chromedp/chromedp) 进行一些定制化开发后操纵CDP协议,对整个页面关键点进行HOOK,灵活表单填充提交,完整的事件触发,尽可能的收集网站暴露出的入口。同时,依靠智能URL去重模块,在过滤掉了大多数伪静态URL之后,仍然确保不遗漏关键入口链接,大幅减少重复任务。
88

99
crawlergo 目前支持以下特性:
1010

@@ -180,20 +180,11 @@ https://intoli.com/blog/not-possible-to-block-chrome-headless/chrome-headless-te
180180

181181
![](./imgs/bypass.png)
182182

183-
## 关于360天相
184-
185-
crawlergo是[**360天相**](https://skp.360.cn/)的子模块,天相是360自研的**资产管理与威胁探测系统**,主打强大的资产识别能力和全方位分析体系,拥有高效率的扫描能力,核心技术由 [360 0KeeTeam](https://0kee.360.cn/)[360 RedTeam](http://redteam.360.cn/) 提供支持。
186-
187-
![](./imgs/skp.png)
188-
189-
详情请访问:[https://skp.360.cn/](https://skp.360.cn/)
190-
191-
192183

193184
## Follow me
194185

195186
如果你有关于动态爬虫的想法,欢迎和我交流。
196187

197188
微博:[@9ian1i](https://weibo.com/u/5242748339) Github: [@9ian1i](https://github.com/Qianlitp)
198189

199-
相关文章:[漏扫动态爬虫实践](https://www.anquanke.com/post/id/178339)
190+
相关文章:[漏扫动态爬虫实践](https://www.anquanke.com/post/id/178339)

0 commit comments

Comments
 (0)