File tree Expand file tree Collapse file tree 1 file changed +4
-13
lines changed Expand file tree Collapse file tree 1 file changed +4
-13
lines changed Original file line number Diff line number Diff line change 1
1
# crawlergo
2
2
3
- ![ chromedp] ( https://img.shields.io/badge/chromedp-v0.5.2-brightgreen.svg ) ![ Chromium version] ( https://img.shields.io/badge/chromium-79.0.3945.0-important.svg ) ![ SKP ] ( https://img.shields.io/badge/Project-360天相-blue.svg )
3
+ ![ chromedp] ( https://img.shields.io/badge/chromedp-v0.5.2-brightgreen.svg ) ![ Chromium version] ( https://img.shields.io/badge/chromium-79.0.3945.0-important.svg )
4
4
5
- > A powerful dynamic crawler for web vulnerability scanners
5
+ > A powerful browser crawler for web vulnerability scanners
6
6
7
- crawlergo是一个使用` chrome headless ` 模式进行URL入口收集的** 动态爬虫 ** 。 使用Golang语言开发,基于[ chromedp] ( https://github.com/chromedp/chromedp ) 进行一些定制化开发后操纵CDP协议,对整个页面关键点进行HOOK,灵活表单填充提交,完整的事件触发,尽可能的收集网站暴露出的入口。同时,依靠智能URL去重模块,在过滤掉了大多数伪静态URL之后,仍然确保不遗漏关键入口链接,大幅减少重复任务。
7
+ crawlergo是一个使用` chrome headless ` 模式进行URL入口收集的** 浏览器爬虫 ** 。 使用Golang语言开发,基于[ chromedp] ( https://github.com/chromedp/chromedp ) 进行一些定制化开发后操纵CDP协议,对整个页面关键点进行HOOK,灵活表单填充提交,完整的事件触发,尽可能的收集网站暴露出的入口。同时,依靠智能URL去重模块,在过滤掉了大多数伪静态URL之后,仍然确保不遗漏关键入口链接,大幅减少重复任务。
8
8
9
9
crawlergo 目前支持以下特性:
10
10
@@ -180,20 +180,11 @@ https://intoli.com/blog/not-possible-to-block-chrome-headless/chrome-headless-te
180
180
181
181
![ ] ( ./imgs/bypass.png )
182
182
183
- ## 关于360天相
184
-
185
- crawlergo是[ ** 360天相** ] ( https://skp.360.cn/ ) 的子模块,天相是360自研的** 资产管理与威胁探测系统** ,主打强大的资产识别能力和全方位分析体系,拥有高效率的扫描能力,核心技术由 [ 360 0KeeTeam] ( https://0kee.360.cn/ ) 和 [ 360 RedTeam] ( http://redteam.360.cn/ ) 提供支持。
186
-
187
- ![ ] ( ./imgs/skp.png )
188
-
189
- 详情请访问:[ https://skp.360.cn/ ] ( https://skp.360.cn/ )
190
-
191
-
192
183
193
184
## Follow me
194
185
195
186
如果你有关于动态爬虫的想法,欢迎和我交流。
196
187
197
188
微博:[ @9ian1i ] ( https://weibo.com/u/5242748339 ) Github: [ @9ian1i ] ( https://github.com/Qianlitp )
198
189
199
- 相关文章:[ 漏扫动态爬虫实践] ( https://www.anquanke.com/post/id/178339 )
190
+ 相关文章:[ 漏扫动态爬虫实践] ( https://www.anquanke.com/post/id/178339 )
You can’t perform that action at this time.
0 commit comments