Skip to content

Commit e119117

Browse files
committed
新增事件触发选项
1 parent 450824a commit e119117

File tree

1 file changed

+5
-2
lines changed

1 file changed

+5
-2
lines changed

README.md

Lines changed: 5 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -13,7 +13,7 @@ crawlergo 目前支持以下特性:
1313
* 完整DOM事件收集,自动化触发
1414
* 智能URL去重,去掉大部分的重复请求
1515
* 全面分析收集,包括javascript文件内容、页面注释、robots.txt文件和常见路径Fuzz
16-
* 支持Host绑定,自动添加Referer
16+
* 支持Host绑定,自动添加Referer
1717

1818
目前开放编译好的程序给大家使用,该项目属于商业化产品的一部分,代码暂无法开源。
1919

@@ -92,6 +92,9 @@ crawlergo 拥有灵活的参数配置,以下是详细的选项说明:
9292
* `--robots-path` 从robots.txt 文件中解析路径,获取更多入口。
9393
* `--tab-run-timeout Timeout` 单个Tab标签页的最大运行超时。
9494
* `--wait-dom-content-loaded-timeout Timeout` 爬虫等待页面加载完毕的最大超时。
95+
* `--event-trigger-interval Interval` 事件自动触发时的间隔时间,一般用于目标网络缓慢,DOM更新冲突时导致的URL漏抓。
96+
* `--event-trigger-mode Value` 事件自动触发的模式,分为异步和同步,用于DOM更新冲突时导致的URL漏抓。
97+
* `--before-exit-delay` 单个tab标签页任务结束时,延迟退出关闭chrome的时间,用于等待部分DOM更新和XHR请求的发起捕获。
9598

9699
## Bypass headless detect
97100

@@ -115,7 +118,7 @@ crawlergo 返回了全量的请求和URL信息,可以有多种使用方法:
115118
* 子域名收集 example
116119
* 旁站入口收集 example
117120
* 结合celery实现分布式扫描
118-
* Host绑定设置 [example](https://github.com/0Kee-Team/crawlergo/blob/master/examples/host_binding.py)
121+
* Host绑定设置(高版本chrome无法使用) [example](https://github.com/0Kee-Team/crawlergo/blob/master/examples/host_binding.py)
119122
* 带Cookie扫描 example
120123

121124
## // TODO

0 commit comments

Comments
 (0)