2022.12.15 会议纪要 #1

flycash · 2022-12-12T09:45:53Z

flycash
Dec 12, 2022
Maintainer

议程

大规模分布式任务调度系统启动
- 总体目标
- 架构设计（粗糙）
大规模分布式任务调度系统 v0.0.1 交付目标
要不要保留类似周会、月会等形式来同步进度

任务分配

调研已有的分布式任务相关中间件（两周）

输出一个文档，包含以下内容：

调度系统本身的集群模式：主从 or 对等
在集群模式下，调度系统本身如何调度资源，例如如果要调度任务 A，那么应该是在调度系统进群的哪个节点上调度
任务分类：重复任务，定时任务，一次性任务，实时任务
任务管理：
- 任务运行信息：如何查询，是否有回调机制通知用户任务执行情况
- 任务日志
- 是否允许删除任务
  - 删除的时候如何是否会取消当前任务
  - 如何处理已经生成但是还没有调度的任务
- 是否允许修改任务
  - 是否允许修改调度配置，如果允许，那么修改调度配置会发生什么
任务编排：是否支持，大概原理，以及支持到了何种地步
任务注册与任务发现（即确定哪些用户部署的实例是可以执行某个任务的）：
- 有没有后台管理界面可以注册任务，如果有，注册的时候需要填写什么信息
- 可不可以编程形式注册，如果可以怎么接入
任务形态：http 任务，grpc 任务，亦或是本地任务
调度模型：
- 怎么查找待调度的任务
- 线程模型（goroutine 模型）
- 调度语义：
  - 最多一次调度
  - 最少一次调度
  - 恰好调度一次
调度策略：
- 筛选目标节点
- 广播、组播、单播
- 容错
- 超时控制
- 是否允许用户自定义调度策略，以及如果允许的话，怎么接入
监控与告警
- 支持的监控（平台）
- 支持的告警手段
认证和权限：
- 有没有引入类似分组、namespace、部门之类的概念
- 有没有权限控制：例如是否允许用户查询任务执行状态，或者是否允许接入第三方的登录或者权限控制机制
数据存储
- 表结构设计
- 是否支持分库分表
以一个简单的任务为例子，解释整个系统的运作过程