(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210741769.3 (22)申请日 2022.06.28 (71)申请人 南方电网大 数据服务有限公司 地址 510000 广东省广州市花都区新 华街 红珠路5-1 (72)发明人 赵永国　杨荣霞　曹熙　张仙梅　 曾祥清　黎名航　 (74)专利代理 机构 北京中睿智恒知识产权代理 事务所(普通 合伙) 16025 专利代理师 侯文峰 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06F 11/30(2006.01) G06F 11/32(2006.01)G06F 16/21(2019.01) G06F 16/2453(2019.01) G06F 16/28(2019.01) G06F 3/0486(2013.01) (54)发明名称 一种分布式异步任务调度系统 (57)摘要 本发明公开了一种分布式异步任务调度系 统， 其特征在于， 包括： 接口调用模块， 用于接收 和创建任务请求， 通过赋予用户有期限的令牌， 在期限范围内， 用户使用令牌通过接口API的方 式去调度与执行任务， 或发送创建工作流的请 求； dolphinscheduler调度平台， 用于对任务或 工作流进行调度与监控； Web可视化操作平台， 用 于为用户提供任务或工作流的可视化管理， 以及 提供关于任务或工作流的数据 支撑； 数据存储模 块DB， 用于存储api发送的相关请求， 工作流的日 志信息与Web可视化操作平台的功能模块配置信 息； 与现有技术相比， 本发明结构简单、 易于实 现、 与大数据相关的组件 有更强的兼容 性。 权利要求书3页 说明书8页 附图3页 CN 115525406 A 2022.12.27 CN 115525406 A 1.一种分布式异步任务调度系统， 其特 征在于， 包括： 接口调用模块API  Server， 用于接收和创建任务请求， 通过赋予用户有期限的令牌， 在 期限范围内， 所述用户使用所述令牌通过接口API的方式去调 度与执行任务， 或发送创建工 作流的请求； dolphinscheduler调度平台， 与所述接口调用模块API  Server进行数据交互， 用于对 所述任务或所述工作流进行调度与监控； Web可视化操作平台WebServer， 与所述dolphinscheduler调度平台进行数据 交互， 用 于为所述用户提供所述任务或所述工作流的可视化管理， 以及提供关于所述任务或所述工 作流的数据支撑； 数据存储模块DB， 分别与所述接口调用模块API  Server、 所述dolphinscheduler调度 平台、 所述Web可视化操作平台WebServer进行数据交互， 用于存储api发送的相关请求， 工 作流的日志信息与WebServer的功能模块配置信息 。 2.根据权利要求1所述 一种分布式异步任务调度系统， 其特 征在于： 所述接口调用模块API  Server包括： 任务接收单 元， 用于获取需要调度或执 行的所述任务请求； 指令单元， 用于生成所述令牌； 时钟单元， 用于赋予所述令牌有效期限； 任务创建单 元， 用于创建所述工作流并形成所述任务请求。 3.根据权利要求2所述 一种分布式异步任务调度系统， 其特 征在于： 所述dolphinscheduler调度平台包括： 控制节点MasterServer， 用于读取所述接口调用模块API  Server生成的请求参数， 渲 染出对应的所述工作流并将所述工作流的任务节点 通过负载均衡的方式分发给W orker； 工作节点WorkerServer， 用于为所述Worker， 提供所述控制节点MasterServer生成的 所述工作流和/或所述任务节点； 告警节点AlterServer， 用于将所述工作流和/或所述任务节点的进程， 发送到不 同的 告警组或系统， 其中， 所述进程表示任务 开始、 任务结束、 任务失败。 4.根据权利要求3所述 一种分布式异步任务调度系统， 其特 征在于： 所述控制节点MasterServer还用于在控制当前工作节点时， 同时监听其他工作节点 WorkerServer与W orker的当前状态。 5.根据权利要求 4所述一种分布式异步任务调度系统， 其特 征在于： 所述Web可视化操作平台WebServer包括： 项目管理单 元， 将同类性质或属性的所述工作流归于一个项目下统一管理； 环境管理单元， 用于将不同版本的组件集群通过配置环境变量并持久化到数据库， 实 现新旧版本组件集群兼容 流程化与老版本集群与新版本集群间的无感衔接； 用户管理单元， 用于为所述用户提供不同的用户身份信 息， 其中， 所述用户身份信 息表 示用于执 行或创建工作流的用户身份； 权限管理单 元， 用于通过设置不同用户权限， 限制用户操作项目调度资； 租户管理单 元， 用于为临时用户提供 具有使用期限的临时身份信息； 资源中心单元， 用于上传资源文件和udf函数， 通过将HDFS大数据文件系统组件用于文权　利　要　求　书 1/3 页 2 CN 115525406 A 2件存储系统， 使得任一所述任务节点调取到文件存储系统中的资源， 增强所述任务节点间 的协调性。 6.根据权利要求5所述 一种分布式异步任务调度系统， 其特 征在于： 所述数据存储模块DB支持MySQL、 POSTGRESQL、 HIVE/IMPALA、 SPARK、 CLICKHOUSE、 ORACLE、 SQ LSERVER中的一种或多种组合的数据源； 在所述Web可视化操作平台WebServer的可视化界面， 通过拖拉拽方式建立数据操作节 点， 将所述工作流的数据流 程持久化关联到关系型与非关系型 数据库中。 7.根据权利要求6所述 一种分布式异步任务调度系统， 其特 征在于： 所述Web可视化操作平台WebServer具有可视化交互功能， 包括中止、 恢复、 暂停、 触发 任务， 监控正在运行的任务， 断点 续跑任务， 配置连接， 获取详细日志信息 。 8.根据权利要求7 所述一种分布式异步任务调度系统， 其特 征在于： 所述分布式异步任务调度系统用于构建分布式异步任务， 其中， 所述分布式异步任务 的构建方法包括以下步骤： S11： 接口调用模块API  Server接收用户发送的创建任务请求或执行任务请求， 解析该 任务请求的请求 参数为一天Command命令存 储到数据存 储模块DB中； S12： MasterServer将有线程去轮询数据库中数据表获取一条可执行的Command命令并 解析命令， 若解析到的命令是执行工作流命令则跳转至S13； 若解析命令后确认为创建工作 流， 跳转至S14； S13： Master启动相应的工作流模板并根据工作流的流程属性将工作流中进行任务切 分并根据任务节点中的信息将任务分发给指定的Worker工作节点或负载均衡分发给对应 的工作组， 完成这些操作后跳转至S15， 其中， 所述任务参数包括调度周期、 任务命令参数、 任务队列、 失败重试次数和任务权 重； S14： Master根据解析的创建命令与命令中的参数构建工作流并完善工作流中工作节 点信息， 将工作流中任务进 行切分并根据任务节点中的信息将任务分发给指 定的Worker工 作节点或负载均衡分发给对应的工作组。 然后 将工作流相关信息持久化到数据存储模块DB 中并跳转至S15； S15： Worker接收到Master分发的任务并解析相关参数， 并在本地生成对应的执行脚 本。 完成这部操作后跳转到S16； S16： Worker在资源中心中获取任务 需要的资源然后结合脚本开始进行任务的执行， 并 将任务的执 行情况持久化到所述数据存 储模块DB中。 9.根据权利要求7 所述一种分布式异步任务调度系统， 其特 征在于： 所述分布式异步任务调度系统还用于通过结合大数据流式计算引擎Flink， 进行数据 通道构建， 其中， 用于构建数据通道的调度方法， 其包括如下步骤： S21： 将各类Flink数据通道代码打包成Jar包上传到WebServer的所述资源中心单元 后， 跳转到S2 2； S22： 通过WebServer界面配置工作流， 在工作流层面定义数据源变量与文件持续写入 时间后， 跳转到S23； S23： 在工作流中定义起点为switch节点， 并接收所述工作流的所述数据源变量， 根据 Flink数通道的不同特性创建不同的Flink节 点与switch节 点相连， 并接收所述工作流的所权　利　要　求　书 2/3 页 3 CN 115525406 A 3