(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210771504.8 (22)申请日 2022.06.30 (71)申请人 上海明胜品智人工智能科技有限公 司 地址 200030 上海市徐汇区龙兰路27 7号2 号楼5楼5B0 6单元 (72)发明人 谢亚雄　 (74)专利代理 机构 北京超成律师事务所 1 1646 专利代理师 盛范钰 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) (54)发明名称 一种任务的调度方法、 装置、 设备及存储介 质 (57)摘要 本申请提供了一种任务的调度方法、 装置、 设备及存储介质， 该调度方法包括： 接收多个任 务提交节 点提交的待处理任务； 根据待处理任务 的任务数量 以及多个任务处理节点中处于空闲 状态的空闲处理节点的节点数量， 从预设的多个 任务调度策略中， 确定任务调度性能与待处理任 务的任务数量相匹配的目标任务调度策略； 按照 目标任务调度策略， 从多个任务处理节点中， 为 接收到的每个待处理任务分配用于处理该待处 理任务的目标任务处理节点。 这样， 在任务调度 过程中， 本申请可以节约每个任务提交节点对应 的用户终端处需要落地的硬件资源， 有利于减 轻 任务调度过程中消耗的运维成本， 提高了对待处 理任务的调度效率。 权利要求书3页 说明书22页 附图5页 CN 115080212 A 2022.09.20 CN 115080212 A 1.一种任务的调度方法， 其特征在于， 所述调度方法应用于调度节点； 所述调度方法包 括： 接收多个任务提交节点提交的待处理任务； 其中， 所述待处理任务包括： 目标业务场景 下的模型训练任务和/或所述目标业 务场景下的模型应用任务； 根据接收到的所述待处理任务的任务数量以及多个任务处理节点中处于空闲状态的 空闲处理节点的节点数量， 从预设的多个任务调度策略中， 确定任务调度性能与所述待处 理任务的任务数量相匹配的目标任务调度策略； 其中， 所述任务调度性能与所述任务调度 策略中每 个空闲处理节点需要处 理的所述待处 理任务的任务数量相关； 按照所述目标任务调度策略， 从所述多个任务处理节点中， 为接收到的每个所述待处 理任务分配用于处 理该待处 理任务的目标任务处 理节点。 2.根据权利要求1所述的调度方法， 其特征在于， 所述根据接收到的所述待处理任务的 任务数量以及多个任务处理节点中处于空闲状态的空闲处理节点的节点数量， 从预设的多 个任务调度策略中， 确定任务调 度性能与所述待处理任务的任务数量相匹配的目标任务调 度策略， 包括： 计算所述多个任务处理节点中处于空闲状态的空闲处理节点的节点数量与所述待处 理任务的任务数量之间的数量差值； 当所述数量差值属于非负数时， 从预设的多个任务调度策略中， 确定第一任务调度策 略作为所述 目标任务调度策略； 其中， 所述第一任务调度策略用于表征利用空闲处理节点 对接收到的每 个所述待处 理任务同时进行并行处 理的任务调度策略； 当所述数量差值属于负数且所述数量差值的绝对值小于或者等于第 一预设阈值时， 从 预设的多个任务调度策略中， 确定第二任务调 度策略作为所述目标任务调度策略； 其中， 所 述第二任务调度策略用于表征利用目标数量的空闲处理节点对接 收到的所述待处理任务 进行并行处理， 利用除所述目标数量之外的剩余数量的空闲处理节点对接收到的所述待处 理任务进行串行处 理的任务调度策略； 当所述数量差值属于负数且所述数量差值的绝对值大于所述第 一预设阈值 时， 从预设 的多个任务调度策略中， 确定第三任务调 度策略作为所述目标任务调 度策略； 其中， 所述第 三任务调度策略用于表征利用空闲处理节点对接 收到的所述待处理任务全部进行串行处 理的任务调度策略。 3.根据权利要求2所述的调度方法， 其特征在于， 当所述目标任务调度 策略为所述第 二 任务调度策略时， 通过以下方法， 确定用于对接 收到的所述待处理任务进行并行处理的所 述目标数量的空 闲处理节点： 按照预设的目标数量， 从所述多个任务处理节点中处于空闲状态的空闲处理节点中， 随机抽取 得到所述目标 数量的空 闲处理节点； 或者， 根据每个所述待处理任务的预测 处理时间， 从接收到的全部待处理任务中， 确定所述 预测处理时间大于预设处理时间阈值的待处理任务作为所述第二任务调度策略中需要进 行并行处 理的第一待处 理任务； 以所述第一待处理任务的任务数量作为所述目标数量， 从所述多个任务处理节点中处 于空闲状态的空 闲处理节点中， 随机抽取 得到所述目标 数量的空 闲处理节点；权　利　要　求　书 1/3 页 2 CN 115080212 A 2或者， 根据每个任务处理节点的任务处理效率， 按照优先抽取任务处理效率低的任务处理节 点的方式， 从所述多个任务处理节点中处于空闲状态的空闲处理节点中， 优先抽取得到所 述目标数量的空 闲处理节点。 4.根据权利要求1所述的调度方法， 其特征在于， 当所述待处理任务为所述模型训练任 务时， 所述调度方法还 包括： 针对每一所述模型训练任务， 根据 该模型训练任务中包括的不同标注类型的标注训练 样本， 将该模型训练任务拆分成多个模 型训练子任务； 其中， 每一所述模型训练子任务对应 一种标注类型的标注训练样本； 将每一所述模型训练子任务作为 一个独立的所述待处 理任务进行调度处 理。 5.根据权利要求1所述的调度方法， 其特征在于， 所述接收多个任务提交节点提交 的待 处理任务包括： 在当前调度周期内接 收所述多个任务提交节点提交的待处理任务； 通过以 下方法， 从所述多个任务处理节点中， 确定出在当前调度周期内处于空闲状态的目标空闲 处理节点： 将上一调度周期内统计得到的历史流量数据输入至预先训练好的流量预测模型中， 得 到所述流量预测模型输出 的针对下一调度周期的流量预测结果； 其中， 所述流量预测结果 用于表征针对下一调度周期内接收到的待处 理任务的任务数量预测结果； 根据针对下一调度周期的所述流量预测结果， 对按照第 一调度策略在所述下一调度周 期内进行任务调 度所需要的空闲处理节点的节点数量进行预测， 得到针对 所述下一调 度周 期的节点预测结果； 其中， 所述第一调度策略用于表征任务调度性能与所述流量预测结果 相匹配的任务调度策略； 从所述多个任务处理节点中处于空闲状态的空闲处理节点中， 去除所述节点预测结果 表征的节点数量的空闲处理节点， 将剩余的空闲处理节点作为当前调 度周期内处于空闲状 态的目标空 闲处理节点。 6.根据权利要求1所述的调度方法， 其特征在于， 在所述接收多个任务提交节点提交的 待处理任务之后， 确定所述目标任务调度策略的方法还 包括: 将接收到的所述待处理任务的任务数量、 每一所述待处理任务的任务属性、 历史同一 接收时段内所述任务处理节点的占用信息以及当前接 收时段处于空闲状态的空闲处理节 点的节点数量输入至目标算法模型中， 以任务调 度结果符合每一所述待处理任务的任务属 性要求作为输出约束 条件， 以对接收到的每一所述待处理任务进 行任务调 度的整体耗时最 短作为输出目标， 得到所述目标算法模 型输出的针对所述输出目标的最优调 度方案； 其中， 所述最优调度方案符合所述输出约束条件； 以所述最优调度方案作为所述目标任务调度策略， 按照所述最优调度方案， 从所述多 个任务处理节点中， 为接收到的每个所述待处理任务分配用于处理该待处理任务的目标任 务处理节点。 7.根据权利要求1所述的调度方法， 其特征在于， 在所述为接收到的每个所述待处理任 务分配用于处 理该待处 理任务的目标任务处 理节点之后， 所述调度方法还 包括： 响应所述目标任务处理节点针对该待处理任务的处理出现异常， 控制所述目标任务处 理节点自动对该待处理任务重新进行任务处理， 得到所述目标任务处理节点针对该待处理权　利　要　求　书 2/3 页 3 CN 115080212 A 3