(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210828813.4 (22)申请日 2022.07.15 (65)同一申请的已公布的文献号 申请公布号 CN 114896076 A (43)申请公布日 2022.08.12 (73)专利权人 广州启智 信息科技有限公司 地址 510000 广东省广州市番禺区南村镇 汉溪大道东延伸段387号1809 (72)发明人 王良　 (74)专利代理 机构 成都华复知识产权代理有限 公司 512 98 专利代理师 余鹏 (51)Int.Cl. G06F 9/50(2006.01) G06T 1/20(2006.01)(56)对比文件 CN 111552550 A,2020.08.18 CN 113032137 A,2021.0 6.25 CN 112825047 A,2021.0 5.21 CN 103942283 A,2014.07.23 审查员 冷小素 (54)发明名称 一种图形处理器集群的资源分配控制方法、 系统和装置 (57)摘要 本发明实施例提供了一种图形处理器集群 的资源分配控制方法、 系统和装置， 其通过获取 云平台GPU集群中包含 的L台GPU及其对应的GPU 资源、 获取当前用户需要使用的总GP U的显存， 总 频、 总带宽、 设置显存集合、 运频集合、 以及带宽 集合， 初始化上述集合， 按照当前用户所需显存、 运频和带宽设置待选显存GP U集合、 待选运频GP U 集合和待选 带宽GPU集合， 设置显存权重， 频率权 重以及带宽权重， 根据所述显存权重、 频率权重、 带宽权重以及待选显存GPU 集合、 待选运频GP U集 合、 待选带宽GPU集合等步骤 来分配GPU 集群中的 GPU给当前用户， 提升了目前的GPU集群中分配 GPU的效率。 权利要求书2页 说明书7页 附图1页 CN 114896076 B 2022.10.28 CN 114896076 B 1.一种图形处 理器集群的资源分配控制方法， 其特 征在于， 包括如下步骤： S1.获取云平台GPU集群中包含的GPU的数量为L， 所述L台GPU的GPU资源 互不相同， 其分 别为{M1,M2,M3,…,ML}， {F1,F2,F3,…,FL}， {B1,B2,B3,…,BL}其中M1,M2,M3,…ML为显存的大 小， F1,F2,F3,…FL为频率的大小， B1,B2,B3,…BL为带宽的大小； S2.获取当前用户需要 使用的总GPU的显存的为M， 总频为F， 总带宽为B； S3.设置显存集合Sm,运频集合Sf以及带宽集合Sb， 初始化上述集合， 初始化上述集合之 后， 上述三个集合中的元 素个数均为0个； S4.按照当前用户所需显存设置待选 显存GPU集 合,其具体步骤为： 在集合Sm中查找是否存在显存大小为M ‑M1的GPU， 若存在， 则将显存大小为M ‑M1和显存 大小为M1的GPU设置为待选显存GPU集合； 若不存在， 则将显存 大小为M1的GPU加入到Sm之中， 并进一步在集合Sm中查找是否存在显存大小为M ‑M2的GPU， 若存在， 则将显存大小为M ‑M2和 显存大小为M2的GPU设置为待选显存GPU集合， 若不存在， 则将显存大小为M2的GPU加入到Sm 之中， 按此规 律筛选出最终的两个待选 显存GPU的待选 显存GPU集 合； S5.按照当前用户所需总频设置待选运频GPU集 合； S6.按照当前用户所需带宽设置待选带宽GPU集 合； S7.设置显存权重Wm， 频率权重Wf以及带宽权重Wb， 根据所述显存权重Wm、 频率权重Wf、 带 宽权重Wb以及待选显存GPU集合、 待选运频GPU集合、 待选带宽GPU集合来分配GPU集群中的 GPU给当前用户。 2.根据权利要求1所述的图形处理器集群的资源分配控制方法， 其特征在于， 所述步骤 S5包括： S5.1.在集合Sf中查找是否存在运频大小为F ‑F1的GPU， 若存在， 则将运频大小为F ‑F1和 运频大小为F1的GPU设置为待选运频GPU集合； 若不存在， 则将运频大小为F1的GPU加入到Sf 之中， 并进一步在集合Sf中查找是否存在运频大小为 F‑F2的GPU， 若存在， 则将运 频大小为 F‑ F2和运频大小为F2的GPU设置为待选运频GPU集合， 若不存在， 则将运频大小为F2的GPU加入 到Sf之中， 按此规 律筛选出最终的两个待选运频GPU的待选运频GPU集 合。 3.根据权利要求2所述的图形处理器集群的资源分配控制方法， 其特征在于， 所述步骤 S6包括： S6.1.在集合Sb中查找是否存在带宽大小为B ‑B1的GPU， 若存在， 则将带宽大小为B ‑B1和 带宽大小为B1的GPU设置为待选带宽GPU集合； 若不存在， 则将带宽大小为B1的GPU加入到Sb 之中， 并进一步在集合Sb中查找是否存在带宽大小为B ‑B2的GPU， 若存在， 则将带宽大小为B ‑ B2和带宽大小为B2的GPU设置为待选带宽GPU集合， 若不存在， 则将带宽大小为B2的GPU加入 到Sb之中， 按此规 律筛选出最终的两个待选带宽GPU的待选带宽GPU集 合。 4.根据权利要求3所述的图形处理器集群的资源分配控制方法， 其特征在于， 所述步骤 S7包括： S7.1.若待选显存GPU集合、 待选运频GPU集合、 待选带宽GPU集合的大小均为0， 则要求 用户重新设置需要 使用的总GPU的显存M、 总频 F和总带宽B； S7.2.若待选显存GPU集合、 待选运频GPU集合、 待选带宽GPU集合之中有一个 的大小非 0， 则将大小非0的待选GPU集 合中的GPU分配给用户； S7.3.若待选显存GPU集合、 待选运频GPU集合、 待选带宽GPU集合中有且仅有两个 的大权　利　要　求　书 1/2 页 2 CN 114896076 B 2小非0， 设该两个集合分别为P和Q， 该两个集合对应的权重为Wp和Wq， 求出P和Q的交集I， 若I 的大小为2， 则将I中的GPU分配给当前用户； 若I大小小于或者等于1， 则比较Wp个Wq的大小， 若Wp≥Wq， 则将P中的GPU分配给当前用户， 否则将Q中的GPU分配给当前用户； S7.4.若待选显存GPU集合、 待选运频GPU集合、 待选带宽GPU集合的大小都非0， 设待选 显存GPU集合、 待选运频GPU集合、 待选带宽GPU集合分别为P、 Q和V， 其对应的权重为Wm,Wf和 Wb， 求取P、 Q和V的交集I， 若I的大小为2， 则将I中的GPU分配给当前用户； 若I大小小于或者 等于1， 则比较Wm,Wf和Wb的大小， 选取Wm,Wf和Wb中最大的值对应的集合中的GPU分配给当前 用户。 5.一种图形处理器集群的资源分配控制系统， 其特征在于， 该系统按照权利要求1 ‑4中 任一项所述的方法来分配GPU集群中的GPU给当前用户。 6.一种图形处 理器集群的资源分配控制装置， 其特 征在于， 该装置包括如下模块： 设置模块， 所述设置模块按照如下步骤进行设置： S1.获取云平台GPU集群中包含的GPU的数量为L， 所述L台GPU的GPU资源 互不相同， 其分 别为{M1,M2,M3,…,ML}， {F1,F2,F3,…,FL}， {B1,B2,B3,…,BL}其中M1,M2,M3,…ML为显存的大 小， F1,F2,F3,…FL为频率的大小， B1,B2,B3,…BL为带宽的大小； S2.获取当前用户需要 使用的总GPU的显存的为M， 总频为F， 总带宽为B； S3.设置显存集合Sm,运频集合Sf以及带宽集合Sb， 初始化上述集合， 初始化上述集合之 后， 上述三个集合中的元 素个数均为0个； 待选GPU生成模块， 所述待选GPU生成模块按照如下步骤生成待选GPU： S4.按照当前用户所需显存设置待选 显存GPU集 合， 其具体步骤为： 在集合Sm中查找是否存在显存大小为M ‑M1的GPU， 若存在， 则将显存大小为M ‑M1和显存 大小为M1的GPU设置为待选显存GPU集合； 若不存在， 则将显存 大小为M1的GPU加入到Sm之中， 并进一步在集合Sm中查找是否存在显存大小为M ‑M2的GPU， 若存在， 则将显存大小为M ‑M2和 显存大小为M2的GPU设置为待选显存GPU集合， 若不存在， 则将显存大小为M2的GPU加入到Sm 之中， 按此规 律筛选出最终的两个待选 显存GPU的待选 显存GPU集 合； S5.按照当前用户所需总频设置待选运频GPU集 合； S6.按照当前用户所需带宽设置待选带宽GPU集 合； GPU分配模块， 所述GPU分配模块按照如下步骤给当前用户分配GPU： S7.设置显存权重Wm， 频率权重Wf以及带宽权重Wb， 根据所述显存权重Wm、 频率权重Wf、 带 宽权重Wb以及待选显存GPU集合、 待选运频GPU集合、 待选带宽GPU集合来分配GPU集群中的 GPU给当前用户。权　利　要　求　书 2/2 页 3 CN 114896076 B 3