(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211093179.0 (22)申请日 2022.09.08 (71)申请人 阿里巴巴 （中国） 有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 张骏飞　 (74)专利代理 机构 北京清源汇知识产权代理事 务所(特殊普通 合伙) 11644 专利代理师 冯德魁 (51)Int.Cl. H04N 21/234(2011.01) H04N 21/2343(2011.01) H04N 21/44(2011.01) G06F 30/13(2020.01) G06F 30/27(2020.01)G06N 3/04(2006.01) G06T 15/00(2011.01) G11B 27/031(2006.01) G11B 27/036(2006.01) G06T 15/04(2011.01) G06T 15/06(2011.01) G06T 15/20(2011.01) (54)发明名称 视频生成方法、 视频帧生成方法、 装置及电 子设备 (57)摘要 本申请公开了一种视频生 成方法、 视频帧生 成方法、 装置及电子设备， 该方法包括获得多组 场景数据， 针对多组场景数据中的第一类型场景 数据， 按照第一类型场景数据生成第一类型场景 辅助图和第一类型视频帧； 针对多组场景数据中 的第二类型场景数据， 按照第二类型场景数据生 成第二类型场景辅助图， 并根据第一类型场景辅 助图、 第一类型视频帧和第二类型场景辅助图， 生成第二类型视频帧； 根据第一类型视频帧和第 二类型视频帧， 生成对应于多组场景数据的视 频； 该方法中， 并不需要将上述多组场景数据中 的每组场景数据全部进行渲染处理， 可降低视频 生成过程的渲染 成本。 权利要求书4页 说明书18页 附图4页 CN 115174963 A 2022.10.11 CN 115174963 A 1.一种视频生成方法， 其特 征在于， 包括： 获得多组场景数据， 所述多组场景数据中的一组场景数据用于表示一个场景的布局状 态， 所述一个场景为针对一个物理空间的布局设计的一个展示角度场景， 所述多组场景数 据为每个展示角度场景 所需的展示数据； 针对所述多组场景数据中的第 一类型场景数据， 按照所述第 一类型场景数据生成第 一 类型场景辅助图和第一类型视频帧； 针对所述多组场景数据中的第 二类型场景数据， 按照所述第 二类型场景数据生成第 二 类型场景辅助图， 并根据所述第一类型场景辅助图、 所述第一类型视频帧和所述第二类型 场景辅助图， 生成第二类型视频帧； 根据所述第 一类型视频帧和所述第 二类型视频帧， 生成对应于所述多组场景数据的视 频。 2.根据权利要求1所述的视频生成方法， 其特征在于， 所述方法应用于服务端， 所述获 得多组场景数据， 包括： 获得客户端提供的针对所述物理空间的布局参数， 根据所述布局参 数生成所述每 个展示角度场景 所需的展示数据； 或者， 所述方法应用于服务端， 所述获得多组场景数据， 包括： 获得客户端提供的所述 每个展示角度场景 所需的展示数据； 或者， 所述方法应用于客户端， 所述获得多组场景数据， 包括： 响应于检测到用户针对 所述物理空间的设计操作， 获得针对所述物理空间的布局 参数， 根据所述布局 参数生成所 述每个展示角度场景 所需的展示数据。 3.根据权利要求1所述的视频生成方法， 其特 征在于， 还 包括： 从所述多组场景 数据中获得任意 一组场景 数据， 作为待处 理场景数据； 判断所述待处 理场景数据所属的类型； 所述针对所述多组场景数据中的第 一类型场景数据， 按照所述第 一类型场景数据生成 第一类型场景辅助图和待生成视频中的第一类型视频帧， 包括： 如果所述待处理场景数据 为第一类型场景数据， 则按照所述待处理场景数据生成所述待处理场景数据的辅助图和对 应所述待处 理场景数据的视频帧； 所述针对所述多组场景数据中的第 二类型场景数据， 按照所述第 二类型场景数据生成 第二类型场景辅助图， 包括： 如果所述待处理场景数据为第二类型场景数据， 则按照所述待 处理场景数据生成所述待处 理场景数据的辅助图。 4.根据权利要求3所述的视频生成方法， 其特征在于， 所述如果所述待处理场景数据为 第一类型场景数据， 则按照所述待处理场景数据生成所述待处理场景数据的辅助图和对应 所述待处理场景数据的视频帧， 包括： 如果所述待处理场景数据为第一类型场景数据， 则按 照所述待处理场景数据生成所述待处理场景数据的法向量图、 深度图、 纹理图和效果图， 将 所述法向量图、 所述深度图、 所述纹理图作为所述待处理场景数据的辅助图， 将所述效果图 作为对应所述待处 理场景数据的视频帧。 5.根据权利要求3所述的视频生成方法， 其特征在于， 如果所述待处理场景数据为第 二 类型场景数据， 则按照所述待处理场景数据生 成所述待处理场景数据的法向量图、 深度图、 纹理图和运动向量图， 将所述法向量图、 所述深度图、 所述纹理图和所述运动向量图作为所 述待处理场景数据的辅助图。权　利　要　求　书 1/4 页 2 CN 115174963 A 26.根据权利要求1所述的视频生成方法， 其特征在于， 所述根据 所述第一类型场景辅助 图、 所述第一类型视频帧和所述第二类型场景辅助图， 生成第二类型视频帧， 包括： 将在所述多组场景数据中与所述第二类型场景数据相邻的第一类型场景数据的第一 类型场景辅助图和 第一类型视频帧， 确定为相邻第一类型场景辅助图和相 邻第一类型视频 帧； 根据所述第 二类型场景辅助图中的运动向量图和所述相邻第 一类型视频帧， 将所述相 邻第一类型视频帧中的像素点映射到待生成的第二类型视频帧中的像素点， 获得映射后的 相邻第一类型视频帧， 并根据所述相 邻第一类型视频帧和所述映射后的相 邻第一类型视频 帧， 将所述相 邻第一类型场景辅助图中的像素点特征映射到所述待生成的第二类型视频帧 中的像素点特 征， 获得映射后的相邻第一类型场景辅助图； 根据所述第 二类型场景辅助图、 所述映射后的相邻第 一类型视频帧和所述映射后的相 邻第一类型场景辅助图， 获得 所述映射后的相邻第一类型视频帧的权 重； 根据所述映射后的相邻第 一类型视频帧的权重和所述映射后的相邻第 一类型视频帧， 生成所述第二类型视频帧。 7.根据权利要求6所述的视频生成方法， 其特征在于， 所述根据 所述第二类型场景辅助 图中的运动向量图和所述相邻第一类型视频帧， 将所述相 邻第一类型视频帧中的像素点映 射到待生成的第二类型视频帧中的像素点中， 获得映射后的相邻第一类型视频帧， 包括： 针对所述相邻第一类型视频帧中的待映射像素点， 根据 所述第二类型场景辅助图中的 运动向量图， 确定所述待映射像素点在所述待生成的第二类型视频帧中的位置， 按照在所 述待生成的第二类型视频帧中已确定位置的所有待映射像素点生成初始第二类型视频， 作 为映射后的相邻第一类型视频帧。 8.根据权利要求6所述的视频生成方法， 其特征在于， 所述根据 所述相邻第 一类型视频 帧和所述映射后的相 邻第一类型视频帧， 将所述相邻第一类型场景辅助图中的像素点特征 映射到所述待生成的第二类型视频帧中的像素点特征中， 获得映射后的相 邻第一类型场景 辅助图， 包括： 针对所述相邻第一类型场景辅助图中的待映射像素点特征， 确定所述待映射像素点特 征在所述相邻第一类型视频帧所对应的第一像素点， 根据所述相 邻第一类型视频帧和所述 映射后的相邻第一类型视频帧之间的像素点映射关系， 确定所述第一像素点在所述映射后 的相邻第一类型视频帧中对应的第二像素点， 将所述待映射像素点特征确定为所述第二像 素点的像素点特征， 根据所述映射后的相 邻第一类型视频帧中已确定像素点特征的像素点 的像素点特 征， 生成映射后的相邻第一类型场景辅助图。 9.根据权利要求6所述的视频生成方法， 其特征在于， 所述根据 所述第二类型场景辅助 图、 所述映射后的相邻第一类型视频帧和所述映射后的相邻第一类型场景辅助图， 获得所 述映射后的相邻第一类型视频帧的权 重， 包括： 将所述第二类型场景辅助图、 所述映射后的相邻第 一类型视频帧和所述映射后的相邻 第一类型场景辅助图输入到权重处理模型中， 获得所述映射后的相邻第一类型视频帧的权 重， 所述权重处理模型是用于根据待生成视频帧对应的场景辅助图、 映射后的相邻视频帧 和映射后的相 邻视频帧对应的场景辅助图、 获得所述映射后的相 邻视频帧在生成所述待生 成视频帧时的权 重。权　利　要　求　书 2/4 页 3 CN 115174963 A 3