(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211031860.2 (22)申请日 2022.08.26 (71)申请人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 鲍虎军　张举勇　邓治　李特　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06T 17/20(2006.01) G06F 30/13(2020.01) G06F 111/04(2020.01) (54)发明名称 基于具有遮挡信息的草图生成建筑四边形 网格的方法 (57)摘要 本发明公开了一种基于具有遮挡信息的草 图生成建筑四边形网格的方法， 通过建筑用户设 计的折线线条， 通过2D样条曲线的拟合， 获取待 处理2D草图， 通过2D草图所定义的语义关系， 通 过子区域的扩散法， 得到2D草图每一个Mask区 域； 将所述待处理2D草图和对应的Mask区域输入 2D草图到2.5D深度图的可见模块和遮挡模 块， 提 取几何信息并预测出完整的样条曲面； 通过方向 场提取模块从所述待处理2D草图中提取降低歧 义性的共轭 方向场； 将所述共轭 方向场光栅化通 过遮挡关系投影到3D的所述样条曲面上， 并利用 四边形参数化方法将投影的顶点具有共轭方向 场的样条曲面进行四边形化， 得到四边形网格 。 权利要求书4页 说明书11页 附图5页 CN 115457233 A 2022.12.09 CN 115457233 A 1.一种基于具有遮挡信息的草图生成建筑四边形网格的方法， 其特 征在于， 包括： 获取2D草图， 2D草图的可见的正面Mask、 可见的反面Mask和几何遮挡语义的Mask， 2.5D 的语义深度图， 2D的共 轭方向场的数据集； 根据2D草图和2D的共轭方向场的数据集， 训练用于提取2D草图到共轭方向场的方向场 提取模块， 根据2D草图、 2.5D的语义深度图、 可见的正面Mask、 可见的反面Mask和几何遮挡 语义的Mask的数据集， 训练2D草图到2.5D深度图的可见模块， 在所述可见模块输出的基础 上， 根据几何遮挡语义的Mask的数据集， 训练2D草图到2.5D深度图的遮挡模块， 在所述可见 模块和遮挡模块的输出的基础上， 训练用于预测B ‑样条的残差网络模块， 其中所述方向场 提取模块可 见模块和遮挡模块均包括自编码网络和解码网络； 通过建筑用户设计的折线线条， 通过2D样条曲线的拟合， 获取待 处理2D草图， 通过2D草 图所定义的语义关系， 通过子区域的扩散法， 得到2D草图每一个Mask区域； 将所述待处理2D草图和对应的Mask区域输入2D草图到2.5D深度图的可见模块和遮挡 模块， 提取几何信息并预测出完整的样条曲面； 通过所述方向场提取模块从所述待处 理2D草图中提取降低歧义 性的共轭方向场； 将所述共轭方向场光栅化通过遮挡关系投影到3D的所述样条曲面上， 并利用四边形参 数化方法将投影的顶点具有共 轭方向场的样条曲面进行四边形化， 得到四边形网格。 2.根据权利要求1所述的方法， 其特 征在于， 在所述可 见模块的训练中， 目标函数Ev为： Ev＝Ev， dat+wv， smoEv， smo+wv， compEv， comp 其中， Ev， dat表示深度以及法向在可见区域的监督项， Ev， smo表示深度以及法向在可见区 域的正则项， Ev， comp表示深度以及法向在可见区域的一致性的约束， 表 明法向与深度 沿着x 与y法向的梯度要垂直， wv， smo和wv， comp分别为Ev， dat和Ev， smo对应的平衡系数； 其中 是可见的区域， 是可见的正面Mask与可见的反面Mask的并集， σd和σn分别为对应 于 和 的平衡系数， di与 分别表示预测的深度与真值的深度， ni与 分别表示预测的法向与真值的法向； 其中 是可见的区域邻居区域， τd， τn分别对应于(di‑dj)2和(ni‑nj)2的平衡系数， di表 示预测的深度， ni表示预测的法向； 其中， 是可见的右方区域， 是可见的下方区域。 3.根据权利要求1所述的方法， 其特 征在于， 在所述遮挡模块的训练中， 目标函数Eo为： Eo＝Eo， dat+wo， smoEo， smo+wo， compEo， comp+wconsEcons 其中， Eo， dat， Eo， smo， Eo， comp分别表示深度以及法向在遮挡区域的监督项、 深度以及法向在 遮挡区域的正则项和深度以及法向在遮挡区域的一致性的约束， 其具体形式与可见区域约权　利　要　求　书 1/4 页 2 CN 115457233 A 2束是一致的， wo， smo和wo， comp分别为Eo， dat和Eo， smo对应的平衡系数； Econs表示在可见与遮挡的 交叠区域轮廓线区域的一 致， 使得生成的几何在该区域内是满足光滑的； 其中， Ω是轮廓线确定的局部区域， γd， γn分别为对应于 和 的平衡系数， 分别是像素i与像素j的可见深度， 分别 是像素i与像素j的遮挡的深度， 与 分别是像素i与像素j的可见的法向， 与 分别是 像素i与像素j的遮挡的法向。 4.根据权利要求1所述的方法， 其特征在于， 在所述用于预测B ‑样条的残差网络模块的 训练中， 目标函数Esurf为： Esurf＝Esurf， dat+wsurf， fairEsurf， fair 其中Esurf， dat与Esurf， fair分别是监 督项以及正则项， ωsurf， fair是平衡系数； Esurf， dat表示在预测的B ‑样条曲面的与真值的B ‑样条曲面在参数域采样得到的3D信息 要尽可能一 致， Sbsr是参数域的采样点； Esurf， fair表示输出中的30 ×30直积的B ‑样条曲面需要尽可能光滑， 具体就是使用u方向 与v方向的laplace光滑约束， Pi， j表示B‑样条的第i行第j的控制顶点。 5.根据权利要求1所述的方法， 其特征在于， 在所述用于提取2D草图到共轭方向场的方 向场提取模块的训练中， 目标函数Ecdf为： Ecdf＝Ecdf， dat+wcdf， smoEcdf， smo+wcdf， consEcdf， cons 其中Ecdf， dat是可见的共轭方向场与遮挡的共轭方向场的监督项， Ecdf， smo可见的共轭方 向场与遮挡的共轭方向场的正则项， Ecdf， cons表示可见的共轭方向场 与遮挡的共轭方向场在 轮廓的可 见区域与遮挡区域的一 致光滑性约束； 其中， 是可见的区域， 是可见的正面Mask与可见的反面Mask的并集， 是遮挡的区 域， 是遮挡的正面Mask与遮挡的反面Mask的并集， 分别表示可见的真值方 向场， 可见的预测方向场， 遮挡的真值方向场， 遮挡的预测方向场。权　利　要　求　书 2/4 页 3 CN 115457233 A 3