(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211103881.0 (22)申请日 2022.09.09 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 周昆　耿佳豪　陈嘉博　任重　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06T 15/00(2011.01) G06T 15/50(2011.01) G06V 10/762(2022.01) G06V 10/764(2022.01) (54)发明名称 一种人脸高光及粗 糙度重建方法 (57)摘要 本发明公开了一种人脸高光及粗糙度重建 方法， 本发明提出了先求区域均值， 再该区域均 值作为约束求该区域内逐像素值的方法。 在自动 划分人脸区域时， 本发明运用k means算法进行人 脸分块， 采用不同属性的数据作为分类参数， 使 得材质数值相近的点被分在同一区块中。 理论验 证和实验结果证明， 本发明解决了求解逐像素材 质时所面临的欠约束问题， 得到的结果能够经得 起人造数据实验验证。 本发明巧妙地增加约束， 创造性地解决求解高光与粗糙度贴图时的欠约 束难题， 可以通过消费者级的硬件获得物体的高 光及粗糙度， 也可以适用于各种不同复杂物体高 光及粗糙度的重建， 运用在虚拟现实场景中， 应 用空间巨大， 具有较高普适 性。 权利要求书2页 说明书5页 附图3页 CN 115375817 A 2022.11.22 CN 115375817 A 1.一种人脸高光及粗 糙度重建方法， 其特 征在于， 包括以下步骤： (1)采集数据： 采集环境由偏振光源以及6台单反相机组成， 偏振光源以及6台单反相机 分布在以被采集者为本中心的半圆上； 其中， 偏振光源的获取方式是在探照灯上蒙上一层 偏振膜； 6台单反相机中， 4台相机的镜头前加平行于探照灯偏振膜的偏振片， 另外2台不加； 调整各个相机的延迟参数使得 各个相机在同一时刻捕获被采集 者不同角度的图像； (2)重建漫反射贴图： 该步骤使用的损失函数如式(1)， 其中albedo为漫反射贴图参数， 函数F(albedo)表示兰伯特B RDF渲染公式， img是目标图片， 将渲染图片与目标图片的差作 为优化时的能量： E(albedo)＝|F(albedo) ‑img|  (1) (3)求解高光与粗 糙度的均值： 本步骤有两种状态： 第一种状态是第 一次执行本步骤时， 人脸尚未被分块， 求均值时的损失函数如式(2)所 示： 其中 为该区域的粗糙度均值， 为该区域的高光均值， img是目标图片 对应区域 值， F表示用粗 糙度和高光 参数渲染出来的图片； 第二种状态为不是第一次执行本步骤， 人脸已经被分块分过了， 求解分块后各子区域 的均值： 将本区域的上一次执行本步骤时所属区域的均值作为约束， 求解本区域算法的高 光与粗糙度均值； 损失函数如式(3)、 (4)、 (5)、 (6)所示； 损失函数由三部分组成， 第一部分 能量E1是渲染图片与目标图片的差值， 其中 为该区域的粗糙度均值， 为 该区域的高光均值， img是目标图片， F表示cook ‑torrance  BSDF渲染函数； 第二部分能量E2 是该区域粗糙度与该区域所属的上一级区域的粗糙度的差值； 第三部 分能量E3是该区域高 光与该区域所属的上一级区域的高光的差值； E＝E1+0.1 ×E2+0.1×E3  (3) (4)对人脸进行分块： 获取图像区域的坐标值之后， 对这些坐标点建立索引， 将分类属 性添加到索引对应空间并且进 行标准化、 归一化； 之后乘上每一个属性的分类权重； 最后将 每一块通过kmeans函数分成更小的类并且将 本类坐标点的索引记录下来； 在人脸分块算法 之前， 需要将所有的属性标准化和归一化， 本发明采用的标准化和归一化算法如式(7)和 (8)所示， 其中mean(x)为数组x的均值， var(x)为数组x的方差， min(x)， max(x)分别为数组 的最小最大值； 数据首 先用式3处 理,然后用式4处 理， 使数据均匀分布在[0,1]闭区间内； 权　利　要　求　书 1/2 页 2 CN 115375817 A 2人脸分块算法采用kmeans聚类算法， 以人脸几何形状表面的三维法向向量值和图片空 间的二维坐标值作为 聚类参数， 如式(9)， 其中normalr,normalg,normalb表示的是储存在 法向向量图三个通道中的三个维度的法向向量值， x,y是该点在图像空间中的坐标， errr, errg,err表示的是该点储存在上一次重建误差色温图三个通道中的值， normalr0, normalg0,normalb0表 示的是聚类中心点储存在法向向量图三个通道中的三个维度的法向 向量值x0,y0是聚类中心点在图像空间中的坐标， errr0,errg0,err0表示的是聚类中心点 储存在上一次重建误差 色温图三个通道中的值； 这样的分类使得人面部属性相似的点被分 在一类中； (5)重复步骤(3)和(4)， 直到最后被分出的区域足够小， 小于40 0像素则停止； (6)用人脸分块算法与人脸均值求解算法求得的解做约束， 通过优化算法逐像素求解 高光材质贴图与漫反射材质贴图， 损失函数如式(10)、 (11)、 (12)和(13)所示； 损失函数由 三部分组成， 第一部分能量E1是渲 染图片与目标图片的差值， 其中r oughness为该像素点的 粗糙度值， specular 为该像素点的高光值， img是目标图片对应像素值， F表 示用粗糙度和高 光参数渲染出来的图片； 第二部分能量E2是该像素粗糙度值roughness与该像素所属区域 的粗糙度均值roughness0的差值； 第三部分能量E3是该像素高光值specular与该像素所属 区域的高光均值specular0的差值： E＝E1+0.1 ×E2+0.1×E3  (10) E1(roughnes s,specular)＝|F(roughnes s,specular) ‑img|  (11) E2(roughnes s)＝|roughnes s‑roughnes s0|  (12) E3(specular)＝|specular ‑specular0|   (13)。权　利　要　求　书 2/2 页 3 CN 115375817 A 3