(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211025772.1 (22)申请日 2022.08.25 (71)申请人 华中师范大学 地址 430079 湖北省武汉市珞喻路152号 (72)发明人 刘乐元　刘旭　陈靓影　孙见弛　 刘三女牙 　杨宗凯　 (74)专利代理 机构 武汉东喻专利代理事务所 (普通合伙) 42224 专利代理师 雷霄 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/44(2022.01) G06T 3/40(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种单图像三维头 部重建方法及系统 (57)摘要 本申请公开了一种单图像三维头部重建方 法及系统。 该方法包括： 获取待重建图像并从中 提取去除背景的头部图像； 将所述头部图像输入 到已训练的法线特征提取模型中， 获得所述头部 图像的法线特征图； 将所述头部图像及其法线特 征图输入到已训练的图像编码器， 获得所述头部 图像的图像特征图； 将三维空间中预设分辨率内 的体素和所述头部图像的图像特征图输入到已 训练的等势面估计器， 获得三维空间中各体素到 潜在三维头部模 型表面的距离值； 利用距离值小 于预设阈值的体素构建所述待重建图像的三维 头部模型。 本发 明可以从单张图像中重建出高质 量、 高保真度的三维头 部模型。 权利要求书2页 说明书8页 附图3页 CN 115526985 A 2022.12.27 CN 115526985 A 1.一种单图像三维头 部重建方法， 其特 征在于， 包括： 获取待重建图像并从中提取去除背景的头 部图像； 将所述头部图像输入到已训练 的法线特征提取模型中， 获得所述头部图像的法线特征 图； 将所述头部图像及其法线特征图输入到已训练的图像编码器， 获得所述头部图像的图 像特征图； 将三维空间中预设分辨率内的体素和所述头部图像的图像特征图输入到已训练的等 势面估计 器， 获得三维空间中各体素到潜在三维头 部模型表面的距离值； 利用距离值小于预设阈值的体素构建所述待重建图像的三维头 部模型。 2.如权利要求1所述的单图像三维头部重建方法， 其特征在于， 所述法线特征提取模型 包括依次连接的下采样块、 特征信息增强模块和扩充特征图尺寸模块， 所述特征信息增强 模块由多个残差块组成， 所述扩充特 征图尺寸模块由多个转置卷积插值操作组成。 3.如权利要求1所述的单图像三维头部重建方法， 其特征在于， 所述图像编码器为卷积 块与二阶沙漏网络累计堆叠四 次组成的网络 。 4.如权利要求1所述的单图像三维头部重建方法， 其特征在于， 所述等势面估计器为6 层感知器， 输入层包括257个神经元， 中间层分别包括1024、 512、 256、 128个神经元， 输出层 包括1个神经 元。 5.如权利要求1所述的单图像三维头部重建方法， 其特征在于， 所述将所述头部图像的 特征图输入到已训练的等势面估计 器包括： 建立三维体素块， 将体素块中体素的三维坐标v通过弱投影透视转换为二维特征图上 的坐标x； 所述头部图像的特征图包含c个通道， 在所述头部图像的特征图中检索坐标位置为x的 图像特征值， 并将检索到的c个通道的图像特 征值连接为 一个特征向量Fx； 将体素块中体素的三维坐标v的Z轴坐标经过归一化处理后的值作为该体素的深度信 息值Dv； 将特征向量Fx和深度信息值Dv通过输入到已训练的等势面估计器， 等势面估计器记为 f， 等势面估计 器的输出记为 6.如权利要求5所述的单图像三维头部重建方法， 其特征在于， 所述弱投影透视转换的 计算公式为： 其中， (s,tx,ty)是所述待重建图像的相机参数， s为缩放因子， (tx,ty)为平移向量， 表示向下 取整。 7.如权利要求1所述的单图像三维头 部重建方法， 其特 征在于， 获取三维头部模型样本， 从所述三维头部模型样本 中提取头部图像样本及法线特征图 标签 利用所述头部图像样本及法线特征图标签训练所述法线特征提取模型， 所述法线特征 提取模型的损失函数LN为权　利　要　求　书 1/2 页 2 CN 115526985 A 2其中， N为所述法线特征提取模型估计的法线特征图， wN为权重因子， L1()是表示L1损 失， LVGG()表示VG G感知损失。 8.如权利要求7 所述的单图像三维头 部重建方法， 其特 征在于， 获取所述头部图像样本的图像特征图从所述三维头部模型样本中采集三维坐标点， 计 算三维坐标点到所述三 维头部模型样本表面的距离值， 作为所述头部图像样本的等势面估 计标签； 利用所述头部图像样本及其图像特征图、 等势面估计标签训练所述图像编码器和所述 等势面估计 器。 9.如权利要求1所述的单图像三维头部重建方法， 其特征在于， 所述利用距离值小于预 设阈值的体素构建所述待重建图像的三维头 部模型包括： 对于距离值小于预设阈值的体素， 通过管道匹配算法提取等势面重建出三维头部模 型， 对三维头 部模型进行曲面平 滑处理。 10.一种单图像三维头 部重建系统， 其特 征在于， 包括： 预处理模块， 用于获取待重建图像并从中提取去除背景的头 部图像； 法线特征图提取模块， 用于将所述头部 图像输入到已训练的法线特征提取模型中， 获 得所述头部图像的法线特 征图； 重建模块， 用于将所述头部 图像及其法线特征图输入到已训练的图像编码器， 获得所 述头部图像的图像特征图， 将三 维空间中预设分辨率内的体素和所述头部图像的图像特征 图输入到已训练的等势 面估计器， 获得三维空间中各体素到潜在三 维头部模型表面的距离 值， 利用距离值小于预设阈值的体素构建所述待重建图像的三维头 部模型。权　利　要　求　书 2/2 页 3 CN 115526985 A 3