(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210881390.2 (22)申请日 2022.07.26 (71)申请人 北京计算机技 术及应用研究所 地址 100854 北京市海淀区永定路51号 (72)发明人 李保平　邹琴　暴海龙　谢健　 (74)专利代理 机构 中国兵器 工业集团公司专利 中心 11011 专利代理师 辛海明 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/593(2017.01) G06V 10/44(2022.01) (54)发明名称 一种基于卷积字典的视 差图修复方法 (57)摘要 本发明涉及一种基于卷积字典的视差图修 复方法， 属于图形图像处理领域。 本发明的修复 方法的流程为： 二维视差图卷积字典学习、 M矩阵 估计、 视差图修复三个步骤。 与常用的基于均值 滤波的视差图修复方法相比， 本发 明提出的技术 方案能够利用卷积稀疏编码对视差图学习得到 的卷积字典进行修复， 该修复方法利用卷积字典 中提取到的视差图的图像特征， 同时根据空洞大 小使用多尺度卷积字典进行视差图修复， 在这种 机制下能够对视差图的空洞进行较为精确的修 复。 权利要求书3页 说明书7页 附图1页 CN 115115551 A 2022.09.27 CN 115115551 A 1.一种基于卷积字典的视 差图修复方法， 其特 征在于， 该 方法包括如下步骤： S1、 二维视 差图卷积字典学习 使用视差图数据集中的视差图进行卷积字典学习得到二维视差图卷积字典， 其中卷积 字典学习算法的表达式为， 包括一个 数据项和一个正则化项， 求解字典{dk}和稀疏系数{zj,k}， j表示图像的编号， j ＝1,…,J， k表示字典d的编号， k＝1, …,K； 其中b为训练图像， *为卷积操作， 矩阵M用来消除 边界影响， 其中λ为稀疏正则化约束的惩罚因子； S2、 M矩阵估计 根据待修复视差图中的空洞位置来确定矩阵M， 首先将视差图中视差不为0的像素位置 置1， 视差为0的像素位置置0， 然后通过动态规划的方法得到每个像素为0的位置距离最近 的像素不为0的位置的最短距离， 进而得到一个空洞程度图， 空洞程度图中的值的大小为视 差空洞距离有视差位置像素的远近的空洞程度图， 对空洞程度图中的像素值进行设置获得 视差图修复的M矩阵； S3、 视差图修复 使用卷积字典对待修复视 差图进行 卷积稀疏编码， 公式为， 固定字典D来求解稀疏系数z， 通过增广拉格朗日方法来进行迭代求解， 最终字典D和稀 疏系数z的卷积即为修复之后的视差图； 其中， 定义字典矩阵为 包含向量 化 的 字 典 { dk} ，稀 疏 向 量 表 示 为 包 含 稀 疏 系 数 { zj , k} ， M1,…,MJ相同， 均为公式(1)中的M， 包含 训练图像{bj}。 2.如权利要求1所述的基于卷积字典的视差图修复方法， 其特征在于， 所述步骤S1中的 视差图数据集 为Middlebury视 差图数据集。 3.如权利要求1所述的基于卷积字典的视差图修复方法， 其特征在于， 所述步骤S1中的 公式(1)是双凸问题， 使用交替方向乘子法进行求解， 固定字典{dk}来求解稀疏系数{zj,k}， 固定稀疏系数{zj,k}来求解字典{dk}。 4.如权利要求3所述的基于卷积字典的视差图修复方法， 其特征在于， 通过交替方向乘 子法对视差图数据集进行学习， 通过设置字 典{dk}的尺寸为7 ×7×100、 11×11×100、 15× 15×100， 来学习不同尺度的卷积字典。 5.如权利要求4所述的基于卷积字典的视差图修复方法， 其特征在于， 所述步骤S2中， 根据空洞程度图， 对该图中的像素进行分类， 共分为像素值小于等于5、 值大于5小于等于 10、 值大于10的三类。权　利　要　求　书 1/3 页 2 CN 115115551 A 26.如权利要求5所述的基于卷积字典的视差图修复方法， 其特征在于， 将空洞程度图中 的第一类像素值置为0， 其他置为 1， 作为使用7 ×7×100字典进 行视差图修复的M矩阵， 第一 类像素为像素值小于等于 5的像素。 7.如权利要求5所述的基于卷积字典的视差图修复方法， 其特征在于， 将空洞程度图中 的第二类像素值置为0， 其他置为1， 作为使用11 ×11×100字典进行视差图修复的M矩阵， 第 二类像素为像素值大于 5小于等于10的像素。 8.如权利要求5所述的基于卷积字典的视差图修复方法， 其特征在于， 将空洞程度图中 的第三类像素值置为0， 其他置为1， 作为使用15 ×15×100字典进行视差图修复的M矩阵， 第 三类像素为像素值大于10的像素。 9.如权利要求4 ‑8任一项所述的基于卷积字典的视差图修复方法， 其特征在于， 所述步 骤S3中， 依 次使用三种尺度的卷积字典对待修复视差图进行卷积稀疏编码， 使用三种尺度 的卷积字典进行 卷积稀疏编码的过程 一致。 10.如权利要求9所述的基于卷积字典的视差图修复方法， 其特征在于， 所述步骤S3 中， 使用交替方向乘子 法ADMM算法进行求解公 式(2)， 通过引入辅助变量s＝Dz和t ＝z,公式(2) 中的z子问题的增广拉格朗日函数表示 为， 其中 N(t)＝λ||t||1, αz、 βz为需要求解的参数， ρα, ρβ是惩罚因 子， 定义ρz＝ρβ/ρα， 具体的求 解过程为， S31、 首先对D进行FFT变换； 对每 一个频域下标l构建 L表示的是每个小字典d的 长度， 字典D包含的是K个L*L大小的字典， D的尺 寸为KL*KL的稀疏矩阵， 在求解的过程中对D 进行变量重排 为L个K*K的矩阵进行求 解； S32、 令i＝1到V， 对变量si,ti, 进行FFT变换为 S33、 使用矩阵逆引理对每个下标l和每个样本j求解 其中 和 都是常 数； 其中， H表示 转置； S34、 进行反傅里叶变换 S35、 求解si+1,其中M是对角矩阵， 其中， I为单位矩阵；权　利　要　求　书 2/3 页 3 CN 115115551 A 3