(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210538089.1 (22)申请日 2022.05.18 (65)同一申请的已公布的文献号 申请公布号 CN 114648468 A (43)申请公布日 2022.06.21 (73)专利权人 中山大学深圳研究院 地址 518000 广东省深圳市南 山区科技园 南区粤海街道粤兴四道1号中山大学 深圳产学研大楼15层 专利权人 中山大学 (72)发明人 苏航　周凡　刘海亮　林格　 汤武惊　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 杜锴健　任敏 (51)Int.Cl. G06T 5/00(2006.01)G06T 3/40(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 110276721 A,2019.09.24 CN 110276721 A,2019.09.24 CN 113592718 A,2021.1 1.02 CN 110458758 A,2019.1 1.15 EP 3987454 A1,202 2.04.27 US 2021272 247 A1,2021.09.02 唐家福等.基 于多尺度稠密卷积网络的单图 像超分辨 率重建. 《包 装工程》 .2020,(第13期), 林格平等.无字典的超分辨 率多径稀疏信道 估计方法. 《信号处 理》 .2017,(第09期), 审查员 李若童 (54)发明名称 图像处理方法、 装置、 终端设备及计算机可 读存储介质 (57)摘要 本申请适用于智能监控技术领域， 提供了一 种图像处理方法、 装置、 终端设备及计算机可读 存储介质， 其中， 图像处理方法包括： 对待处理图 像进行上采样操作， 得到待处理图像的上采样图 像； 通过预设的残差网络对待处理图像的特征图 进行处理， 得到待处理图像的残差图像； 残差网 络包括n个局部残差提取块， n个局部残差提取块 之间采用稠密连接方式相连； 通过预设的残差增 强网络对特征图进行处理， 得到待处理图像的残 差增强细 节图像； 残差增强网络包括n个卷积块， n个卷积块之间采用稠密连接方式连接； 根据上 采样图像、 残差图像及残差增强细节图像， 得到 待处理图像的目标图像； 目标图像的分辨率高于 待处理图像的分辨率， 从而提高了待处理图像的 分辨率。 权利要求书3页 说明书12页 附图5页 CN 114648468 B 2022.08.16 CN 114648468 B 1.一种图像处 理方法， 其特 征在于， 包括： 对待处理图像进行 上采样操作， 得到所述待处 理图像的上采样图像； 通过预设的残差网络对所述待处理图像的特征图进行处理， 得到所述待处理图像的残 差图像； 所述残差网络包括n个局部残差提取块， 所述n个局部残差提取块之间采用稠密连 接方式相连， n 为大于1的整数； 通过预设的残差增强网络对所述特征图和来自所述残差网络的残差信 息进行处理， 得 到所述待处理图像的残差增强细节图像； 所述残差增强网络包括n个卷积块， 所述n个卷积 块之间采用稠密连接方式连接， 且第i个所述卷积块与第i ‑1个所述局部残差提取块之间采 用稠密连接方式连接， 1<i≤n； 根据所述上采样图像、 所述残差 图像及所述残差增强细节图像， 得到所述待处理图像 的目标图像； 所述目标图像的分辨 率高于所述待处 理图像的分辨 率； 所述残差增强网络还包括第二转置卷积层， 所述第二转置卷积层连接在第n个所述卷 积块之后； 所述通过预设的残差增强网络对所述特征图和来自所述残差网络的残差信息进 行处理， 得到所述待处 理图像的残差增强细节图像， 包括： 通过第1个所述卷积块对所述特征图进行卷积操作， 得到第 一特征信 息， 并输出所述第 一特征信息； 通过第2至第n个所述卷积块对所述特征图进行卷积操作， 得到第一特征信息， 并对来 自前序的所有卷积块的特征信息进行卷积操作， 得到第二特征信息， 以及对来自局部残差 提取块的残差信息进 行卷积操作， 得到第三特征信息， 并输出所述第一特征信息、 所述第二 特征信息及所述第三特 征信息； 通过所述第二转置卷积层对来自第n个所述卷积块的所述第一特征信息、 所述第二特 征信息及所述第三特 征信息进行转置卷积 操作， 得到所述残差增强细节图像。 2.根据权利要求1所述的图像处理方法， 其特征在于， 所述对待处理图像进行上采样操 作， 得到所述待处 理图像的上采样图像， 包括： 对所述待处 理图像进行双三次上采样 操作， 得到所述上采样图像。 3.根据权利要求1所述的图像处理方法， 其特征在于， 所述残差网络还包括第 一转置卷 积层， 所述第一转置卷积层连接在第n个所述局部残差提取块之后； 所述通过预设的残差网 络对所述待处 理图像的特 征图进行处 理， 得到所述待处 理图像的残差图像， 包括： 通过第1个所述局部残差提取块从所述特 征图中提取第一残差信息并输出； 通过第2至第 n个所述局部残差提取块从所述特征图中提取第一残差信息， 并从来自前 序的所有局部残差提取块的残差信息中提取第二残差信息， 以及将所述第一残差信息与所 述第二残差信息进行融合后输出； 通过所述第 一转置卷积层对来自第 n个所述局部残差提取块的残差信 息进行转置卷积 操作， 得到所述待处 理图像的残差图像。 4.根据权利要求3所述的图像处理方法， 其特征在于， 所述局部残差提取块包括依次连 接的浅层残差提取单元、 第一残差去噪单元、 深层残差提取单元、 第二残差去噪单元及卷积 压缩单元； 所述通过第1个所述局部残差提取块从所述特征图中提取第一残差信息并输出， 包括： 针对第1个所述局部残差提取块， 通过所述浅层残差提取单元从所述特征图中提取第权　利　要　求　书 1/3 页 2 CN 114648468 B 2一残差信息； 通过所述第一残差去噪单 元对所述第一残差信息进行去噪处 理； 通过所述深层残差提取 单元从所述第一残差信息中提取深层残差信息； 通过所述第二残差去噪单 元对所述深层残差信息进行去噪处 理； 通过所述卷积压缩单元对去噪处理后的所述深层残差信 息进行卷积处理， 并输出卷积 处理后的所述深层残差信息 。 5.根据权利要求3所述的图像处理方法， 其特征在于， 所述局部残差提取块包括依次连 接的浅层残差提取单元、 第一残差去噪单元、 深层残差提取单元、 第二残差去噪单元及卷积 压缩单元； 所述通过第2至第n个所述局部残差提取块从所述特征图中提取第一残差信息， 并从来自前序的所有局部残差提取块的残差信息中提取第二残差信息， 以及将所述第一残 差信息与所述第二残差信息进行融合后输出， 包括： 针对第2至第 n个所述局部残差提取块， 通过所述浅层残差提取单元从所述特征图中提 取第一残差信息； 通过所述第一残差去噪单 元对所述第一残差信息进行去噪处 理； 通过所述深层残差提取单元分别从所述第一残差信息和目标残差信息中提取深层残 差信息； 所述目标残差信息包括 来自前序的所有局部残差提取块的残差信息； 通过所述第二残差去噪单 元对所述深层残差信息进行去噪处 理； 通过所述卷积压缩单元对去噪处理后的所述深层残差信 息进行卷积处理， 并输出卷积 处理后的所述深层残差信息 。 6.根据权利要求1所述的图像处理方法， 其特征在于， 所述卷积块包括第一卷积层、 第 二卷积层及第三卷积层； 所述通过第1个所述卷积块对所述特征图进 行卷积操作， 得到第一 特征信息， 并输出 所述第一特 征信息， 包括： 针对第1个所述卷积块， 分别通过所述第一卷积层、 所述第 二卷积层及所述第 三卷积层 对所述特 征图进行 卷积操作， 得到第一特 征信息， 并输出 所述第一特 征信息； 所述通过第2至第n个所述卷积块对所述特征图进行卷积操作， 得到第一特征信息， 并 对来自前序的所有卷积块的特征信息进行卷积操作， 得到第二特征信息， 以及对来自局部 残差提取块的残差信息进行 卷积操作， 得到第三特 征信息， 包括： 针对第2至第n个所述卷积块， 通过所述第一卷积层对所述特征图进行卷积操作， 得到 第一特征信息； 通过所述第 二卷积层对来自前序的所有卷积块的特征信 息进行卷积操作， 得到第 二特 征信息； 通过所述第 三卷积层对来自局部残差提取块的残差信 息进行卷积操作， 得到第 三特征 信息。 7.一种图像处 理装置， 其特 征在于， 包括： 上采样单 元， 用于对待处 理图像进行 上采样操作， 得到所述待处 理图像的上采样图像； 第一残差提取单元， 用于通过预设的残差网络对所述待处理图像的特征图进行处理， 得到所述待处理图像的残差图像； 所述残差网络包括n个局部残差提取块， 所述n个局部残 差提取块之间采用稠密连接方式相连， n 为大于1的整数； 第二残差提取单元， 用于通过预设的残差增强网络对所述特征图和来自所述残差网络权　利　要　求　书 2/3 页 3 CN 114648468 B 3