注: ICS 35.240.01 YD CCS L67 中华人民共和国行业标准 YD/T XXXXXXXX 光学字符识别（OCR）服务技术要求和评 估方法 Technical reguirements and evaluation methods for optical character recognition (OCR) services (报批稿) XXXX-XX-XX 发布 XXXX-XX-XX 实施 中华人民共和国工业和信息化部发布 YD/T XXXX—XXXX 前言 本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起 草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院、南京新一代人工智能研究院有限公司、上海商汤智能科技 有限公司、中国移动通信集团有限公司、北京百度网讯科技有限公司、腾讯云计算（北京）有限责任公 司、中国联合网络通信集团有限公司、马上消费金融股份有限公司、中移（苏州）软件技术有限公司、 北京交通大学。 本文件主要起草人：刘硕、石霖、邹皓、武焕、蒋慧、宋方方、沈援海、杨阳、许一骅、李强、姚 、孙尧佳、冯月、吴秦龙、闫伟、王伟、刘吉强、李超。 II YD/T XXXX—XXXX 引言 随着深度学习技术的发展，OCR成熟度不断提高，被广泛用于金融、物流、交通、内容安全等领 型必不可少的组成部分。 当前市场上OCR相关的服务系统越来越多，OCR服务的场景越发多样和细化，如何科学评价OCR 的服务水平对于促进相关技术和产业的发展至关重要，但目前国内OCR技术评估标准不统一，为了进 一步引导相关产业发展，特开展本文件的制定工作。 III YD/T XXXX—XXXX 光学字符识别（OCR）服务技术要求和评估方法 1范围 本文件规定了光学字符识别（OCR）服务在功能、性能、安全等方面的技术要求以及评估 方法。 本文件适用于指导第三方测评机构对OCR服务的评估、验收等工作。 规范性引用文件 2 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的 引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有 的修改单）适用于本文件。 GB/T41867—2022信息技术人工智能术语 DA/T77一2019纸质档案数字复制件光学字符识别（OCR）工作规范 3术语和定义 下列术语和定义适用于本文件。 3. 1 光学字符识别optical character recognition；ocR 通过信息技术对图像文件中的字符形状进行识别、文字转换和文本输出、呈现的过程。 [来源：DA/T77-2019，定义3.3] 3. 2 OCR服务OCRservice 以公有云、私有云、边缘服务等为基础，提供OCR算法和模型，组合预处理、检测、识 别、后处理等模块，该服务可直接将图片、文档的文字识别出来。 3. 3 子序列 sub-sequence 一个序列S任意删除若干个字符得到新序列T，则T叫做S的子序列。 3. 4 1 YD/T XXXX—XXXX 最长公共子序列longestcommonsub-sequence 两个序列的公共子序列中，长度最长的定义为最长公共子序列。 4缩略语 下列缩略语适用于本文件。 GT 真值 Ground Truth LCS 最长公共子序列 Longest Common Sub-sequence OCR 光学字符识别 Optical Character Recognition OCR服务的类别 5 5.1卡证类OCR服务 即能够识别卡证图片中的文字。主要包括： 具有固定样式的标准卡证，例如身份证、银行卡、营业执照、驾驶证、行驶证、护照、 道路运输证等； 一一其他非标准卡证，例如学生卡、公司工卡等。 5. 2 票据类OCR服务 即能够识别常见票据图片中的文字。主要包括： 一具有固定样式的规范类票据，例如增值税发票、出租车发票、火车票、机票行程单、 定额发票、车辆通行费发票、机动车销售发票等； 其他非规范类票据，例如不同超市的购物小票等。 5.3一图多票/卡识别服务 即能够实现识别一张同时包含多张票据、卡证的图片。例如一张包括出租车票、火车票、 飞机票等报销单照片。 5.4通用场景类OCR服务 即能够识别自然图片中的文字。包括但不限于： 指示牌、菜单、车牌等自然场景文字识别； 一一纸质材料中文字和表格等。 6要求项及规范性描述 6.1性能指标项 6.1.1字段召回率 即识别正确的字段数占实际字段数的比例。当预测结果和GT完全一致，才视为一个字段 正确。 2 YD/T XXXX—XXXX 识别正确字段数 字段召回率： ×100%#(1) 应识别字段总数 6.1.2字符准确率 查找预测结果和GT的最长公共子序列LCS，字符准确率为所有LCS长度相加并乘以2，除 以所有预测结果长度与GT长度的和。 2×最长公共子序列 字符准确率： ×100%#(2) 所有预测结果长度+应识别的字段总数 6.1.3字段准确率 字段准确率为正确字段的个数乘以2，除以所有预测结果和GT个数的和。当预测结果和 GT完全一致，才视为一个字段正确。 2×正确字段个数 × 100%#(3) 字段准确率： 应识别的字段总数 6.2功能要求项 6.2.13 手写字符识别 即实现对手写字符的识别，包括数字、文字和常见符号等。 6.2.2多语言识别 识别下列多种语言字符： 中文字符：需包含GB18030-2022中的87887个汉字： 一一日文字符：需包含常用假名和2010年11月日本政府公布的《改订常用汉字表》中的2136 个汉字； 其他语言：需包括其特有字符。 6.2.3任意角度识别 即识别不同角度（旋转、倾斜）的图片文字。 6.2.4多编程语言接口支持 OCR服务提供多种编程语言接口，包括Java、Python、Node.js、C++、C#等。 6.3安全要求项 6.3.1数据保护能力 OCR服务应采取数据保护措施保护用户数据的隐私和安全，如服务端不留存相应数据、采 用加密算法保护等，确保用户数据在服务过程中不会被泄露。 6.4其他 6.4.1特定场景的能力要求 3 YD/T XXXX—XXXX 在卡证类OCR服务场景下，可具备鉴别翻拍、复印卡证的能力。 7 评估方法 评估主要分为三个部分，即性能评估、功能评估和安全性评估三个部分。 7.1性能评估方法 性能评估主要是针对各类涉及到的图像测试集，通过比对原始标注真值和OCR识别结果， 统计相应的字段召回率、字符准确率、字段准确率等指标。 一一各类型样本数量均应大于300； 一一各类型样本指标宜分开统计各项指标。 7.2功能评估方法 功能评估主要根据相应的功能项，准备相应的图片样例，逐一对各个功能项进行验证。 验证各功能时，需要满足性能指标前置要求，字符准确率90%以上； 一一对每一项功能，需要开展至少3次以上验证。 7. 3 安全性评估 安全性评估主要根据安全性指标针对数据保护进行评估。 通过检查OCR服务所提供的安全保护方法进行评估。 7.4伪造鉴别能力评估 伪造鉴别能力评估主要针对伪造鉴别能力（可选）进行评估， 准备通过屏幕翻拍、（证照）复印件等图片，评估OCR服务是否能够辨别并提示其 为非真卡证等； 一一宜开展至少3次以上验证。 4