金融行业标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210535343.2 (22)申请日 2022.05.17 (71)申请人 成都商汤科技有限公司 地址 610000 四川省成 都市中国(四川)自 由贸易试验区成都市天府新区湖畔路 北段366号1栋3楼1号 (72)发明人 徐小凤 田茂清  (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 袁忠林 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06F 9/445(2018.01) (54)发明名称 一种数据处理方法、 装置、 电子设备及存储 介质 (57)摘要 本公开提供了一种数据处理方法、 装置、 电 子设备及存储介质, 其中, 该方法包括: 获取预先 生成的配置文件, 其中, 配置文件中包括训练数 据的第一文件路径以及模型框架结构的第二文 件路径; 在执行配置文件的情况下, 通过第一文 件路径获取训练数据以及通过第二文件路径获 取模型框架结构, 并利用训练数据以及模型框架 结构进行模型训练, 得到目标模型; 在确定目标 模型符合预设部署条件的情况下, 将目标模型部 署至目标应用平台。 本公开实施例通过执行配置 文件可以自动获取有关模型训练所需训练数据 和模型框架结构, 还可利用训练数据对模型框架 结构进行自主训练, 整个模型训练及其后续的部 署过程具备良好的自动化水平, 节约了大量人力 成本。 权利要求书2页 说明书11页 附图2页 CN 114913375 A 2022.08.16 CN 114913375 A 1.一种数据处 理方法, 其特 征在于, 包括: 获取预先生成的配置文件, 其中, 所述配置文件中包括训练数据的第一文件路径以及 模型框架结构的第二文件路径; 在执行所述配置文件的情况下, 通过所述第 一文件路径获取训练数据以及通过所述第 二文件路径获取模型框架结构, 并利用所述训练数据以及所述模型框架结构进行模型训 练, 得到目标模型; 在确定所述目标模型符合预设部署条件的情况下, 将所述目标模型部署至目标应用平 台。 2.根据权利要求1所述的方法, 其特征在于, 所述利用所述训练数据以及所述模型框架 结构进行模型训练, 得到目标模型, 包括: 利用所述训练数据以及所述模型框架结构对待训练模型进行至少两个阶段训练, 得到 每个阶段训练完成的候选模型, 其中, 每个阶段对应至少一轮模型训练, 且训练轮次与阶段 级数呈正相关; 从各个阶段训练完成的候选模型中, 选取目标模型。 3.根据权利要求2所述的方法, 其特征在于, 所述配置文件中还包括测试数据的第 三文 件路径; 所述从各个阶段训练完成的候选模型中, 选取目标模型, 包括: 通过所述第三文件路径获取测试 数据; 针对所述各个阶段训练完成的每个候选模型, 基于所述测试数据对所述候选模型进行 测试, 确定所述 候选模型的准确率; 基于各个所述 候选模型的准确率, 从各个所述 候选模型中选取目标模型。 4.根据权利要求3所述的方法, 其特征在于, 所述基于各个所述候选模型的准确率, 从 各个所述 候选模型中选取目标模型, 包括: 按照各个所述候选模型的准确率由大到小的顺序对各个所述候选模型进行排序, 确定 排序后的各个候选模型; 从排序后的各个候选模型中选取最佳名次的候选模型; 在确定选取出的候选模型符合预设精度要求的情况下, 将所述选取出的候选模型确定 为目标模型。 5.根据权利要求2至4任一所述的方法, 其特征在于, 在得到每个阶段训练完成的候选 模型之后, 所述方法还 包括: 获取模型评测参数; 针对每个训练阶段完成的候选模型, 利用所述模型评测参数对所述候选模型进行评 测, 得到评测结果; 将各个训练阶段完成的候选模型 得到的评测结果存 储至预设的累积文件中。 6.根据权利要求5所述的方法, 其特 征在于, 所述方法还 包括: 响应于评测结果 查询请求, 从存 储的累积文件中获取目标查询结果。 7.根据权利要求1至6任一所述的方法, 其特征在于, 按照如下步骤确定所述目标模型 符合预设部署条件: 对所述目标模型进行文件打包, 得到模型文件; 在确定所述模型文件符合预设部署平台精度的情况下, 确定所述目标模型符合预设部权 利 要 求 书 1/2 页 2 CN 114913375 A 2署条件。 8.根据权利要求1至7任一所述的方法, 其特 征在于, 按照如下步骤生成配置文件: 从数据标注 平台获取当前 标注好的各个图片数据; 按照各个图片数据的属性标识信息, 将各个图片数据拆分为训练数据和 测试数据; 基于所述训练数据指示的有关训练集文件的第 一文件路径、 以及所述测试数据指示的 有关测试集文件的第三文件路径, 生成所述配置文件。 9.根据权利要求1至8任一所述的方法, 其特征在于, 在确定所述目标模型不符合预设 部署条件的情况 下, 所述方法还 包括: 利用所述训练数据以及所述模型框架结构再次进行模型训练, 直至得到的目标模型符 合预设部署条件。 10.一种数据处 理装置, 其特 征在于, 包括: 获取模块, 用于获取预先生成的配置文件, 其中, 所述配置文件中包括训练数据的第一 文件路径以及模型框架结构的第二文件路径; 训练模块, 用于在执行所述配置文件的情况下, 通过所述第一文件路径获取训练数据 以及通过所述第二文件路径获取模型框架结构, 并利用所述训练数据以及所述模型框架结 构进行模型训练, 得到目标模型; 部署模块, 用于在确定所述目标模型符合预设部署条件的情况下, 将所述目标模型部 署至目标应用平台。 11.一种电子设备, 其特征在于, 包括: 处理器、 存储器和总线, 所述存储器存储有所述 处理器可执行 的机器可读指令, 当电子设备运行时, 所述处理器与所述存储器之间通过总 线通信, 所述机器可读指 令被所述处理器执行时执行如权利要求 1至9任一项 所述的数据处 理方法的步骤。 12.一种计算机可读存储介质, 其特征在于, 该计算机可读存储介质上存储有计算机程 序, 该计算机程序被处理器运行时执行如权利要求1至9任一项所述的数据处理方法的步 骤。权 利 要 求 书 2/2 页 3 CN 114913375 A 3

.PDF文档 专利 一种数据处理方法、装置、电子设备及存储介质

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据处理方法、装置、电子设备及存储介质 第 1 页 专利 一种数据处理方法、装置、电子设备及存储介质 第 2 页 专利 一种数据处理方法、装置、电子设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:01:05上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。