(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221042876 6.4 (22)申请日 2022.04.22 (71)申请人 杭州仟金顶信息科技有限公司 地址 310000 浙江省杭州市滨江区滨安路 756号A区五层518室 (72)发明人 洪理斌　张跃　宓建栋　 (74)专利代理 机构 成都佳划信知识产权代理有 限公司 5126 6 专利代理师 楚鸿艳 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/21(2019.01) G06F 9/445(2018.01) H04L 9/32(2006.01) (54)发明名称 一种应用大数据的异构数据 同步方法及存 储介质 (57)摘要 本发明涉及异构数据处理技术领域， 尤其涉 及一种应用大数据的异构数据同步方法及存储 介质， 其包括存储介质以及同步方法， 其包括如 下步骤： 步骤1.自定义配置数据源用户信息； 步 骤2.封装插件数据源； 步骤3.传送参数表名； 步 骤4.数据过滤： 步骤5.自定义分区数； 步骤6.进 行插入方式定义； 步骤7.启动脚本； 步骤8.反射 获取main方法； 步骤9.执行封装数据； 步骤10.启 动对应的App； 步骤11.反馈作业结束后， 系统申 请资源； 步骤12.获取资源后， 创建executor对象 进程； 步骤13.分布式分配任务传输到随机机器； 步骤14.调用查看Log 日志； 步骤15.结束 运行。 本 发明提升 了同步性能以及企业 生产服务的效率。 权利要求书1页 说明书4页 附图1页 CN 114840603 A 2022.08.02 CN 114840603 A 1.一种应用大 数据的异构数据同步方法， 其特 征在于， 包括如下步骤： 步骤1.自定义配置数据源用户信息， 进行 数据同步处 理； 步骤2.封装 插件数据源， 优化处 理流程； 步骤3.传送参数表名， 系统传入需要配置的表名至数据同步页面,其中包括库名； 步骤4.数据过 滤， 自定义数据类别， 按需筛 选过滤； 步骤5.过 滤后的数据信息按照用户反馈进行自定义分区数； 步骤6.自定义分区后的数据按照用户反馈进行插 入方式定义； 步骤7.启动脚本， 将配置好的脚本提交至IDC集群； 步骤8.程序反射获取mai n方法， 同时进行 执行main方法； 步骤9.执 行完成mai n方法后封装数据， 发送控制命令； 步骤10.接收控制命令后， 根据用户选择启动对应的Ap plication， 进行反馈作业操作； 步骤11.反馈作业结束后， 系统申请资源， 向IDC集群申请资源后进行运行 执行； 步骤12.获取资源后， 创建需要的executor对象进程； 步骤13.分布式分配任务传输 到随机机器； 步骤14.调用查看L og日志； 步骤15.结束同步 运行状态。 2.根据权利要求1所述的一种应用大数据的异构数据同步方法， 其特征在于， 所述步骤 1具体包括如下内容： 自定义配置数据库源信息用于表的数据同步使用， 配置程序提交所需 要的内存大小， 核心数， 提交模式， 核心内存的配置信息 。 3.根据权利要求1所述的一种应用大数据的异构数据同步方法， 其特征在于， 所述步骤 2具体包括如下内容： 基于 md5摘要算法对 数据校验， 在数据校验完成后， 进而进 行基于潜在 语义分析算法进行对数据进行权 重分析。 4.根据权利要求1所述的一种应用大数据的异构数据同步方法， 其特征在于， 所述步骤 5具体包括如下内容： 系统进行定义目标表的分区数， 如果不需要定义分区数， 则系统默认 为1个分区数。 5.根据权利要求1所述的一种应用大数据的异构数据同步方法， 其特征在于， 所述步骤 6具体包括一下内容： 配置追加， 覆盖以及动态插入方式， 其中动态插入默认按照数据来进 行确定分区数进行 数据插入。 6.根据权利要求1所述的一种应用大数据的异构数据同步方法， 其特征在于， 所述步骤 9具体为以下内容： 封装并发送指令ap p至机器， 接着调入弹性分布式数据集 转换形成DAG。 7.根据权利要求1所述的一种应用大数据的异构数据同步方法， 其特征在于， 所述步骤 12具体为一下内容： 启动EB并且创建需要的executor对象进程,这里被需要的对象 executor的标准 为1个以上， 根据分区数生成对应的executor数。 8.根据权利要求1所述的一种应用大数据的异构数据同步方法， 其特征在于， 所述步骤 14具体为以下内容： L og日志进行查看任务 运行情况， 预知信息， 以及获取程序报错原因。 9.一种计算机可读存储介质， 其特征在于， 存储介质上存储有计算机程序， 当所述计算 机程序被处理器执行时， 实现如权利要求 1至8任一项 所述的一种应用大数据的异构数据同 步方法。权　利　要　求　书 1/1 页 2 CN 114840603 A 2一种应用大数据的异构数据同步方 法及存储介质 技术领域 [0001]本发明涉及异构数据处理技术领域， 尤其涉及一种应用大数据的异构数据同步方 法及存储介质。 背景技术 [0002]本部分中的 陈述仅提供与本公开有关的背景信息并且不构成现有技 术。 [0003]大数据这个名词越来越多的被人提起， 在大数据技术发展的需要下， 各种组件和 新技术不断加码， 使其海量而 又多源的数据被用来发挥其价值， 众所周知， 业务的数据来源 总是多元化的， 基于此， 对数据同步的方法以及数据存储方法提出了较高的要求， 其中数据 存储是以某种格式记录在计算机内部或外部存储介质上； 目前技术中数据存储要命名， 这 种命名要反映信息特征 的组成含义， 数据存储反映系统中静止的数据， 表现出静态数据的 特征。 在数据存储的过程中必定有 数据同步过程， 数据同步是一种将信息进行备份的过程， 很多情况下数据的同步会在相同架构的环境下进 行， 例如安卓手机的信息可以云同步到安 卓的云空间中， 但是 无法同步到非安卓的架构中。 [0004]目前公开的技术中， 普遍依 旧在统一架构下进行数据的同步， 这主要是因为不 同 架构下的代码处理逻辑、 程序的运行条件不同， 因此跨架构的同步实现具有较大 的技术难 度， 部分已知的技术， 追其本质也是经过了中间架构的转换过渡进 行的跨架构数据同步， 并 不是实际意 义上的直接数据同步。 发明内容 [0005]发明人通过研究发现： 跨架构的数据同步存在核心的技术难点的归结在于目前公 开的数据同步方法均会存在同步周期 长、 数据在同步过程中容易出现数据丢失或者数据重 复的问题， 同时因为数据的繁杂还 会导致系统待机， 进 而出现数据库奔溃的情况。 [0006]本公开的目的在于提供一种应用大数据的异构数据同步方法及存储介质， 通过步 骤1‑步骤15的处理逻辑来解决现有技术中同架构下的异构数据同步周期 长的技术问题； 同 时也解决了异构数据同步时数据容 易丢失与重复的技 术问题据。 [0007]本公开的一个方面， 提供一种应用大数据的异构数据同步方法， 包括如下步骤： 步 骤1.自定义配置数据源用户信息， 进行数据同步处理； 步骤2.封装插件数据源， 优化处理流 程； 步骤3.传送参数表名， 系统传入需要配置的表名至数据同步页面,其中包括库名； 步骤 4.数据过滤， 自定义数据类别， 按需筛选过滤； 步骤5.过滤后的数据信息按照用户反馈进 行 自定义分区数； 步骤6.自定义分区后的数据按照用户反馈进行插入方式定义； 步骤7.启动 脚本， 将配置好的脚本提交至IDC集群； 步骤8.程序反射获取main方法， 同时进行执行main 方法； 步骤9.执行完成main方法后封装 数据， 发送控制命令； 步骤10.接收控制命令后， 根据 用户选择启动对应的Application， 进行反馈作业操作； 步骤11.反馈作业结束后， 系统申请 资源， 向IDC集群申请资源后进行运行执行； 步骤12.获取资源后， 创建需要的ex ecutor对象 进程； 步骤13.分布式分配任务传输到随机机器； 步骤14.调用查看Log日志； 步骤15.结束同说　明　书 1/4 页 3 CN 114840603 A 3