(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221042070 6.8 (22)申请日 2022.04.21 (71)申请人 浪潮云信息技 术股份公司 地址 250100 山东省济南市高新区浪潮路 1036号浪潮科技园S01号楼 (72)发明人 杨贵柽　王庆明　周庆勇　胡清　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 姜鹏 (51)Int.Cl. G06F 16/27(2019.01) G06F 9/445(2018.01) G06F 9/48(2006.01) (54)发明名称 一种多级数据同步的方法及系统 (57)摘要 本发明公开了一种多级数据 同步的方法及 系统， 属于计算机技术领域。 本发明的多级数据 同步的方法在需要数据同步的数据库的前置机 上部署NiFi单 实例， 在源库对应的前置机中创建 采集数据的流程， 由控制流程的任务调度组件、 采集数据的组件和远程进程组构成。 该发明的多 级数据同步的方法能够解决网络隔离的数据交 换情景部署组件繁多、 数据传输流程复杂、 配置 困难的问题， 具有很好的推广应用价 值。 权利要求书1页 说明书5页 附图1页 CN 114691783 A 2022.07.01 CN 114691783 A 1.一种多级数据同步的方法， 其特征在于： 在需要数据同步的数据库的前置机上部署 NiFi单实例， 在 源库对应的前置机中创建采集数据的流程， 由控制流程的任务调度组件、 采 集数据的组件和远程进程组构成。 2.根据权利要求1所述的多 级数据同步的方法， 其特 征在于： 具体包括以下步骤： S1、 在目标 前置机部署的NiFi单实例应用端创建输入端口组件与加载 数据的组件； S2、 在源端前置机部署的NiFi单实例应用端创建控制流程调度的组件、 数据采集的组 件和数据传输的远程进程组； S3、 启动任务。 3.根据权利要求2所述的多级数据同步的方法， 其特征在于： 步骤S1中， 进行相应的参 数， 包括输入端口组件的名称、 加载数据的组件的数据池连接、 目标表及操作类型， 并通过 队列连接 。 4.根据权利要求3所述的多级数据同步的方法， 其特征在于： 步骤S2中， 进行相应的参 数配置， 其中创建控制流程调度的组件配置好业务流程需要的调度模式； 数据采集的组件 配置源库的数据池连接和源表名称； 数据传输的远程进程组配置向远程NiFi 实例发送数据 的访问地址 。 5.根据权利要求4所述的多级数据同步的方法， 其特征在于： 与远程进程组创建队列关 系时， 选择 数据的输入端口， 即目标端创建的输入端口端口 的名称。 6.根据权利要求5所述的多级数据同步的方法， 其特征在于： 步骤S3中， 启动任务顺序 为先启动目标库所对应的前置机NiFi单实例端 数据加载的流程组件， 再启动源库对应的前 置机NiFi单实例端数据采集的流 程组。 7.一种多级数据同步的系统， 其特征在于： 包括目标前置机创建模块、 源端前置机创建 模块和任务启动模块； 目标前置机创建模块用于在目标前置机部署的NiFi单实例应用端创建输入端口组件 与加载数据的组件； 源端前置机创建模块用于在源端前置机部署的NiFi单实例应用端创建控制流程调度 的组件、 数据采集的组件和数据传输的远程进程组； 任务启动模块用于启动任务。 8.根据权利要求7所述的多级数据同步的系统， 其特征在于： 目标前置机创建模块中， 进行相应的参数， 包括输入端口组件的名称、 加载数据的组件的数据池连接、 目标表及操作 类型， 并通过队列连接 。 9.根据权利要求8所述的多级数据同步的系统， 其特征在于： 任务启动模块中， 启动任 务顺序为先启动目标库所对应的前置机NiFi单实例端 数据加载的流程组件， 再启动源库对 应的前置 机NiFi单实例端数据采集的流 程组。权　利　要　求　书 1/1 页 2 CN 114691783 A 2一种多级数据同步的方 法及系统 技术领域 [0001]本发明涉及计算机技 术领域， 具体提供一种多 级数据同步的方法及系统。 背景技术 [0002]随着现代信息技术的快速发展， 世界已跨入互联 网+大数据时代， 人工智能技术的 突飞猛进也是近些年来大数据长足发展的结果。 信息正深刻改变着人们的思维、 生产和生 活方式， 越来越多的行业开始注重数据， 并且使用数据为业务赋能。 不论是人工智能的分析 应用， 还是数据湖， 都紧紧依赖数据的采集汇总。 因此， 数据同步就是必不可少且至关紧要 的。 [0003]以往的数据同步或者整库迁移场景， 数据库所在机器之间网络是可以连通的， 这 样数据便可以直接进行采集、 传输及加载， 配置也相对简单， 需要考虑网络带来的影响很 小。 [0004]然而随着业务的不断发展， 各种数据需要统一汇入或者分发， 数据库所在服务器 网络隔离的问题就不可避免了， 数据库之间的网络不连通给数据同步功能带来了挑战。 如 何配置简单易用且能实现数据传输的业务功能成为了亟待解决 的问题。 本发明提供了一种 多级数据同步的方法， 该方法配置简单， 不引入第三方 组件， 运行稳定， 操作难度低， 满足大 部分的网络隔离的数据库数据同步的需求。 [0005]业务间数据库之间的网络隔离问题目前 已成为共性问题。 以两层数据库同步为 例， 以前的数据同步架构， 数据库服务器之间网络可以直连， 通过ETL工具可直接抽取加载。 现在的数据库服务器之间的网络是隔离的， 每个数据库有其对应的前置机服务器， 相关业 务间的前置机服务器网络是连通的， 也就是说需要在源库的前置机服务器中将源表的数据 抽取出来并传输到目标库所对应的前置机服务器上， 再从目标库对应的前置机服务器将数 据写入到目标表中。 目前业务中常用的解决这个问题的方法是增加消息中间件， 如kafka或 者rocketMQ等消息中间件， 即前置机应用层从源库的数据 表抽取到的数据写入消息中间件 的消息队列中， 再从目标库所对应的前置机应用层消费消息写入目标数据表。 不仅配置复 杂， 引入了第三方组件， 而且数据在消息中间件中保存时间有限， 很多属性无法传递。 如果 业务场景是两层以上的数据同步， 配置会更加复杂， 从而导 致效果不太理想 。 发明内容 [0006]本发明的技术任务是针对上述存在的问题， 提供一种能够解决网络隔离的数据交 换情景部署组件繁多、 数据传输流 程复杂、 配置困难的问题的多 级数据同步的方法。 [0007]本发明进一 步的技术任务是提供一种多 级数据同步的系统。 [0008]为实现上述目的， 本发明提供了如下技 术方案： [0009]一种多级数据同步的方法， 在需要数据同步的数据库的前置机上部署NiFi单实 例， 在源库对应的前置机中创建采集数据的流程， 由控制流程的任务调 度组件、 采集数据的 组件和远程进程组构成。说　明　书 1/5 页 3 CN 114691783 A 3