(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210256586.2 (22)申请日 2022.03.16 (71)申请人 中国电子科技 集团公司第五十四研 究所 地址 050081 河北省石家庄市中山西路589 号第五十四所航天系统与应用专业部 (72)发明人 梁硕　周新宇　李峰　王士成　 陈金勇　马晨　杜伟　万雨君　 单子力　韩续　文义红　 (74)专利代理 机构 河北东尚律师事务所 13124 专利代理师 王文庆 (51)Int.Cl. G06F 9/445(2018.01) G06F 9/50(2006.01) (54)发明名称 一种基于工作流引擎的遥感数据处理插件 分布式调度方法 (57)摘要 本发明提供一种基于工作流引擎的遥感数 据处理插件分布式调度方法。 其中， 逻辑控制服 务对执行过程进行逻辑调度管 理， 编排整个运行 流程， 对运行参数进行配置并发起整个流程； 主 节点服务负责业务插件管理并执行业务调度， 接 收逻辑控制服务传递的待执行参数信息， 收集执 行结果信息并反馈至逻辑控制服务， 同时协调集 群中各计算资源， 执行负载均衡策略； 从节点服 务负责接收主节点服务发送的执行任务参数， 调 用相关插件 执行， 并将执行结果及从节点资源使 用情况上报 至主节点服务。 本发 明充分利用了工 作流技术灵活的调度能力， 既简化了开发过程， 又提供了 所见即所得的流程编排能力， 实现了复 杂遥感数据处 理分布式并行调度能力。 权利要求书1页 说明书5页 附图2页 CN 114691233 A 2022.07.01 CN 114691233 A 1.一种基于工作流引擎的遥感数据处理插件分布式调度方法， 其特征在于， 包括以下 步骤： （1） 通过逻辑控制服务对执行过程进行逻辑调度管理， 编排整个运行流程， 同时对运行 参数进行配置并发起整个流 程； 通过主节点服务进行业务插件管理并执行业务调度， 接收逻辑控制服务传递的待执行 参数信息， 收集执行结果信息并反馈至逻辑控制服务， 同时协调集群中各计算资源， 执行负 载均衡策略， 保证任务的合理分配； 通过从节点服务接收主节点服务发送的执行任务参数， 调用并执行相关插件， 并将执 行结果及从节点资源使用情况 上报至主节点 服务； （2） 针对遥感数据处理插件， 根据统一模板对插件相关信息进行描述， 主节点服务对插 件进行编目入库保存， 以可视化方式进行插 件管理， 提供插 件增、 删、 改、 查功能； （3） 逻辑控制服务基于工作流引擎， 读取并处理插件数据库表， 对已入库的处理插件信 息进行解析， 以可视化方式组织管理各类处理插件， 通过拖拽方式完成处理插件的流程编 排和参数传递设置； （4） 流程编排完成后， 根据流程输入参数执行流程调度， 在执行过程中， 逻辑控制服务 根据流程编排结果， 明确下一步需要 执行的任务插件， 并将参数传递至主节点服务， 主节 点 服务基于轮询调度策略， 根据 处理插件部署情况和各从节点资源使用情况， 生成调用参数 发送给需要调度的从节点 服务； （5） 从节点服务根据主节点服务发送的参数信 息， 生成具体的插件调用参数， 完成对插 件的调用。 2.根据权利要求1所述的一种基于工作流引擎的遥感数据处理插件分布式调度方法， 其特征在于， 步骤 （1） 中， 逻辑控制服务通过对工作流引擎的扩展和改造实现了合并、 拆分、 并行、 异步、 参数配对多种执行策略， 并支持这些执行策略的任意组合； 针对处理过程中的 同一插件处理步骤， 进 行业务实例化分割， 确保同一插件能够产生多个业务 实例， 各实例相 互独立， 能够并行处 理。 3.根据权利要求1所述的一种基于工作流引擎的遥感数据处理插件分布式调度方法， 其特征在于， 步骤 （2） 中， 根据业务插件类型明确各类插件 执行时所占资源信息， 包括CPU核 数和内存容量， 所述插件相关信息包括插件名称、 插件功能描述、 占用CPU 数量、 占用内存 数 量、 插件调用服 务接口。 4.根据权利要求1所述的一种基于工作流引擎的遥感数据处理插件分布式调度方法， 其特征在于， 步骤 （4） 中， 首先明确待调用插件部署在哪些从节点中， 主节点服务根据这些 从节点服务上报的当前资源使用情况， 即从节 点空闲CPU 数量和内存容量， 结合待调用处理 插件执行时所占资源信息进行计算， 最终确定调用哪个节点， 计算公式如下： C= Cn  ‑Ca M= Mn‑Ma 其中， Cn为当前轮询从节点CPU总核数， Ca为待调用处理插件执行时所占用的核数， Mn 为从节点内存总量， Ma为待调用处理插件执行时所占用内存容量； 当M和 C均大于0时， 确定 对当前从节点的处 理插件进行调用。权　利　要　求　书 1/1 页 2 CN 114691233 A 2一种基于工作流引擎的遥感数据处理插 件分布式调度方 法 技术领域 [0001]本发明属于遥感数据处理技术领域， 特别是指一种基于工作流引擎的遥感数据处 理插件分布式调度方法。 背景技术 [0002]当前， 发射的卫星数量不断增多， 随之而来的是卫星影像数据处理插件不断增多， 配套的卫星数据处理系统需要适应各类卫星的数据处理及产品生产能力， 面向遥感数据从 原始码流到各级数据产品生产及后续的应用需求， 亟需利用新的技术架构， 设计分布式调 度方法， 完成集群资源环境下对各类处理插件的合理调度， 实现遥感数据的自动生产及处 理。 [0003]工作流技术作为工作流程的计算模型， 将工作流程中的工作如何前后组织在 一起 的逻辑和规则 在计算机中以恰当的模型进 行表示并对其 实施计算， 当前主流的工作流引擎 有Activiti、 OSW orkflow和JBPM等。 发明内容 [0004]为了解决上述问题， 本发明引入开源工作流引擎， 提出基于工作流引擎的遥感数 据处理插件分布式调度方法， 基于微服务思想设计以工作流引擎为基础的逻辑控制服务+ 主从节点两级调度机制。 [0005]为了实现上述目的， 本发明采用的技 术方案为： 一种基于 工作流引擎的遥感数据处 理插件分布式调度方法， 包括以下步骤： （1） 通过逻辑控制服务对执行过程进行逻辑调度管理， 编排整个运行流程， 同时对 运行参数进行配置并发起整个流 程； 通过主节点服务进行业务插件管理并执行业务调度， 接收逻辑控制服务传递的待 执行参数信息， 收集执行结果信息并反馈至逻辑控制服务， 同时协调集群中各计算资源， 执 行负载均衡策略， 保证任务的合理分配； 通过从节点服务接收主节点服务发送的执行任务参数， 调用并执行相关插件， 并 将执行结果及从节点资源使用情况 上报至主节点 服务； （2） 针对遥感数据处理插件， 根据统一模板对插件相关信息进行描述， 主节点服务 对插件进行编目入库保存， 以可视化方式进行插 件管理， 提供插 件增、 删、 改、 查功能； （3） 逻辑控制服务基于工作流引擎， 读取并处理插件数据库表， 对已入库的处理插 件信息进行解析， 以可视化方式组织管理各类处理插件， 通过拖拽方式完成处理插件的流 程编排和参数传递设置； （4） 流程编排完成后， 根据流程输入参数执行流程调度， 在执行过程中， 逻辑控制 服务根据流程编排结果， 明确下一步需要 执行的任务插件， 并将参数传递至主节点服务， 主 节点服务基于轮询调度策略， 根据 处理插件部署情况和各从节点资源使用情况， 生成调用 参数发送给需要调度的从节点 服务；说　明　书 1/5 页 3 CN 114691233 A 3