1 ICS 33.040.40 CCS M32 YD 中 华 人 民 共 和 国 通 信 行 业 标 准 YD/T XXXX-XXXX 基于远程直接内存访问的数据中心网络 技术要求和测试方法 Technical requirements and test methods for RDMA based data center networks （报批稿） 中华人民共和国工业和信息化部 发 布xxxx-xx-xx发布 xxxx-xx-xx实施2目 次 前言 ................................................................................... 3 1 范围 ................................................................................. 4 2 规范性引用文件 ....................................................................... 4 3 术语、定义和缩略语 ................................................................... 4 3.1 术语和定义 ....................................................................... 4 3.2 缩略语 ........................................................................... 5 4 基于远程直接内存访问的数据中心网络技术基本形态 ....................................... 6 5 基于远程直接内存访问的数据中心网络技术要求 ........................................... 7 5.1 流控技术要求 ..................................................................... 7 5.2 拥塞控制技术要求 ................................................................. 7 6 基于远程直接内存访问的数据中心网络测试方法 ........................................... 8 6.1 性能测试 ......................................................................... 8 6.2 TCP+RoCE 混跑测试 .............................................................. 11 6.3 运维功能 ........................................................................ 12 6.4 分布式存储测试 .................................................................. 15 6.5 大规模 RoCE网络测试 ............................................................ 16 3 前  言 本文件按照 GB/T1.1-2020 给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位 ：中国信息通信研究院、中国电信集团公司、中国移动通信集团公司、深圳市腾讯 计算机系统有限公司 、百度在线网络技术 （北京）有限公司 、北京三快云计算有限公司 、中国电力科学 研究院有限公司、华为技术有限公司、北京迈络思科技有限公司 本文件主要起草人：郭亮、赵继壮、杨海俊、程传胜、高峰、唐广明、孙黎阳、钱声攀、宋庆春、 李洁、王峰、韩磊、朱朋志、王少鹏、盛凯、芦帅、郑常奎4基于远程直接内存访问的数据中心网络技术要求和测试方法 1　范围 本文件规定了基于 RoCE的数据中心网络的关键技术要求，包括流控技术、拥塞控制技术等，以及 基于 RoCE数据中心网络的测试方法。 本文件适用于基于远程直接内存访问数据中心网络设备的测试和选型。 2　规范性引用文件 下列文件对于本文件的应用是必不可少的 。凡是注日期的引用文件 ，仅注日期的版本适用于本文件 。 凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 本文件无规范性引用文件。 3　术语、定义和缩略语 下列术语、定义适用于本文件。 3.1　术语和定义 3.1.1　 深度学习 deep learning 机器学习 的分支，是一种试图使用包含复杂结构或由多重非 线性变换 构成的多个处理层对数据进行 高层抽象的 算法。 3.1.2　 远程直接内存访问 remote direct memory access RDMA技术全称远程直接数据存取，就是为了解决网络传输中服务器端数据处理的延迟而产生的。 通过网络把资料直接传入计算机的存储区 ，将数据从一个系统快速移动到远程系统存储器中 ，而不对操 作系统造成任何影响 ，这样就不需要用到多少计算机的处理功能 。它消除了外部存储器复制和上下文切 换的开销，因而能解放内存带宽和 CPU周期用于改进应用系统性能。 3.1.3　 网络拥塞 network congestion 一种当网络节点或者链接运载的数据超过其可处理能力时带来的服务质量降低的现象 ，通常表现出 的结果有：延时、丢包和阻塞新连接。 3.1.4　 零复制 zero-copy 指计算机执行操作时 ，CPU不需要先将数据从某处 内存复制到另一个特定区域 。这种技术通常用于 通过网络传输文件时节省 CPU周期和内存带宽。 5 3.1.5　 Clos网络架构 Clos network architecture 一种多级电路交换网络的结构，它的最大的优点就是对 Crossbar结构的改进，通过 Clos架构可以提 供无阻塞的网络；数据中心 CLOS网络架构一般是使用包交换的多级网络结构。 3.1.6　 Incast通信模式 Incast communication mode 一种多对一的通信模式 ，是一种后端服务器集群同时响应某一个服务器的数据请求 ，使得该服务器 接收的流量激增的现象。 3.1.7　 队头阻塞 head-of-line blocking 一种性能受限的现象，某一队列的第一个数据包（队头）受阻而导致整个队列数据包受阻的现象。 3.1.8　 数据中心三网合一 data center unified ethernet networks 三张业务网络用以太网来进行归一 。原先的计算网络 、存储网络都采用专网 ，而业务网络是基于以 太网。现由于以太网技术的增强，三张网络均可采用以太网进行统一承载。 3.2　缩略语 下列缩略语适用于本文件 Ceph 可扩展分布式文件系统 Ceph File System CIM 拥塞隔离消息 Congestion Isolation Message CNP 拥塞通知报文 Congestion Notification Packets CPU 中央处理器 Central Processing Unit DCN 数据中心网络 Data Center Network DCQCN 数据中心量化拥塞通知 Data Center Quantized Congestion Notification DSCP 区分服务编码点 Differentiated Services Code Point ECN 显式拥塞通知 Explicit Congestion Notification FC 光纤通道 Fibre Channel IB “无限带宽 ”技术 InfiniBand IEEE 电气和电子工程师协会 Institute of Electrical and Electronics Engineers IOE 小型机为代表的典型传统 IT架构 IBM、Oracle、EMC IP 网际协议 Internet Protocol NVMe 非易失性内存主机控制器接口规范 Non-Volatile Memory Express RoCE 基于融合以太网的 RDMA RDMA over Converged Ethernet RoCEv2 RoCE（第2版） RoCE version 2 TCP 传输控制协议 Transmission Control Protocol 6 4　基于远程直接内存访问的数据中心网络技术基本形态 在数据中心中 ，不同类型的应用对于数据中心网络有着不同的要求 。按照业务 ，一般划分为计算