1、1存储系统时延问题分析与测量ODCC-2023-0500B编号 ODCC-2023-0500B存储系统时延问题分析与测量开放数据中心委员会2023-09 发布I存储系统时延问题分析与测量ODCC-2023-0500B版权声明版权声明ODCC（开放数据中心委员会）发布的各项成果，受著作权法保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用 ODCC 成果中的文字或者观点的，应注明来源：“开放数据中心委员会 ODCC”。对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC 及有关单位将追究其法律责任，感谢各单位的配合与支持。II存储系统时延问题分

2、析与测量ODCC-2023-0500B编写组编写组项目经理：项目经理：李军深圳忆联信息系统有限公司工作组长：工作组长：郭亮中国信息通信研究院贡献专家：贡献专家：张华深圳忆联信息系统有限公司樊文慧深圳忆联信息系统有限公司豆坤三星半导体有限公司冯方三星半导体有限公司胡泽志美团张亮东芝电子（中国）有限公司张北宁东芝电子（中国）有限公司王浩博东芝电子（中国）有限公司梁文俊浪潮电子信息产业股份有限公司路明远浪潮电子信息产业股份有限公司周春法浪潮电子信息产业股份有限公司张希伟浪潮电子信息产业股份有限公司胡振国联想（北京）有限公司黄福帅联想（北京）有限公司吴福磊联想（北京）有限公司林峰江波龙王晋强深圳大普微

3、电子科技有限公司王俊鹿深圳大普微电子科技有限公司李斌希捷III存储系统时延问题分析与测量ODCC-2023-0500B刘佳希捷刘涛西部数据霍锐西部数据张岸西部数据林润斌SK海力士半导体（中国）有限公司李朝兰北京忆恒创源科技股份有限公司孙英达北京忆恒创源科技股份有限公司IV存储系统时延问题分析与测量ODCC-2023-0500B前前 言言带宽和时延不仅是服务器网络系统的性能指标，也是存储部件的基础性能指标。存储系统的时延作为服务器系统从客户端输入到获得客户端输出总响应时间的一个重要组成部分，与网络系统的时延表现一样，一直受到高度的关注。在数据中心客户端反映的问题中，与时延有关的问题的比例占总问题

4、数量的三分之一以上。尤其是在网络系统，运算系统的性能以几何级数增长的今天，时延问题往往成为存储系统需要解决的首要问题。近年来，和 CPU核数的增加，网卡端口数的增加和带宽的增加，以及 GPU 运算单元数的增加的技术进步相反，存储系统的时延随着技术复杂度的增加并没有同等的减少，而且一些新的存储技术的实现是以时延的增加为代价的。硬盘更高的存储密度导致的对振动的更加敏感，固态硬盘的每存储单元的电平数的增加导致的写时间延长都在一定程度上增加了存储系统的时延。数据中心的时延问题一直被高度重视，一个首要的原因是问题发生的范围是几千台服务器，数万个存储部件，从几天发生一次到一天发生几次，这个发生频率是实验室

5、测试中用几个到几百个测试样品无法测到的。而成为故障的 Latency stall-长尾延时，是一种单个 IO的完成时间远大于预期而导致的问题。但是长尾延时问题的定位以及随后的故障分析，目前业界没有一个系统的测试方法。V存储系统时延问题分析与测量ODCC-2023-0500B存储部件的时延问题是数据中心性能表现的一个基础问题。需要有一套与时俱进的测试，评估和优化的方法。VI存储系统时延问题分析与测量ODCC-2023-0500B目目 录录版权声明.I编写组.II前言.IV一、存储系统时延问题的历史和现状.1二、存储器时延的产生原因.2三、时延测试方法，测试模型.6四、时延测试结果分析.15五、减

6、低时延的技术路线以及技术发展展望.21六、结语.1存储系统时延问题分析与测量ODCC-2023-0500B1存储系统时延问题分析与测量存储系统时延问题分析与测量一、一、存储系统时存储系统时延问题延问题的的历史历史和现和现状状存储系统的时延，在客户-服务模型上表现为服务请求端发出命令到服务端完成命令所需要的时间。数据中心应用对时延的感知是在应用层。可能发生时延的部分，存在于存储系统的层级结构中的所有传递节点。由于每一个传递节点都有数据的封装、解封，数据重排，队列，访问控制，资源的申请/释放，纠错，重传等行为，由此导致的时延问题的测量就成为一个复杂的系统问题。而对于时延问题的解法更多地表现为一个取