1、可计算存储在数据库应用场景的实践ScaleFlux 解决方案梅庆 数据存储产能增长跟不上数据的增长速度,数据存储成本在增加。单机 CPU 算力跟不上数据存储的增长速度,计算向专有设备转移。可计算存储诞生背景异构计算GPU/TPU智能加速互联网络SmartNICs/DPU网络带宽能力显著增加10 100-400Gb/s闪存Accelerated SSD存储性能和容量激增 2018年SNIA(存储和网络工业协会)成立了可计算存储工作组,ScaleFlux为创始成员之一 该组织主要致力于可计算存储标准及编程模型的规范定义。ScaleFlux:创立于 2014 年,从事可计算存储的研究和生产销售,是大
2、规模部署可计算存储的领导者。可计算存储工作组 基于标准企业级NVMe SSD,内置计算加速引擎,在盘内实现数据加速处理的新型企业级NVMe SSDScaleFlux 的可计算存储产品 SFX3000计算加速引擎企业级NVMe SSDThe Better SSD行业标准形态典型企业级特性标准NVMe驱动掉电保护端到端的数据保护IO原子写硬件压缩/解压缩加解密可计算存储设备Computational Storage Device,CSDSFX3000:企业级NVMe SSD掉电保护热插拔热插拔S.M.A.R.TLDPC纠错NAND Die RAID在线固件升级TRIMMulti NSMulti S
3、tream透明压缩透明压缩/解压缩解压缩透明加密/解密SR IOV双端口LinuxWindowsVMware ESXIPCIe 4.0 x4PCIe 4.0 x4NVMe NVMe 标准驱动标准驱动运维工具NVMe MI 1.4原子写U.2U.2E1.xAIC 支持Linux/Windows/Vmware Gen4Gen4 产品,热插拔,支持 U.2 接口 标准 NVMe 协议,支持 S.M.A.R.T 支持透明压缩透明压缩、加密、原子写 支持 Multi NS、Multi StreamSFX 3000CSD 透明压缩提升SSD读写性能原理 CSD 透明压缩在SSD内部 ASIC 里,实时压缩
4、。压缩算法:zlib(level 6)。透明压缩降低后端闪存(NAND)带宽利用率。SSD 读写延时主要由后端 NAND 带宽利用率决定(正比关系)。50%0%25%75%100%读写延时(await)NAND带宽利用率应用/dev/nvme0n1Linux Block 层标准 NVMe 驱动PCIe Gen4 X4 接口前端:PCIe FE其他模块收/发压缩/解压缩加密/解密SRAMDRAMARM CPU,CCS闪存(NAND)后端:闪存控制器OS硬件应用前端 PCIe 带宽后端 NAND 带宽CSD透明压缩抑制SSD写放大FreeFreeFreeFreeFreeFreeFreeFreeFr
5、eeFreeFreeFreeBlock YFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeBlock XFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeBlock YFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeBlock XABCDFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeBlock XFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeBlock Y
6、EFGHABCDFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeBlock YFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeBlock XABCDEFGHABCDABCDFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeBlock YFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeFreeBlock XABCDEFGHABCDABCDEFGHABCDIjKFreeFreeFreeFreeFreeFreeFreeF