Postgres基于持久内存的优化探索-内核 + 分布式数据库（18页）.pdf

《Postgres基于持久内存的优化探索-内核 + 分布式数据库（18页）.pdf》由会员分享，可在线阅读，更多相关《Postgres基于持久内存的优化探索-内核 + 分布式数据库（18页）.pdf（18页珍藏版）》请在三个皮匠报告上搜索。

1、Postgres基于持久内存的优化探索中兴通讯中心研究院 陈小强PM介绍01目录Contents适配方案和测试结果02进一步探索和挑战03不同不同NVM存储器件和存储器件和DRAM关键性能关键性能对比对比非易失性存储PM的出现必将改变现有存储结构，优化数据访问关键路径。PM不同不同NVM存储器件和存储器件和DRAM关键性能关键性能对比对比NVM是一种快速、可字节寻址、持久、大容量、读写不对称、寿命有限的新型存储硬件lMemory Mode：在：在Bios里设置，即可将里设置，即可将PM作作 为大容量易失性内存使用，无缝地为传统应用为大容量易失性内存使用，无缝地为传统应用 程序提供了实惠的大容量

2、内存程序提供了实惠的大容量内存存储网络工业协会存储网络工业协会(SNIA)发布的编程模型发布的编程模型read/writeread/writememory-mapped filememory-mapped filePMDK(libpmem)PMDK(libpmem)OpenOpenfd=open(path,flags,mode);fd=open(path,flags,mode);paddr=pmem_map_file(path,size,flag,mode,&mapped_len,NULL);AllocateAllocate -ret=posix_fallocate(fd,offset,len

3、);MapMap -paddr=mmap(NULL,len,prot,flags,fd,-1);WriteWriteret=write(fd,buff,count);memcpy(paddr,buff,count);pmem_memcpy_nodrain(paddr,buff,count);FlushFlush -for(i=0;iPmemFileOpen-PmemFileOpenPerm-pmem_map_file2、写WAL Log：PmemFileWrite-pmem_memcpy_nodrain3、刷新WAL log：PmemFileSync-pmem_drain4、读WAL log：

4、PmemFileRead-memcpy5、关闭WAL文件：PmemFileClose-pmem_unmap6、文件描述符结构中增加与PM相关的长度和map地址两个属性7、新增加配置项的处理：增加PM路径配置项、wal_sync_method增加pmem_drain方法1、源文件修改:xlog.c、fd.c、timeline.c、guc.c等C文件及对应.h文件。涉及文件生成、初始化、读写以及读配置文件中新增内容2、autotools工具链相关：configure.in、pg_config.h.in、postgresql.conf.sample2、Makefile等文件。涉及增加libpem库的

5、链接、新增配置项处理、增加是否使用PM的宏定义修改内容修改内容涉及文件涉及文件测试组网和场景测试组网和场景测试组网测试组网数据库服务器网络客户端wal_sync_methodfdatasyncpmem_drainPG 10.6原生基于pmdk挂载方式Ext4Ext4(DAX enabled)PGDATASSD挂载到AEPCPUIntel(R)Xeon(R)Gold 6240L CPU 2.60GHz 2MEMORY16GB 266612AEPINTEL OPTANE DC 512 GB PERSISTENT MEMORY MODULE 512G 12ATA HARD DRIVE512GB SS

6、D M.2 SATA 3.0 6Gb/s Intel Liberty Harbor SSDSCKKI512G801 DC S31101测试场景测试场景测试设备测试设备SELECT场景下采用PM对性能提升不明显。原因在于基于pmdk的修改只针对WAL日志的读写，而SELECT不产生WAL日志随机单条INSERT相对SSD提升5倍左右随机等值UPDATE，相对SSD提升4-5倍随机单条等值DELETE相对于SSD性能提升6-8倍PM介绍01目录Contents适配方案和测试结果0