何荣光-VIrtio-ISM VM容器间动态安全内存共享_20230328_113546.pdf

1、结合SMC实现业务零修改的高速通信Virtio-ISM：VM/容器间动态安全内存共享何容光阿里云-操作系统2023/03/26背景/应用场景随着CPU个数越来越多，一个宿主机上的容器个数也会越来越多 大数据：多安全容器/VM间Map/Reduce NFV：链式服务 Host上的服务进程 服务于（）VM/安全容器当前路径TCP通信TCP/IP协议栈TCP/IP协议栈数据拷贝容器A容器B理想情况TCP通信TCP/IP协议栈TCP/IP协议栈数据拷贝容器A容器BTCP通信绕过TCP/IP协议栈绕过TCP/IP协议栈免数据拷贝容器A容器B理想情况TCP通信TCP/IP协议栈TCP/IP协议栈数据拷贝容

2、器A容器BTCP通信绕过TCP/IP协议栈绕过TCP/IP协议栈免数据拷贝容器A容器B零业务修改SMC-x family SMC-R：RDMA硬件 SMC-D：ISM设备 SMC-V：Virtio-ISM设备 为什么选用SMC？SMC的优点 SMC的缺点本地间高速通信：现有方案 模拟ISM设备 Q不通用 Q硬件Spec未公开 Ivshmem 1.0 Q一块共享内存 Ivshmem 2.0-Q所有VM呈现相同的共享内存本地间高速通信：现有方案（cont.）Virtio over ivshmem 2.0-Q设备一对一本地间高速通信：现有方案（cont.）Vhost-pci-Q1对1 Q映射所有内存

3、 VirtioVhostUser Q1对1 Q映射所有内存 相比vhost-pci：实现方式通用一点 其他proposalVirtio-ISM：整体宿主机安全容器/VM AVirtio-ism设备共享内存1token：M安全容器/VM BVirtio-ism设备普通容器（Runc）DVirtio-ism设备共享内存2token：N共享内存3Token：Y分配分配（alloc）分配分配（alloc）映射（attach）N映射（attach）Y分配分配（alloc）Host server（中心管家）协议：Get_device_info/Alloc/Attach/Grant/Free/Bind_ir

4、q/Get_irqfdVirtio-ISM：驱动呈现API（图示）宿主机安全容器/VM AVirtio-ism设备共享内存1token：M安全容器/VM BVirtio-ism设备普通容器（Runc）DVirtio-ism设备共享内存2token：N共享内存3Token：Y分配分配（alloc）分配分配（alloc）映射（attach）N映射（attach）Y分配分配（alloc）1.get_device_info()-sysid=UUID1,devid=dev12.alloc_buffer(size=1MB)-token M3.grant_buffer(token=M,target=dev2

5、)4.alloc_buffer(size=2MB)-token Y1.get_device_info()-sysid=UUID1,devid=dev22.attach_buffer(token=N)-address 0 x123,size=1MB1.get_device_info()-sysid=UUID1,devid=dev32.alloc_buffer(size=1MB)-token N3.grant_buffer(token=N,target=dev2)4.attach_buffer(token=Y)-address 0 x789,size=2MBVirtio-ISM：通知Virtio-

6、ism device 3Virtio-ism device 2Shmem Region 0Shmem Region 1 Shmem Region ZShmem regionMSI-x Region 0MSI-x Region 1 MSI-x Region ZMSI-x regionMMIO Notifier Region 0MMIO Notifier Region 1 MMIO Notifier Region ZMMIO Notifier regionShmem Region 0Shmem Region 1 Shm