DLSS 2.0 — 基于深度学习的超采样技术介绍.pdf

1、NVIDIADLSS2.1基于深度学习的超采样技术宋佳内容技术工程师人#page#目录DLSS2.1画质和性能对比DLSS技术细节如何集成DLSS八#page#为什么需要DLSS随着光线追踪，AR/VR技术的发展高分辨率游戏图像的漳染需要的计算量成指数性增长显示器分辨率越来越高RTXGPU中内置的张量积算核心（tensorcore）可以被用于图像重建#page#DLSS 1.0STANDARDHIGH QUALITYGRAPHICSGRAPHICSDLSS NEURALNETWORKLEARNING#page#DLSS2.18K1440P更好的画质高达9x的分辨率提升统一的神经网络模型所有RT

2、XGPU均支持#page#720P#page#DLSS2.1720pp to1080p#page#1080P#page#540p#page#DLSS2.1540p to1080p#page#540p720pDLSS2.1DLSS1.01080p TAA540p TAA#page#540p720pDLSS2.1DLSS1.0540p TAA1080p TAA#page#540p89ffps#page#1080p48fps#page#540p到1080pDLSS2.1-86fps#page#1080p48fps#page#32spp参照图像1080p#page#540p到1080pDLSS2.1-

3、86fps#page#540p1080p TAADLSS2.132spp参照图像540p TAA#page#DLSS2.1模式四种不同的质量模式：超级性能模式，性能模式，平衡模式，质量模式，分别对应着9x，4x，3x，2x像素上采样#page#DLSS2.1-加速漳染DLSS打升DLSS关闭#page#DLSS2.1开销RTX2080TRTX2080SRTX2070SRTX2060S051#page#DLSS2.1性能提升性能模式-1080p到4K轩转剑7DLSS2.1性能模式87.9RTX3070761%RTX30870.9%RTX308066.8%2040苏A0DLSS关闭DLSS打开#p

4、age#使用DLSS技术的中国游戏Biqn轩精剑Meid#page#图像重建理论入门馆原始函数离散采样点重构的函数#page#图像重建理论入门Double the sampling rate原始函数离散采样点重构的函数#page#图像重建理论入门#page#图像重建理论入门#page#DLSS需要处理的问题低分辨率采样高分辨率重建结果#page#DLSS问题表述使用DLSS传统泊染分辨率一画质好的性能更好的图像质量泸染开销#page#单顿超分辨率通过插值低分辨率图像像素来产生高分辨率的图像插值方法包括双线性插值，双三次插值，lanczos差值对比感知锐化深度神经网络可以基于现有像素根据先验或训

5、练数据来猜想的新的像素SRCAN2017bicubic#page#单顿超分辨率与原生高分辨率图像相比重建后的图像会损失细节因为存在猜想，图像可能与原始演染不一致，并且在时域上也是不稳定使用线性插值重建#page#单顿超分辨率与原生高分辨率图像相比重建后的图像会损失细节因为存在猜想，图像可能与原始演染不一致，并且在时域上也是不稳定丰高分辨率采样结果使用线性插值重建使用深度学习或者其他插值方式重建#page#单顿超分辨率中通过深度学习放大原生1080p7720p到1080p#page#1080p TAA#page#540p到1080pDLSS2.1#page#540p到1080p双三次插值#pag

6、e#540p到1080ppESRGAN#page#540p1080p TAADLSS2.1540p540p TAAESRGANBicubic#page#多顿超分辨率与单帧超分辨率相比，有更少的不适定，更好地还原了真实的光学细节专为视频或连拍模式摄影而设计，不利用漳染特定信息光流vS.运动向量（motionvector）像素点VS采样点可以使用还未播放的顿EmploFirstAStationEMERGENCBicubicOur resultHR frame#page#时域超采样时域抗锯齿（TAA）棋盘格染（CBR）莲上屋Frame NFrameN+1ResolvedYang09.Loes11.S