【苗晋伟】RTC 场景下的视频编码优化与 AI 超分结合实践.pdf

1、R RT TC C 场场景景下下的的编编码码优优化化与与 A AI I 超超分分结结合合实实践践演演讲讲人人：苗苗晋晋伟伟网易云信视频编解码专家算法专家网易云信视频编解码苗苗晋晋伟伟N NE E_ _C CO OD DE EC C 编编码码优优化化N NE E_ _A AI I 轻轻量量级级超超分分介介绍绍 N NE E_ _C CO OD DE EC C与与超超分分结结合合实实践践N NE E_ _C CO OD DE EC C 业业务务场场景景N NE E_ _C CO OD DE EC C 编编码码器器介介绍绍N NE E_ _C CO OD DE EC C 未未来来展展望望演演讲讲大大

2、纲纲N NE E-C CO OD DE EC C编编码码器器介介绍绍N NE E2 26 64 4符合标准H.264协议自研编码器适用于RTC实时通信/直播点播等场景N NE E2 26 65 5符合标准H.265协议自研编码器适用于RTC实时通信/直播点播等场景N NE EV VC C私有协议自研编码器针对RTC场景定制优化N NE E_ _C CO OD DE EC C 编编码码器器介介绍绍N NE E-C CO OD DE EC C编编码码优优化化码码率率平平稳稳性性压压缩缩率率编编码码质质量量编编码码速速度度N NE E_ _C CO OD DE EC C 编编码码优优化化指指标标N

3、NE E_ _C CO OD DE EC C 编编码码优优化化 结结合合前前处处理理的的编编码码优优化化编编码码内内核核优优化化 N NE E2 26 64 4内内核核优优化化 N NE E2 26 65 5内内核核优优化化 J JN ND D编编码码优优化化 R RO OI I编编码码优优化化 变变分分辨辨率率编编码码N NE E_ _C CO OD DE EC C 编编码码内内核核优优化化N NE E2 26 64 4内内核核优优化化适适用用于于L Lo oww-d de el la ay y超超低低时时延延的的R RT TC C场场景景N NE E_ _C CO OD DE EC C 编

4、编码码内内核核优优化化适适用用于于允允许许有有一一定定时时延延的的直直播播点点播播场场景景N NE E2 26 65 5内内核核优优化化N NE E_ _C CO OD DE EC C J JN ND D 编编码码优优化化JND(Just Noticeable Distortion)最小可察觉误差J JN ND D基基本本原原理理空间冗余时间冗余视觉冗余亮度掩盖效应对比度掩盖效应纹理掩盖效应N NE E_ _C CO OD DE EC C J JN ND D 编编码码优优化化前处理在像素域做感知增强，编码在DCT域做JND降码率处理。技技术术点点：在码控模式下利用JND节省码率，需要对JND和

5、非JND做两次编码。云云信信J JN ND D编编码码的的基基本本框框架架N NE E_ _C CO OD DE EC C J JN ND D 编编码码优优化化技技术术点点：在码控模式下利用JND节省码率，需要对JND和非JND做两次编码。云云信信J JN ND D两两次次编编码码原原理理050001000015000200002500006121824303642485460667278849096102108114120126132138144150156162168174180186192198204210216222228234240246252258264270276帧序号码控下JN

6、D两次编码结果图JND编码帧大小非JND编码帧大小平均目标单帧大小N NE E_ _C CO OD DE EC C R RO OI I 编编码码优优化化 R RO OI I检检测测基基于于深深度度学学习习的的R RO OI I检检测测人脸ROI：利用肤色检测基基于于传传统统方方法法的的R RO OI I检检测测文字ROI：利用直方图、边缘检测等优点：检测结果准确，精度高，覆盖多场景缺点：部署基于深度学习的ROI检测算法，有一定耗时前前处处理理R RO OI I区区域域（人人脸脸、文文字字等等）编编码码N NE E_ _C CO OD DE EC C R