2019年爱奇艺智能播放技术及应用.pdf

《2019年爱奇艺智能播放技术及应用.pdf》由会员分享，可在线阅读，更多相关《2019年爱奇艺智能播放技术及应用.pdf（48页珍藏版）》请在三个皮匠报告上搜索。

1、爱奇艺智能播放技术及应用爱奇艺 研究员在全球整体的互联网下行流量中，视频占到了近58%。全球互联网现象报告AI在视频行业中的应用智能播放自适应码率窄带高清ZoomAI人像弹幕智能生产/分发个性化推荐封面图选取审核只看他智能变现创可贴随视购前情提要Video In智能选角辅助后期制作短视频拍摄直播美颜/贴纸智能创作智能播放更清晰更流畅更有趣主要内容 更清晰-画质增强 更流畅-智能倍帧 更有趣-人像弹幕 展望主要内容 更清晰-画质增强 更流畅-智能倍帧 更有趣-人像弹幕 展望超高清时代难点（一）用户自己上传（UGC）的图片/短视频/视频：质量参差不齐模糊压缩噪声噪点色彩灰暗暗光拍摄多次压缩难点（二

2、）老电影/电视剧/综艺视频电影双教子评书乱世枭雄胶片划痕背景噪声画面抖动色彩灰暗低分辨率ZoomAI画质增强技术 视频/图像增强方案增强工具包超分辨率去噪锐化色彩增强去划痕分辨率低背景/压缩噪声色彩灰暗胶片损伤解决难点1：UGC图片质量问题ZoomAI工具包超分辨率去噪锐化色彩增强增强前图片增强后图片为各条业务线自由定制方案接口一致相互解耦灵活配置 v1.0版本-端到端深度神经网络工具1工具2.解决难点1：UGC图片质量问题 v2.0版本-基于内容理解的画质增强需要清晰需要无噪需要清晰画质增强流水线原图文字区域检测模块显著性检测模块文字区域前景区域背景区域文字增强模块前景增强模块背景增强模块图

3、片融合增强图片应用落地原图增强图原图增强图 全站频道/UGC封面图增强解决难点2：老电影/电视剧质量问题 复用已有的增强方法：超分辨率、去噪、色彩/亮度增强 特有的问题：划痕和白点去划痕的经典方法 two-stage：划痕检测+划痕去除 划痕检测：直线检测等 划痕去除：时间插值，空间插值等 缺点：一般只处理水平/竖直的划痕，无法处理水渍，白点画面本身的水平/竖直线的处理划痕ZoomAI去划痕 前提：划痕等只在某一帧出现 光流估计+warp+多帧融合帧i帧i+K帧i-K融合CNN修复帧i帧i帧i from i-K帧i from 帧i from 帧i from i+K场景切分算法效果展示落地应用

4、国剧修复 经典电影修复更清晰-画质增强 提升UGC画质方案：基于内容理解的画质增强落地：全站频道/UGC封面图增强 提升老视频画质方案：现有增强算法+基于帧间融合的去划痕算法落地：国剧/老电影修复主要内容 更清晰-画质增强 更流畅-智能倍帧 更有趣-人像弹幕 展望智能倍帧 增加视频的帧率，使得观影体验更流畅 适用于3D动漫、体育比赛镜头、慢动作回放、动作大片等智能倍帧T+1帧T+0帧光流预测最终结果T+0.5warpT+0.5预测帧2T+0.5预测帧1融合网络前向预测逆向预测智能倍帧 难点-插帧伪影期望的倍帧效果伪影伪影检测深度神经网络打分器插帧画面分数T+1帧T+0帧插帧or落地应用智能倍帧

5、（50fps）原片（25fps）3D动漫倍帧-已上线主要内容 更清晰-画质增强 更流畅-智能倍帧 更有趣-人像弹幕 展望人像弹幕 弹幕不”挡”人人像弹幕 基于深度学习的图像分割DeepLab人像弹幕 难点算法准确度场景复杂实时性与功耗蒙版文件大小Easy modeHell modeHard mode人像弹幕 难点1：算法准确度基于语义分割，全自动分割出人像作为前景用综艺数据训练模型（中国有嘻哈）人像弹幕 难点1：算法准确度用综艺数据训练模型形态学方法，滤除误分割区域，填充孔洞人像弹幕 难点1：算法准确度用综艺数据训练模型形态学方法后处理方法，修复明显错误mIoU:87.6%-93.6%人像弹幕

6、 难点2：场景复杂远景观众人像弹幕 难点2：场景复杂远景观众：景别识别人像弹幕 难点2：场景复杂远景观众：景别识别中景(MS)远景(WS)特写(CU)人像弹幕 难点2：场景复杂远景观众：景别识别人像弹幕 难点2：场景复杂远景观众：景别识别人像弹幕 难点2：场景复杂远景观众：景别识别近景观众：AI明星弹幕人像弹幕 难点3：实时性与功耗移动端实时抠图劣势 功耗大，影响观影体验 低端机效果差优势 Android中端机双线程25FPS 模型尺寸270KB人像弹幕 难点3：实时性与功耗