阿里文娱：全景揭秘阿里文娱智能算法（187页）.pdf

1、 文娱智能算法 185 目 录 1 计算机视觉计算机视觉5 分区域处理的图像和视频清晰化技术6 基于人类视觉感知的视频体验评价体系17 端侧智能算法在优酷场景的应用26 大千 XR-Video 技术概述35 大千 XR-Video 技术在互动剧上的应用49 优酷视频换脸技术实践52 基于多模态内容理解的视频智能裁剪57 阿里文娱视频智能裁剪技术实践61 技术实践-精准的视频物体分割算法以及应用65 2 媒体智能引擎媒体智能引擎 SmartAI72 媒体智能平台之推理服务73 海量视频解构数据全生命周期流转80 3 内容智能内容智能87 内容全生命周期里的文娱大脑88 长安十二时辰背后的文娱大脑

2、：如何提升爆款的确定性？ 101 4 搜索搜索112 智能多轮对话式搜索技术实践113 优酷语义模态匹配模型设计与实现118 优酷多模态搜索设计与实现125 5 推荐推荐131 基于 Bi-LSTM 深度学习模型的 Term Weight 算法132 多模态视频多标签分类在优酷推荐算法中的实践137 6 增长与营销算法增长与营销算法146 本节摘要147 因果推断在用户增长中的应用149 基于 Uplift Model 的营销增益模型154 外投 DSP 自动报价算法实践161 7 搜推统一分发系统搜推统一分发系统167 本节摘要168 基于图执行引擎的算法服务框架169 面向多级多模态场景的

3、召回引擎174 基于内容图谱体系的特征与索引更新平台179 文娱智能算法 3 序 阿里是一家坚信数据力量的公司，而文娱涉及的相关产业非常广泛，从线上到线下、从影 剧综漫到现场娱乐以及文学小说等，其组成、形式、展现、分发的复杂性交织在一起为业务数 据化带来了巨大的挑战。 近三年来，阿里文娱摩酷实验室始终以助力业务发展和增长为核心驱动，形成如下四个的 技术方向： 内容理解是文娱相关算法技术的基石，IP、小说、剧本、视频、音乐等不同形态的内容对 构建起领域知识图谱带来了很多困难，在这其中计算机视觉、自然语言处理、图谱&推理、图 神经网络、多模态内容分析等技术被广泛应用于内容解构。以视频为例，影剧综视

4、频的时长很 难用一些低层级的标签来抽象表达其内容，基于多模态的分析技术在这类内容上也会碰壁，因 此融合内容专家及机器学习系统的半自动化微标签体系成为一种可行的出路。与短视频快速的 线上反馈闭环不同，即使制作周期最短的综艺节目也需要 3 个月以上，期间还面临内容监察审 核的不确定，这就导致影剧综内容制作高度的不确定性，如何基于复杂的数据分析线索以及历 史的成败规律来选择评估内容是各个综合视频平台所面临的核心挑战之一，而阿里文娱北斗星 系统就是用来解决这一问题的。 搜索和推荐作为两种解决信息爆炸的重要手段被广泛应用于各个 APP 中， 而影剧综内容的 复杂性导致用户想精确描述一个内容非常困难，仅通

5、过节目名、演员名去检索给用户也造成了 很大的困扰。在文娱内容的分发体系中对搜索模式、推荐模式的融合成为新的用户需求，如何 更为准确的通过类强化学习的用户意图理解过程来协助他们尽快找到喜爱的内容，成为文娱搜 标签化理解 元素化解构 内容 解构 引导TS提升 统一价值流 量分发 内容 宣分发 智能云剪辑 视频体验增 强 内容 生产 关键生产要素 数据化评估 核心生产资料 控货辅助支撑 内容 评估 智慧文娱阿里巴巴文娱技术探索之路 4 推体系下一阶段的首要任务。 文娱作为产业互联网发展的重要行业，人工智能技术在这个领域中的应用空间广大，而我 们也仅仅是迈出了一小步，期待工程师们能够创造出更大的奇迹，

6、加速文娱产业数字工业化时 代的到来。 阿里文娱摩酷实验室负责人 王晓博 2020.02.01 文娱智能算法 5 1 计算机视觉 智慧文娱阿里巴巴文娱技术探索之路 6 分区域处理的图像和视频清晰化技术 作者| 阿里文娱高级算法专家 出林、阿里文娱高级算法工程师 文渊 苍华 一、UPGC 视频和图像质量面临的挑战 在优酷这种综合性的视频平台，用户的观看体验永远是第一位的，而画质是影响观看体验 的重要因素。对于影视剧来说，画质和拍摄年代有较强相关性，也就是说随着拍摄设备和技术 的提升，画质也在提升。用户一旦习惯了更高清的内容，就“回不去了” ，进而对视频画质甚至 显示设备提出更高要求。而对于目前大量