6-3 游戏视频的多模态与细粒度理解分析技术.pdf

1、游戏视频的多模态与细粒度理解分析技术姚韬腾讯游戏 级算法研究员CONTENTS01游戏视频理解简介游戏视频细粒度理解技术游戏视频多模态理解技术游戏视频事件检测框架020304|01游戏视频理解简介1.游戏内容个性化推荐 游戏视频动打标，动事件检测，基于内容的推荐2.游戏光时刻动剪辑 动提取出对局视频中的精彩事件及光段3.辅助创作者进次创作 动剪辑，动配乐，动表情包添加，动解说4.打击版权侵权为 识别外部渠道违规直播未经授权的游戏内容英雄联盟0.99MOBA0.99复仇之0.98精彩集锦0.50团战0.11游戏视频理解简介|02游戏视频事件检测框架视频理解分析中的事件层次定义 画元素（Eleme

2、nt）动作（Action）剧本事件（Event）举例（王者）Frame_1Frame_2Frame_3Frame_4Frame_5Frame_6Frame_7Frame_8Frame_9Frame_10播报,防御塔攻击Element（画元素）Element（画元素）Element（画元素）Element（画元素）越塔,1v1,击杀Action（动作）Action（动作）越塔强杀,多杀Event（事件）Event（事件）举例（CFM）Frame_1Frame_2Frame_3Frame_4Frame_5Frame_6Frame_7Frame_8Frame_9Frame_10流播报Element（

3、画元素）Element（画元素）Element（画元素）Element（画元素）Element（画元素）Element（画元素）Element（画元素）Element（画元素）Element（画元素）Element（画元素）爆头Action（动作）Action（动作）雷杀Action（动作）Action（动作）三连杀Event（事件）四杀Event（事件）游戏事件层次定义|当前分 4:6当前分 4:6当前分 4:6当前分 6:62分球连续得分当前分 2:6当前分 2:6当前分 2:6当前分 4:62分球画元素Element动作Action剧本事件Event 其他游戏也有类似的事件层次，因此我们

4、的事件层次定义具有很好的通性 已持王者/和平精英/CFM/LOL/NBA2k/DNF/影等款头部游戏，持续增加中 多层次：标签体系与事件层次对应 细粒度：精确到元素级别游戏事件层次定义|事件层次定义标准化 算法服务开发框架标准化 业务开发流程标准化 整套流程可快速扩展其他游戏王者荣耀视频结构化分析游戏视频结构化分析|视频预处理帧处理事件打点视频裁剪视频录制边裁切帧采样击杀检测兵线检测条检测越塔检测帧分类封图连杀事件搞笑事件特殊属性素材裁剪动标题智能封红兵防御塔蓝兵防御塔兵线对抗事件节点元素节点空间位置LOL视频结构化分析影忍者视频结构化分析游戏视频结构化分析|03游戏视频细粒度理解技术游戏视频

5、细粒度理解画元素检测识别 多尺度模板匹配 标检测识别 特征点匹配+Homography对应 标检测识别|深度神经络标识别阿古朵OCR字识别KDA=3/0/3游戏视频细粒度理解画元素检测识别|基于YOLO的标检测 检测包含形变的标 视变换 定位物体实际位置游戏视频细粒度理解画元素检测识别|服务于游戏视频细粒度理解框架 帮助户快速实现指定各种游戏中指定标检测功能 框架检测流程游戏视频细粒度理解通游戏标检测框架|框架功能依赖逻辑 检测器 模板匹配 特征匹配 滤波器 模板匹配分数 颜直图 pHash SSIM 灰度均值 孪络 框架持模式 单张图推理 单张图调参 单个视频调参 图像模板定义 系列图像标注

6、检测结果 系列图像动调参游戏视频细粒度理解通游戏标检测框架|基于该框架的标检测示例游戏视频细粒度理解通游戏标检测框架|视频分析-王者荣耀视频分析-和平精英内容态-IP侵权识别打击营造 框架背景游戏视频细粒度理解游戏场景OCR框架游戏推游戏开发游戏体验打造游戏态完整闭环加速正向循环同时着态的四向打造态级|图像合成本&字符检测本识别 框架内容游戏视频细粒度理解游戏场景OCR框架|具有模仿复杂本图像能的合成框架字成算法unity对图像进渲染OPENCV对图像进映射导出合成的图像半动图形特征统计 图像合成框架游戏视频细粒度理解游戏场景OCR框架发光描边字距变化渐变阴影浮雕特效库seamless正常混合