火山引擎：2024火山引擎视频云实践精选集（224页）.pdf

1、火山引擎视频云实践精选集面 向 体 验 驱 动 增 长AI/大模型+音视频技术实践和前沿探索 2024 版2024 年，随着生成式 AI、多模态大模型、全景直播、三维重建等技术的共同推动，它们正携手将我们从流畅、实时、高清的数字视频世界带入更智能、更交互、更沉浸的 AI 视频世界。在这个智能新视界里，用户体验也将经历全方位的变革与重构：首先，内容生产将从 UGC/PGC 发展到 AIGC，伴随 AI 视频生成模型以及智能工具的逐渐普及，会极大降低视频生产的门槛，内容的生产量将呈几何倍数的增长；同时，由于音视频承载了更多的信息和交互，进而演变成人类的新的“通用”语言，交互形式从以单向信息传递为主

2、，更迭到更丰富、更生动的音视频交流方式为主；随着 AI 的深度学习和自我进化，交互模式也正在从过去的人机交互、人人交互，迈向一个人与 AI 融合交互的新时代；最后，用户的交互空间也在从 2D、3D，VR 拓展到了虚拟世界与现实世界的无缝融合。FOREWORD卷首语而技术从来不曾孤单，它在无尽的探索中寻找同伴，渴望得到协助，一同照亮未知的领域。共享与进化，是它永恒的方向，每一步前行都承载着时代的梦想，引领我们共同迈向一个更加美好的未来。火山引擎视频云，基于抖音集团音视频技术沉淀，致力于打造“面向体验 驱动增长”的视频云，积极探索将豆包大模型和 AI 能力与音视频能力相结合，帮助企业端到端提升视频

3、智能化能力，实现体验的全面提升与业务的创新增长。特别推出火山引擎视频云实践精选集2024 版，收录了全年数位音视频专家倾情出品的29 篇技术深度 Blog，期待给各位同仁带去一些思考和启发的同时，也能在 AI 视频世界到来的今天，一起探索和推动 AI/大模型和音视频技术融合和进化。精选集内容将围绕火山引擎视频云在过去一年的 AI/大模型&音视频技术实践，包括：ASIC 编码器、VR 处理、深度学习、质量评估等全球前沿的论文精选；对话式 AI、6DoF 互动、场景重建、超低延时等前沿技术的落地实践；AI+教育、私域直播、短剧出海、VR 大空间等行业场景的最佳实践；目录CONTENTS国际认可IN

4、TERNATIONALLY RECOGNIZED1火山引擎夺得 AIM2024 大赛视频显著性预测赛道冠军火山引擎夺得 AIM2024 大赛超分质量评估赛道冠军火山引擎联合中国科学技术大学 IMCL 团队夺得 NTIRE 大赛盲压缩图像增强赛道冠军火山引擎国际深度学习图像压缩挑战赛蝉联冠军CVPR 2024 满分论文|Deformable 3D Gaussian:基于可变形 3D 高斯的高质量单目动态重建新方法CVPR 2024|Modular Blind Video Quality Assessment：模块化无参视频质量评估深度拆解：CVPR 2024 CAMixerSR 动态注意力分配的

5、超分辨率加速框架火山引擎多媒体实验室VR全链路处理传输显示方案ResVR入选ACM Multimedia 2024最佳论文提名火山引擎论文入选国际会议ACM IMC24 一种面向大规模视频点播系统的算法实验平台横扫四大赛道，火山引擎斩获 MSU 世界视频编码器大赛“最佳ASIC编码器”001005009013017024030036042049技术探索TECHNOLOGY EXPLORATION2AI 视频时代，如何才能不掉队？生产、交互、消费全链路升级，开启“三智”视频新时代豆包大模型支持实时语音通话了！抖音 Android 端图片优化实践在 Windows 下玩转多媒体处理框架 BMF超低

6、延迟多路径传输：技术演进与大规模业务实践高质量 3D Gaussian-Splatting 场景重建及低延迟重渲染技术触摸未来，字节跳动提出 6DoF 直播创新方案解题智实融合、音视频交互新挑战，AI 2.0 时代怎么做？火山引擎打通了AI+硬件的最后一纳米全链路革新：火山引擎视频云引领 AI 新视界053062070075093118128134139147155最佳实践BEST PRACTICE3火山引擎RTC联合乐鑫、移远：智能硬件注入“豆包”，“模”力升级儿歌点点携手火山引擎，共创儿童成长 AI 伙伴龙游神州：揭秘云 VR 大空间背后的技术魔法火山引擎升级社区团购+直播新玩法助力企业玩