多模态大模型在游戏创作领域的创新实践-邵帅.pdf

1、演讲人：邵帅010203040506游戏创作的痛点与AIGC的机遇游戏生图大模型生图应用：文生特效 和 图生特效游戏图生视频大模型生视频应用：动态立绘 和 360 度旋转多视图未来展望：可交互视频生成01 游戏图生视频实时交互游戏世界模型 游戏动画超分 游戏角色动态立绘 游戏角色多视图生图系列能力生视频系列能力02游戏ip数据游戏美学评估体系 游戏领域多粒度 caption 体系caption 是让模型理解游戏概念和拥有细粒度文本控制能力最重要的一环训练 prompt 改写模型依赖多粒度 caption 数据 每张图像标注多条不同长度的 caption简短描述：约 30 字，简要概括图像主要内

2、容。中等描述：约 60 字，补充少量图像细节。详细描述：约 100 字，全面阐述图像细节信息。综合描述：在详细描述基础上，融入专业术语和标签体系，涵盖图像风格题材构图镜头景深光线IP 信息.蓝紫色的范围特效，里面有十字星粒子，特效周围有流光、粒子、烟雾、条带。形状为流动的火焰状，方向为上升，二次元风格。游戏IP 英雄联盟 人物IP 伊泽瑞尔 游戏类型 MOBA 视觉开发阶段原画03AB 基于文生特效模型的衍生能力1.黑白涂鸦作为输入2.彩色涂鸦作为输入3.黑白稿作为输入4.prompt+材质参考图作为输入 文生图和图生图的区别文生图的门槛更低，更适合普通用户体验。图生图对于颜色、形状、结构可以

3、更精准的控制。专业画师更擅长用绘图表达创意和概念。对于专业画师，图生图比文生图更受欢迎。04-05背景与动机：传统的角色三视图视角传达内容有限多视图需符合游戏行业标准的A/T姿态，通用图生视频无法做到且一致性低角色多视图是后续模型生产制作的必要前置条件，生产工时长成本高解法：收集5万+由专业3D设计师家创作的、已正确绑定和蒙皮的角色模型通过专业引擎工具渲染角色模型在标准姿势（A/T pose）下不同视角（360度）的视频，构建pair数据业界首个的360 A/T pose角色视频生成模型06专业美术对于 AIGC 的重要性模型自迭代扩充垂类数据多粒度 Caption多粒度 caption 方便训练 prompt 改写模型，不仅能降低门槛，还能提升效果。文生图和图生图交互方式的思考探索 AI 应用边界Explore the limitsof AI applications