《CreateAI：2025多模态生成技术在动画制作领域的应用与发展白皮书（24页）.pdf》由会员分享，可在线阅读，更多相关《CreateAI：2025多模态生成技术在动画制作领域的应用与发展白皮书（24页）.pdf（24页珍藏版）》请在三个皮匠报告上搜索。

1、MULTIMODAL GENERATIVE TECHNOLOGYAPPLICATION AND DEVELOPMENT IN THE FIELD OF ANIMATION PRODUCTIONMULTIMODAL GENERATIVE-TECHNOLOGY引言在数字化与人工智能技术重塑产业格局的当下，动画制作行业正经历以多模态生成技术为核心的深刻变革。作为跨模态数据处理的前沿技术，多模态生成通过数据对齐与联合建模机制，实现了对文本、图像、音视频等非结构化数据的深度解析与跨模态重构。这一技术突破不仅显著提升内容生产效率，更通过多模态协同创作拓展艺术表达边界，为动画产业的全流程革新注入强劲动能。值

2、得关注的是，据IDC预测，到2028年，非结构化数据的占比将达82.3%，而多模态生成技术凭借其处理复杂数据类型的独特优势，正成为驱动行业实现效率跃迁与品质升级的核心技术底座。这一技术变革的实践价值，已在2025年突破性标杆动画电影 哪吒之魔童闹海（以下简称 哪吒2）中得到充分验证。哪吒2 制作团队通过构建多模态生成技术栈重构60%的工业化流程，实现制作周期缩短30%、人均产能提升470%、成本降低20%、画面质量提升40%的技术突破。其成果体现在：全球票房突破139亿人民币，峰值日票房达7亿人民币（截至2025年2月28日），创下行业新纪录。该片技术应用覆盖美术设计、动态捕捉到多语言宣发全链

3、条，成为AI驱动艺术工业化进程的里程碑式案例。基于上述技术演进与实践突破，本白皮书将深入剖析多模态生成技术在动画制作中的应用场景、核心技术、面临挑战及未来发展路径，结合第三方权威数据拆解 哪吒2 等标杆案例，为行业从业者、研究者及相关利益方提供全面参考。INTRODUCTION目录目录CONTENTS引言动画制作全流程及多模态生成技术应用场景 011动画制作全流程概述2多模态生成技术在核心制作阶段的应用基于动画应用场景制定视频大模型的评测标准工业级图生视频大模型Ruyi-平衡场景需求的定制开发 031定制开发背景2数据层面优化3工业级使用标准多模态生成技术在动画制作领域的挑战与展望结论附录：数

4、据来源说明041面临挑战2未来展望02“动画制作从概念萌生到最终作品呈现给观众，是一个环环相扣、精细复杂的过程，完整涵盖项目立项、前期创作、中期制作、后期制作以及宣发销售这五个紧密相连的阶段。每个阶段都在塑造最终动画作品的质量、市场影响力与受众反馈等方面扮演着不可或缺的角色。”立项阶段是动画项目的起点，需明确项目的商业目标、受众定位、核心创意以及预算规划等关键要素，为后续制作环节奠定坚实基础。前期创作、中期制作与后期制作阶段，共同构成了动画从创意构思转化为具体视听作品的关键环节，我们将其定义为核心制作阶段。而宣发销售阶段则关乎作品能否成功推向市场、获得观众认可，通过制定有效的宣传策略与发行渠道

5、规划，扩大作品的影响力与传播范围。在本白皮书中，鉴于多模态生成技术在核心制作阶段展现出最为显著的应用价值与创新潜力，后续将重点围绕该阶段展开详细阐述，深入剖析该技术如何深度赋能动画制作流程。Full scope of animation production and the application of multimodal generative technology01动画制作全流程概述多模态生成技术在核心制作阶段的应用前期创作二维动画项目前期创作主要由动画导演、编剧、美术指导（含角色/场景设计师）、分镜师等内容，主创团队负责，涵盖策划、编剧、设定、画分镜和设计稿Layout共五个部分。02

6、“在数字内容生产范式加速重构的当下，多模态生成技术在二维和三维动画中的应用程度不尽相同，二维动画的应用更成熟且广泛，不过从三至五年的中长期来看，三维动画的颠覆性机会更大。以下将分别探讨多模态生成技术在二维动画和三维动画核心制作阶段的应用。”策划:作品的立项。主要是确定作品标题、风格、类型、集数、故事内容等等方面的内容。多模态生成技术不仅能爬取MyAnimeList、B站等平台10万+部动漫数据，分析题材热度与用户偏好，还能匹配宫崎骏、新海诚等导演的作品特征，生成混合风格方案。编剧:创作每一集的故事。一般会有一到三个编剧为动画创作故事。多数的作品中会设立 剧本统筹 这个岗位来创作故事大纲和把关每

7、一集的剧本。多模态生成技术能够通过故事树算法扩展剧情分支，建议分集节奏；逻辑校验方面，还能监测时间线矛盾，推荐台词优化方案。设定:动画各方面的设定，包括概念设计、人物设定、机械设定、美术设定、色彩设计等内容。开源工具 Stable Diffusion通过LoRA模型训练，可以实现二维角色的个性化风格定制（如赛璐璐、水彩质感）。色彩设计层面，多模态生成技术可生成色指定表，匹配材质纹理。二维动画03画分镜:把剧本的文字化为一个个镜头的画面。通过输入文本描述场景动作或角色情绪，多模态生成技术可自动生成分镜头草图及运镜方案，标注时长与运镜方式。如果上传参考视频，还能自动提取运镜轨迹、动作节奏等特征，转

8、化为分镜脚本中的镜头语言。设计稿Layout：根据分镜稿的草图设计画面，人物的确切位置关系、背景的具体内容、人物的具体动作表情、动作的分解方式、镜头的具体运用等等都要明确画出来。多模态生成技术能够通过文本描述生成角色造型线稿，同时自动匹配符合世界观设定的场景设计元素。根据输入的参考素材，该技术能提取光影风格、透视规律等特征，自动生成符合物理规律的设计稿，实时检测角色与场景的比例关系，提供动态调整建议。中期制作项目中期制作主要由原画师、中间画师、色彩设计师、背景绘制团队等执行团队负责，涵盖原画制作、中间画绘制、色彩指定、分层上色四大核心环节。原画:根据设计稿Layout画出关键帧，是让画面从静到

9、动转化的一步。在辅助关键帧生成方面，多模态生成技术可通过学习角色设定和动作规律，自动生成符合分镜要求的原画草稿。中间画:原画负责定义关键动态帧（Key Frame），中间画（In-Between）通过补全动作间的过渡帧实现流畅动画。当前主流多模态生成技术已实现关键帧插值补全与连贯过渡帧生成，但在跨帧色彩一致性控制方面仍存在技术短板，基于时序上下文的最优续写关键帧筛选更是亟待突破的技术瓶颈。颜色指定:具体负责指定每一集的颜色，特指动态部分的颜色，不包括背景。多模态生成技术通过分析场景氛围、角色性格等要素，生成符合美术指导要求的配色方案，大幅减少人工试错成本；该技术还能识别角色与背景的色彩对比关系

10、，自动调整色相、饱和度以增强画面协调性。04上色:为原画、中间画的线稿上色，不包括背景部分的上色。传统流程中，原画完成后，上色环节需严格按照色板填充颜色，确保角色、道具在不同镜头中的颜色统一。多模态生成技术（如分割网络）能精准识别封闭线稿区域，实现一键上色，避免传统流程中的溢色问题。多模态生成技术还支持同一线稿的多种上色方案合成，比如日景和夜景的切换，便于团队快速对比选择。后期制作项目后期制作主要由合成师、剪辑师、音效师、配音导演等技术团队负责，主要包括动画合成、镜头剪辑、后期录音、音画同步合成四个环节。合成:把原画、中间画、背景、CG等素材合成到一个画面，同时根据分镜稿要求加入特殊效果和运镜

11、。多模态生成技术可通过算法分析画面内容，自动生成自然流畅的转场效果，例如根据场景色调或运动轨迹匹配过渡方式，减少人工调整的耗时；基于深度学习，多模态生成技术还可修复低分辨率素材、优化线条平滑度，或自动补全复杂背景，提升画面整体质感。剪辑:把所有的镜头连接成为一部完整的动画，同时包括调整镜头顺序、增删镜头时间、去掉不需要的镜头等工作。多模态生成技术可分析动画分镜脚本与音乐节奏，自动推荐剪辑点，优化影片叙事节奏；场景分类与标签化方面，多模态生成技术通过图像识别技术，对素材库中的场景、角色进行分类标记，快速检索所需片段，提升剪辑效率；多模态生成技术还能基于剧本或分镜，生成初步剪辑版本，供人工进一步调

12、整，缩短制作周期。后期录音:在画面完成之后，请配音演员进行配音。多模态生成技术支持生成自然的人声配音，并调整语调、情感以匹配角色性格，减少对专业配音演员的依赖；多语言自动适配方面，多模态生成技术可快速生成多语种配音版本，并通过口型驱动技术调整口型动画与语音同步，降低本地化成本。音画合成:加入效果音、BGM、插曲等内容。通过时间轴分析，多模态生成技术能自动对齐语音、音效与画面动作，避免声画不同步问题；根据场景情绪，多模态生成技术能动态调整背景音乐、音效与语音的混合比例，强化氛围。剧本创作剧本创作是整个制作的源头。传统创作模式下，编剧需长时间头脑风暴、查阅资料，反复打磨剧情和台词，极易陷入思维定式

13、。引入多模态生成技术后，创作者提供原创主题关键词及故事梗概，大模型可以补充生成逻辑脚本，大幅减少编剧的重复劳动，丰富创作灵感。哪吒2 采用的AI辅助编剧系统，通过分析封神宇宙百万字文本，自动生成符合神话逻辑的剧情支线。制作团队用ChatGPT模拟“王家卫式台词”“诺兰式叙事结构”，甚至生成Blender脚本代码，快速测试不同艺术风格。片中“元宇宙天庭”的赛博朋克元素，正是AI从300多个方案中筛选的“爆款”。05前期创作三维动画项目前期创作主要由动画导演、编剧、故事板艺术家、角色设计师、美术指导、分镜师等内容主创团队负责，涵盖主创定案、美术设计、对白录音和分镜制作四个部分。三维动画美术设计框定

14、剧本后，美术人员需完成人物、道具、场景设计，并整理成视觉风格指南供其他部门参考。以往美术团队需手绘大量概念图，如今借助图像生成模型，可根据文本描述快速产出风格多样且高质量的视觉素材参考，创作者还可通过参数微调实现个性化定制，满足不同动画项目需求。在 哪吒2 概念图创作中，倍视传媒Base团队引入AI工具ControlNet创作天数由数周压缩至 天3迭代概念图 张生成形象 版800+最终选定的”魔童哪吒“形象获观众调研满意度92.3%0607作为动画制作的核心环节，中期制作主要包含建立资产、灯光、特效、合成四个阶段。三维动画的资产建立是基于前期设定，进行资产模型、材质、绑定、电子分镜layout

15、和动画animation的过程组合。以下重点探讨layout和动画animation环节。录音分镜制作传统制作模式下，导演、编剧、动画师、剪辑人员和全体配音演员需多次进行台词预演与正式录音，现在大模型能够根据概念图中角色的外貌、动作、表情等动态信息，生成匹配角色风格的音色和语调。分镜制作是导演将剧本分解为段落和镜头的过程，创作前需根据最终项目交付标准确定长宽比例。若拥有能适应任意长宽比的视频模型，创作者便无需担忧镜头长宽比问题。中期制作Layout环节多模态生成技术可基于输入创作者设定信息快速生成基础动画元素或场景框架，为layout设计提供参考。哪吒2 中的天宫、龙宫等场景美轮美奂，充满了奇

16、幻色彩。这些复杂场景的构建，同样离不开AI技术的帮助。08动画制作layout通过后，进入最终资产绑定与动画制作阶段。结合剧本、故事板内容以及人物性格和故事表达，调整资产绑定的动作、表情及资产间的互动关系。此过程一般分为Blocking、Animation和Facial三步：AI场景生成器能够根据输入的关键词，如“海底龙宫+赛博朋克”自动生成建筑结构与材质贴图。敖丙的冰晶王座最初由AI生成37个版本，美术总监仅需在触控屏上滑动手指，就能像玩 我的世界 般拼接出最终效果。这种AI辅助的场景生成方式，大大节省了美术团队的时间和精力，同时也为创作者提供了更多的创意灵感。09Facial面部表情调整环

17、节，团队建立AI表情数据库收录超10万种微表情数据当哪吒说出“我命由我不由天”时，AI自动匹配瞳孔收缩、嘴角颤动的组合让情绪传递精准度提升70%借助Stable Diffusion的图生图功能，原画师仅需勾勒角色线稿AI即可自动填充色彩、光影细节，并生成连贯动作序列在Blocking环节，哪吒2 对关键帧动作捕捉进行“智能升级”片中哪吒“风火轮腾空”的1080度旋转镜头，正是AI迭代200余版后的最优解当申公豹讥讽“天命不可违”时，嘴角那抹似笑非笑的微表情，正是 AI 对演员微表情的精准复刻，让观众能够更深刻地感受到角色的情绪变化。同时，团队采用的AI 微表情迁移技术也为角色增添了细腻的情感表

18、达。该系统以真人演员的 52 种表情为基础，再通过生成对抗网络（GAN）映射到角色面部。10 值得注意的是，中期制作环节，尤其是Layout（布局设计）和Animation（关键帧、中间帧）环节，堪称整个动画制作全流程里最耗时的部分。在传统制作模式下，如果要制作高质量动画，时长5分钟左右的二维动画单集Layout和Animation环节常需半年左右，因为要逐帧绘制；三维动画虽前期模型搭建、骨骼绑定复杂，但关键帧与中间帧制作在软件辅助下有自动化优势，单集一般需 4-6 个月。而多模态生成技术的应用，有望大幅削减这部分的人工成本。据 哪吒2 特效制作方 Base Media 透露AI 将特效制作效

19、率提升 400%单帧渲染成本从 300 元降至 18 元其开发的 AI 集群系统将“万龙甲”场景的特效制作效率提升300%单帧渲染时间从72小时压缩至8小时整体制作周期从传统 3 个月压缩至 2 周成本降低 40%影片中1948个特效镜头中有30%的重复性工作由AI技术承担，从毛发渲染到粒子特效，AI算法将传统实现降本增效11数据来源：2025中国动画电影工业化白皮书手工耗时缩短了60%成本降低了45%后期制作动画制作完成后，进入配音、调色、字幕等后期剪辑阶段。后期流程主要分为声音处理和画面处理两部分。声音处理涵盖音乐与声音（对白、拟音、音效），通过各阶段及相同元素的混录检查与修改，最终将处理

20、后的素材与画面进行混录。多模态生成技术可同时处理图像和音频信息，生成匹配的音效和配乐参考素材，有效简化这一繁琐工作。AI语音合成技术为 哪吒2 生成7种方言版配音，推动区域市场票房增长15%-20%。画面处理颜色校正至关重要却繁琐重复，包括对比度、色调、色彩、亮度、饱和度和密度等调整，旨在统一每个镜头的颜色，确保作品色调和谐。多模态生成技术不仅能保证不同帧之间的色彩一致性，还能使色彩呈现和谐自然，大幅减少对手动调色的依赖。12哪吒2 制作团队自主研发的CV-Scene 系统通过 300 万组光影数据训练，实现实时环境渲染传统 3 天手动调色被压缩至 0.8 秒 “基于在全流程不同应用场景的深入

21、实践，CreateAI从动画制作的实际需求出发，构建了一套全面且针对性强的视频模型评测体系。”02该体系包含六个关键维度，旨在精准衡量视频生成模型在动画创作任务中的卓越表现，确保模型能够切实满足动画产业各环节的严格要求。13Key metrics for video models based on animation needs基于动画应用场景制定视频大模型的评测标准 工业级图生视频大模型Ruyi-平衡场景需求的定制开发 03定制开发背景在竞争激烈的创意内容创作领域，通用基础模型面临诸多难题。一方面，训练数据不均衡，不同主题生成效果差异大，且后期微调和纠正困难，难以精准适配多样化的创作需求。另

22、一方面，数据标注的缺乏或不精准，导致模型对内容的理解和生成存在偏差，难以满足创作者对细节和准确性的要求。为解决这些痛点，CreateAI决定自主研发工业级图生视频大模型Ruyi，以确保模型与动画市场需求深度契合。数据层面优化Ruyi图生视频大模型在数据收集和处理上进行了精心设计。团队广泛收集涵盖动画、科幻、真人等多元主题的数据，并通过科学的筛选与配比，确保数据分布的均衡性。与此同时，依托全球领先的数据标注经验与能力，团队采用自动化标注和人工标注相结合的方式，让标注数据质量过硬。均衡且优质的数据，让Ruyi面对各种创作需求时表现更加稳定和出色，对创作者更加友好。工业级使用标准 目前，结合用户反馈

23、持续更新和迭代，Ruyi在以下五方面达到了工业级使用标准：超高品质输出Ruyi色彩呈现和谐自然，其架构基于DiT（Denoising Diffusion Transformer）模型，DiffusionTransformer模块在数据压缩后进行视频生成，通过3D full attention和多种位置编码方式确保生成效果的精细化与高保真度。Creating Ruyi-balancing application with practicality14卓越的一致性与连贯性 Ruyi在帧间一致性和动作流畅性上表现出色，采用24fps的帧率，每秒播放24帧画面，让动作更加丝滑。15在跨帧色彩一致性控制

24、方面，Ruyi率先弥补了市面上大多数模型存在的技术短板，能够精准控制颜色，生成的素材很好地确保了颜色背景的前后一致性。高度可控生成 分辨率、时长和长宽比可控:Ruyi支持384384至10241024分辨率，任意长宽比，最长可生成120帧/5秒的视频。扫一扫二维码，关注我的视频号扫一扫二维码，关注我的视频号扫一扫二维码，关注我的视频号扫一扫二维码，关注我的视频号 Ruyi旨在降低内容的开发周期和成本，发布之初便开源Ruyi-Mini-7B版本供创作者免费使用。其采用的DiT 模型架构中，CasualVAE模块负责视频数据的压缩与解压，大幅提升生成效率，创作者能在短时间内完成高质量视频制作，减少

25、人力和时间成本投入。起始帧和结束帧控制:支持最多5个起始帧、5个结束帧基础上的视频生成，通过循环叠加可生成任意长度视频，便于创作者控制视频起始和结束画面，满足剪辑和内容规划需求。运动幅度控制:提供4档运动幅度控制，创作者可根据需求选择，实现画面运动效果的可控性。镜头控制:提供上、下、左、右、静止5种镜头控制选项，创作者可把控画面视角，营造不同视觉效果。“Ruyi”专为消费级显卡（如RTX 4090）设计,提供详尽部署说明和ComfyUI工作流，即便是初学者也能快速上手操作，降低入门门槛。16高效的创作成本控制便捷的创作交互体验扫一扫二维码，关注我的视频号扫一扫二维码，关注我的视频号扫一扫二维码

26、，关注我的视频号 Multimodal generation technologyChallenges and Prospects in the Field of Animation Production多模态生成技术在动画制作领域的挑战与展望 04面临挑战数据依赖问题 多模态生成技术生成效果高度依赖高质量多维度数据（文本/图像/音视频等），标注错误、模态缺失或分布失衡易导致内容失真。哪吒2 在美术设计阶段消耗超过800TB涵盖文本、分镜、音视频等多类型的多模态训练数据，才得以在毛发渲染、光影表现等环节达到电影级标准。物理遵循不佳在模拟物体运动和空间交互时，当前技术在物理遵循方面存在不足，致使

27、部分动画场景与现实物理常识不符，如物体运动轨迹异常、碰撞效果不真实等，大大削弱了动画的真实感和沉浸感。哪吒2 中12%的特效镜头就因物理失真需人工修正，导致成本增加2300万元。技术整合难题 将多模态生成技术与现行动画制作流程和工具进行有效整合并非易事，需要解决技术接口、数据格式兼容等一系列问题，以确保技术能够无缝融入现有工作流。未来展望遵循物理规律的特效将更真实和震撼。随着深度学习、计算机视觉、自然语言处理等技术的不断发展，多模态生成技术有望与物理模拟引擎（如Houdini）结合，更精准地模拟现实世界，解决物理失真问题。多模态生成技术将推动动画产业的生产方式变革，大幅缩短制作周期、降低成本，

28、使更多创意能够得以实现。同时，也将促使动画行业的分工和协作模式发生变化，催生新的职业和岗位。从行业招聘需求来看，有隐私管理、美术背景、物理功底或者熟练掌握计算机语言的人才将更受青睐。该技术为动画创作者提供了更多的创作可能性，激发创作灵感，推动动画内容向更加多元化、个性化方向发展，满足不同观众群体日益增长的需求。17结论 CreateAI于2024年12月17日正式推出工业级图生视频大模型Ruyi。我们认为，以当前行业的技术水平，已具备开展产品化技术验证的条件。预计到2025年底，即便人工原创制作仍是保障制作水准的根基，视频模型也将深度融入工业级动画番剧的制作流程。在之后的更新版本中，Ruyi还

29、将具备从生成的视频里自动选取最佳续写关键帧的能力,优先突破行业现存技术瓶颈，彻底攻克动画制作中“动作连贯易、叙事导向难”的核心痛点。届时我们将以此为基础制作动画短片，直观展现技术的应用成效与优势。不仅如此，我们还确立了更为长远的目标：在未来5年内，凭借持续的技术突破，将动画产业的制作成本和开发周期降低50%。这一目标的达成，将切实减轻动画制作公司的成本压力，助力更多优质动画作品更快地与观众见面。我们期望与行业各方携手共进，充分挖掘多模态生成技术的潜力，共同推动动画产业迈向新的高峰。多模态生成技术作为动画制作领域的新兴力量，已展现出巨大的应用潜力和创新价值。尽管面临诸多挑战，但随着技术的不断进步

30、和完善，其将在动画制作全流程中发挥越来越重要的作用。据IDC预测，到2025年底，AIGC将覆盖动画制作70%的标准化环节。“”CONCLUSION18票房数据：猫眼专业版、Box Office Mojo技术效能数据：哪吒2 制作方内部数据、片方用户测试报告 中国社会科学网、央视财经、站酷等主流媒体与专业平台内容 搜狐网：AI赋能动漫创作：从 哪吒2 看数字文创产业的未来!今日头条：哪吒之魔童闹海 揭秘：AI技术如何助力国漫再创辉煌？今日头条：AI赋能国漫，江苏宿迁八维职业教育引领文化创意产业新风尚 网易：哪吒之魔童闹海 票房破70亿，AI技术助力国漫崛起 今日头条：AI哪吒128亿碾压好莱坞

31、！中国动画逆袭真相 哪吒2 破120亿神话背后，谁才是真正的“隐形导演”？哪吒 2 全球爆火，背后竟是 AI 在助力“破鼎”行业对比数据：艺恩咨询 IDC Global DataSphere Forecast,20232028 2025中国动画电影工业化白皮书附录数据来源说明APPENDIXCreateAI is redefining the boundaries of whats possible in digital storytelling.Pioneering the future of entertainment content production by blending cutting-edge generative AI technology with the creativity of world-class creators.CreateAI将重新定义数字娱乐内容叙事，前卫的生成式人工智能技术和顶尖的创意团队，重构影视和游戏制作行业。扫码关注公众号回复“报告”即可获取电子版