3-6 多模态技术在智能创作中的应用.pdf-三个皮匠报告

1、多模态技术在智能创作中的应用文石磊字节跳动智能创作团队|01创作应用场景02问题与挑战03实践案例04创作云介绍目录|01创作应用场景智能创作典型应用场景道具|智能创作典型应用场景生成类|智能创作典型应用场景生成类|智能创作典型应用场景智能编辑|!#$%&()智能创作典型应用场景素材与模板|智能创作典型应用场景数字人|02问题与挑战问题与挑战|主要问题多模态理解多模态驱动多模态生成挑战多模态语义鸿沟海量高精数据真实性大预训练模型|03实践案例典型应用场景图文相关性|典型应用场景图文相关性|Query：玩游戏的孩子们典型应用场景图文相关性|双塔结构：CLIP模型典型应用场景图文相关性case|

2、Query：枫叶色的口红典型应用场景多模态驱动|文本驱动数字人：数字人客服/主播/教师音频驱动数字人：游戏角色lipsync/特效典型应用场景多模态驱动|文本TTS音素序列音频声学特征音频+文本Align音素序列情感标签驱动模型BS动画3D Mesh真人视频画面典型应用场景多模态驱动|低延迟实时音频驱动尽量少利用未来信息：低延迟，支持“照镜子”低计算量模型：端上实时，VR/手机viseme形式输出：适配不同风格角色，减少素材设计难度，方便利用大量音频数据典型应用场景多模态生成|典型应用场景多模态生成Imagen|典型应用场景多模态生成|典型应用场景多模态生成|封面生成自动配图小说内置插画图文成片文本生成贴纸/表情道具玩法辅助设计|04火山引擎智创云介绍智能创作云覆盖视频创作管理全链路|智能创作云火山引擎企业内容创作服务专家|为企业在视频、文案、图片等创作场景提供全流程SaaS，支持aPaaS方式交付智能创作云介绍|多模态艺术画作生成|非常感谢您的观看|

3-6 多模态技术在智能创作中的应用.pdf

相关报告