【陈欣】AIGC 前沿技术 —— 虚拟人动作生成技术的发展与应用.pdf

1、稀土掘金intel.YgolonnaT.cnJigAIGC前沿技术E虚拟人动作生成技术的发展与应用陈欣腾讯科技QQ影像中心研究员Traveler）10.9JUESINO2023nicatel#page#陈欣2021年加入腾讯QQ影像中心负责QQ秀的虚拟人服饰、动画的AIGC技术研究致力于AIGC、多模态大模型方向的研究与落地中国科学院大学博士，研究生成式人工智能，具体包括虚拟人生成、动作生成、三维物体生成等，在CVPR，ICCV，SIGGRAPH等国际顶会发表论文20余篇个人主页：HTTPS:/CHENXIN.TECH/Crueim.#page#动作生成技术的发展018扩散模型与动作生成02州

2、语言模型与动作生成03contentueiinuejir#page#page#相关资源获取数据下载与代码开源Motion BackgroundMotion-Latent-DiffusionMotionGPTeiin夏CanyougenerateamotionthatapersonkneelingontheBroundgetsupQ0过F宁大手生月Chtps/ is Human Motion？CSkeletonSkeleton and Skin11OSSO:Obtaining SkeltalfromOutside2ASknned Muli3jExpressive BodyCapt#page#pa

3、ge# Why Industry Needs Motion Synthesis？cnjueiin.cFilmGARMetaversecn#page#Animation：虚拟人动作制作Craftly MadeTime-consumingUnnatural人工制作耗时巨大过程不自然aPolyyfior#page#MoCap:动作捕捉技术花费巨大需要外部设别Equipment requiredHigh cost专业表演人员Human Driven#page#Why Academia Needs Motion Synthesis？juejin.crMotion CaptureImageAction/B

4、ehavior RMotionLanguageueiin.crGesture UnderstandingSpeech GenerationAnimation GenerationText-driven Generation#page#Timeline:动作生成技术发展与动作捕捉技术的研究工作3D Motion Capture动作捕捉HMR家然VIBE-Video Inference for Body4DHumansHuman Mesh RecoveryPose and Shape Estimation餐皮宾庆1.4kgithubstars2.6kgithubstarsRecentWork1kc

5、itations636citations20182021202320202022MotionGPTMDM- Motion Diffusion ModelsMLD-Motion-latent-diffusionRecentWork2.2kgithubstars,100citations300+github stars3DMotion Synthesis动作生成#page#02YgolonnaTJigMotion LatentEDiffusionModels扩散模型与动作生成Traveler）10.9JUESINO2023inicatej#page#CIVITAI#page# Diffusion

6、in Image SynthesisDALLE2，Disco-Diffusion，GLIDE.jueiin.cLatent DiffusionImageno larger Text encoder rather than CLIPDiffusion in VAE latent spacetext-encoder:T5-XXL（4.6B）Image512x512-VAE64x64x4diffusion decoder 64 （2B）Less computational costsdiffusion upsampler 64-256Supported Inputs: segmentations，i