魏云超-从3D到4D快速且时空一致的4D内容生成探索.pdf

1、魏云超 北京交通大学计算机学院教授、副院长国家高层次人才计划获得者。曾在新加坡国立大学、美国伊利诺伊大学厄巴纳-香槟分校、悉尼科技大学从事研究工作。入选MIT TR35 China、百度全球高潜力华人青年学者、澳大利亚人TOP 40 Rising Star；获世界互联网大会领先科技奖（2023）、教育部高等学校自然科学奖一等奖（2022）、中国图象图形学学会科技技术奖一等奖（2019）、澳大利亚研究委员会青年研究奖（2019）、IBM C3SR最佳研究奖（2019）、计算机视觉世界杯ImageNet目标检测冠军（2014）及多项CVPR竞赛冠军；发表TPAMI、CVPR等顶级期刊/会议论文10

2、0多篇，Google引用超22000多次。目前主要研究方向包括面向非完美数据的视觉感知、多模态数据分析、生成式人工智能等。演讲主题：从3D到4D，快速且时空一致的4D内容生成探索魏云超 北京交通大学 教授从3D到4D，快速且时空一致的4D内容生成探索北京大纲工作一：4DGen介绍工作二：Diffusion4D介绍2D/3D/4D生成背景介绍4D生成未来展望大纲工作一：4DGen介绍工作二：Diffusion4D介绍2D/3D/4D生成背景介绍4D生成未来展望4生成式人工智能背景预测式人工智能数据预定义标签形式AI ModelsInputOutput“dog”条件信息新数据样本AI Models

3、InputOutput“一只穿着蜘蛛侠衣服的小狗。”生成式人工智能5生成式人工智能背景DALLE22022.4DreamFusion2022.10Sora2024.2Stable Diffusion2022.8Zero1232023.3MAV3D2023.1VideoCrafter2023.10LRM2023.114DGen2023.11LGM2024.2SV3D2024.3Diffusion4D2024.52D生成3D生成4D生成6生成式人工智能背景2DRGB图片3D点云、Nerf、高斯泼溅4DNerf/高斯泼溅+变形网络7生成式人工智能背景3D表征形式NeRF：用一个MLP预测点的颜色和密

4、度Gaussian Splatting：用显式的高斯球表达3D物体Mildenhall B,Srinivasan P P,Tancik M,et al.Nerf:Representing scenes as neural radiance fields for view synthesis.ECCV2020Kerbl B,Kopanas G,Leimkhler T,et al.3D Gaussian Splatting for Real-Time Radiance Field Rendering.SIGGRAPH20248生成式人工智能背景4D表征形式加一个额外的变形网络预测点的偏移Pumar

5、ola A,Corona E,Pons-Moll G,et al.D-nerf:Neural radiance fields for dynamic scenes CVPR,202192D生成生成式人工智能 2D 生成|3D 生成|4D 生成 Stable Diffusion（Stability AI)Rombach R,Blattmann A,Lorenz D,et al.High-resolution image synthesis with latent diffusion models.CVPR,2022海量图文数据对+Diffusion模型102D生成生成式人工智能 2D 生成|3D

6、 生成|4D 生成 VideoCrafter（腾讯）Chen H,Xia M,He Y,et al.Videocrafter1:Open diffusion models for high-quality video generation arXiv:2310图片生成模型+时间模块Liu,Jian,et al.A comprehensive survey on 3D content generation.arXiv 2024.063D生成式人工智能2D升维核心想法：利用2D生成大模型进些知识蒸馏代表性工作：DreamFusionProlificDreamer3D原生核心想法：利用大规模3D数据