2-1 超写实数字人技术探索.pdf

《2-1 超写实数字人技术探索.pdf》由会员分享，可在线阅读，更多相关《2-1 超写实数字人技术探索.pdf（39页珍藏版）》请在三个皮匠报告上搜索。

1、超写实数字人技术探索网易伏羲 技术美术 宋征贴图分辨率：2028X1024贴图分别率：4096X2048常见的误区举例1：高精度高面数高参数好效果单纯提高GPU性能、暴力增加各种参数，如模型面数、阴影、光照的质量，很难对超写实的虚拟人进行提升。这是一种企图用规模解决所有问题的朴素心理。残酷的事实：创新是难以通过规模代偿的。只有通过从第一性原理出发，自顶向下设计，进行思路上的改变甚至颠覆，才能提升超写实虚拟人的渲染效果。这个问题的解释得追述到相当深的心理学机制。格式塔心理学认为，认知是动态的，是一个不断自底向上，不断简化、不断统一的过程。整体大于局部。整体是由对比体现的。我们感受的屏幕上的明暗，

2、是由亮部和暗部的对比产生的，所以在素描中会加重明暗交界线。色彩变化是由暖色和冷色的对比产生的，所以会在绘画的交界处加入对比色。当这种高维对比变得复杂而广泛的时候，就会形成一种叫Pattern的东西（模式、图案、特征），这也是AI领域主要研究的课题之一。视神经的工作方式类似卷积神经网络，更关心每个像素和周围像素的关系。当形成蓝噪声的时候，每个像素都和周围高度负相关，就会被人脑里的相关机制直接过滤。格式塔心理学提高贴图分辨率与否，差别几乎只是蓝噪声，而蓝噪声会被人脑自动过滤。前言 在虚拟世界中创造真假难辨的实时3D人类角色，彷佛隔着屏幕真得有一个人可以互动，一直都是图形学界的圣杯性问题之一。在社会

3、大众的朴素理解中，这种超写实品质的渲染，是一种进阶问题，是需要把“赛璐璐”、“次世代”的技术做到极致才能挑战的。但事实上，制作“赛璐璐”、“次世代”，和制作超写实虚拟人，是目的相似但原理和手段截然不同的两种问题，正如用笔写字和用电脑打字一般。随着3A游戏、数字孪生和元宇宙的驱动，很高兴看到这方面越来越受重视，优秀的团队业也层出不穷。但和国外相比我国在这方面总体水平还是薄弱一些的。这种薄弱未必是纯粹的技术差距造成的，还和一些历史原因造成的文化断层，以及认知错位有关。尤其是在科学和艺术的区分和结合上。这些元知识的缺失，会导致我们在实际操作中，忽视原理是否合理，而更在意技术形式，从而事倍功半。希望能

4、通过这次的论坛，普及一些超写实虚拟人的元知识，增进行业和社会对超写实虚拟人领域的关注和认识。同时也希望能带来一些有深度的技术内容，与大家有更深入的了解与交流。01.超写实虚拟人的两套制作思路02.03.04.目录CONTENTS形与色：扫描重建与色彩科学远不止于引擎内：Lookdev与原教旨主义PBR4D绑定与动画01.超写实虚拟人的两套制作思路构建式与整体式构建式更类似于过程化的思路，指的是，对现实中的人的机理进行彻底的解构，掌握从皮肤纹理、肌肉解剖到毛孔结构等诸多细节规律，再从这些细节重新构建虚拟人。解构和重组的关系正如科学与技术的关系一样。这是很容易得到实践的一种思路。构建式是一种历史悠

5、久和传统的方法。从文艺复兴开始，欧洲的画家就开始用这样的方式进行绘画。达芬奇就是其中的先行者。优点：每个环节都可控。缺点：需要掌握的细节过于庞杂。超写实虚拟人制作思路构建式大名鼎鼎的MetaHuman，整体便偏构建式整体式是随着3D扫描、统计学和人工智能等学科发展出的另一种超写实虚拟人的制作思路。我们可以把真实世界的人的外观表现、肌肉运动等，整体看成是一组含时间维度的高维向量。不需要知道它具体是怎样的表现或者运动规律。只需要知道，用数学工具尽可能低误差地拟合这组高维向量，就可以得到超写实虚拟人。正如下赢围棋9段的AlphaGo的作者并非专业围棋手一样。整体式的思路，真正在背后起执行作用的是数据

6、和数学规律，而非人。优点：方法简单而明确，效果可预期缺点：依赖Ground Truth（真实数据）的获取超写实虚拟人制作思路整体式整体式方法的主题是误差与优化构建式与整体式的结合 这两种方法并非对立，视需求和技术成熟程度，在超写实虚拟人涉及到的不同环节，会适用不同的方法，甚至两种方式互相穿插。比如贴图和模型制作方面，多使用整体式的3D扫描策略。也有采集了足够可信的扫描贴图后进行构建的。渲染技术方面，多使用构建式的各种光照技术组合，如3S、Wrinkle Maps、Dual Lobes、Cavity Map等技术杂糅。学术界对于基于机器学习或者可微渲染的一些整体性的方法也有不少探索。保证渲染效果