蒋志远-淘宝在 Vision Pro 上的架构实践.pdf

1、淘宝在 Vision Pro 上的 架构实践演讲：蒋志远淘宝/级研发程师淘宝/级研发程师蒋志远来淘宝 XR 程技术团队，负责淘宝 Vision Pro 版本的软件架构作。重新设计了 淘宝 Vision Pro 版本的软件架构，持了淘宝 Vision Pro 版本开发上线的全流程。CONTENTS录01全新的 visionOS02沉浸式技术探索03程的最佳实践04总结与展望01全新的 visionOS主流头显设备的对主流头显设备Apple Vision ProAR 眼镜体验设计VR为主、MR为辅MR为主、VR为辅投屏为主开发套件OpenXR/Andorid/游戏引擎visionOS SDK研/O

2、penXR交互式控制器为主、势控为辅势操作控制器/控制器性能表现骁 XR2 芯Apple M2+R1本身算Vision Pro 是台专为 混合现实 设计头显设备visionOS 的开发套件VisionOS SDKUI 框架UIKitSwiftUIAR 内容ARKitRealityKit照PhotoKitAICoreMLVision视频AVFoundation定位CoreLocation基础能Foundation 与 iOS 接近，iOS 开发者和应可以快速迁移到 visionOS 平台 visionOS 是全新的构建平台，iOS 的模块法直接使 要适配 visionOS，需要对基于 iOS S

3、DK 构建的模块进改造什么是 XCFrameworkiOSmac OSvision OS编译分发什么是 XCFrameworkiOSmac OSvision OSXCFramework程第步 XCFramework 适配100+以 CocoaPods 分发的三库 适配需要将所有模块重新构建（成本）visionOS 持以兼容模式运 iOS 应 iOS 的模块可以正常运在 visionOS 上CocoaPods 拒绝使 iOS 模块 SDK 的 Podspec 中并不持 visionOS增加 CocoaPods 插件1.运时修改 Podspec 让 CocoaPods 接受 iOS 的模块 2.适

4、当修改 iOS 进制描述以持 visionOS框架第步 SwiftUI API 的影响SwiftUI Only APIRealityView.persistentSystemOverlays.glassBackgroundEffect 命周期需要重新适配 纯 SwiftUI 的 API 调时序法确定 SwiftUI 渲染机制不完全可控 SwiftUI 部分 API 存在严重的性能问题.defaultWindowPlacementSwiftUI 的问题框架第步 多窗的应模式Window：显示 2D 内容，可以由摆放，数量不限Volume：显示 3D 内容，可以由摆放，数量不限Immersive

5、Space：显示沉浸内容，定位在真实世界中，全局唯02沉浸式技术探索应形态的思考沉浸度信息获取效率体验的可持续性设备兼容性VRMR沉浸度信息获取效率体验的可持续性设备兼容性完全虚拟的环境有极的沉浸度多任务处理带来的效信息获取Native 开发充分利设备特性可以和其他应共存，需退出应以窗浏览为主次只能展示个场景，3D 模型的信息密度不如本利游戏引擎跨平台，存在设备兼容性问题场景独占，时常出现体验被打断在淘宝的场景下，效的信息获取、体验的可持续是更加重要的，淘宝并不需要时时刻刻的沉浸。MR 对于淘宝来说才是最优解开发框架上的选择跨平台能中间件积累开发便利性节能性UI组件能游戏引擎原开发游戏引擎原框

6、架需要开发者有够的渲染知识、3D 知识。开发语般都为槛较的 C+等。没有 2D UI 组件，场景中的内容全部得使 3D 能绘制，开发难度。逐帧渲染的模式性能开销，不利于线设备时间运。原有丰富的 UI 组件库可以使，可以快速搭建应的 2D UI。原开发的槛更低，熟悉 iOS 开发的开发者可以快速上。机淘宝上已经积累量的中间件可以重复利。原开发有很好的能效，资源占更低。淘宝要提供体的，沉浸的购物体验 量的 3D 模型+量的 空间视频3D 模型从哪来？建模+算法重建3D 模型从哪来 建模产商品的三维模型作流 建模软件Unity 编辑器Unity导出插件3D 资产模型平台Blender Maya Ho