ai-inference-performance-acceleration-methods-tools-and-deployment-workflows-ailia-xia-fu-daep-rezhu-ya-xiao-yifei-zhang-yu-tai-bytedance-1.pdf

1、AI 推理性能加速:方法/工具/部署工作流张翼飞、钱磊字节跳动云原生开发工程师AI+云原生技术趋势https:/ 推理https:/arxiv.org/abs/1706.03762https:/huggingface.co/blog/stable_diffusionAI 推理AI 推理存储访问加速-客户场景&问题客户场景客户场景：Serverless Pod 启动 Stable Diffusion 服务问题问题：弹性速度慢耗时点耗时点：拉取容器镜像 Stable Diffusion 启动时读取底模解法解法：镜像缓存 Fluid+Alluxio存储访问加速-Fluid 介绍 Kubernetes

2、-native 管理数据集（编排、加速）支持多种存储实现 CNCF sandbox 开源项目https:/fluid-cloudnative.github.io/存储访问加速-使用方式存储访问加速-整体部署Fluid 组件组件：Node/Serverless Pod 部署皆可Alluxio Master Pod：Serverless Pod 部署，避免 Node 抖动的影响Alluxio Worker Pod：Node 方式部署，复用已有的 Node，提升利用率弹性能力，忙时扩容提高性能，闲时缩容省成本存储访问加速-性能&效果首次文生图请求首次文生图请求，所有所有 Pod 的完成时间大幅提升的完成时间大幅提升Whats next：更快、更稳定的 runtime 集成 veTurboIO，开源、高性能读写模型文件的 Python 库 产品化，更易用 更大规模的验证性能评测工具客户场景客户场景：为不同的模型选择合适的卡推理问题问题：模型的性能如何？不同的卡适合运行哪种模型？如何为模型选择最佳的部署配置？解法解法：统一性能评测工具 部署配置推荐性能评测工具性能评测工具性能评测工具性能评测工具部署工作流谢谢谢谢！欢迎加入火山引擎云原生欢迎加入火山引擎云原生 AI 套件用户群套件用户群