火山引擎：如何利用云原生构建 AIGC 业务基石（2023）（24页）.pdf

1、山火山引擎开发者社区如何利用云原生构建AIGC业务基石李玉光|火山引擎资深云原生架构师2023/3/26#page#1.什么是AIGC目录2.云原生机器学习的核心场景Contents3.云原生如何助力AIGC业务4.业界成功实践2#page#什么是AIGC#page#什么是AIGCAIGC全称为ArtificiallnteligenceGeneratedContent（人工智能生成内容），是指AI通过海量现存数据（如文本、音频或图像）生成新内容的技术。The Four PhasesofContent CreationAIGC着重于内容的生成，而内容生态的发展则可分为四个阶段：品5PGC：电视台

2、、线上专业视频网站是主要的PGC内容生产方，包括电影、电视剧、纪录片等UGC：互联网短视频如抖音、西瓜、等大都属于UGC平台Al-assistedUser-generatedContent：主要由UGC平台推广，处于AI辅助生成内容阶段，并未进入自AI内容自动生成阶段AIGC：自动生成文字、图片、音频、视频，甚至3D模型和代码单人体验路合时在我社交爱元家击期者火山引擎开发者社区#page#5AIGC现状AI生成文字方面目前AI已经可以设计营销文案、写邮件、写广告、自动生成代码等内容。（内容复命度）AI生成图片已经可以生成专业画师水平的作品。Al辅助生成作品太空歌剧院击败其他纯人工作品夺得数字艺

3、术类比赛冠军。AI生成音频去年在网上有一段AI生成的对于乔布斯的20分钟的采访音频，在音频中乔布斯谈到自己的大学时代、对计算机、工作状态和信仰的看法，已经很难区分出真假。AI生成视频目前AI生成视频的算法模型还未成熟，也还没出现一家独大的局面。不过已经可以做到文字转视频、图片转视频、视频生成视频三种功能。比如通过文本描述，就可以生成一段情节连贵的视频。AI生成3D我三身首出回季我三季要我三器8.我Y模型，技术要求比较高，需要懂美术、熟悉3DMAX和Maya等软件，还需要大量的时间去人工绘制。现在的技术可以把全景相机拍摄的视频自动造染为3D场景，减少了人工3D建模的过程。火山引擎开发者社区#pa

4、ge#6AIGC热点事件太空歌剧院是游戏设计师杰森艾伦的绘画作品，该幅画作是Allen使用AI绘图工具Midjourney生成，再经Photoshop润色而来。2022年8月，美国科罗拉多州举办的艺术比赛中，太空歌剧院获得数字艺术类别冠军。火山引擎开发者社区#page#AIGC热点事件由OpenAI开发的一个人工智能聊天机器人程序，于OpenAI2022年11月推出。使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。GPT-4大型多模态模型（largemultimodalCHATGPTmodel），支持图像和文本的输入，并生成文本结果。自动生成文章、生成代码、自动摘要等在内的多种

5、任务。可支持图片输入，并且可以阅读图片和解释。GPT-4在各种职业和学术考试上表现和人类水平相当。火山引擎开发者社区#page#8AIGC基础设施挑战超大镜像异构资源流程标准化高性能和可扩展存储CPU系统镜像和容器镜像大，容器镜基础架构带来算法结果差异带宽：单租户百GB/s的带宽吞吐GPU，A100、V100为主，A30、像普遍10-20G+，部分容器镜算法改进T4为辅像40G+，单层30G+，如何复现前人工作结果延退：亚毫秒级延退Nic:TCP/RDMA/Smart管理并对比不同的实验容量：PB级别的容量Tos、NAS、HDFS数千个计算实例同时访问的高性能共享存储火山引擎开发者社区#pag

6、e#AIGC基础设施挑战-资源利用率目前NVIDIAGPU在硬件上同一时刻只能运行一个CUDAcontext（通常对应一个进程）10%资源使用20%资源使30%资源使用机型价格（元/年）成本浪费成本浪费用成本浪费22万Tesla V100 *120万18万16万急需一种能够提高GPU资源率的QOS方案GPUGPUGPU人验识别语音识时OCR火山引擎开发者社区#page#10云原生机器学习的核心场景书艺#page#11云原生AI核心场景优化异构资源管理异构工作负载计算资源：如CPU、GPU、FPGA3dmlcS56R存储资源：TOS、NAS、HDFSPyTorchmxnetTensorFlow网