王羽中-构建云原生算力基础设施驱动大模型创新实.pdf

1、构建云原生算力基础设施驱动大模型创新实践王羽中杭州谐云科技有限公司演讲嘉宾王羽中杭州谐云科技有限公司 技术总监负责谐云科技边缘智能、算力管理平台、MLP平台、大模型支撑平台等核心产品的技术演进。研究关注范围包括云原生技术、AI大模型、云边协同技术等，具有丰富的大规模底层支持系统架构设计经验和实践落地经验。目 录CONTENTS1.背景介绍2.关键要素3.技术方案4.未来展望背景介绍PART 01大模型的重要性 2022年8月，科技部发布关于支持建设新一代人工智能示范应用场景的通知中指出坚持面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康，充分发挥人工智能赋能经济社会发展的作

2、用，打造形成一批可复制、可推广的标杆型示范应用场景。2023年12月，国家数据局发布“数据要素x”三年行动计划（20242026年）（征求意见稿），提出以科学数据支持大模型开发，建设高质量语料库和基础科学数据集，支持开展通用人工智能大模型和垂直领域人工智能大模型训练。同时，北京、上海、深圳、安徽、四川等省市也陆续出台大模型产业发展措施，加速大模型应用落地。其他政策.产研方面政策方面政策方面自2022年11月30日ChatGPT发布以来，AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。大模型因其拥有表达能力好、泛化能力好、能够处理复杂任务和语义理解、知识库存储容量大等优势很快迎来了迅

3、猛发展。大模型将重新塑造人类知识应用、创造和转化的模式，在经济社会发展中产生巨大价值。中商产业研究院分析师预测，2023年中国大模型产业规模将达到147亿元，2024年将达到216亿元。据不完全统计，截至2023年8月，中国已发布的各类大模型数量已超上百个；根据科技部“新一代人工智能发展研究中心”发布的数据，截止至2023年我国参数规模在10亿以上的大模型总数量达79个。截至2023年10月，拥有10亿参数规模以上大模型的厂商及高校院所达到了254家。数据来源：中商产业研究院整理大模型落地情况大模型落地面临的关键问题：大模型幻觉现阶段，大模型输出准确度能够达到70%-90%左右。由于对准确性、

4、可控性要求较高，大模型面客应用都暂时无法落地。应用将以对内为主。答案时效性大模型需要将最新数据通过预训练方式灌注到模型中，因此很难囊括最新知识，其回答内容的时效性也受到限制。数据质量问题当前专业的领域知识数据都孤立在各个企业和机构中，没法构建大规模高质量的数据集，造成大模型在专业领域和垂直行业效果不佳。统计数据显示，在大模型落地应用中，45%的企业处于观望阶段、39%的企业处于探索可研阶段、16%的企业处于试点应用阶段，而全面落地应用的企业为零。国内外大模型对比 在大模型数量上，我国已经和美国逐年持平；在模型的效果上依旧存在较大的差距；据专业的SuperCLUE组织公开数据显示，截止2024年

5、2月，美国以GPT-4为代表的大模型的总分达到92.71，国内以文心一言4.0为代表的大模型的总分为87.75；国外以GPT-4为代表的大模型参数规模已经达到了1.8万亿，国内以文心一言4.0为代表的大模型参数规模尚未突破万亿规模的参数，参数规模是影响模型效果的重要因素之一；2019年2020年2021年2022年2023年1-5月美国411303718中国02302819其他01811105101520253035402019-2023年1-5月全球AI大模型数量对比美国中国其他算力对大模型的重要性算力规模决定大模型参数规模，从而间接决定大模型的效果和落地实践的可行性。如何解决大模型落地进程

6、慢，缩短国内大模型与国外大模型性能差距，算力作为大模型的基础设施都起着决定性作用。要实现大模型的弯道超车，要实现大模型的全面落地实践，算力基础设施建设是重中之重。人工智能大模型的快速发展，让算力引发前所未有的关注。伴随算力发展规划政策相继出台，算力整体布局持续优化，全国上下已形成积极推动算力产业快速健康发展的局面。在大模型领域，模型的性能通常与其规模成正比。也就是说，模型越大，它的性能和表现就会越好。作为大模型的基础“底座”，算力在其中发挥着关键的作用。动辄百亿甚至千亿数据规模的大模型训练，例如OpenAI训练GPT-4，在大约25000个A100上训练了90到100天。百度文心一言4.0大模