1、预训练大模型白皮书01PREFACE高 文中国工程院院士 鹏城实验室主任北京大学博雅讲席教授自 1956 年人工智能在达特茅斯会议上被提出，人工智能领域的学者一直致力于提升算法的通用性能力，即希望人工智能方法能够像人类一样，快速灵活地适应各种实际应用问题，提升人类社会的生产效率。然而，在人工智能发展的前半个世纪，学者们始终没有找到合适的方法论，而包括符号计算、专家系统等精心设计的模型，都只能用于少数限定场景，无法拓展到以计算机视觉、自然语言处理为代表的复杂系统中去。21 世纪初，随着硬件性能的演进和大数据的兴起，情况发生了根本性的变化。2010 年开始，深度学习以席卷之势，占领了人工智能的大部

2、分领域，在许多公测数据上取得了前所未有的精确度。深度学习的本质是统计学习，即通过在大量数据上拟合复杂函数，使得该函数具有泛化能力。时至今日，这种范式已经取得了巨大的成功：一个深层神经网络，只要在不同数据上训练或者微调，就能够应用于不同的任务，而这件事在 20 年前是几乎无法想象的。然而，基于深度学习的人工智能方法，依然存在明显的缺陷。对大数据和大算力的强烈依赖、对参数调节的敏感性，都在无形之中抬高了人工智能算法的使用门槛。为此，我们迫切地需要一种新思路，打通通用数据和领域知识，并且大幅度地降低人工智能研发的人力和算力成本。为此，业界提出了预训练大模型的范式，通过收02集海量训练数据，并通过一种

3、称为预训练的过程，将其中蕴含的知识存储于大规模神经网络，即大模型之中。如此，这个预训练大模型就具有了很强的泛化能力，并且可以通过简单的微调操作，将其能力应用到下游任务中去。在过去五年间，预训练大模型在自然语言处理、计算机视觉等领域取得了长足的发展，模型规模屡创新高，模型泛化性也不断提升。而我也欣喜地看到，预训练大模型已经在华为取得商业应用，成功落地在工业质检、智慧交通、时尚设计等多个产业中。人工智能的前路依然漫长。预训练大模型正在逼近统计学习方法的极限，但是它也有无法解决的课题，包括模型的可解释性和安全性等难题。同时，大模型的功耗远远超过人类大脑，也意味着这种方式也许不是最优的解决方案。总的来

4、说，当前的人工智能正处在历史的十字路口，业界需要在预训练大模型的基础上做出抉择，走出未来的发展道路来。在上述背景下，华为公司发布预训练大模型白皮书，具有重要的意义。我相信，华为在大模型的研发和落地上的投入，最终会给学术界和产业界带来启发，成为扩展人工智能能力边界和推动人工智能产业升级的强大力量。03PREFACE张平安华为高级副总裁华为云 CEO当今世界正面临百年未有之大变局。以人工智能、大数据、物联网、云计算和 5G为代表的数字化技术，正在深刻地驱动产业变革，重塑全球的技术和产业格局。其中，人工智能发展的经济和战略意义，已经取得了包括中国在内的全球许多国家的共识。2021 年，习总书记在主持

5、中央政治局第三十四次集体学习时强调，支持人工智能和实体经济深度融合，建设数字中国、智慧社会，推进数字产业化和产业数字化，打造具有国际竞争力的数字产业集群。2022年8月，科技部等六部门联合印发了 关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见，系统指导各地方和各主体加快人工智能场景应用，推动经济高质量发展。发展人工智能已经是世界高科技的方向标之一，也成为了全球各个强国推进前沿研发的纲领性原则和激烈竞争场。作为当前人工智能领域最前沿的课题和最有力的武器，预训练大模型无疑是这场竞争中的焦点之一。以自然语言处理领域为例，预训练大模型的参数规模已经从 2018 年的亿级来到了 202

6、2 年万亿级，几乎每年都能看到数量级上的提升。预训练大模型是一项庞大的系统性工程，不仅涉及到先进算法的研发，还需要硬件、框架、开发工具的支持。华为公司构建了从昇腾+鲲鹏芯片到 AI 开发框架04MindSpore 和 AI 开发平台 ModelArts 的全栈式开发能力，并基于这些能力提出了盘古预训练大模型。一年多以来，盘古大模型持续演进，在计算机视觉、自然语言处理、科学计算等领域为业界贡献了先进的算法和解决方案。截至 2022 年，盘古大模型已经被应用于十余个行业的百余个场景，为研发人员提供了新的开发方案，也取得了可观的商业价值。实践表明，盘古预训练大模型能有效减少专家的干预和人为调优的消耗