郑纬民_关于人工智能大模型的几点思考.pdf

1、清华大学 郑纬民报告内容AIAI基础大模型基础大模型输入小标题输入小标题人工智能进入大模型时代人工智能进入大模型时代从单模态向多模态发展从单模态向多模态发展ChatGPT实现真正像人类一样来聊天交流文本交互Midjourney AIGC 画作太空歌剧院获得人类艺术比赛冠军图像创作阿里云视频生成大模型 I2VGen-XL，上传1张图后2分钟生成高清视频视频生成行业行业+AI+AI加速行业智能化升级，开始创造更大价值加速行业智能化升级，开始创造更大价值AI+AI+金融金融企业财务异常识别准确率提升20%20%AI+AI+医疗医疗药物研发周期从数年缩短到1个月AI+AI+智能制造智能制造工业质检准确

2、率提升14%AI+AI+司法司法智慧司法系统AI+AI+汽车汽车自动驾驶智能网络AI+AI+气象气象比传统天气预报提速10000倍+报告内容，数据预处理频繁、随机小样本读取对文件系统提出挑战随机读取训练样本进行预处理大数据模型训练训练GPT4:一万块A100 x 11月大量数据经过模型需要海量算力模型微调垂域模型:基座模型精调需要算力精调垂域模型需要可控算力模型推理实时的用户请求对算力需求强劲实时处理用户请求需要稳定可靠算力数据获取海量小文件存储对文件系统提出需求获取不同类型的原始数据并存储，数据预处理频繁、随机小样本读取对文件系统提出挑战随机读取训练样本进行预处理大数据模型训练训练GPT4:

3、一万块A100 x 11月大量数据经过模型需要海量算力模型微调垂域模型:基座模型精调需要算力精调垂域模型需要可控算力模型推理实时的用户请求对算力需求强劲实时处理用户请求需要稳定可靠算力数据获取海量小文件存储对文件系统提出需求获取不同类型的原始数据并存储120亿图像文件(20 KB)Dall-E数据集1亿音频文件(2 MB)Youtube大大模型训练需要收集模型训练需要收集海量多模态小文件海量多模态小文件多模态：文本、音频、图像、视频特点：任一模态的数据集包含多达数亿至数百亿个小文件海量小文件的存储挑战海量小文件的存储挑战元数据管理难元数据管理难扩展性要求高：存储100亿的小文件需要管理7TB

4、元数据延迟要求高：典型要求百微秒级读取延迟，以满足数据分析、模型训练等应用的需求因元数据瓶颈，现有系统延迟在毫秒级,如 Ceph0%50%100%大文件小文件数据部分元数据部分10%65%小文件读取，元数据开销成瓶颈500亿网页文件(90%90%50%50%国家力量推动智算中心建设，引导国产算力发展上海：到2025年新建智算中心国产算力使用占比超50%北京：智算基础设施2027年实现100%国产算力覆盖江苏：要求新建算力中心国产算力使用占比达70%以上其他：在建的杭州人工智能计算中心、贵安人工智能计算中心等均采用100%国产算力部署数据来源：国家智能算力规划，公开资料整理AI编译器通信库NCC

5、L并行系统编程语言调度器Megatron-LM算子库内存管理容错系统存储系统cuBLAScuDNN编程框架团队自研系统AI 编译器编程语言并行加速SmartMoEMegatron-LM算子库cuBLAScuDNN内存管理存储系统底层系统通信库NCCLEinNetPETSelf CheckpointSpread-n-Share编程框架国产AI芯片只要达到国外芯片60%的性能，如果生态做好了，客户也会满意。大多数任务不会因为芯片性能只有60%而有明显感知，大家感觉到的不好用还是生态不行。在神威新一代超级计算机上研制了在神威新一代超级计算机上研制了大模型大模型训练训练加速系统：八卦炉加速系统：八卦炉

6、扩展到扩展到全机规模全机规模（1010万台万台服务器服务器）目前正适配八卦炉系统支持更多国目前正适配八卦炉系统支持更多国产芯片产芯片八卦炉支撑多个大模型的训练任务：八卦炉支撑多个大模型的训练任务：北京智源研究院悟道北京智源研究院悟道 2.02.0、阿里巴巴阿里巴巴 M6M6 大模型等大模型等支撑多个支撑多个AIAI forfor ScienceScience 应用程序：应用程序：跨尺度大气预测模型：跨尺度大气预测模型：swMPASswMPAS-A A第一性原理大模型：乾坤第一性原理大模型：乾坤NetNet国产国产算力基础软件层算力基础软件层“八卦炉”基础软件系统“八卦炉”基础软件系统并行并行层