016-张先轶.pdf

1、面向RISC-V CPU大模型推理引擎PerfXLM移植与优化张先轶澎峰科技2016年，澎峰科技（PerfXLab)成立，核心团队来自中科院公司一直致力于研发算力基础软件及算力基础软件及AIAI解决方案解决方案（高性能计算库、异构计算框架以及软硬融合解决方案等），为算力芯片和算力应用行业加速计算解决方案（华为，燧原，平头哥，华大九天，中船等）关于澎峰科技公司主要获奖：2016年，中国计算机学会科技进步二等奖2017年，中国科学院杰出科技成就奖2018年，北京雏鹰人才计划，国家高新企业2021年，数字中国集成电路赛道特等奖2021年，创芯中国决赛一等奖2021年，CRVA联盟，软件工作组副组长单

2、位2022年，OpenCAX SIG10组长单位2022年11月15日，ChinaSC中国超级算力大会荣获“算力软件基建领军企业”和“中国智能计算卓越贡献奖”双项荣誉2023年，入选北京市“专精特新”中小企业2023年，入选中国互联网协会算网云协同系统工作委员会成员单位2023年，OpenBLAS获得全球开源贡献Open1002023年，北京市自然科学二等奖PerfXAPI异构计算软件栈架起算力与应用的桥梁芯片服务器算力集群行业用户：*加速计算解决方案*AI Infra解决方案*AI 解决方案(合作伙伴)PerfXCloud/智算中心：提供成熟的软件产品和技术服务，赋能智算中心升级建设 提供私

3、有化部署服务服务合作共赢可用好用高效使用观察1：技术标准、新的运营模式均已形成OpenAI定义了应用调用AI能力的高层API接口，事实标准Chat Completions API(gpt-4o,gpt-4-turbo,gpt-3.5,.)Embeddings API(text-embedding-ada-002,.)Image generation API(dall-e-3,.)ModelPricinggpt-4oUS$5.00/1M input tokensUS$15.00/1M output tokensdall-e-3$0.040/imageada v2US$0.10/1M tokens

4、从上层模型至底层工具链，大部分厂商均支持OpenAI接口；按照以Token量计费的MAAS模式进行商业运营。商业模式变化，MAAS商业模式inputoutput$观察2：大模型应用门槛急剧降低，应用快速涌现大模型服务平台直接调用API服务接口，用户只需编写少量代码，即可在短时间内构建并发布一个大模型应用。大模型能力的“涌现”，带来了大模型应用的涌现，国外大量行业应用正在改变人们原有的工作、生活方式。观察3：开源与闭源大模型相互竞争促进，持续迭代开源模型+模型微调之后，能力提升显著开源大模型能力快速提升：中文开放式生成评估结果模型开源/闭源总分gpt-4-1106-preview闭源8.01De

5、epSeek-V2 Chat(RL)开源7.91erniebot-4.0-202404(文心一言)闭源7.89DeepSeek-V2 Chat(SFT)开源7.74gpt-4-0613闭源7.53erniebot-4.0-202312(文心一言)闭源7.36moonshot-v1-32k-202404(月之暗面)闭源7.22Qwen1.5-72B-Chat(通义千问)开源7.19Yi-34B-Chat(零一万物)开源6.12gpt-3.5-turbo-0613闭源6.08DeepSeek-V2-Lite 16B Chat开源6.01公共智算中心 和 私有算力集群，都将同时运行数十款大模型，并持

6、续迭代。推论：算力工厂/超级AI Foundry必然出现根据机构测算在众多的大模型开发类型中：大模型预训练占比仅0.1%大模型微调开发占比1%大模型应用开发占比98.9%基于大模型应用开发的场景将爆发式增长，共同形成AI Foundry主要开发模式：调用API+提示词工程+RAG面向用户的PerfXCloud 大模型开发与服务平台PerfXCloud为开发者和企业量身打造的AI开发和部署平台。它专注于大模型的微调和推理需求，为用户提供极致便捷的一键部署体验。为算力中心提供大模型AI、科学与工程计算的整体运营解决方案，助力算力中心升级成为“AI超级工厂”。