非 Transformer 架构的端侧大模型创新研究与应用.pdf

1、非非TransformerTransformer架构的端侧架构的端侧大模型创新研究与应用大模型创新研究与应用演讲人：刘凡平ROCK AI,CEOCONTENTS目 录01端侧大模型的现状与挑战02ROCK AI的端侧大模型的实践03未来趋势端侧大模型的现状与挑战1.11.1 大模型时代的端侧需求大模型时代的端侧需求以全行业视角工信部赛迪研究院数据显示，预计2035年生成式人工智能有望为全球贡献近90万亿元的经济价值，其中我国将突破30万亿元，占比超过四成。浙商证券预计到2028年全球大模型市场规模将达到1095亿美元，20222028年复合增长率约为47.12%。以终端设备视角IDC预测，20

2、24年中国终端设备市场中，将有超过半数的设备在硬件层面具备针对AI计算任务的算力基础，至2027年，这一比例将进一步攀升至接近80%的水平。瑞银预计生成式 AI 智能手机出货量将从 2023年的5000万部增长到 2027 年的5.83亿部，到2027年收入将达5130亿美元，未来面向广大C端用户的端侧大模型市场前景广阔。1.21.2 狭义的端侧：以推理为核心狭义的端侧：以推理为核心对于“狭义端侧模型”而言，软硬件技术的核心目标在于为用户提供大语言模型推理服务，在软硬件协同优化下实现了大语言模型在终端设备上的本地化应用，训练和微调并非端侧需要考虑的任务。AI PCAI手机具身智能1.31.3

3、现有大模型在端侧应用的局限性现有大模型在端侧应用的局限性1.41.4 目前端侧大模型的主流技术方法目前端侧大模型的主流技术方法1.51.5 行业针对大模型的创新研究行业针对大模型的创新研究DomainDomainSubdomainSubdomainMoEMoEMultimodalityMultimodalityAGIAGIOverall ScoreOverall ScoreModel ArchitectureModel ArchitectureTransformer Models43411Recurrent Neural Networks2327Mixture of Experts35412M

4、ultimodal Models53513Training TechniquesTraining TechniquesSupervised Learming4329Unsupervised Leaming43411Reinforcement Learning34512Transfer Learning35412Application DomainsApplication DomainsNatural Language Understanding33511Natural Language Generation34512Conversational AI45514Creative AI45514C

5、ompliance and EthicalCompliance and Ethical ConsiderationsConsiderationsBias Mitigation44513Data Security3339AI Ethics4419Privacy Preservation24412Advanced LearningAdvanced LearningSelf-supervised Learning45312Meta-learming33511Fine Tuning3328Human Value Alignment1113EmergEmergi ing Trendsng TrendsM

6、ultimodal Learning53513Interactive and Cooperative AI43512AGI Development44311AGI Containment1157ROCK AI大模型的实践2.12.1 ROCKROCK AIAI大模型发展历程大模型发展历程标准标准TransformerTransformer架构架构基于基于TransformerTransformer架构架构行业主流的大语言模型架构局部创新算法的大模型架构，Dolphin系列模型YanYan架构：自然语言架构：自然语言自研非Transformer架构的低算力通用自然语言大模型2024年1月发布基于