1、DataFunCon#2023金融大模型技术创新与应用探索杨青度小满 技术委员会执行主席，数据智能部总经理2023.11.24目录2.金融大模型的训练技术创新3.金融大模型的评测方法创新4.金融大模型的应用实践创新1.从通用大模型到金融大模型从通用大模型到金融大模型重塑行业格局创造价值增量提升决策精度提高生产效率大模型有望为金融行业创造价值增量记忆理解生成知识大模型能力规划逻辑泛化性通用性实用性大模型涌现出超预期的能力大模型涌现超预期能力，有望为金融行业创造价值增量但通用模型难胜任金融任务，大模型落地金融面临挑战01金融知识挑战专业金融知识欠缺行业数据流通难知识更新时效长私域数据共享难02金融

2、能力挑战能力不满足金融任务要求幻觉问题遗忘问题计算准确性问题03应用成本挑战训练和运营成本高GPU算力成本推理成本能耗成本维护成本通过金融领域的定向优化，十亿参数模型在金融任务中的性能可与百亿参数模型媲美高质量的领域数据能够让模型领域任务表现媲美5倍大模型2小模型+金融增强=效果成本平衡经过金融强化的LLaMA2-13B，在多项金融考试任务上优于未经金融强化的LLaMA2-70B模型1Llama 2:Open Foundation and Fine-Tuned Chat Models，Meta2Textbooks Are All You Need II:phi-1.5 technical re

3、port，Microsoft Research大参数通用模型训练和应用成本高70B13B7BGPU Hours11,720,320368,640184,32048台机器训练耗时187天40天20天LLaMA-2训练2T Tokens数据所需卡时（GPU Hours)：优质通用模型训练和推理成本高昂较小参数模型是更经济选择GPU需求推理时间能耗成本维护成本70B13B7B推理显存129G26G14G需要显卡2*80G A1001*40G A100消费级显卡LLaMA-2推理所需资源：面对成本挑战，专项增强的领域模型更显高性价比定位最好的金融行业大模型，金融域任务表现超越领先通用模型为解决通用模型

4、不胜任问题，度小满开源了轩辕金融大模型面向金融应用场景，定向增强摘要、逻辑、计算等金融场景核心能力增量预训练和指令微调阶段，加入大量金融数据，提升金融理解能力使用百万级经人工构建和校验的高质量指令数据进行指令微调和对齐中文增强金融增强对话增强应用增强扩充中文词表，并使用大量高质量中英文语料进行二阶段增量预训练5月9月11月度小满开源了国内首个千亿级金融大模型轩辕-千亿度小满开源轩辕-70B大模型开源轩辕-70B-chat及8-bit和4-bit量化模型未来更多尺寸的轩辕大模型矩阵以轩辕70B为代表，轩辕大模型通用能力强大，金融能力领先在C-Eval和CMMLU两大权威榜单上，轩辕70B均名列所

5、有开源模型第一轩辕70B已经通过注册会计师、银行/证券/保险/基金/期货从业资格、理财规划师、经济师等金融领域权威考试，且考试得分领先于其他通用模型轩辕70B在度小满自有金融业务场景测试中表现领先，特别金融知识问答、NL2SQL等场景表现优异通用能力金融能力场景能力*榜单排名截止到Xuanyuan-70B开源发布日期2023年9月21日MODELMMLUCEVALCMMLUGSM8KMBPPBBHFinanceIQXuanYuan-70B70.971.971.1074.44371.467.56GPT483.9368.4070.9591.461.886.760.05ChatGPT69.152.5

6、53.978.260.270.144.2Llama268.952.1053.1163.539.664.936.02Baichun2-13B-base59.1758.1061.9752.630.84951.2Qwen-14B67.971.770.261.639.853.753.29各大主流评测集成绩通识基础 通识是领域认知的前提 在大规模通用文本数据上训练，掌握广泛的语言理解和信息处理能力，为后续学习奠定坚实基础行业赋能 从通识到专业深造 经过金融行业数据的训练，深入了解金融术语、行业案例、专家经验以及最佳实践，逐渐具备金融行业所需的专业能力场景反馈 从学习到实际应用的进阶 大模型在实际金融场景