《星环科技：2024大模型技术及其在金融行业的应用探索报告（51页）.pdf》由会员分享，可在线阅读，更多相关《星环科技：2024大模型技术及其在金融行业的应用探索报告（51页）.pdf（51页珍藏版）》请在三个皮匠报告上搜索。

1、星 环 科 技，构 建 明 日 数 据 世 界S h a p i n g t h e F u t u r e D a t a W o r l dCopyright 2024 Transwarp.All Rights R星环信息科技（上海）股份有限公司 大模型技术及其在金融行业的应用探索星环科技：東方 2024年11月21日Copyright 2024 Transwarp.All Rights Reserved.目录目录701背景知识02大模型应用体系建设03大模型在金融行业的应用探索星环科技，构建明日数据世界 无涯问知：让知识即刻呈现，让回答值得信赖 扫码体验无涯Copyright 2024

2、Transwarp.All Rights R构建明日数据世界01背景知识Copyright 2024 Transwarp.All Rights Reserved.ChatGPTChatGPT引发的巨大关注生成毁灭人类计划引关注和对于大语言模型的思考一些关于ChatGPTChatGPT的评论1.1.埃隆马斯克和比尔盖茨都对ChatGPT表示了高度评价。马斯克认为ChatGPT“厉害得吓人”，而比尔盖茨则认为ChatGPT的问世具有重大的历史意义，这种人工智能技术的诞生不亚于互联网或个人电脑的诞生。2.2.英伟达CEOCEO黄仁勋也对ChatGPT给予了高度评价，他盛赞ChatGPT的诞生堪比iP

3、hone问世。3.3.澎湃新闻将2022年11月30日视为可能改变人类历史的日子，他们认为ChatGPT不仅催生了人工智能界的又一轮高光期，还并不常见地被誉为“蒸汽机时刻”、“iPhone时刻”甚至“钻木取火时刻”。20222022年1111月3030日，OpenAIOpenAI的生成式对话模型服务ChatGPTChatGPT发布ChatGPTChatGPT带来的震撼1.1.技术突破：基于大规模预训练技术和更长的上下文长度，这使得它在对话流畅性、多轮对话、复杂语义理解等多个传统的NLP任务上取得了巨大的进展。2.2.用户体验：ChatGPT的交互体验非常接近人类，它能够理解和生成自然语言，这使

4、得用户感觉与一个真正有逻辑思维和语言交流能力的真人进行交流。3.3.研究范式改变：它的出现改变了NLP的研究范式，从传统的统计学习方法和词嵌入方法，到预训练加微调范式，再到如今的大语言模型。4.4.应用潜力：其展示出了在众多领域的应用潜力。产业界积极进行场景实践。5.5.社会影响：引发了对AI技术的广泛讨论，包括其在伦理、安全和隐私方面的挑战。甚至已经符号化。9GPT-4接受图灵测试Does GPT-4 pass the Turing test?arXiv.2310.20216People cannot distinguish GPT-4 from a human in Turing test

5、 arXiv.2405.08007Copyright 2024 Transwarp.All Rights Reserved.大模型发展历程Geoffrey Hinton提出逐层无监督预训练方式，缓解深度学习模型梯度消失问题。20062006Tomas Mikolov和他的团队提Word2Vec词向量模型。20132013Ian Goodfellow等人首次提出GAN生成式对抗网络概念。20142014Google提出Transformer架构。开创性的进步，引领NLP新纪元。20172017基于Transformer架构的与训练微调，模型在多种NLP任务上的性能。20182018参数规模达到惊

6、人的1750亿。对算力的巨大需求正式拉开。20202020OpenAI正式发布ChatGPT，引发社会广泛关注。20222022超大规模多模态预训练大模型。2023202310Copyright 2024 Transwarp.All Rights Reserved.通常包含数十亿甚至数千亿个参数，这些参数在训练过程中被调整以最小化损失函数。为了训练这些模型，需要大量的数据。这些数据可以是文本、图像、音频或其他类型的数据，用于训练模型识别模式和做出预测。由于模型的规模和数据量，大模型通常需要大量的计算资源，如高性能的GPU集群，以及大量的内存和存储空间。大模型由于其复杂性，通常具有很强的泛化能力

7、，能够在未见过的数据上也表现出良好的性能。处理和理解多种不同类型的数据输入和输出，例如文本、图像、视频和音频等。使得模型可以跨不同领域和应用场景迁移知识，提供更全面和深入的理解。大模型通常可以在一个任务上预训练，然后在其他相关任务上进行微调，这种迁移学习的能力使得模型可以适应新的数据和任务。大模型的大（强）11Copyright 2024 Transwarp.All Rights Reserved.大语言模型的众多优秀能力为产业深度利用打下坚实基础12基于常识的推理n广泛的常识：大模型通过在大规模文本数据上的预训练，学习到了语言的潜在结构、语法规则和语义关系，因此具备了广泛的常识。例如，它们可

8、以理解和生成涉及各种主题的文本，从科学知识到日常对话。n推理能力：大模型能够进行逻辑推理和问题解决。例如，在算术或逻辑推理任务中，通过构建思维链提示技术，模型能够分步骤解决问题，类似于人类的思考过程。n理解能力：大模型能够理解复杂的指令和上下文信息，这使得它们在执行任务时更加精准。例如，它们可以根据邮件的主题自动撰写回复，理解用户的需求并生成合适的内容。n上下文学习：大模型能够根据上下文信息进行学习和预测，这使得它们在处理具有上下文依赖性的任务时更加有效。例如，它们可以根据对话历史理解和生成连贯的回应。n语言生成能力：大模型能够创造性地生成新的内容，包括文本、图像等。例如，它们可以撰写文章、故

9、事，甚至生成代码，展现出强大的语言创造能力。n多任务能力：大模型在预训练后能够泛化到多个下游任务，无需大量针对特定任务的训练数据。例如，GPT-3模型在多种自然语言处理任务上展现出了令人瞩目的成果。n多模态理解能力：最新的大模型如GPT-4展示了更强的推理与多模态理解能力，能够处理包括文本、图像在内的多种类型的数据。文学创作以上结果由星环无涯问知生成，www.wuya-Copyright 2024 Transwarp.All Rights Reserved.大模型产业发展-政策端：各级对大模型技术应用的支持与管理政策13国家级引导政策：新一代人工智能发展规划：这份规划由国务院于2017年发布，

10、旨在抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国。关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见：由科技部等六部门于2022年印发，目的是落实新一代人工智能发展规划，系统指导各地方和各主体加快人工智能场景应用，推动经济高质量发展。生成式人工智能服务管理暂行办法：该政策旨在促进生成式人工智能健康发展和规范应用，维护国家安全和社会公共利益。“数据要素”三年行动计划（2024-20262024-2026年）（征求意见稿）：由国家数据局起草，提出支持开展通用人工智能大模型和垂直领域人工智能大模型训练，以发挥数据要素乘数效应，赋能经济

11、社会发展。地方支持政策：北京市促进通用人工智能创新发展的若干措施：该政策旨在充分发挥政府引导作用和创新平台催化作用，整合创新资源，加强要素配置，营造创新生态，重视风险防范，推动本市通用人工智能实现创新引领和理性健康发展。北京市促进未来产业创新发展实施方案：此方案旨在抢抓新一轮科技和产业变革机遇，促进未来产业创新发展，推动北京教育、科技、人才优势转化为产业优势。北京市加快建设具有全球影响力的人工智能创新策源地实施方案（2023-20252023-2025年）：该方案的目标是高水平建设北京国家新一代人工智能创新发展试验区和国家人工智能创新应用先导区，加快建设具有全球影响力的人工智能创新策源地。北京

12、市推动“人工智能+”+”行动计划（2024-20252024-2025年）：这个行动计划的目标是通过实施标杆型应用工程、示范性应用项目和商业化应用成果，力争到2025年底形成3至5个先进可用、自主可控的基础大模型产品、100个优秀的行业大模型产品和1000个行业成功案例。上海市推动人工智能大模型创新发展若干措施（2023-20252023-2025年）：这份通知由上海市经济和信息化委员会、上海市发展和改革委员会、上海市科学技术委员会、中共上海市委网络安全和信息化委员会办公室、上海市财政局联合制定。它旨在推动上海大模型创新发展，构建开放安全创新生态，加快打造人工智能世界级产业集群。推动区块链、大

13、模型技术赋能生产性互联网服务平台发展实施方案：由上海市经济和信息化委员会、上海市商务委员会联合发布，目的是推动区块链、大模型等前沿技术与平台深度融合，促进生产性互联网服务平台的高质量发展。上海市推进“人工智能+”+”行动 打造“智慧好办”政务服务实施方案：这份通知由上海市人民政府办公厅发布，目的是推进政务服务领域“人工智能+”行动，打造快捷易办的“智慧好办”政务服务品牌。上海打造未来产业创新高地发展壮大未来产业集群行动方案：由上海市人民政府发布，旨在贯彻落实创新驱动发展战略，全力做强创新引擎，培育发展新动能，打造未来产业创新高地、发展壮大未来产业集群。在20242024年3 3月发布的政府工作

14、报告中，中央政府明确了对人工智能产业的顶层设计，主要聚焦于供给侧的“创新生产力”和需求侧的“促进内需”两大领域。报告提出了针对数据资源、计算能力、市场环境和应用场景的多项具体措施，以推动人工智能产业的全面发展。各地AI大模型产业支持政策还有：北京、上海、山东、广东、安徽、福建和深圳、杭州、成都等地均发布了AI大模型的相关产业政策，以加速大模型应用落地。Copyright 2024 Transwarp.All Rights Reserved.大模型产业发展-需求端：企业端对生成式AIAI强劲需求14l根据SAS和ColemanParkes调研，中国在生成式人工智能的应用率上领先，在“将生成式AI

15、AI与现有业务流程进行全面覆盖及整合”的使用程度占比达到19%19%；在“已进行部署生成式AIAI但尚未完全覆盖整合”的使用程度上占比达到64%64%。总比例83%，位居全球第一。美国在该两个维度上则分别达到24%24%和41%41%lIDC2024AIGC应用层十大趋势白皮书中调研显示，从全球化B端（企业端）的应用场景看，作为需求方，知识管理场景是AIGC现在最受企业青睐的应用场景，全球市场、中国市场及美国市场受访企业对此场景的期待应用分别占到了52%、52.2%及60%本主要内容引用自-创业邦2024AIGC创新应用洞察报告第19页上表引用自-艾瑞咨询-2023年中国人工智能产业研究报告第

16、23页Copyright 2024 Transwarp.All Rights Reserved.大模型产业发展-供给端：在大模型带动下的AI产业蓬勃发展，百花齐放15本页内容来自于艾瑞咨询-2023年中国人工智能产业研究报告第22页Copyright 2024 Transwarp.All Rights R构建明日数据世界02大模型应用体系建设Copyright 2024 Transwarp.All Rights Reserved.五种方法快速构建大模型商业应用利用企业自身数据，快速搭建，构建 Copyright 2024 Transwarp.All Rights Reserved.五种方法快速

17、构建大模型商业应用 L1L1 常人LLM(Gneral)大模型LLM提问通用 LLM回答1快速搭建企业领域知识平台，构建专家级领域大模型应用。比如直接部署垂直领域大模型提供基础问答。Copyright 2024 Transwarp.All Rights Reserved.五种方法快速构建大模型商业应用 L2L1 常人L2-胜任者LLM(Gneral)Prompt(CoT)LLM(General)大模型LLM提示词工程（思维链）Prompt(CoT)利用企业自身对于场景的理解，快速搭建企业领域知识平台，构建专家级领域大模型应用提示工程假设你是一位金融投研领域的专家，请你从产业链的角度分析并回答该

18、问题。2通用 LLM1回答Copyright 2024 Transwarp.All Rights Reserved.五种方法快速构建大模型商业应用 L3L1 常人L2-胜任者L3-专家LLM(Gneral)RAG&AgentPrompt(CoT)LLM(General)大模型LLM提示词工程（思维链）Prompt(CoT)检索增强&代理RAG&AgentPrompt(CoT)LLM(General)嵌入向量数据库检索增强3召回 7.34.13.75.18.87.30.16.9 9.17.01.84.81.43.69.39.1 2.83.45.99.51.52.58.64.9 6.14.98.6

19、6.24.04.18.03.4 提示工程（思维链）假设你是一位金融投研领域的专家，请你从产业链的角度分析并回答该问题。2通用 LLM1回答利用企业自身数据，快速搭建企业领域知识平台，构建专家级领域大模型应用Copyright 2024 Transwarp.All Rights Reserved.五种方法快速构建大模型商业应用 L3利用企业自身数据，快速搭建企业领域知识平台，构建专家级领域大模型应用L1 常人L2-胜任者L3-专家LLM(Gneral)RAG&AgentPrompt(CoT)LLM(General)大模型LLM提示词工程（思维链）Prompt(CoT)检索增强&代理RAG&Age

20、ntPrompt(CoT)LLM(General)嵌入向量数据库检索增强3召回选择工具Agent 工具集3提示工程（思维链）假设你是一位金融投研领域的专家，请你从产业链的角度分析并回答该问题。2通用 LLM1回答Copyright 2024 Transwarp.All Rights Reserved.五种方法快速构建大模型商业应用 L4利用企业自身数据，快速搭建企业领域知识平台，构建专家级领域大模型应用L1 常人L2-胜任者L3-专家L3-专家 L4 大师LLM(Gneral)RAG&AgentPrompt(CoT)LLM(General)SFT大模型LLM提示词工程（思维链）Prompt(C

21、oT)检索增强&代理RAG&Agent有监督微调SFTPrompt(CoT)LLM(General)RAG&AgentPrompt(CoT)LLM(General)嵌入向量数据库检索增强3召回选择工具Agent 工具集3+通用 LLM1提示工程（思维链）假设你是一位金融投研领域的专家，请你从产业链的角度分析并回答该问题。2 有监督微调 LLM4回答Copyright 2024 Transwarp.All Rights Reserved.五种方法快速构建大模型商业应用 L4利用企业自身数据，快速搭建企业领域知识平台，构建专家级领域大模型应用L1 常人L2-胜任者L3-专家L3-专家 L4 大师L

22、4-大师LLM(Gneral)RAG&AgentPrompt(CoT)LLM(General)SFTLLM(Pre-Trained)大模型LLM提示词工程（思维链）Prompt(CoT)检索增强&代理RAG&Agent有监督微调SFT预训练Pre-trainingPrompt(CoT)LLM(General)RAG&AgentPrompt(CoT)LLM(General)SFTRAG&AgentPrompt(CoT)嵌入向量数据库检索增强3召回选择工具Agent 工具集3通用 LLM1+提示工程（思维链）假设你是一位金融投研领域的专家，请你从产业链的角度分析并回答该问题。2 预训练 LLM5回

23、答Copyright 2024 Transwarp.All Rights Reserved.大模型应用体系建设对真实业务场景的意义授信项目可行性报告 使用大模型技术帮助信贷部门业务人员撰写授信项目可行性报告，之前该报告由人工撰写，需要编写人员针对某个申请授信的单一客户进行详细的调查。可能涉及到内部数据、外采数据、互联网数据以及远程及现场调研。该报告模板共计十七页。上表需要的数据存在于信贷系统上表需要的数据来自于外采数据以上内容需要模型根据各类召回的数据进行自主编写例如我们有一个需求：24注：上文LLMOps为Large Language Model Ops的缩写Copyright 2024 T

24、ranswarp.All Rights Reserved.大模型应用体系架构 星环TKH知识平台Copyright 2024 Transwarp.All Rights Reserved.1.1大模型：通用大模型 vs 垂直领域大模型26通用语言大模型金融行业垂直大模型优势泛用性强由于在多样化的数据集上进行了训练，通用模型能够处理各种话题和领域的问题领域专业性在金融领域具有专业的理解能力，更精熟于金融术语和概念灵活性和利用率高大量数据训练提高了模型的准确率，并可以应用于多种任务中针对性的解决方案更适合解决金融行业的具体问题，与行业需求和合规性要求相匹配可迁移性强在数据量较少的特定任务上，通用模型

25、也可以通过微调进行有效的迁移学习，大大减少模型的训练时间和计算资源高精度和合规性 提供更精确、可信赖的金融信息和建议，同时符合行业规定劣势特定领域深度较浅可能不具备特定领域（如金融）的深入理解和专业知识 适应性限制 由于主要针对金融领域，因此在其他领域的适用性可能有限模型复杂通用大模型的结构非常复杂，使得模型的解释性变得困难，导致模型的计算量增加，影响模型的效率更新和维护复杂度 金融政策和法规的变化可能要求模型频繁更新以保持准确性和合规性训练时间长 通用大模型的训练需要大量的计算资源和时间，这对于一些小型企业来说是一个挑战数据利用率低垂直领域模型的训练数据相对较少，模型的准确率可能会受影响 当

26、前AI与金融的结合主要有两条技术路径：通用模型+金融语料训练金融大模型，金融垂类大模型。由于设计和训练目的不同，通用语言大模型与金融垂类模型在优劣上具有相对性。通用语言大模型在泛用性、灵活性、数据利用率、迁移性上相比金融垂类更有优势，而在专业性、针对性、高精度和合规性上，金融垂类模型更胜一筹；使用金融数据训练和调优通用大模型，期待其超过金融垂直大模型，可能性较小，得不偿失 训练数据难以覆盖所有金融知识，以偏概全对模型来说是“毒药”训练成本较高（千亿级别的通用大模型，训练一次需要付出几千万的成本）金融业对 合规和风险要求极高，通用难以满足要求。Copyright 2024 Transwarp.A

27、ll Rights Reserved.1.2大模型：领域大模型的预训练特点27上图以 星环无涯金融领域大模型 的预训练语料范围与擅长的业务场景为例专业数据集垂直领域大模型则专注于特定领域或任务，使用特定领域的数据集进行训练，这些数据集更加专业和精细。专业目标垂直领域大模型的预训练则更侧重于学习特定领域的知识和规律，以提高在该领域内的性能和准确性。架构与参数垂直领域大模型在参数量上通常小于通用大模型，还可能会涉及到对模型的某些组件或网络结构进行定制化调整。数据预处理垂直领域大模型需要整合领域特定的知识库或数据，以提高模型在特定任务上的表现。Copyright 2024 Transwarp.All

28、 Rights Reserved.2.1大模型管理与运营：模型训练的必要性及其挑战28知识边界 通用模型对行业有知识边界或者偏见三大必要性五重挑战场景、数据、业务壁垒 场（行业）景（业务）的语料和相应适配方法仅存在于企业、机构内部，通用模型无法覆盖模型架构和推理机制 当前大模型高度依赖自注意力机制和概率模型，在基础模型不具备本行业需要能力时，仅提示工程和RAG无法达到业务效果数据难点 涉及多个技术领域，包括机器学习、自然语言处理、大数据、多模态、工程优化等，技术复杂性较高，需要专业的技术团队进行开发和维护 设计大量内部非结构化、半结构化数据以及领域知识 基础大模型、微调大模型版本数量繁多，版本

29、管理、调优、实验设计需要系统设计私域数据管理成本高算力稀缺 大模型落地需要较高算力，更需要高效的调度、混合部署等能力服务不同的模型训练任务需要模型运营 克服大模型快速探索业务场景模式需要长效运营机制Copyright 2024 Transwarp.All Rights Reserved.2.2大模型管理与运营：大模型的训练/微调010102020303l支持从语料采集/清洗/标注，到模型训练、模型评估、测试验证、模型对齐的全流程管理。l支持引导式模型微调，包括全参微调、Lora、P-Tuning微调等多种方式。l支持自定义模型评估指标，并生成评估报告；同时，还支持多提示词、多模型对比验证，通过

30、实验设计手段实现较优的模型选型。l支持模型安全护栏，支持过滤隐私、涉政、涉黄、涉恐等信息，防止恶意攻击。2904040505Copyright 2024 Transwarp.All Rights Reserved.2.3大模型管理与运营：Agent也许是大模型应用的“终极”形态30以人类为主的AI应用，AI以信息提供的形式服务人类决策。代表场景与服务：Chatbot广泛应用于客服、订票、娱乐聊天等多个领域。它们能够通过自然语言与用户进行交互，提供信息查询、任务处理等服务。Chatbot Chatbot 模式AI全权代理，自主承担工作任务的分配、拆解与执行。代表场景与服务：Agents模式可以应

31、用于个人助理、智能家居、企业自动化等多个场景。它们能够根据用户的指令或环境变化自主执行任务。Agents Agents 模式AI与人类的协同合作，AI负责某部分模块化任务的执行。代表场景与服务：Coding-Copilot主要服务于开发者，通过预测和补全代码段来提高编程效率。它可以在编写代码时提供实时的代码建议，帮助开发者快速完成任务。Copilot Copilot 模式Agent/Agent/智能体：为一个能够感知环境、做出决策并执行的程序体。随着人工智能技术的不断进步，AI代理（AI Agent）正逐渐成为大模型技术发展和应用的关键趋势。在动态决策的大模型框架中，AI代理以高度拟人化的方式

32、，能够接收并深入理解外部指令和信息。它们利用链式思考（Chain of Thought，简称CoT）的能力，通过计划、执行和观察的循环过程，有效地缩小了推理与实际行动之间的差距，从而实现精准的意图识别和决策制定。此外，大模型作为AI代理的“智能核心”，为其提供了规划、记忆、执行和工具等四项关键能力，使其能够处理更加复杂和多样化的决策任务。AI代理能够自主进行任务规划、环境感知、行动选择和观察纠错，这一系列行动都是以任务目标为导向的。这样的能力提升不仅增强了大模型解决实际问题的能力，也提高了决策结果的准确性，进一步推动了智能体在实际应用中的进程。环境感知与互动通过传感器或数据输入感知周围环境，并

33、根据这些信息做出响应。决策与行动能够基于其感知到的信息做出决策，并执行相应的行动。自主性具有一定程度的自主性，能够在没有人类直接干预的情况下执行任务。推理与决策定制能够进行逻辑推理和问题解决。记忆与反思可以存储信息并从经验中学习。Copyright 2024 Transwarp.All Rights Reserved.2.4大模型管理与运营：Agent简单示例31Agent工具1工具2工具3接受用户自然语言指令智能体(大语言模型)解析用户指令，将任务分解成多个子任务并进行规划和编排调用其它工具完成每个小模块任务执行完所有小模块的任务后，最终将处理结果返回给用户给待入职员工发送欢迎邮件，并提醒需

34、要携带的入职材料send_email思考：需要发送邮件使用工具：send_email输入：“to”:”san.zhangtranswarp.io”,“content”:”张三，您好，欢迎加入星环科技”输出：发送成功成功给新员工发送邮件星环员工服务助手Agent案例：Agent记忆规划Copyright 2024 Transwarp.All Rights Reserved.2.5大模型管理与运营：例如使用Agents模式构建售前助手应用32Copyright 2024 Transwarp.All Rights Reserved.2.6大模型管理与运营：大模型应用整体开发流程33Copyright

35、 2024 Transwarp.All Rights Reserved.3.1知识管理与构建：高质量语料获取的必要性及其挑战34模型应用地板和天花板高质量语料是在大模型不同阶段对“价值”和“效果”既决定了地板有多“低”，也决定了天花板有多“高”高质量语料需具备七大特征多样性真实性无害幻觉问题高质量语料是解决大模型“幻觉”、“可信可控”等核心落地难点的重要手段壁垒和优势高质量行业专用语料是企业、机构独特的竞争优势和天然壁垒高质量语料需覆盖三大流程模型预训练高质量语料需处理多模态多领域数据文本：无格式、代码、特殊表格、有篇章结构图像：含文字图像、趋势图/饼图、高级语义图像语音：单一角色普通话、多角

36、色方言、多语言多情感图谱：E-R关系、属性图、本体库、多模态业务图谱大规模连贯性合法性无偏见模型微调对齐三大必要性三重挑战Copyright 2024 Transwarp.All Rights Reserved.3.2知识管理与构建：语料加工流程示例35加工流程示例（预训练/微调/RAG）按需配置和增减功能数据清洗敏感&广告词过滤样本间&样本内去重数据集质量评估格式处理小模型验证抽样人工评估采购数据开放数据CommonCrawl数据网页Crawler合作方领域数据百科类电子书网页数据训练集清洗阶段1：处理方式：分布式大数据处理平台 效率：处理1T CC原始数据，耗时约2小时，可以得到约5GB中

37、文质量一般的数据清洗阶段2：1.先进行格式转化，转成json文件2.敏感词过滤：基于快速字符串匹配对敏感信息进行过滤3.广告词过滤：训练更细力度的分类模型进行垃圾，广告过滤清洗阶段3：1.大数据平台样本间去重：对数据进行分片，预处理，计算hash，去重2.样本内去重：n-gram算法清洗阶段4：1.用语言模型进行ppl过滤2.人工抽样评估训练小模型，在下游任务上做效果评估文本文件改进清洗规则改进清洗规则改进模型改进模型json文件知识库Copyright 2024 Transwarp.All Rights Reserved.召召回回嵌嵌入入H ippo向向量量数数据据库库向量AI语音图片视频文

38、档检检索索HippoHippo 技术优势技术优势36知识图谱文本检索个性化推荐语音/视频/图像检索非结构化数据应用日益增多数据体量大，格式多存储方式多样传统数据库向量数据库代码自主可控支持Arm/X86平台支持信创服务器/系统适配全面容器化部署，具备多租户和强大的资源管控能力，支持服务的弹性扩缩容基于SASL的用户认证能力基于SSL/TLS数据加密传输多进程架构与 GPU 加速，充分发挥并行检索能力；10+类索引支持，满足不同需求及体量的业务场景大规模分布式集群部署经验和能力；Raft算法确保数据强一致性；提供故障迁移，数据修复等数据保障能力界面化管理，指标监控，标准接口：Python/Res

39、tful/JavaEmbedding SDK不同模态数据（文本/图片/音频等）通过Embedding导入后，支持跨模态检索（如文搜图等）具有全文检索+向量稀疏向量+稠密向量的能力分布式分布式高性能检索高性能检索跨模态检索跨模态检索混合检索混合检索易用易用信创信创云原生云原生安全性安全性应用场景应用场景4.1知识存储：向量数据的存储与检索-Hippo分布式向量数据库Copyright 2024 Transwarp.All Rights Reserved.产业链知识模型交易行为知识模型相关提问文本提示词工程基于图谱的产业链和交易行为信息回复相似交易行为问题提问实例相似交易行为问题提问实例问题示例：

40、与A公司具有相似交易行为的公司有哪些?回答示例:A公司的交易行为特点是 1.高频小金额交易.2.;与它具有相似交易行为的公司是 B公司，它的行为特点是:.;C公司，它的行为特点是.原始数据知识图谱构建识别引擎基础大模型星环图数据库StellarDB星环向量数据库HippoGraph Graph e embeddingmbedding实体/关系搜索子图召回子图嵌入子图向量召回相似子图37构建知识图谱后，再通过图嵌入算法模块将知识图谱转化为向量进行存储；用户输入提问文本，结合知识模型、NLP、大模型等相关技术，识别出相关实体，做出相应的子图召回，基于召回子图 向量化后进行向量召回，找到相似的子图，

41、根据相似子图 生成相应提示词后供大模型生成内容并进行回复，给出更精准的答案。4.2知识存储：知识图谱的知识平台应用场景-图嵌入-图谱/向量召回Copyright 2024 Transwarp.All Rights Reserved.5.1应用：智能问答/增强知识检索 www.wuya-38内置知识源内部文档内部制度音频视频互联网法律法规实时新闻财报研报.私有知识上传一站式多模知识管理音视频、图片、文档等知识自动构建海量知识接入财报、新闻等全网覆盖实时更新关联知识挖掘回答时自动检索相关图片与图谱提供多种大模型支持使用远程无涯千亿大模型回答Copyright 2024 Transwarp.All

42、Rights R构建明日数据世界03大模型在金融行业的应用探索Copyright 2024 Transwarp.All Rights Reserved.40效益场景定位组织随着大模型探索的逐步深入，针对效益目标、应用场景、项目定位以及组织的参与性问题，金融机构愈发的有独立的思考与定位。降本的角度而非营收的角度以工作量的节约作为主要的衡量方式行业的数据显示代码编写大致能减少10%-30%预计在办公、投顾、数据提取等其它方面，工作量的节省将有更大的成效将与业务部门配合，按具体的工作项进行统计关注工作场景而非业务场景工作项属于主观处理的，例如写一篇2000字报告工作项属于辅助型的，例如整理资料供投顾

43、使用工作项属于琐碎型的，例如查询数据并制作报表确定业务场景后，更重要的是分解业务流程中的工作项内容完善基础设施，便捷应用开发搭建数据（语料）、算力、模型三大基础架构，大模型属于底层的基础设施与数据中台不同，基础大模型并不依赖于任何输入，因此其定位将更高在硬件资源及内部网络配置上将考虑该定位让人与组织适应大模型的思想培养相应的人才梯度，例如大模型开发、Prompt工程师等形成标准的应用流程，例如数据标注、微调、提示词工程等更重要的是让组织适应新趋势的变革要求，在思想上与通用人工智能相契合大模型祛魅，应用潮或开启Copyright 2024 Transwarp.All Rights Reserve

44、d.银行业大模型应用概览41辅助完成报告和运营文案生成、邮件起草、公文润色、纪要撰写、内容审核、辅助纠错等工作，为员工提供更加便利、快捷的智能办公工具及个性化的智能办公解决方案。公文撰写会议助手（纪要记录、翻译）内容审核辅助纠错智能搜索大模型可辅助生成营销话术和营销文案，帮助客户更快地获取最新资讯和产品的信息营销话术/报告生成营销策略/咨询推荐在大模型的通用能力基础上融合金融行业的知识和数据用于真伪核验、舆情传导分析舆情传导分析尽调、风险报告生成智能数据分析投研信息过滤自动摘要生成资讯报告生成投研简报生成研报模板撰写市场趋势预测投资策略推荐投资报告生成在系统设计、代码生成与补全、代码翻译与注释

45、、辅助测试等方面为科技人员提供帮助和支持，同时助力运维人员快速对接各类型的结构化、非结构化数据，实现流程自动化、智能检索和内部资料的辅助审核代码生成/补全代码翻译和注释代码审核与重构开发/运维知识库代码安全检测智能工单通过大模型生成投诉纪要和话术，自动勾选投诉分类标签电话接入环节，自动生成客户画像投诉纪要记录和摘要生成回复话术生成相关案例自动推荐以经过大量行业预料训练后的行业大模型为基础，叠加专业领域知识作为知识库，实现对知识的快速检索和溯源,是各类助手的基础支撑通过大模型的文档理解分析和生成能力，自动从大量银行业务办理规定中，总结提炼全面、专业、精准的应答话术，给坐席人员提供参考，提升应答效

46、率和客户满意度。坐席助手/外呼助手意图识别各类话术生成查询助手落地优先级业务价值大模型大模型+提示工程提示工程大模型大模型+企业知识库企业知识库大模型大模型+”小小”模型模型大模型大模型+领域微调领域微调Copyright 2024 Transwarp.All Rights Reserved.金融行业大模型应用案例-1：研报撰写42美联储货币政策调整暂无新进展，美元指数维持高位回落态势，对贵金属形成利好影响，贵金属维持高位偏强运行态势。截止 17:00，现货黄金整体在 1847-1865 美元/盎司区间偏强运行；现货白银稳定在22美元上方，整体在21.96-22.29美元/盎司区间偏强运行。近

47、期，美联储货币政策加速收紧预期逐步被市场所计价，欧洲央行7月开启加息周期确定性强.自然流畅 增补行业知识 表达多样化 模板化“填空”表达生硬 千篇一律在起始日期至结束日期，指数名称1的增幅为幅度数值1，指数名称2的增幅为幅度数值2，期货名称1整体在金额1，.传统生成模型的概况写作结果大语言模型的概况写作结果【研报自动总结任务】请根据下面2022年5月30日的“白银期货价量数据”等其他相关数据生成一段总结Copyright 2024 Transwarp.All Rights Reserved.43功能迭代知识抽取及库构建知识图谱与图分析复盘推演分析金融行业大模型应用案例-2：投研问答Copyri

48、ght 2024 Transwarp.All Rights Reserved.金融行业大模型应用案例-3：合规助手44场景数据说明合规问答历史行政处罚决定书-法律法规条文外部法律条文智能文本生成证券交易数据个人相关证券交易银行交易数据个人相关银行流水工商数据企业照面，股权投资，高管任职司法裁判数据、处罚决定书数据需要原始文本、企业主体、类别标签投资关联数据企业关联投资数据数据查询问答对question:“查询企业A的相关裁决文书”,answer:”select*from xxx where 合规知识问答场景合规场景中涉及各类知识问答场景：相关法律法规的法条查询通过问答模式对比历史判决案例为当前

49、案例提供相似案例通过问答方式进行相关类型案例的推荐等等01智能文本生成场景涉及各类文本生成的工作：调查报告、处罚书、整改措施发文的撰写等等02Copyright 2024 Transwarp.All Rights Reserved.金融行业大模型应用案例-4：智能数据分析45 无涯问数是基于星环数据分析大模型的智能业务分析洞察平台，利用大模型在数据分析领域专项训练的能力理 解用户意图，帮助业务人员和决策者探索数据，获取准确的数据结果及生动的图表看板，缩短数据分析链路，降低数据分析门槛，提供业务理解一致、指标定义明晰、数据结果统一、分析探索灵活的智能化分析洞察平台。问题分析阶段结果生成与展示Co

50、pyright 2024 Transwarp.All Rights Reserved.金融行业大模型应用案例-4：智能数据分析46无涯问数带来的业务变革Copyright 2024 Transwarp.All Rights Reserved.金融行业大模型应用案例-4：智能数据分析47分析场景发布数据准备侧字段标签分析场景指标数据分析侧自然语言查询无涯大模型交互式分析结果返回SQL执行数据平台模型返回模型调用结果解析查询结果返回智能提示、问答纠错查询结果更准确回答可解释、可调整整合指标、标签Copyright 2024 Transwarp.All Rights Reserved.金融行业大模型

51、应用案例-5：智能尽调报告生成以交互式检索信贷制度，自动编写专业文档，高效处理流程任务，获取智能风控建议，自然语言低门槛取数用数经营客户信贷数据客户标签/客户洞察请对XX企业做尽调报告生成模型输入相关写作素材向量数据库48Copyright 2024 Transwarp.All Rights Reserved.金融行业大模型应用案例-5：智能尽调报告生成49报告微调参考文档上传编辑尽调大纲编写报告Copyright 2024 Transwarp.All Rights Reserved.金融行业大模型应用案例-5：智能尽调报告生成向量数据库50一、公司基本情况（一）公司基本信息（二）公司管理能力

52、现状二、行业状况评价（一）客户行业相关信息（二）行业政策（三）行业内企业对比三、经营情况（一）经营概况（二）经营模式分析（三）核心竞争力（四）公司战略及策略分析四、财务评价（一）财务报表及人行征信情况（二）财务指标分析（三）异动科目分析（四）主要会计科目明细分析五、ESG情况（一）申请人ESG风险分类及碳排放情况（二）ESG风险相关情况六、重大事项（一）申请人及其主要成员单位发行上市情况（二）申请人及其主要成员单位重大资产/业务重组、重大资产处置情况（三）申请人及其主要管理者涉诉及纠纷情况（四）申请人及其主要成员涉及的担保圈、互保情况（五）关联交易（交易较大或占集团同类交易金额5%以上的）七、

53、总结大纲模板：Copyright 2024 Transwarp.All Rights Reserved.金融行业大模型应用案例-6：代码助手51业务人员查询诉求聚焦于指定业务领域，涉及表数量较少，需要提供端到端的代码生成。面向业务人员01技术开发用户查询涉及表数量较多，更注重取数规范，可提供重新生成、库表选择等功能。面相数据开发人员02数据查询界面数据开发界面Copyright 2024 Transwarp.All Rights Reserved.主要面向不同的业务和运营团队提供大模型服务能力，以及在不同应用场景下大模型应用定制化支撑能力。痛点问题 大模型纳管和部署难：自由/外部采购闭源/开源

54、的/第三方API等不同类型、格式的大模型难以进行统一纳管和部署。应用开发成本高：各业务、运营团队在大模型领域下都有不同的使用需求，逐一定制化开发的LLM应用的成本较高 大模型服务和应用缺乏企业级的监控运营：在大模型和应用开发上线后没有统一的监控视角，无法长期可持续运营。LLM123 阶段性成果uAI 开发 ALL IN ONE：建设统一的大模型运营管理平台，大模型的纳管、部署、评测和大模型应用开发、部署、监控运营等全流程操作均可在Sophon LLMOps完成，一套平台完成所有工作。u企业资产持续积累沉淀：在模型和应用开发落地过程中，Sophon LLMOps可帮助客户完成企业内标准化的语料、

55、模型以及应用资产的持续积累沉淀，可复用可共享。营销搜索风控ChatGLM-6Bbaichuan-7Bcpm-bee-10BChatGLM2-6Bbaichuan-13Binternlm-chatcodellama2智源-7B姜子牙-13Bllama2面壁CPM-10Bqwen-7B传统建模传统模型服务LLM微调LLM统一模型服务30+开源/闭源大模型Sophon LLMOps 大模型运营平台0代码应用构建可视化应用开发第三方应用注册GPU1-1GPU1-1GPU1-1NPUGPU2-1GPU2-252金融行业大模型应用案例-7：运营管理平台Copyright 2024 Transwarp.Al

56、l Rights Reserved.53金融行业大模型项目成功要素总结运营纳管安全分析问答 针对金融行业的领域知识和专业术语的理解、应用、知识获取和推理、文本分类和生成、对话能力 回答问题、生成文本、理解语言上下文等 能够实现GPU资源池化能力，支撑GPU 资源的统一管理、调度等。支持 GPU 独占和共享模式，在共享模式下支持任务之间的 GPU 算力、显存资源隔离。从多模态样本数据存储、基础大模型纳管、专有大模型微调训练推理、模型部署上线、运行监控、迭代升级、应用管理等一站式工具链体系，能够帮助客户从“通用大语言模型”训练/微调得到“满足自身业务特点的领域大语言模型”能够将大语言模型的相关应用

57、在生产中的运营和持续提升。团队需要具备多年金融行业人工智能落地的算法专家、业务专家，并拥有大模型落地经验；实施团队应具备丰富的行业实施经验，能够切实帮助大模型项目落地，促进业务价值提升。p 专有大模型能力p GPU算力池化纳管p 完整的大模型工具链p 专业团队大模型成大模型成功要素功要素Copyright 2024 Transwarp.All Rights Reserved.未来展望：挑战与机遇54国家需要自己的主权AI，关键领域企业同样需要自身的AI Infra，促进更快、更易地使用大模型相关技术，释放数据价值。一站式AI Infra大模型应用快速构建快速适应业务变化更自然的交互体验云端企业

58、数智中心AIPC私有化部署可解释可溯源资源动态调整产品组件灵活插拔语料可控模型安全大模型应用合规高效面向业务无缝安全可信可扩展自主可控Copyright 2024 Transwarp.All Rights Reserved.无涯问知 一问便知 体验有好礼，wuya-55 wuya- 无涯问知：让知识即刻呈现，让回答值得信赖 扫码体验，点击抽奖。100%星环周边好礼，拿到手。说明：获奖礼品在活动结束后，根据留存收件地址信息陆续安排寄出。星环科技致力成为世界领先的基础软件供应商星 环 科 技，构 建 明 日 数 据 世 界S h a p i n g t h e F u t u r e D a t a W o r l dCopyright 2024 Transwarp.All Rights R星环信息科技（上海）股份有限公司