星环科技：2024大模型技术及其在金融行业的应用探索报告（51页）.pdf

1、星 环 科 技，构 建 明 日 数 据 世 界S h a p i n g t h e F u t u r e D a t a W o r l dCopyright 2024 Transwarp.All Rights R星环信息科技（上海）股份有限公司 大模型技术及其在金融行业的应用探索星环科技：東方 2024年11月21日Copyright 2024 Transwarp.All Rights Reserved.目录目录701背景知识02大模型应用体系建设03大模型在金融行业的应用探索星环科技，构建明日数据世界 无涯问知：让知识即刻呈现，让回答值得信赖 扫码体验无涯Copyright 2024

2、Transwarp.All Rights R构建明日数据世界01背景知识Copyright 2024 Transwarp.All Rights Reserved.ChatGPTChatGPT引发的巨大关注生成毁灭人类计划引关注和对于大语言模型的思考一些关于ChatGPTChatGPT的评论1.1.埃隆马斯克和比尔盖茨都对ChatGPT表示了高度评价。马斯克认为ChatGPT“厉害得吓人”，而比尔盖茨则认为ChatGPT的问世具有重大的历史意义，这种人工智能技术的诞生不亚于互联网或个人电脑的诞生。2.2.英伟达CEOCEO黄仁勋也对ChatGPT给予了高度评价，他盛赞ChatGPT的诞生堪比iP

3、hone问世。3.3.澎湃新闻将2022年11月30日视为可能改变人类历史的日子，他们认为ChatGPT不仅催生了人工智能界的又一轮高光期，还并不常见地被誉为“蒸汽机时刻”、“iPhone时刻”甚至“钻木取火时刻”。20222022年1111月3030日，OpenAIOpenAI的生成式对话模型服务ChatGPTChatGPT发布ChatGPTChatGPT带来的震撼1.1.技术突破：基于大规模预训练技术和更长的上下文长度，这使得它在对话流畅性、多轮对话、复杂语义理解等多个传统的NLP任务上取得了巨大的进展。2.2.用户体验：ChatGPT的交互体验非常接近人类，它能够理解和生成自然语言，这使

4、得用户感觉与一个真正有逻辑思维和语言交流能力的真人进行交流。3.3.研究范式改变：它的出现改变了NLP的研究范式，从传统的统计学习方法和词嵌入方法，到预训练加微调范式，再到如今的大语言模型。4.4.应用潜力：其展示出了在众多领域的应用潜力。产业界积极进行场景实践。5.5.社会影响：引发了对AI技术的广泛讨论，包括其在伦理、安全和隐私方面的挑战。甚至已经符号化。9GPT-4接受图灵测试Does GPT-4 pass the Turing test?arXiv.2310.20216People cannot distinguish GPT-4 from a human in Turing test

5、 arXiv.2405.08007Copyright 2024 Transwarp.All Rights Reserved.大模型发展历程Geoffrey Hinton提出逐层无监督预训练方式，缓解深度学习模型梯度消失问题。20062006Tomas Mikolov和他的团队提Word2Vec词向量模型。20132013Ian Goodfellow等人首次提出GAN生成式对抗网络概念。20142014Google提出Transformer架构。开创性的进步，引领NLP新纪元。20172017基于Transformer架构的与训练微调，模型在多种NLP任务上的性能。20182018参数规模达到惊

6、人的1750亿。对算力的巨大需求正式拉开。20202020OpenAI正式发布ChatGPT，引发社会广泛关注。20222022超大规模多模态预训练大模型。2023202310Copyright 2024 Transwarp.All Rights Reserved.通常包含数十亿甚至数千亿个参数，这些参数在训练过程中被调整以最小化损失函数。为了训练这些模型，需要大量的数据。这些数据可以是文本、图像、音频或其他类型的数据，用于训练模型识别模式和做出预测。由于模型的规模和数据量，大模型通常需要大量的计算资源，如高性能的GPU集群，以及大量的内存和存储空间。大模型由于其复杂性，通常具有很强的泛化能力