上传人:X***
编号:114899
2023-02-13
PDF
72页
3.16MB
《ChatGPT研究框架(ChatGPT——生成式AI迎来拐点商用落地前景可期)-230207(72页).pdf》由会员分享,可在线阅读,更多相关《ChatGPT研究框架(ChatGPT——生成式AI迎来拐点商用落地前景可期)-230207(72页).pdf(72页珍藏版)》请在三个皮匠报告上搜索。
1、ChatGPT研究框架(2023)2023年02月07日 行业专题研究 诚信 责任 亲和 专业 创新 2 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 01 ChatGPT市场反应热烈,国内外巨头纷纷入场 据统计,ChatGPT日活跃用户数的增速远超Instagram,1月份平均每天有超过1300万名独立访问者使用ChatGPT,是去年12月份的两倍多;国内外科技巨头都非常重视ChatGPT引发的科技浪潮,积极布局生成式AI,国内厂商(百度、腾讯等)也高度关注ChatGPT,积极探索前沿技术,相关深度应用也即将推出。02 03 04 摘要 ChatGPT经历多类技术路
2、线演化,逐步成熟与完善 ChatGPT所能实现的人类意图,来自于机器学习、神经网络以及Transformer模型的多种技术模型积累。Transformer建模方法成熟以后,使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟,随后GPT-1、GPT-2、GPT-3模型持续演化升级,最终孵化出ChatGPT文本对话应用。AIGC跨模态产业生态逐步成熟,商用落地未来可期 AIGC产业生态当前在文本、音频、视频等多模态交互功能上持续演化升级,奠定了多场景的商用基础。跨模态生成技术也有望成为真正实现认知和决策智能的转折点。ChatGPT乘东风,商业架构日益清晰 随着ChatGPT Plus发布,
3、商业化序幕已经拉开。ChatGPT在传媒、影视、营销、娱乐以及数实共生助力产业升级等领域均可产生极大助益,提升生产力曲线,多维度赋能虚拟经济和实体经济。3 诚信 责任 亲和 专业 创新 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 目录/CONTENTS 市场概况:ChatGPTAI平民化里程碑 01 技术路径:基于人类反馈系统,ChatGPT助力跨模态AI生成应用 02 行业进程:AIGC多模态交互功能持续演化,奠定多场景商用基础 03 商业方向:多领域多功能应用密集落地,ChatGPT商用前景可期 03 4 诚信 责任 亲和 专业 创新 ChatGPT生成式AI迎
4、来拐点,商用落地前景可期 请参阅附注免责声明 01 市场概况:ChatGPTAI平民化的里程碑 诚信 责任 亲和 专业 创新 5 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 OpenAI在成立之初便备受资本瞩目,与微软合作加速商业化进程 01 ChatGPT是由OpenAI 团队研发创造,OpenAI是由创业家埃隆马斯克、美国创业孵化器Y Combinator总裁阿尔特曼、全球在线支付平台PayPal联合创始人彼得蒂尔等人于2015年在旧金山创立的一家非盈利的AI研究公司,拥有多位硅谷重量级人物的资金支持,启动资金高达10亿美金;OpenAI的创立目标是与其它机构合
5、作进行AI的相关研究,并开放研究成果以促进AI技术的发展 2019年7月 2020年6月 2020年9月 OpenAI发展的里程碑 OpenAI宣布从”非盈利“性质过度到”封顶盈利“性质,利润上限为任何投资的100倍(创立了OpenAI LP公司)微软向OpenAI投资了10亿美金,并获得了OpenAI技术的商业化授权。从此,OpenAI的一些技术开始出现在微软的产品和业务上 OpenAI发布了OpenAI API,这是OpenAI第一个商业化产品,OpenAI正式开始了商业化运作 OpenAI授权微软使用GPT-3模型,微软成为全球首个享用GPT-3能力的公司 2019年3月 图1:Open
6、AI发展势头强劲,商业化趋势明显 资料来源:OpenAI官网,国泰君安证券研究 诚信 责任 亲和 专业 创新 6 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 OpenAI 的ChatGPT是生成式人工智能技术(AIGC)浪潮的一部分 01 资料来源:中国信息通信研究院,国泰君安证券研究 AIGC发展特点 人工智能总体阶段 早期萌芽阶段(20世纪50年代-90年代中期)沉淀积累阶段(20世纪90年代-21世纪10年代中期)快速发展阶段(21世纪10年代中期-至今)受限于技术水平,AIGC仅限于小范围实验 AIGC从实验性向实用性转变,受限于算法瓶颈,无法直接进行内容生
7、成 深度学习算法不断迭代,人工智能生成内容百花齐放 AIGC典型事件 1950年,艾伦图灵提出著名的“图灵测试”,给出判断机器是否具有“智能”的方法 1966年,世界第一款可人机对话机器人“Eliza”问世 80年代中期,IBM创造语音控制打字机“Tangora”2012年,微软展示语全自动同声传译系统,可将英文语音自动翻译成中文语音 2007年,世界上第一部完全由人工智能创作的小说1 The Road问世 2014年,Lan J.Goodfellow提出生成式对抗网络GAN 2018年,英伟达发布StyleGAN模型用于自动生成高质量图片 2019年,DeepMind发布DVD-GAN模型用
8、于生成连续性视频 2022年,OpenAI发布ChatGPT模型用于生成自然能语言文本 图2:随着算法的不断迭代,生成式人工智能技术(AIGC)不断发展 诚信 责任 亲和 专业 创新 7 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 ChatGPT是在GPT基础上进一步开发的自然语言处理模型 01 GPT模型是一种自然语言处理(NLP)模型,使用多层变换器(Transformer)来预测下一个单词的概率分布,通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本 从 GPT-1 到 GPT-3 智能化程度不断提升,ChatGPT 的到来也是 GPT-4 正式推出
9、之前的序章 资料来源:CSDN,国泰君安证券研究 GPT-1(1.17亿参数)GPT-1 有一定的泛化能力,能够用于和监督任务无关的 NLP 任务中 2018 2019 2020 2022.01 GPT-2(15亿参数)除了理解能力外,GPT-2 在生成方面表现出了强大的天赋:阅读摘要、聊天、续写、编故事,甚至可以生成假新闻、钓鱼邮件或在线进行角色扮演 GPT-3(1750亿参数)GPT-3 作为一个自监督模型,可以完成自然语言处理的绝大部分任务:将网页描述转换为相应代码、模仿人类叙事、创作定制诗歌、生成游戏剧本,甚至模仿已故的哲学家预测生命的真谛 InstructGPT InstructGP
10、T是一个经过微调的新版 GPT-3,可以将有害的、不真实的和有偏差的输出最小化 ChatGPT ChatGPT 是 InstructGPT 的衍生产品,它将人类的反馈纳入训练过程,更好地使模型输出与用户意图保持一致 2022.12 图3:ChatGPT由GPT-1到InstructGPT模型的不断成熟而逐步形成 诚信 责任 亲和 专业 创新 8 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 ChatGPT发布后用户数持续暴涨,市场影响力迅速提升 01 根据UBS发布的研究报告显示,ChatGPT在1月份的月活跃用户数已达1亿,成为史上用户数增长最快的消费者应用 相比之
11、下,TikTok花了九个月的时间月活跃用户数才破亿,而Instagram则花费了两年半的时间,同时,根据Similar Web的披露信息,Spotify在四年半后仅积累了1亿月活跃用户 根据Similar Web的数据,1月份平均每天有超过1300万名独立访问者使用ChatGPT,是去年12月份的两倍多 资料来源:UBS,Similar Web,ARK Invest,第一财经,国泰君安证券研究 2个月 9个月 30个月 54个月 图4:ChatGPT日活跃用户数的增速远超Instagram 图5:对比各大热门平台月活跃用户数破亿所需时长,ChatGPT的成长速度惊人 42个月 54个月 90个
12、月 资料来源:第一财经,国泰君安证券研究 诚信 责任 亲和 专业 创新 9 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 ChatGPT已能覆盖较多能力域 01 由于ChatGPT包含了更多主题的数据,能够处理更多小众主题。ChatGPT能力范围可以覆盖回答问题、撰写文章、文本摘要、语言翻译和生成计算机代码等任务。资料来源:ChatGPT,国泰君安证券研究 用鲁迅口吻写一篇评价新冠疫情的散文 用Python写一段CCI量化投资策略 写一篇信创产业的研究报告 用藏文、俄罗斯语、韩语和日文说一句话 用C+写一段爬虫代码 图6:ChatGPT的使用案例如下所示 代码阅读理解
13、和Debug 诚信 责任 亲和 专业 创新 10 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 ChatGPT具备诸多先进性特征 01 ChatGPT嵌入了人类反馈强化学习以及人工监督微调,因而具备了理解上下文、连贯性等诸多先进特征,解锁了海量应用场景 当前,ChatGPT所利用的数据集只截止到2021年。在对话中,ChatGPT会主动记忆先前的对话内容信息(上下文理解),用来辅助假设性的问题的回复,因而ChatGPT也可实现连续对话,提升了交互模式下的用户体验。同时,ChatGPT也会屏蔽敏感信息,对于不能回答的内容也能给予相关建议。资料来源:知乎,国泰君安证券研究
14、 图7:ChatGPT提升的核心点如下所示 连续对话能力 用户意图有效捕捉 上下文理解 敢于质疑 承认不知道 提升准确度 ChatGPT 算法屏蔽 连续对话 人类意图 诚信 责任 亲和 专业 创新 11 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 科技巨头不断下注AI行业,ChatGPT带动新一轮AI发展浪潮 01 2023年初,微软和谷歌均宣布裁员计划,但都加大了在AI行业的投入 资料来源:UBS,财富,华尔街见闻,国泰君安证券研究 1月18日,微软宣布将于3月底前在全球裁员1万人,约占公司员工总数的5%1月23日,微软宣布对 ChatGPT 创建者 OpenAI
15、 进行第三轮投资,将向OpenAI进行为期多年、金额达数十亿美元的投资,以加速其在人工智能领域的技术突破 此外,微软还计划在未来几周内发布其 Bing 搜索引擎的 GPT-4 版本,预计该版本将比 ChatGPT 模型更快、更强大 1月20日,谷歌母公司Alphabet宣布将裁员约1.2万人,占公司员工总数的6%以上,同时公司CEO表示,公司将会进一步聚焦AI技术核心业务的研发投入 2月4日,谷歌注资3亿美元投资ChatGPT竞品Anthropic,和Open AI一样,Anthropic也在开发生成式人工智能 图8:科技巨头纷纷加大ChatGPT相关投入 诚信 责任 亲和 专业 创新 12
16、ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 国内外科技巨头积极布局生成式AI,部分公司已有成型产品 01 国内外科技巨头都非常重视ChatGPT引发的科技浪潮,积极布局生成式AI 国外公司 公司名称 相关布局 谷歌 面对ChatGPT构成的威胁,注资3亿美元投资竞品Anthropic 微软 作为OpenAI的最大投资方,利用ChatGPT提高产品竞争力 亚马逊 ChatGPT受到重点关注,已广泛运用在各种工作职能中 国内公司 百度 预计在3月份完成其ChatGPT产品文心一言(ERNIE Bot)的内测,并面向公众开放 腾讯 目前已经公布一项人机对话专利,能够实现机
17、器与用户之间自然且顺畅的沟通 表1:国内外科技公司积极布局生成式AI 资料来源:各公司公告,国泰君安证券研究 诚信 责任 亲和 专业 创新 13 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 谷歌:面对ChatGPT构成的威胁,注资3亿美元投资竞品Anthropic 01 在ChatGPT发布后,谷歌CEO在公司内部发布了“红色警报”(Code Red),敦促团队解决ChatGPT对公司搜索引擎业务构成的威胁,同时批准了在谷歌搜索引擎中加入AI聊天机器人的计划 2月4日,谷歌注资3亿美元投资ChatGPT竞品Anthropic,谷歌将获得约10%的股份,Anthrop
18、ic计划将次轮资金用于购买谷歌云计算部门的计算资源;Anthropic开发了一款名为Claude的智能聊天机器人,据称可与ChatGPT相媲美(仍未发布)Anthropic和Open AI渊源颇深,其联合创始人曾担任OpenAI 研究副总裁 资料来源:腾讯新闻,国泰君安证券研究 图9:Anthropic的联合创始人曾担任OpenAI 研究副总裁 图10:聊天机器人Claude据称可与ChatGPT相媲美 资料来源:新浪财经,国泰君安证券研究 诚信 责任 亲和 专业 创新 14 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 微软:OpenAI的最大投资方,开始利用Cha
19、tGPT提高产品竞争力 01 微软将ChatGPT视为新一代技术革命,将ChatGPT整合进Bing搜索引擎、Office全家桶、Azure云服务、Teams程序等产品中 微软近期宣布推出视频会议及远程协作平台的高级付费版Microsoft Teams Premium,订阅者可享用OpenAI GPT提供支持的大型语言模型技术,用AI自动生成会议笔记,此举或对Zoom、谷歌会议等平台形成巨大冲击。资料来源:微软官网,国泰君安证券研究 图11:Microsoft Teams Premium 使用 ChatGPT 做笔记,使远程协作更高效 图12:集成了ChatGPT的新版 Bing 曾短暂上线,
20、搜索框类似一个聊天框 资料来源:Windows Central,国泰君安证券研究 诚信 责任 亲和 专业 创新 15 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 亚马逊:ChatGPT受到重点关注,已广泛运用在各种工作职能中 01 ChatGPT 已经被亚马逊用于各种不同的工作职能中,包括回答面试问题、编写软件代码和创建培训文档等 公司内部员工在 Slack 表示,亚马逊Amazon Web Services(AWS)云部门已经成立了一个小型工作组,以更好地了解人工智能对其业务的影响。资料来源:Business Insider,新浪科技,国泰君安证券研究 图13:C
21、hatGPT 已经被亚马逊用于各种不同的工作职能中 资料来源:Encaptechno,国泰君安证券研究 图14:亚马逊AWS云部门的职能与人工智能联系紧密 诚信 责任 亲和 专业 创新 16 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 美国新媒体巨头Buzzfeed踩准ChatGPT风口,两天内股价飙升3倍 01 1月29日,美国新媒体巨头Buzzfeed宣布计划采用ChatGPT协助内容创作,其股价一夜间暴涨近120%,两天内飙升逾300%,成交量突破4.38亿股(其月平均成交量不足2500万股)消息公布后同类型公司股票成交量也迎来历史高峰:C3.ai本月成交量超
22、过7200万股,为自去年6月以来最多;语音AI软件公司SoundHound AI的成交量约为6450万股,几乎是其月平均值的三倍 资料来源:腾讯新闻,国泰君安证券研究 图16:Buzzfeed宣布计划采用ChatGPT协助内容创作后,股票成交量暴涨 图15:Buzzfeed宣布计划采用ChatGPT协助内容创作后,股价一夜间暴涨近120%资料来源:澎湃新闻,国泰君安证券研究 诚信 责任 亲和 专业 创新 17 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 Stability AI:Stable Diffusion大热,Open AI在图片生成AI大有可为 01 Sta
23、bility AI有着与Open AI相同的创业理念:构建开源AI项目,促进AI发展,其成功证明Open AI在图片生成领域同样大有可为 公司的开源模型Stable Diffusion可以根据文字生成图片,只需要几秒钟,就可以生成分辨率、清晰度高,同时不失真实性和艺术性的图片。资料来源:网易新闻,国泰君安证券研究 图17:用户使用基于Stable Diffusion算法构建的工具创建了数百万张图像 图18:Stability AI有着与Open AI相同的创业理念,其成功证明Open AI在图片生成领域同样大有可为 资料来源:Stability AI官网,国泰君安证券研究 诚信 责任 亲和 专
24、业 创新 18 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 Jasper:采用同类底层技术,进一步证明ChatGPT的巨大商业潜力 01 文案自动生成平台Jasper,其技术底层是 OpenAI 的 GPT-3,在成立仅 18 个月后就达到了 15 亿美元的高估值 IBM、Autodesk等巨头公司均是Jasper的付费用户,足以证明ChatGPT底层技术具备巨大的商业潜力。ChatGPT出现后,其技术领先性和受欢迎程度对Jasper形成了强烈冲击。资料来源:搜狐新闻,Jasper 官网,国泰君安证券研究 图19:ChatGPT的出现,对采用同类底层技术的热门公司J
25、asper形成强烈冲击 图20:相比ChatGPT的免费开源,Jasper需要付费使用 资料来源:Jasper 官网,国泰君安证券研究 诚信 责任 亲和 专业 创新 19 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 国内厂商(百度&腾讯):高度关注ChatGPT,积极探索前沿技术 01 百度:1月10日,百度宣布将升级百度搜索的“生成式搜索”能力,智能解答用户的搜索提问;2月7日,百度宣布将在3月份完成其ChatGPT产品的内测,面向公众开放,该项目名字为文心一言(ERNIE Bot)百度指出,生成式AI和搜索引擎是互补关系而不是替代;据路透社报道,百度计划于 3
26、月将类似 ChatGPT 的 AI 对话服务作为独立应用推出,之后再逐步将其合并到搜索引擎中。腾讯:2月3日,腾讯公布一项人机对话专利,能够实现机器与用户之间自然且顺畅的沟通 图22:腾讯发布相关专利,积极涉足ChatGPT领域 资料来源:腾讯新闻,国泰君安证券研究 图21:百度研发的ChatGPT产品“文心一言”将于3月份问世 资料来源:中国经济网,国泰君安证券研究 诚信 责任 亲和 专业 创新 20 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 AIGC创业公司大比拼,国外ChatGPT的优势遥遥领先并有望延续 01 国内对比国外AIGC创业公司的相关产品,国外C
27、hatGPT的优势遥遥领先并有望延续 公司名称 主要AIGC产品 产品领域 OpenAI GPT-3、ChatGPT 文本、图片 Stability AI Stable Diffusion、Dreamstudio 图片、音频 Midjourney Midjourney 图片 Jasper Jasper 文本 Copi.ai Copi.ai 文本 Copysmith Copysmith 文本 表2:国外创业公司涉及的AIGC产品领域十分丰富,相关应用日渐成熟 资料来源:各公司官网,国泰君安证券研究 诚信 责任 亲和 专业 创新 21 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注
28、免责声明 AI 需要大量资金、人力投入和数据积累,国内市场中巨头更具优势 01 人工智能不仅需要巨大的投入,还需要庞大的用户数据基础,只有互联网巨头才有这个能力产出伟大的产品 国外是微软、谷歌、亚马逊,而国内则是百度、腾讯等互联网巨头最具潜力;相比国外巨头,国内巨头正投入大量资金和人力成本快速发展人工智能技术,在没有硝烟的人工智能竞赛中,中国企业也将异军突起 资料来源:腾讯AI LAB官网,国泰君安证券研究 图24:腾讯的AI 产品在游戏场景中不断提升人机协作与内容生成能力 图23:百度构建了云智共生的生态,助力AI发展 资料来源:百度官网,国泰君安证券研究 22 诚信 责任 亲和 专业 创新
29、 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 02 技术路径:基于人类反馈系统,ChatGPT助力跨模态AI生成应用 诚信 责任 亲和 专业 创新 23 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 2022年 ChatGPT经历多类技术路线演化,逐步成熟与完善 02 资料来源:真格基金,国泰君安证券研究 ChatGPT所能实现的人类意图,来自于机器学习、神经网络以及Transformer模型的多种技术模型积累 GPT-1 GPT-2 GPT-3 Instruc-tGPT ChatGPT T5 BART M2m-100 BigBird BE
30、RT RoBERTa XLM ALBERT ELECTRA Transfo-rmer CNN RNN 神经网络 Machine Learning 基于规则的少量数据处理 1950年开始 1980年开始 1990年开始;2006年获得突破 2017年 2018年 2019年 2020年 基于模板和规则的前深度学习阶段 根据一定范围的数据进行参数分类 开始模仿人脑进行大量数据的标记和训练 对人脑学习过程进行重点关注 进行海量数据学习训练,人类的反馈信息成为模型学习的内容 图25:ChatGPT经过多类技术积累,最终形成针对人类反馈信息学习的大规模预训练语言模型 GAN 诚信 责任 亲和 专业 创新
31、 24 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 资料来源:ChatGPT,国泰君安证券研究 ChatGPT模型在以往模型的基础上有了多方面的显著提升 02 更大的语料库 ChatGPT使用了更大的语料库,以更好地捕捉人类语言的复杂性。更高的准确性 ChatGPT的训练效果比以往的大语言模型更好,因此它的准确性更高。更加通用的预训练 ChatGPT的预训练是通用的,因此它可以更好地适应各种不同的任务。更强的自我学习能力 ChatGPT具有自我学习能力,可以在不断接触新语料的过程中持续提高自己的性能。图26:ChatGPT是基于Transformer架构的语言模型,
32、它在以往大语言模型(如ELMo和GPT-2)的基础上有诸多性能提升 更高的计算能力 ChatGPT使用了更高的计算资源,以获得更好的训练效果。更高的适应性 ChatGPT具有较高的适应性,可以根据不同的场景和任务进行微调,以提高其在特定领域的效果。诚信 责任 亲和 专业 创新 25 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 Transformer的应用标志着基础模型时代的开始 02 转移学习(Transfer Learning)使基础模型成为可能 技术层面上,基础模型通过转移学习(Transfer Learning)(Thrun 1998)和规模(scale)得以
33、实现。转移学习的思想是将从一项任务中学习到的“知识”(例如,图像中的对象识别)应用于另一项任务(例如,视频中的活动识别)。在深度学习中,预训练又是转移学习的主要方法:在替代任务上训练模型(通常只是达到目的的一种手段),然后通过微调来适应感兴趣的下游任务。转移学习(Transfer Learning)使基础模型成为可能。大规模化(scale)使基础模型更强大,因而GPT模型得以形成 大规模需要三个要素:(i)计算机硬件的改进例如,GPU吞吐量和内存在过去四年中增加了10倍;(ii)Transformer模型架构的开发(Vaswani et al.2017),该架构利用硬件的并行性来训练比以前更具
34、表现力的模型;以及(iii)更多训练数据的可用性。基于Transformer的序列建模方法现在应用于文本、图像、语音、表格数据、蛋白质序列、有机分子和强化学习等,这些例子的逐步形成使得使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟。例如,GPT-3(Brown et al.2020)与GPT-2的15亿参数相比,GPT-3具有1750亿个参数,允许上下文学习,在上下文学习中,只需向下游任务提供提示(任务的自然语言描述),语言模型就可以适应下游任务,这是产生的一种新兴属性。资料来源:Attention Is All You Need 论文,国泰君安证券研究 诚信 责任 亲和 专业 创
35、新 26 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 Transformer奠定了生成式AI领域的游戏规则 02 资料来源:Attention Is All You Need,Ashish Vaswani et.al 2017 Transformer摆脱了人工标注数据集的缺陷,模型在质量上更优、更易于并行化,所需训练时间明显更少 Transformer通过成功地将其应用于具有大量和有限训练数据的分析,可以很好地推广到其他任务 2017年,在Ashish Vaswani et.al 的论文Attention Is All You Need中,考虑到主导序列转导模型基于
36、编码器-解码器配置中的复杂递归或卷积神经网络,性能最好的模型被证明还是通过注意力机制(attention mechanism)连接编码器和解码器,因而Attention Is All You Need中提出了一种新的简单架构Transformer,它完全基于注意力机制,完全不用重复和卷积,因而这些模型在质量上更优,同时更易于并行化,并且需要的训练时间明显更少。Transformer出现以后,迅速取代了RNN系列变种,跻身主流模型架构基础。(RNN缺陷正在于流水线式的顺序计算)图27:Transformer模型架构如下所示 诚信 责任 亲和 专业 创新 27 ChatGPT生成式AI迎来拐点,商
37、用落地前景可期 请参阅附注免责声明 Transformer实现的不同技术场景对应的不同技术原理 02 资料来源:量子位智库,国泰君安证券研究 Transformer架构可分为自回归系列(例如GPT-3,偏好生成性任务)、双向Transformer+Mask的自编码系列(例如BERT,偏好自然语言理解)、Encoder-decoder架构(例如T5,使用双向/单向attention,偏好条件文本生成)首先通过词嵌入(Word Embedding)将字、词、句进行区分,然后基于特征评分、序列标注、分类模型等提取内容特征计算相关文本单元权重其次洗择相应的文本单元子集组成摘要候洗集,完成内容选择,最后
38、针对字数要求等限定条件,对候选集的内容进行整理形成最终摘要,完成内容组织。其细分路径又包含生成式文本摘要(AATS),即形成抽象认知并创造新词灵活概括,和抽取式文本摘要(EATS),即直接抽取原始素材并拼接成简单概要 摘要/标题生成 内容续写(例如文章续写)文本风格迁移 整段文本生成 产品特色 通过随机Mask(即遮挡)数据库文本中的词语或语段,让神经网络自主学习复原被遮挡部分,从而拥有“猜测”缺失内容的能力,产出预训练模型。再通过大规模预训练模型理解上文或给定条件,从概率层面推测最符合要求的输出结果。其本质是借助超大规模的训练参数猜测上下文的过程 主流思路是分离文本属性及文本内容 隐式方法即
39、使用某类无监督学习学习或强化学习模式将文本属性及内容自动分离,常见的有生成对抗方式,即通过GAN实现目标属性和文本量性完全由不同的编码控制的状态。对话式文本生成适用于智能客服等任务型和闲聊型机器人等非任务型人机交互场景,可分类为管道模式及端对端模式。结构性的文本生成,首先通过注意力机制、多层感知器等系统进行语句内容预选,对数值、时间等类型数据进行推理。增强数据间的结构信息。其次通过Transformer等模式结合上下文进行推导,生成最终文本。图28:Transformer典型技术场景下的原理介绍如下所述 诚信 责任 亲和 专业 创新 28 ChatGPT生成式AI迎来拐点,商用落地前景可期 请
40、参阅附注免责声明 GPT-1:借助预训练,进行无监督训练和有监督微调 02 资料来源:Improving Language Understanding by Generative Pre-Training 论文,稀土掘金,国泰君安证券研究 GPT-1模型基于Transformer解除了顺序关联和依赖性的前提,采用生成式模型方式,重点考虑了从原始文本中有效学习的能力,这对于减轻自然语言处理(NLP)中对监督学习的依赖至关重要 GPT(Generative Pre-training Transformer)于2018年6月由OpenAI首次提出。GPT模型考虑到在自然语言理解中有大量不同的任务,尽
41、管大量的未标记文本语料库非常丰富,但用于学习这些特定任务的标记数据却很少,这使得经过区分训练的模型很难充分执行。同时,大多数深度学习方法需要大量手动标记的数据,这限制了它们在许多缺少注释资源的领域的适用性。在考虑以上局限性的前提下,GPT论文中证明,通过对未标记文本的不同语料库进行语言模型的生成性预训练,然后对每个特定任务进行区分性微调,可以实现这些任务上的巨大收益。和之前方法不同,GPT在微调期间使用任务感知输入转换,以实现有效的传输,同时对模型架构的更改最小。图29:GPT-1模型的核心手段是预训练(Pre-training)无监督预训练(Unsupervised pre-training
42、)不需要标注数据集,即大规模自学阶段,在保证AI算力充足的条件下,根据attention机制进行自学 有监督微调(Supervised fine-tunning)微调,用来修正模型理解力。即小规模指导过程,让AI在小样本数据下进行调整 结合形成了一种使用无监督预训练和有监督微调相结合的语言理解任务的“半监督方法”诚信 责任 亲和 专业 创新 29 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 GPT-1:模型更简化、计算加速,更适合自然语言生成任务(NLG)02 资料来源:Improving Language Understanding by Generative P
43、re-Training 论文,稀土掘金,国泰君安证券研究 GPT相比于Transformer等 模型进行了显著简化 相比于Transformer,GPT训练了一个12层仅decoder的解码器(原Transformer模型中包含Encoder和Decoder两部分)。相比于Google的BERT(Bidirectional Encoder Representations from Transformers,双向编码生成Transformer),GPT仅采用上文预测单词(BERT采用了基于上下文双向的预测手段)。注:ChatGPT的表现更贴近人类意图,部分因为一开始GPT是基于上文的预测,这更贴
44、近人类的话语模式,因为人类言语无法基于将来的话来做分析。VS 图30:GPT-1模型相比于Transformer模型有了显著简化 Transformer架构 GPT-1架构 GPT用于对不同任务进行微调的输入转换的示意图 诚信 责任 亲和 专业 创新 30 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 GPT-2:采用多任务系统,基于GPT-1进行优化 02 资料来源:Language Models are Unsupervised Multitask Learners论文,国泰君安证券研究 GPT-2在GPT-1的基础上进行诸多改进,实现执行任务多样性,开始学习在不
45、需要明确监督的情况下执行数量惊人的任务 在GPT-2阶段,OpenAI去掉了GPT-1阶段的有监督微调(fine-tuning),成为无监督模型。大模型GPT-2是一个1.5B参数的Transformer,在其相关论文中它在8个测试语言建模数据集中的7个数据集上实现了当时最先进的结果。模型中,Transfomer堆叠至48层。GPT-2的数据集增加到8 million的网页、大小40GB的文本。GPT-2的核心抓手采用多任务模型(Multi-task)GPT-2要实现的目标 GPTGPT-2 2调整优化的目的调整优化的目的是为了解决零次学习问题(zero-shot)(注:zero-shot问题
46、,就是针对AI在面对不认识的事物时,也能进行推理)多任务模型的特点多任务模型的特点:跟传统ML需要专门的标注数据集不同(从而训练出专业AI),多任务模型不采用专门AI手段,而是在海量数据喂养训练的基础上,适配任何任务形式。转向更通用的系统,使其可以执行许多任务,最终无需为每个任务手动创建和标记训练数据集。机器学习系统通过使用大型数据集、高容量模型和监督学习的组合,在训练任务方面表现出色,然而这些系统较为脆弱,对数据分布和任务规范的轻微变化非常敏感,因而使得AI表现更像狭义专家,并非通才。GPT-2要解决和优化的问题 图31:GPT-2通过调整原模型和采用多任务方式来让AI更贴近“通才”水平 诚
47、信 责任 亲和 专业 创新 31 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 GPT-2仍未解决应用中的诸多瓶颈 02 资料来源:Language Models are Few-Shot Learners论文,国泰君安证券研究 GPT-2聚焦在无监督、zero-shot(零次学习)上,然而GPT-2训练结果也有不达预期之处,所存在的问题也亟待优化 在GPT-2阶段,尽管体系结构是任务无关的,但仍然需要任务特定的数据集和任务特定的微调:要在所需任务上实现强大的性能,通常需要对特定于该任务的数千到数十万个示例的数据集进行微调。存在的问题02:预训练加微调范式中,可能在这
48、种范式下实现的泛化可能很差,因为该模型过于特定于训练分布,并且在其之外无法很好地泛化。微调模型在特定基准上的性能,即使名义上是人类水平,也可能夸大基础任务的实际性能。存在的问题03:因为人类学习大多数语言任务不需要大型受监督的数据集,当前NLP技术在概念上具有一定的局限性。存在的问题01:从实用的角度来看,每一项新任务都需要一个标记示例的大数据集,这限制了语言模型的适用性;对于其中的许多任务(从纠正语法到生成抽象概念的示例,再到评论一个短篇故事等等),很难收集一个大型的监督训练数据集,特别是当每个新任务都必须重复该过程时。问题问题 0202 问题问题0101 问题问题0303 GPT-2阶段存
49、在的问题点 图32:GPT-2尚未解决诸多瓶颈问题 诚信 责任 亲和 专业 创新 32 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 GPT-3取得突破性进展,任务结果难以与人类作品区分开来 02 GPT-3对GPT-2追求无监督与零次学习的特征进行了改进 GPT-3利用了过滤前45TB的压缩文本,在诸多NLP数据集中实现了强大性能 GPT-3是一个具有1750亿个参数的自回归语言模型,比之前的任何非稀疏语言模型多10倍。对于所有任务(在few-shot设置下测试其性能),GPT-3都是在没有任何梯度更新或微调的情况下应用的,仅通过与模型的文本交互来指定任务和few-
50、shot演示。GPT-3在许多NLP数据集上都有很强的性能(包括翻译、问题解答和完形填空任务),以及一些需要动态推理或领域适应的任务(如解译单词、在句子中使用一个新单词或执行三位数算术)。GPT-3可以生成新闻文章样本(已很难将其与人类撰写的文章区分开来)。图34:GPT-3相关研究显示,few-shot(少量样本)的综合表现是在无监督模式下最优的 资料来源:Language Models are Few-Shot Learners,国泰君安证券研究 图33:GPT-3的模型参数在GPT-2的基础上增加110多倍 资料来源:Language Models are Few-Shot Learne
51、rs,国泰君安证券研究 诚信 责任 亲和 专业 创新 33 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 InstructGPT模型在GPT-3基础上进一步强化 02 资料来源:Training language models to follow instructions with human feedback论文,稀土掘金,国泰君安证券研究 InstructGPT使用来自人类反馈的强化学习方案RLHF(reinforcement learning from human feedback),通过对大语言模型进行微调,从而能够在参数减少的情况下,实现优于GPT-3的功能
52、 InstructGPT提出的背景:使语言模型更大并不意味着它们能够更好地遵循用户的意图,例如大型语言模型可以生成不真实、有毒或对用户毫无帮助的输出,即这些模型与其用户不一致。另外,GPT-3虽然选择了少样本学习(few-shot)和继续坚持了GPT-2的无监督学习,但基于few-shot的效果,其稍逊于监督微调(fine-tuning)的方式。基于以上背景,OpenAI在GPT-3基础上根据人类反馈的强化学习方案RHLF,训练出奖励模型(reward model)去训练学习模型(即:用AI训练AI的思路)InstructGPT的训练步骤为:对GPT-3监督微调训练奖励模型(reward mo
53、del)增强学习优化SFT(第二、第三步可以迭代循环多次)图35:InstructGPT训练三步骤各自对应的数据集规模如下图所示(labeler指的是OpenAI的标注人员,customer指GPT-3 API的用户)诚信 责任 亲和 专业 创新 34 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 ChatGPT核心技术优势:提升了理解人类思维的准确性 02 资料来源:Training language models to follow instructions with human feedback论文,国泰君安证券研究 InstructGPT与ChatGPT属于相
54、同代际的模型,ChatGPT只是在InstructGPT的基础上增加了Chat属性,且开放了公众测试 ChatGPT提升了理解人类思维的准确性的原因在于利用了基于人类反馈数据的系统进行模型训练(注:根据官网介绍,GhatGPT也是基于InstructGPT构建,因而可以从InstructGPT来理解ChatGPT利用人类意图来增强模型效果)图36:基于人类反馈强化的核心训练流程如下所示:步骤1:搜集说明数据,训练监督策略 步骤2:搜集比较数据,训练一个奖励模型 步骤3:搜集说明数据,使用增强学习优化模型 搜集说明数据(基于 prompt 训练方式的数据集),训练监督策略 Labeler(标记者
55、)揭示期望的输出行为 这个数据用来联合监督学习,对GPT-3进行微调 对这个prompt训练的数据集和若干模型的结果进行抽样 Labeler(标记者)从最优到最差将输出结果进行排序 这个数据用来训练反馈模型 新的prompt从数据集中抽样 借助模型生成输出 反馈模型为输出计算一个反馈结果 反馈结果用来优化策略 诚信 责任 亲和 专业 创新 35 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 ChatGPT得益于通用(基础)模型所构建 AI 系统的新范式 02 基础模型(Foundation Model)在广泛的应用中整合构建机器学习系统的方法,它为许多任务提供了强大的
56、杠杆作用 基础模型是在深度神经网络和自我监督学习的基础上演化而来。基础模型基于广泛数据(通常使用大规模自我监督)训练的任何模型,可以适应(例如微调)广泛的下游任务,目前例子包括BERT(Devlin et al.)、GPT-3(Brown et al.2020)和CLIP(Radford et al.2021)。机器学习使学习算法同质化(例如,逻辑回归),深度学习使模型架构同质化(如卷积神经网络),而基础模型使模型本身同质化(比如,GPT-3)。资料来源:On the Opportunities and Risks of Foundation Models 论文,国泰君安证券研究 图37:人工
57、智能的发展呈现同质化的过程 随着机器学习的引入,任务是如何执行的(自动推断)从例子中显现出来 随着深度学习,用于预测的高级特征出现 有了基础模型,甚至出现了情境学习等高级功能 诚信 责任 亲和 专业 创新 36 ChatGPT生成式AI迎来拐点,商用落地前景可期 请参阅附注免责声明 ChatGPT以基础模型为杠杆,可适用多类下游任务 02 ChatGPT采用了GPT3.5(InstructGPT)大规模预训练模型,在自然语言理解和作品生成上取得极大性能提升 鉴于传统NLP技术的局限问题,基于大语言模型(LLM)有助于充分利用海量无标注文本预训练,从而文本大模型在较小的数据集和零数据集场景下可以
58、有较好的理解和生成能力。基于大模型的无标准文本书收集,ChatGPT得以在情感分析、信息钻取、理解阅读等文本场景中优势突出。随着训练模型数据量的增加,数据种类逐步丰富,模型规模以及参数量的增加,会进一步促进模型语义理解能力以及抽象学习能力的极大提升,实现ChatGPT的数据飞轮效应(用更多数据可以训练出更好的模型,吸引更多用户,从而产生更多用户数据用于训练,形成良性循环)。研究发现,每增加参数都带来了文本合成和/或下游NLP任务的改进,有证据表明,日志丢失与许多下游任务密切相关,随着规模的增长,日志丢失呈现平稳的改善趋势。资料来源:On the Opportunities and Risks
永洪科技:2022年零售行业BI商业智能应用白皮书(45页).pdf
本源量子:2022年量子金融白皮书(72页).pdf
千际投行:2022年人力资源与就业服务行业研究报告(26页).pdf
胡润百富:2022中国高净值人群家族传承报告(74页).pdf
华为&百度:2022智慧商务园区技术白皮书(51页).pdf
灵雀云&CNBPA:2022央国企云原生落地实用指南(51页).pdf
灵雀云:2022企业高管IT战略指南-企业为何要落地DevOps(18页).pdf
国联水产-深度报告:基本盘向好预制菜可期-221228(40页).pdf
金冠股份-公司深度报告:智慧电网稳步增长储能注入新动力-221227(25页).pdf
三峡能源-公司深度报告:自江入海 逐日追风-221226(25页).pdf
拓斯达-开启三大增长曲线深耕高端五轴数控机床-221228(24页).pdf
文灿股份-深度报告:轻量化赛道排头兵一体压铸引领行业-221228(26页).pdf
2018中国牙膏行业市场现状及发展前景研究报告(32页).pdf
2017年中国房地产金融:传统与创新共进(22页).pdf
瑞云智锐:2016年中国房地产互联网化白皮书(46页).pdf
中智:2020房地产行业薪酬趋势指南(20页).pdf
益普索:2021年茶植咖—三大饮料品类分析报告(34页).pdf
资本实验室:2017重构数字世界的房地产(32页).pdf
众达朴信研究院:2016-2017房地产及建筑施工薪酬调查数据报告(23页).pdf
2019花茶行业市场前景研究报告(29页).pdf
APP Growing:玩转创意休闲赛道出海新机会(2022)(20页).pdf
2016房地产投资的下一个高增值市场(17页).pdf
ABC Fitness Solutions:2020年黑色星期五健身房营销指南(英文版)(28页).pptx
Daxue Consulting:2021年中国餐饮品牌成功秘诀分析报告(英文版)(54页).pdf
蜜雪冰城招股说明书-连锁茶饮第一股(724页).pdf
线上健身第一股-keep招股说明书(463页).pdf
麦肯锡:2023中国消费者报告:韧性时代(33页).pdf
罗振宇2023“时间的朋友”跨年演讲完整PDF.pdf
QuestMobile:2022新中产人群洞察报告(37页).pdf
QuestMobile:2022年中国短视频直播电商发展洞察报告(30页).pdf
町芒:2022现制茶饮行业研究报告(47页).pdf
小红书:2023年度生活趋势报告(34页).pdf
QuestMobile:2021新中产人群洞察报告(30页).pdf
锐仕方达&薪智:2022年薪酬白皮书(105页).pdf