《浙江大学:2025大模型:从单词接龙到行业落地报告(56页).pdf》由会员分享,可在线阅读,更多相关《浙江大学:2025大模型:从单词接龙到行业落地报告(56页).pdf(56页珍藏版)》请在三个皮匠报告上搜索。
1、1大模型:从单词接龙到行业落地杨洋,浙江大学?教学用途声明:本PPT包含部分来源于网络的素材,仅供教学使用,非商业用途,版权归原作者所有2人工智能前夜:图灵测试o 图灵测试会在测试人在与被测试者(一个人和一台机器)隔开的情况下,通过一些装置(如键盘)向被测试者随意提问。o 问过一些问题后,如果超过 30%的答复不能使测试人认出哪个是人、哪个是机器的回答,那么这台机器就通过了测试,并被认为具有人类智能。3人工智能前夜:图灵测试o 在提出图灵测试的计算机器与智能一文里,图灵描述了想象中未来的智能计算机测试可能的样子(人提出问题,计算机回答):Q:请给我写一首有关福思桥(Forth Bridge)主
2、题的十四行诗。A:这种事情别找我。我从来都不会写诗。Q:34957+70764 等于多少?A:(停顿了约 30 秒后再给出答案)105621。Q:在国际象棋中,我在K1处有一个王,除此之外没有棋子了。你在K6处有一个王且在R1处有一个车。现在你会怎么走?A:(15 秒停顿后)将车移动到R8,然后将死。文学文学数学数学逻辑逻辑4大模型与图灵测试文学数学逻辑5大语言模型:单词接龙杨老师周一晚讲 0.6旅 0.3吃 0.16大语言模型:单词接龙杨老师周一晚讲课 0.4大 0.4话 0.27大语言模型:单词接龙杨老师周一晚讲大话 0.1人 0.1模 0.88大语言模型:单词接龙杨老师周一晚讲大模型 0
3、.7态 0.2块 0.19大语言模型:单词接龙杨老师周一晚讲大模型,0.4EOS 0.5呀 0.110单词接龙:通过条件概率计算实现P(token_i|context )下一个单词下一个单词上下文(用户提问上下文(用户提问+已生成的句子)已生成的句子)o 给定上下文(Context),计算下一个生成词(Token)的概率o 根据所计算的条件概率进行采样获得生成词,拼接至上下文末尾,并预测下一个生成词,直至生成一个结束符(End-of-Sequence,EOS)o 利用Transformer计算条件概率Ashish Vaswani,Noam Shazeer,Niki Parmar,Jakob U
4、szkoreit,Llion Jones,Aidan N.Gomez,ukasz Kaiser,and Lllia Polosukhin.“Attention is All You Need.”In NeurIPS,2017.11将各类下游任务转化为单词接龙输入:景点(如断桥残雪)输出:该景点所在城市断桥残雪在哪?模型杭州传统机器学习模型拆分成一连串的单词接龙断桥残雪在哪?LLM杭断桥残雪在哪?杭LLM州断桥残雪在哪?杭州LLMEOS12为什么单词接龙?针对特定任务的端到端学习断桥残雪在哪?模型北京杭州模型,训练数据:需要标注,成本高标注输入数据13预训练-微调:机器学习新范式预训练杭州是中国
5、浙江省的省会城市,是一座历史悠久且富有文化的城市,被誉为“人间天堂”。它位于中国东南沿海的长江三角洲经济区,拥有丰富的自然景观和人文遗产。杭州以西湖著称,西湖是中国著名的风景名胜,也被列入了世界文化遗产。除了西湖,杭州还有其他许多著名的景点,如京杭大运河、钱塘江、灵隐寺、断桥等。采样很多句子做单词接龙杭州是中国它位于中国杭州以LLM列入了世界浙江省东南沿海西湖著称文化遗产杭州是中国浙江省LLM江苏省浙江省14如何培育小火龙,成为宝可梦世界冠军?15如何培育小火龙,成为宝可梦世界冠军?端到端学习(应试教育)1、只会打架2、打不过没见过的宝可梦16如何培育小火龙,成为宝可梦世界冠军?预训练(素质教
6、育)1、多功能火恐龙2、灵活运用技能17预训练数据:网页、书籍、新闻、对话等多种类型的无标注数据杭州是中国浙江省的省会城市,是一座历史悠久且富有文化的城市,被誉为“人间天堂”。它位于中国东南沿海的长江三角洲经济区,拥有丰富的自然景观和人文遗产。杭州以西湖著称,西湖是中国著名的风景名胜,也被列入了世界文化遗产。除了西湖,杭州还有其他许多著名的景点,如京杭大运河、钱塘江、灵隐寺、断桥等。10月下旬,这则消息引发广泛关注。玛莎拉蒂母公司斯泰兰蒂斯集团15亿欧元入股浙江零跑科技股份有限公司,10月下旬,这则消息引发广泛关注。拥有自研智能动力、智能网联、智能驾驶三大核心技术,工厂预计年产可达70万辆在零