51CTO:2025年DeepSeek入门宝典-技术解析篇(22页).pdf

编号:611965 PDF  PPTX 22页 2.08MB 下载积分:VIP专享
下载报告请您先登录!

51CTO:2025年DeepSeek入门宝典-技术解析篇(22页).pdf

1、DeepSeek是什么?DeepSeek 是什么?DeepSeek R1的三大特点 使用DeepSeek的五种方式对比DeepSeek 是什么?DeepSeek是幻方量化于2023年创立的大模型子公司,创始人为梁文锋2024年1月5日,其发布第一个同名AI大模型 DeepSeek LLM2025年1月20日,DeepSeek R1正式发布,为对标对标 OpenAI o1 OpenAI o1正式版的高性能推理模型;R1上线后火速出圈,其应用创造了全球 APP APP 历史上增长最快历史上增长最快的记录 图片来源:AI产品榜图片来源:DeepSeek官网推理表现媲美OpenAI o1正式版R1开源

2、,并公开训练技术,允许开发者访问和学习R1开发成本仅为OpenAI o1的2%左右图注:DeepSeek与OpenAI各版本的准确率对比(图片来源:DeepSeek官网)DeepSeek R1的三大特点高性能高性能开源开源低成本低成本使用DeepSeek的五种方式对比普通用户普通用户作为生产力工具及技术尝鲜https:/ 和 MNN等工具硅基流动、腾讯云、阿里云等https:/ R1核心技术揭秘 R1的基座模型V3 R1的三种变体 R1训练的技术路径 R1的核心技术解析 R1的关键技术贡献R1的基座模型:V3V3V3模型的特征模型的特征V3是去年12月发布的自研 MoE 模型参数与GPT-4大

3、致在同一数量级:V3 有671B 参数,每个Token的计算激活约37B在 14.8T token 上进行了预训练R1R1在在DeepSeekDeepSeek V3 V3基础上进行了开发基础上进行了开发图注:DeepSeek V3与发布时其他主流大模型的准确率对比(图片来源:DeepSeek官网)V3V3:对标GPT-4o,通过指令微调和偏好微调提升性能R1R1:专注于推理能力R1的三种变体DeepSeek V3DeepSeek V3R1-ZeroR1-ZeroR1DeepSeek-R1-Distill基座模型变体 1变体2变体3直接强化学习训练多阶段渐进训练模型蒸馏R1训练的技术路径原图作者

4、:Sebastian RaschkaR1的核心技术解析:强化学习图片来源:基于场景动力学和强化学习的自动驾驶边缘测试场景生成方法R1采用了多种奖励的强化学习,相当于模型的“综合评分系统”,模型在完成任务时根据多个标准获得不同的奖励信号。R1的核心技术解析:冷启动数据R1 策略性地将少量高质量数据作为冷启动。这相当于训练开始前的“入门教程”,帮助模型更快地学会如何进行清晰、有逻辑的推理。R1-Zero生成的 长 思 维 链(CoT)数据挑选示例R1的冷启动数据R1的核心技术解析:监督微调图片来源:PORT:Preference Optimization on Reasoning TracesR1

5、训练包括两个监督微调(SFT)阶段。模型通过学习标注数据来调整模型,以在特定任务上表现得更精准。R1的核心技术解析:蒸馏图片来源:https:/devopedia.org/knowledge-distillationR1-Distill采用蒸馏技术。大模型(老师)把自己的知识和推理能力教给小模型(学生),通过高质量的数据和训练方法,让小模型学会大模型的推理技巧。关键贡献1:“纯RL”技术路线的可行性首个公开研究,验证了LLMs的推理能力可以仅通过强化学习激励,而无需监督微调。图注:随着RL训练逐步推进,R1-Zero的性能稳定且持续提升(图片来源:DeepSeek官方论文)关键贡献2:R1的“

6、啊哈时刻”图注:在处理复杂的数学问题时,模型突然停下来说“等等、等等、这是个值得标记的啊哈时刻”(图片来源:DeepSeek官方论文)DeepSeek R1在推理时使用诸如“啊哈时刻”的高度拟人化语言,在解题找到突破口时产生了顿悟,被视为走向AGI的重要一步。图注:DeepSeek R1 的推理过程关键贡献3:蒸馏小模型超越 OpenAI o1-mini图注:通过 DeepSeek-R1 的输出,蒸馏了 6 个小模型开源给社区(图片来源:DeepSeek官方论文)蒸馏小模型的高性能,证明了该策略的经济和有效,但想要

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(51CTO:2025年DeepSeek入门宝典-技术解析篇(22页).pdf)为本站 (小小) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
客服
商务合作
小程序
服务号
折叠