1、深度解读DeepSeek:部署、使用、安全天津大学自然语言处理实验室The Natural Language Processing Laboratory at Tianjin University石 玲 吴俊茹 金任任 杨 磊 熊德意TJUNLP 天津大学https:/tjunlp-lab.github.io伏羲传语DeepSeek本地化部署0102DeepSeek使用方法与技巧03DeepSeek安全报告目录DeepSeek:部署与使用需安全、高效、可扩展一、官方网页版/调用官方API部署通过官方生成的API密钥,调用官方接口根据输入生成对应的输出,集成至控制台。部署条件:无需本地服务器,仅
2、需互联网连接二、开源版本下载至本地部署准备相应软硬件设备,下载DeepSeek开源模型权重文件至专用服务器,根据需求从本地调用。部署条件:搭载高端智算芯片的服务器调用官方API部署本地部署数据安全性依赖传输加密,数据会泄露至API提供方数据全程内网闭环定制化能力仅支持修改模型的解码参数可通过私有数据微调模型、开发定制插件成本结构按调用量付费(适合低频场景)部署服务器的使用和维护成本维护复杂度无需运维需专职团队维护相应的软硬件设备稳定性会受官方服务器繁忙、网络延迟等影响主要取决于本地部署相关硬件稳定性DeepSeek:部署与使用需安全、高效、可扩展API调用流程注册账号并获取 API Key:进
3、入 API 开放平台,创建 API Key 并记录下生成的 Key。配置 API 调用环境:确保设备的联网状态,安装必要的开发工具环境如Python+openai SDK。设置相关参数调用API接口,python脚本如下所示。样例为非流式输出,可以将 stream 设置为 true 来使用流式输出。注意事项请勿泄露API Key给他人,避免被滥用。注意 API 的调用频率和用量限制。确保网络连接稳定,避免因网络问题导致调用失败。DeepSeek:部署与使用需安全、高效、可扩展本地部署流程(DeepSeek-R1全量版)从https:/huggingface.co/deepseek-ai/Dee
4、pSeek-R1下载模型权重文件安装模型部署相关的依赖包(以vllm为例)实际部署(以两台分别搭载了8卡H100 GPU的服务器为例)启动Ray的脚本1.在两台服务器分别运行该脚本启动Ray,其中master节点在运行该脚本时需要添加-head参数启动vllm的脚本2.在master节点启动vllm部署模型DeepSeek:部署与使用需安全、高效、可扩展本地部署流程(DeepSeek-R1蒸馏版)从https:/huggingface.co/collections/deepseek-ai/deepseek-r1-678e1e131c0169c0bc89728d下载对应的模型权重文件安装模型部署
5、相关的依赖包(以vllm为例)实际部署模型建议显卡数量(A100/H100)DeepSeek-R1-Distill-Qwen-1.5B 1DeepSeek-R1-Distill-Qwen-7B 1DeepSeek-R1-Distill-Llama-8B 1DeepSeek-R1-Distill-Qwen-14B 1DeepSeek-R1-Distill-Qwen-32B 2DeepSeek-R1-Distill-Llama-70B 4注意事项硬件兼容性:确保 GPU 和驱动程序支持 CUDA。模型文件较大,需确保有足够的存储空间。下载模型时需要稳定的网络连接。本地部署时,注意数据的保密性和模型
6、的安全性,避免未经授权的访问。DeepSeek:部署与使用需安全、高效、可扩展本地部署流程(DeepSeek-R1量化版)下载量化版模型,例如 https:/huggingface.co/unsloth/DeepSeek-R1-GGUF构建模型部署相关框架(建议使用量化友好框架 Llama.cpp 或 Ollama)实际部署:Llama.cpp 或 Ollama 支持仅 CPU 部署,使用 GPU 用于推理加速,并随着 GPU 数量增多速度越快使用 Llama.cpp 框架部署模型命令,在 llama.cpp 文件下执行使用 Llama.cpp 框架部署后模型调用示例DeepSeek:部署与使