魔搭社区开源ModelScope-Agent框架 打造专属智能体-张志成.pdf

1、张志成 丨 魔搭社区高级技术专家魔搭魔搭社区社区ModelscopeModelscope-Agent-Agent开源框架开源框架快速构建专属智能体应用快速构建专属智能体应用魔搭魔搭：中国最大的模型社区中国最大的模型社区2300模型总数模型总数1亿亿 模型下载量模型下载量通义千问GLM书生Llama2Mistral百川日语日语Sakura-13B-Galgame多语种多语种Nlp_polulm_qwen_7bOpenbuddy-mistral-7b韩语韩语Sakura-13B-Novel-Korean基础模型多语种生态多语种生态部署生态部署生态特定场景生态特定场景生态行业能力生态行业能力生态自动

2、驾驶自动驾驶有鹿心理心理MindChat-Qwen医疗医疗DUTIRbionlp TaiyiLLM金融金融finGLN教育教育三乐司法司法智海录问GGUFLlama-2-70b-Chat-GGUFGGMLQwen-14B-Chat-ggmlONNXQwen-7b-chat-onnx代码代码CodeFuse-13B小说小说Sakura-13B-NovelAgentBaichuan_agent多轮增多轮增强强Firefly-baichuan-7bModelScope:Chinas Largest Community for AI Models+模型库:助力模型发展与推广*排名不分先后.数据集:推动

3、数据分享创空间：鼓励AI应用创新魔搭社区提供数据集与免费算力魔搭社区提供数据集与免费算力，营造模型应用创空间营造模型应用创空间数据集数据集Data Sets600数据集算力算力Computing ResourcesOffering Data Sets and Free-of-charge GPU Resources to Facilitate Innovation累计免费GPU时3000万万2800个创新应用分享个创新应用分享创空间创空间InferenceTrainEvaluateModelScope LibraryModelScope Library（SDKSDK）pip install m

4、odelscope 提供开源Python Package，统一各类模型接入接口 开放兼容多种机器学习框架多种机器学习框架和Backbone 几行代码实现模型推理/训练/评估ModelScopeModelScope-Agent-Agent Library LibraryDemoGithubhttps:/ 框架框架 可定制且功能全面的轻量可定制且功能全面的轻量agent框架框架：提供可定制的agent设计，涵盖了数据收集、工具检索、工具使用、存储管理、定制模型训练和实际应用等功能，可用于快速实现实际场景中的应用。开源开源LLMs作为核心组件：可以通过作为核心组件：可以通过利用 ModelScope

5、 社区的多个开源LLMs上进行模型训练。面对不同的支持指令微调的开源模型，用户可以快速构建出可执行各类任务的agent。支持支持大小模型协同大小模型协同：用户可以本地调用modelscope小模型，也支持远程调用已经部署在modelscope上的模型，作为工具进行调用 多样化且全面的多样化且全面的API：以统一的方式实现与模型API和常见的功能API的无缝集成。依托大模型，结合ModelScope的模型生态，提供全新模型使用体验通用、专业模型协同优化，提升特定领域模型表现自然语言交互，让海量模型更容易被调用多任务规划调度，帮助拆解复杂问题 大小模型协同智能助手单单指令指令多模型调用多模型调用多

6、指令多指令多模型调用多模型调用多轮多轮对话知识检索对话知识检索ModelScopeModelScope-Agent-Agent 框架框架 轻量化可定制轻量化可定制 LLM：自由切换不同的可支持微调的LLM Tools：可快速接入的用户自定义的tool，实现功能接入 Agent:预制常用指令类型的agent type，例如react，message function call等进行agent任务，已适配不同模型、任务。knowledge&Memory：提供外部知识接入，以及历史消息的管理。ModelScopeModelScope-Agent-Agent 框