A会场-苏震巍-Senparc_AI & SK 助力大语言模型私有化部署和落地.pdf

《A会场-苏震巍-Senparc_AI & SK 助力大语言模型私有化部署和落地.pdf》由会员分享，可在线阅读，更多相关《A会场-苏震巍-Senparc_AI & SK 助力大语言模型私有化部署和落地.pdf（64页珍藏版）》请在三个皮匠报告上搜索。

1、苏震巍盛派络创始兼席架构师微软 AI 和开发架构向 Regional Director（RD）微软最有价值专家（MVP）微软技术俱乐部（苏州）主席盛派开发者社区创始微信开发深度解析站模块化开发全程实录作者Senparc.Weixin SDK 等知名开源项作者。为什么我们需要离线模型 为什么我们需要 SK（Semantic Kernel）Senparc.AI 技术态 Senparc.AI+SK 实战演示录 为什么我们需要离线模型 为什么我们需要 SK（Semantic Kernel）Senparc.AI 技术态 Senparc.AI+SK 实战演示录?LLMLLM?LLMLLM?在线离线?IP?

2、科?+?/组?/?为什么我们需要离线模型 为什么我们需要 SK（Semantic Kernel）Senparc.AI 技术态 Senparc.AI+SK 实战演示录?SemanticSemantic KernelKernel?SemanticSemantic KernelKernel?EndpointEndpoint?SemanticSemantic KernelKernel?模型服务（最终模型服务商）?Connector?EndpointEndpoint?离线模型调用原理 为什么我们需要离线模型 为什么我们需要 SK（Semantic Kernel）Senparc.AI 技术态 Senpar

3、c.AI+SK 实战演示录?图片来自于网络Senparc.AISenparc.AISenparc.AISenparc.AI?AIAI?https:/ License 2.0?AI?Senparc.AISenparc.AI?Senparc.AI?Senparc.AI?Senparc.AI.Kernel?Senparc.AI?SemanticKernel?Senparc.AI.PromptRange?Senparc.AI?PromptRange?Senparc.AISenparc.AI.KernelSenparc.AI.PromptRange.?https:/ SDKhttps:/ 8K+）?SD

4、KSDK?Senparc.WeixinSenparc.Weixin?https:/ 3.5/4.0/4.5/.NET Standard 2.x/.NET Core 2.x/.NET Core 3.x/.NET 6.0-8.0?MVC?Razor?WebApi?Console?初?.exe?Blazor?MAUI?SenparcSenparc?NuGet?1900?+?为什么我们需要离线模型 为什么我们需要 SK（Semantic Kernel）Senparc.AI 技术态 Senparc.AI+SK 实战演示录?Senparc.AI+SK?Prompt?+GPUGPU?:40904090?:4

5、0904090?Senparc.AISenparc.AI?Senparc.AISenparc.AI?第一步：appsettings.json 配置：/配置调试状态，可自动输出日志/配置需要使用的 AI 平台或接口，如：OpenAI、FhuggingFace 等/NeuCharOpenAI 配置/AzureOpenAI 配置/OpenAI 配置/HuggingFace 配置NeuCharNeuChar AIAI?https:/ StudioStudio?Senparc.AISenparc.AI?/创建处理器/预加载/配置模型/完成并创建 Kernel，获得 iWantToRun 对象?/构建请求

6、对象/设置 Prompt/请求 AI，获得结果?Senparc.AISenparc.AI?Chat?HuggingFace API Server?Server?Semantic Kernel?demo?samples/apps/hugging-face-http-server?1.?LLM?THUDM/chatglm2-6b-32k?inference-py.py?2.?https:/ create-n xxxx?conda install python=3.10?python?3.10?4.?pip instal