夏歌-使用Rust构建LLM应用.pptx

1、第三届中国第三届中国Rust开发者大会开发者大会使用使用 Rust Rust 构建构建 LLM LLM 应用应用夏歌SECTION TITLESECTION TITLE我们能不能直接用 Rust训练推理AI 应用相关的工具WASI-NN specWasmEdge已经支持 Pytorch、TensorFlow LiteWASI-NN 2.0比如 LangchainRewrite Rewrite it in Rustit in Rust笨重资源占用多大部分时间是在等待轻量级资源占用量小节省大量计算资源Python 与与 DockerRust 与与 WebAssembly为什么要用为什么要用 Rus

2、t Rust？Rewrite Rewrite it in Rustit in RustRust 太难学！太难学！为什么为什么不用不用 Rust Rust？学习曲线太陡峭了，学习周期太长学习曲线太陡峭了，学习周期太长了了招招 Rust 开发太难了开发太难了Low code RustRust 在系统编程已经取得了巨大在系统编程已经取得了巨大成功成功培养更广泛的培养更广泛的 Rust 开发开发围绕围绕 LLM 生态封装相应的生态封装相应的 Rust 框框架，让开发者能够使用简单的架，让开发者能够使用简单的 Rust 写写应用应用如何用 Rust 实现的构建和部署 AI 相关工作流的 serverle

3、ss 平台上传 Rust function，平台负责将 Rust 编译成 Wasm，并运行在 WasmEdge 安全容器中平台封装了一些常用 LLM 和 SaaS 的 API，并发布成了 crate，比如 ChatGPT、telegram、GitHub、Discord、向量数据库比如 qdront。整个 serverless 平台是为 Rust 和 WebAssembly 设计的视频演示如何使用 serverless 的方式部署一个 PR review 机器人。待插入视频，大概是2分钟的录屏Talk Talk is cheap,show me the code!is cheap,show me

4、 the code!Telegram ChatGPT 机器人机器人PR Review 机器人机器人使用 Rust 构建基于 ChatGPT 的 Telegram 机器人1.通过不同的 prompt 扮演不同的角色，并且拥有短期记忆2.Chat with images3.Chat with text这个机器人可以：使用 Rust 构建基于 ChatGPT 的 Telegram 机器人0.1.0基于 ChatGPT 的 Telegram 机器人Cargo.toml0.1.0基于 ChatGPT 的 Telegram 机器人telegram 机器人的基础设置0.1.0基于 ChatGPT 的 Tel

5、egram 机器人Open AI 的基础设置获取 chat_id0.1.0基于 ChatGPT 的 Telegram 机器人当 Telegram 收到 规定好的Slash 开头的 telegram command，就预启动不同的 Prompt0.1.0基于 ChatGPT 的 Telegram 机器人当收到消息的时候，就按照预设的 system_prompt 使用 GPT3.5 调用 OpenAI，并把结果返回。0.1.0基于 ChatGPT 的 Telegram 机器人在 ocr 这个function 里 识别图片中的文字，text_detection 是把识别的图片转化为 base64 h

6、ttps:/ Rust 构建 ChatGPT Telegram 机器人使用 Rust 构建基于 ChatGPT 的 PR Review 机器人当有新的 PR 或在 PR comment 收到关键词，就按照每次 commit 的记录对 PR 进行 review，并且以 PR comment 的形式发回到 GitHub这个机器人可以：0.1.0使用 Rust 构建 PR review 机器人Cargo.toml0.1.0使用 Rust 构建 PR review 机器人设置 OpenAI 与 GitHub 基本信息0.1