2-刘志伟-软件工程领域基于 LLM 的生成式搜索实践.pdf

《2-刘志伟-软件工程领域基于 LLM 的生成式搜索实践.pdf》由会员分享，可在线阅读，更多相关《2-刘志伟-软件工程领域基于 LLM 的生成式搜索实践.pdf（26页珍藏版）》请在三个皮匠报告上搜索。

1、软件工程领域基于 LLM 的生成式搜索实践刘志伟蚂蚁集团风险效能高级技术专家刘志伟（比奥）风险效能部搜索与推荐团队负责人，负责：私域搜索，包括研发知识搜索、小程序私域搜索 分布式链路追踪、微服务问题排查、智能客服 代码大模型的数据、模型解释性方向现就职于蚂蚁集团，高级技术专家目录CONTENTS搜索的业务场景01 研发域搜索架构以及业务效果02 大模型痛点以及和搜索整合的架构03 产品实践04 讨论05 研发领域的搜索的重要性搜索是解决大规模数据下信息和知识如何高效获取的问题58%开发人员 58%的时间是在搜索和阅读理解代码60%11%当开发人员能轻松找到他们需要的东西时，他们觉得自己有能力完

2、成工作的可能性高出 60%，此外，只要团队仓库易于搜索，就有 11%的生产力提升数据来自：https:/ program comprehension:A large-scale field study with professionals研发域搜索的场景通用研发场景：新人了解产品技术情况新人了解产品技术情况 我是个新同学，希望对历史的信息了解的不全面，想要对历史的信息做追溯和了解，通过搜索过滤 交接新的平台或业务，了解过去的需求背景及实现细节等 寻找问题排查方案寻找问题排查方案 找一些研发文档、技术手册，当开发的任务有运行问题时，为了解决这些问题就会去找文档 想做某件事不知道去哪里完成想做某件

3、事不知道去哪里完成 需要下线一台机器，知道公司有个平台中某个功能，但怎么也找不到在哪 资料学习资料学习 学习的时候会找一些学习资料，比如高并发相关 研发域搜索的场景代码研发场景：不知道怎么用（找不到参考代码）不知道怎么用（找不到参考代码）某个中台接口，38 个入参、37 个出参，20 个错误码。支持上万的业务场景（包括了如扫码付、地铁协议支付），每个业务场景该传什么参数 使用一个开源的组件，接口文档不清晰，不知道怎么用 重复开发造成低效工作量浪费重复开发造成低效工作量浪费 要做个协议转换，知道肯定有人已经写过了，但不知道哪里有，重复开发 看到某网站使用了一个厉害的前端组件，怎么才能快速找到自己

4、也用起来 影响太多，不敢改代码影响太多，不敢改代码 支付流水号扩位（16 位改 32 位），数周到数月的人工批量检查大规模代码 漏洞止损难漏洞止损难 业界 log4j 报了安全漏洞，全仓库有没有使用有问题的 log4j 版本 全仓库是否有明文秘钥，以及泄露在哪些地方了 基础框架升级难基础框架升级难 Python2 要升级 Python3，全仓库哪些地方使用 Python2，升级进展怎么样 代码定位难代码定位难 日志报错在哪打的，谁改了这段代码 搜索当前的痛点问题以小程序私域搜索为例：以小程序私域搜索为例：搜索流量小，实际引导和转化效果差1、搜索框入口和Query下拉列表无任何提示引导2、搜索发

5、现和热搜榜单固定词条配置，“千人一面”3、销量主导下商品排序因子单一，中长尾商品无曝光和转化搜索改版前研发域搜索的架构方案关键点 产品层，搜索能力接入 多种数据源对接方式 离线索引数据计算和生成 索引数据存储 用户画像，千人千面 在线高性能相关性召回小程序云-智能搜索案例介绍开发支付宝小程序：开通支付宝小程序云 智能营销版块即使用智能搜索能力，数据导入，即可通过插件或 API 接入搜索能力 同时还有个性化推荐、用户画像、增长分析等小程序云-智能搜索案例介绍搜索还未被很好解决的痛点但搜索还有未被很好解决的痛点：知识获取成本依然高 分散在多个平台多个常用的平台挨个尝试 相关性的结果，多个搜索结果自

6、己总结答案举例：在已有代码上找到 API 几种典型的用法并参考。然而通过相关性找到的搜索结果往往成千上万大模型是解决这些问题很好的技术方案截图来自：https:/ 无法记住全部知识 知识具有一定的时效性 容易泛化虚假答案行业的解决方案 OpenAI：chatgpt-retrieval-plugin WebGPT LangChain：检索增强 chatgpt-retrieval-plugin https:/ 研发领域底座模型 0-1 生成式搜索总结模型微调 数据与知识的构建研发领域的底座模型构建-数据 采集&清洗：G