程童-作业帮检索系统重构：Havenask 实践案例分享.pdf

1、作业帮检索系统重构：程童Havenask实践案例分享Havenask(HA3)0102030405目录结果很重要业务场景及核心问题思路和决策实践过程总结01结果很重要成本问题20212022202320242025成本/万qps单位成本注：统计时间节点为每年年末高峰，年取元旦后数值索引容量瓶颈业务需求问题结果很重要强化向量检索，快速支持基于RAG及多模态大模型的AI业务落地大规模复杂算法系统年省成本40%+23年全年有效索引数据增加超过100%，索引成本增长10%结果很重要十年系统能力重塑，拥抱AI时代02业务场景及核心问题一次典型的题目检索过程拍照上传图像图像预处理检测&识别一次典型的题目检

2、索过程检索query生成召回&排序返回top结果真实业务场景的复杂性智能批改检索增强及多模态LLM能力技术能力拆解题目检索OCR全学科知识点检索图形题检索多分类批改检索增强&多模态LLM AI/系统架构检索系统的挑战1.压力主要集中在索引引擎上2.其次是排序层的问题3.根因还是流量&数据量持续增长，考验系统性能03思路和决策思路与决策约束1.2.3.现有基础迭代自研替换开源替换优势%风险用户视角的HA3开源历程首次接触停滞期再次接触转折正式开源落地准备落地路线图23年3月底23年4月底23年6月底23年8月底23年12月底04实践过程遇到的问题 打平效果需要反复AB实验分析case，耗时较多，

3、过程可控QA&排序QRSSearcher原有召回服务遇到的问题 误判的影响对性能指标的误判让上半年收益近乎归零遇到的问题 性能优化短周期/快速生效缓解压力遇到的问题 性能优化中等周期/相对透明QRSSearcherQRSSearcherSearcherQRSQRSQRSGroup1Group2Core1Core2Core3Core4MemoryNuma Node1Core5Core6Core7Core8Numa Node2Memory部分测试数据17.3%22.6%13%8.8%Avg:7%Tail:22%Cpu:39%Avg:44%遇到的问题 性能优化长周期/需要策略适配/收益最大(AB)(

4、CD)(EF)(GH)L1 end部分性能对比数据32.86.365.314.31.618.6CPU使用率(%)subquery请求量(kqps)单条subquery耗时(ms)优化前-HA3优化后-HA320.94343.4532.36241.58单实例容量(qps)平均耗时(ms)优化前-接入优化后-接入CPU UtilCPU Util减少减少56.4%56.4%SQSQ减少减少74.69%74.69%代价代价:单条耗时单条耗时+62.26%+62.26%吞吐提升吞吐提升54.54%54.54%时延减少时延减少29.66%29.66%注：优化后检索系统全局资源用量减少，如上是其中一个子系统数据05总结回顾降本增效:40%+场景：复杂大规模算法系统结合约束条件选择方案落地实践，解决问题总结HA3AITHANKS大模型正在重新定义软件