Elasticsearch 整合机器学习强化排序能力.pdf

1、中国开发者大会 2023elasticsearch整合机器学习强化排序彭晟，技术专家上海哈啰普惠科技有限公司，2023/04/08中国开发者大会 2023 背景介绍分享嘉宾整体方案关键组件后续嘉宾简介四轮司乘匹配引擎负责人,es在搜广推领域大规模应用以及与机器学习在线预测整合有多年的实践优化经验统中国开发者大会 2023 背景介绍标:持模型排序持树模型全排序持配置化迭代顺司乘匹配场景中国开发者大会 2023 整体方案中国开发者大会 2023 执行引擎中国开发者大会 2023 KKV系统1.海量离线特征存储查询的挑战检索rt要求特征量1000*100=10w 百亿特征特征本地化MMAP(读取进制

2、,实时反序列化)2.解决案:linkedin/PalDB3.线上的些数据50G-20G-10G5.6ms 390*(100离线+100组合+50上下)中国开发者大会 2023 热加载tips:是否存在外部资源需要动关闭是否存在第三jar,存在内存泄漏提前加载预热,防突刺分层热加载biz热加载中,kv 独错误志限制输出中国开发者大会 2023 文件分发系统-dragonfly功能:1.件变更动下载最新件,触发业务回调2.极速MD5校验0.5h-1m3.易性持注解驱动4.持灰度加载apollo,定义配置5.更新回调状态6.持多环境7.持多回调等等中国开发者大会 2023 配置化的迭代中国开发者大会

3、 2023 在ES中模型预测进行debug原始user特征原始item特征模型参特征中国开发者大会 2023 稳定性1.完善的压测案上线前 压测回归&新功能验证2.险点,变更点极限压测biz.jar model,kv 变更频率 1d-1m3.变更的灰度&顺序加载件分发系统增加了模型,业务插件上线的顺序加载,灰度功能,保证稳定.中国开发者大会 2023 稳定性4.机器学习分组加载中国开发者大会 2023 模型预测加速中国开发者大会 2023 上线后业务上的表现1.持spark 全部的模型2.模型迭代,免开发,通过特征配置化可以快速稳定上线3.算法插件组件化,可插拔,灵活编排,多轮排序4.热加载,特征 模型 jar实时更新,抖动5.焰图,单核场景,排序只占到7%的cpu消耗6.在单机单分场景 1500深度下,树模型相LR 多了10ms7.全场景 LR -树模型核ab 增加 1.2%普惠用车事业部-顺风车2022年10月12日elasticsearch 补齐排序短板-深度学习整合 tensorflow row by row -batch calculate 解决性能问题整合openvino实现最终标 elasticsearch 排到底 极致性能 度灵活后续动作中国开发者大会 2023感谢观看中国开发者大会 2023 专业、垂直、纯粹的 Elastic 开源技术交流社区https:/