饿了么垂域大模型 EGPT 训练与 C 端应用实践-方之家.pdf

1、饿了么垂域大模型EGPT训练与C端应用实践饿了么资深算法专家/方之家Agenda饿了么搜索业务介绍垂域大模型在C端搜索场景的训练和使用智能搜索产品饿了么搜索业务介绍用户体验搜索效率相关性召回排序饿了么搜索在中长尾Query的挑战原qeury改写query同义词汇同义词汇莲花白包心菜芭乐番石榴口语化描述口语化描述饮品 梨雪梨汁旺仔配花送女朋友旺仔花束问答推理问答推理刮油喝什么黑茶口腔溃疡喝什么汤绿豆汤尽可能多改写，丰富排序候选集改写词需要有原Query相关性较强通用LLM=垂域LLM垂域LLM的建设垂域LLM Continual Pretraincontentcontent用户在饿了么外卖平台上

2、搜索”kfc点餐”，这一搜索词需要被重写为”肯德基”，从而在饿了么搜索引擎中检索出相关店铺结果：“肯德基（近铁广场店）”。在饿了么平台上，用户定位于金华的张坞垅新村，搜索关键词谢大嘴，可以通过调用店铺搜索引擎接口得到相关性较强的店铺是蟹大嘴韩式炸鸡(金职院店)。用户在饿了么平台上搜索”考肉饭，这是一个错别字，需要被纠正为烤肉饭。在饿了么平台上，某用户搜索关键词”关东煮 牛肉丸“，通过调用商品搜索接口可以明确”关东煮-魔芋结（1个）是相关性较弱的商品。基于主搜历史日志和人工标注的高质量数据，构造长文本进行预训练垂域LLM Cot SFTSFT阶段，构造领域指令的思维链，增强LLM领域任务的指令遵

3、循和理解能力垂域LLM 结果评测queryquery直接直接SFT or Qwen-chatSFT or Qwen-chatEGPT-chatEGPT-chat（Continue-Continue-Pretrain&SFTPretrain&SFT）五块钱能买什么小吃快餐，便宜实惠，快递外卖，低价美食面包，一元文具，勺子，本子，牛奶，纸巾，薯条，酸奶 炸鸡1.韩式炸鸡外卖2.炸鸡腿外卖3.炸鸡汉堡外卖4.香辣炸鸡外卖5.蜜汁炸鸡外卖韩式炸鸡,辣炸鸡,油炸鸡,炸整鸡,大鸡排query-shopquery-shop直接直接SFT or Qwen-SFT or Qwen-chatchatEGPT-ch

4、atEGPT-chat（Continue-Continue-Pretrain&SFTPretrain&SFT）Query：天猫母婴生活馆Shop：天猫便利店（沈河优选店）强相关（Shop中包含了Query种相关的关键词）不相关Query改写相关性垂域训练后的模型对领域语义理解更深入垂域LLM 在线应用垂域LLM 在线应用在线与离线缓存hybrid部署方案，在线蒸馏0.5B小LLM进行实时推理垂域LLM 相关性模型版本模型版本AccAccwithout CoT0,8118with zero-shot CoT0,8864with one-shot CoT0,9279 引入CoT学习样本，通过知识蒸馏方式训练一个学生模型，满足线上RT同时，大幅提升准确率。垂域LLM 离线巡检设置离线巡检任务，使用LLM对线上搜索结果定期巡检，替换人工评测垂域LLM 线上效果在相关性体验对用户无损的前提下，全年搜索无结果率-20%，订单+0.3%智能搜索1.与饿了么主搜深度嵌入2.实时LLM 3.关联推荐4.生成式推荐理由逐步灰度放量ing智能搜索餐饮、零售泛意图无供给推荐Your Title/A Subtitle HereAlternate Intro Slide