《李志丽-Clink:Flink的CC++在线特征服务解决方案.pdf》由会员分享,可在线阅读,更多相关《李志丽-Clink:Flink的CC++在线特征服务解决方案.pdf(16页珍藏版)》请在三个皮匠报告上搜索。
1、李志丽/奇虎360A C/C+online feature serving solution for Flink使用Flink/Alink的批流一体特征工程#1在C/C+Online场景下的一些局限#2一种可行的解决方案:Clink#3Clink与Flink共同实现在线学习#4Clink在360的应用#5Clink开源#6使用Flink/Alink的批流一体特征工程机器学习和在线学习(Online Learning)在互联网“搜推广”业务中广泛应用基于Flink和Alink,能有效地解决机器学习特征工程中涉及到的批流一体场景日志处理特征抽取特征工程在C/C+Online场景下的一些局限Flin
2、k主要面向Batch和Streaming场景,在C/C+为主要技术栈的Online场景下有局限互联网搜推广业务复杂,对延迟(RT)容忍度低,特征处理./clink-serving/tmp/pipeline.jsonClink serving listening on 0.0.0.0:8082请求预处理特征生成模型推理Clink ServingTF ServingClink与Flink共同构建在线学习系统基于Flink的特征工程fit过程Clink在360业务中的应用和效果Clink目前应用于360搜索推荐业务的多个场景提升模型研发效率,上线流程从天级降低到小时级大幅降低离线-在线特征不一致的事故率某场景下,特征处理耗时从60ms降低到10ms开源https:/ Extended生态成员下一步计划#1进一步优化Clink Serving的性能,提供多版本控制,兼容云原生依靠社区力量,不断丰富和优化libclink.so中的特征工程算子全面适配Flink ML 2.0,让Clink和Flink的混合使用原生化#2#3THANKS