当前位置:首页 > 报告详情

李志丽-Clink:Flink的CC++在线特征服务解决方案.pdf

上传人: 云闲 编号:101862 2021-01-01 16页 3.90MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要介绍了奇虎360团队开发的Clink项目,该项目旨在桥接Flink技术栈和C/C++技术栈,特别是在机器学习的特征工程领域。文章指出,在C/C++为主的在线(Online)场景下,Flink主要设计的批处理(Batch)和流处理(Streaming)特性存在局限性,因为它们难以满足互联网搜索推广业务对低延迟(<5ms)和复杂特征处理的需求。奇虎360通过将Flink与C/C++结合使用,发现这种混合架构带来了维护双重逻辑、开发难度大、上线后排错困难等问题。为解决这些问题,奇虎360开发了Clink,一个能够高效处理机器学习特征工程的库,通过提供C/C++动态链接库和Java SDK,使得C/C++和Java代码能够无缝交互。Clink Serving是Clink的一部分,它基于bRPC和libclink.so,提供了一种高性能、灵活的特征工程服务,支持批流一致性的处理,并可用于构建微服务化的机器学习后端推理引擎。目前,Clink已经在360搜索推荐业务中得到应用,显著提升了模型研发效率,减少了特征处理时间,并降低了离线-在线特征不一致的事故率。该项目的源代码已经开源,并计划进一步优化性能,支持多版本控制,并适配Flink ML 2.0。
"Clink如何提升模型研发效率?" "如何解决Flink在C/C++ Online场景下的局限?" "Clink在360业务中的应用效果如何?"
客服
商务合作
小程序
服务号
折叠