5-5 快手分布式高性能图平台 KGraph 及其应用.pdf

《5-5 快手分布式高性能图平台 KGraph 及其应用.pdf》由会员分享，可在线阅读，更多相关《5-5 快手分布式高性能图平台 KGraph 及其应用.pdf（24页珍藏版）》请在三个皮匠报告上搜索。

1、快手分布式高性能图平台KGraph及其应用张世航 快手高级工程师|01背景介绍02KGraph 架构03关键问题分析04应用场景介绍目录 CONTENT|05小结与展望背景介绍01|快手l国民级的短视频APP，领先的内容社区及社交平台l日活3亿+，巨大的流量入口l海量的交互数据，复杂的技术场景主站关注页主站精选页主站发现页极速版发现页主站同城页直播电商|推荐|社交推荐系统的痛点图数据结构数据容量有限服务器启动耗时很长社交推荐 的原有数据解决方案数据库频繁的join操作|KGraph架构02|迅速发展的图数据库应用场景l社交网络l风控领域l知识图谱l查询语言lGremlinlCypherlnGQ

2、Ll|l不是存储图片的数据库l以图论为基础，存储和，以存储和查询有向异构属性图建模有向 异构 属性图l:代表一个实体l:代表两个顶点的关系l:对点或者边的描述信息点(Vertex)lll由上面2项唯一确定一个点l属性，即键值对边(Edge)l确定的和ll由上面2项唯一确定一条边l属性，即键值对|KGraphRelationalGraphDataBaseTypeTableVertex/EdgeRowPropertyColumn整体框架|关键问题分析03|社交推荐的痛点如何解决图数据结构数据容量有限服务器启动耗时很长数据库频繁的join操作持久化引擎分布式线性拓展高性能，单机千万高性能高性能|DB

3、Server架构NVME SSDl一般在120W IOPSl适合大容量，低QPS用户l比DRAM大，比SSD快lApp Direct Mode，挂载xfs|高性能RPC框架KRPC设计40核机器单机的RPC单核100W QPS+减少线程间冲突|超级节点问题出边全部编码进1个KV出边分散至多个KV，并以Tree组织|KGraph性能指标高吞吐，单机极限低延迟，同机房ms级别延迟l可线性拓展机器l多region，多AZ部署l上线 至今保持较高可用性l稳定应用在社交推荐，电商推荐等业务在一个100 万个点、每个点平均 50 出度的网络里，找多度关系|应用场景介绍04|基于KGraph实时查询的社交推

4、荐基于社区内用户之间的多种关系，推荐内容或者人，对提升用户粘性帮助很大挑战1：千亿/万亿条关系的存储挑战2：3亿+DAU的吞吐，对时效性要求高挑战3：基于多度关系的推荐策略，迭代较快技术方案1.0：MySQL+分库分表+join技术方案2.0：KGraph+多度计算|基于KGraph实时查询的社交推荐用途一：保存用户视频关系链，用于简单推荐。示例，朋友在看用途二：用户推荐，根据全量用户关系图，通过多跳+计算排序，推荐潜在用户。示例，推荐朋友用途三：关系文案保存与计算。示例，1位好友赞过|基于电商图谱的推荐召回基于电商图谱进行推荐召回，有效提高推荐效率利用KGraph构建电商图谱，基于KGrap

5、h的多跳查询能力，可以挖掘图关系应用到召回、样式、策略、模型等多个业务领域。示例，品牌召回|利用Spark的离线图计算 基于KGraph构建好友关系图、安全知识图谱等图模型 利用nebula+Spark，可以进行K跳子图、最短路径等图算法的计算|小结与展望05|小结与展望更完善的架构 高效图查询引擎 多种图存储底座 完备的图计算框架 KGraph 凭借新硬件PMem，高性能网络框架KRPC和Cache的使用，达到了单机千万的极限吞吐，给上层业务优化留出了更多空间 支持OLTP实时查询和OLAP计算，已稳定应用在快手社交推荐，电商推荐等业务更强大的系统 高性能 高可用 易维护 更丰富的场景 知识图谱 安全风控 网络/IT运营|非常感谢您的观看|