当前位置:首页 > 报告详情

2020Flink峰会报告:【03】李钰&唐云-Flink State-Backend Improvements and Evolution in Recent Year.pdf

上传人: li 编号:29328 2020-12-01 29页 1.69MB

1、Flink St,te B,-kend Improvements ,nd Evolution in Re-ent Ye,r 李钰 Ap,-he Flink PMC, 阿SFF实时P算C储I擎B队负R人 A云 Ap,-he Flink Committer, 阿SFF高级开发EM师 -aB4point -4l5 2ontain43 #2#1 -pilla1l4 stat4 1a2k4n3 Ro2ksDB M4morD Mana64m4nt #4 Pro6r4ss o5 Up6ra3in6 Ro2ksDB # Must know Do2um4nt Up3at4 #5 Futur4 Work #6 #

2、rogress of S1illable State Bac-end #1 /rev9ew vers9on o6 sp9ll12le st1te!21c:end 9s 1v19l12le! Chec: 9t oCt on 6l9n:!p1c:1ges we2s9te 1nd g9thC2! https:#6l9n:! p1c:1ges.org#p1c:1ges#sp9ll12le! st1te!21c:end!6or!6l9n: https:#g9thC#re1lt9me! stor1ge!eng9ne#6l9n:!sp9ll12le! st1te21c:end Tr1c: F-I.K!126

3、92 6or 6Crther progress. Sa-epoint Self-#ontained #2 Status bef-re savep-int self-c-ntained Savepoint savepoint-dir1 savepoint-dir2_metadata c-ntains abs-lute paths Cann-t m-ve the savep-int direct-ry Status aft3r sav3po6nt s37f-conta6n3d Aft3r 6ntroduc3 -37at6v3F673Stat3(and73, _m3tadata conta6ns r37at6v3 pat5s (FL),K-5763) savepoint-dir1 savepoint-dir2 Savepoint #rogress of Upgrading RocksDB # W

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要讨论了Flink状态后端(Spillable State Backend)的改进和演变,以及RocksDB升级的相关进展。文章指出,Flink状态后端的改进包括控制RocksDB读写内存,实现单个slot的RocksDB实例共享write buffer manager和block cache,以及优化内存申请和释放等。同时,文章也提到了RocksDB升级的一些挑战,如性能回归和内存管理最佳实践等。此外,文章还讨论了如何避免内存溢出问题,以及如何修改内存配置来避免OOM killed问题。最后,文章展望了未来的工作,包括HeapBackend的改进和Flink状态后端的优化等。
"Flink状态存储升级进展如何?" "RocksDB内存管理最佳实践是什么?" "如何避免Flink中内存溢出问题?"
客服
商务合作
小程序
服务号
折叠