2020Flink峰会报告：demo-Flink 1.12.pdf

1、FlinkFlink 1.121.12 资源管理新特性资源管理新特性 Flink 1.12 New Features In Resource Management 宋辛童 Xintong Song/郭旸泽 Yangze Guo 资源调度资源调度 ResourceResource SchedulingScheduling #2 内存管理内存管理 MemoryMemory ManagementManagement #1 扩展资源扩展资源框架框架 ExternalExternal ResourcesResources FrameworkFramework #3 未来计划未来计划 FutureFutu

2、re PlanPlan #4 内存管理内存管理 Memory Management #1 内存模型内存模型 MemoryMemory ModelModel 用于任务执行 For task execution 一个作业到底需要多少内存？ How much memory needed for executing a job? 全新界面全新界面 NewNew WebWeb UIUI 内存配置文档 Memory Configuration Docs https:/ci.apache.org/projects/flink/flink-docs- stable/ops/memory/mem_setup.h

3、tml 不受 JVM 管理 Not managed by JVM 本地内存本地内存 NativeNative MemoryMemory Slot 级别预算规划 Slot-level quota planning 自动释放 Auto-releasing 由由 FlinkFlink 管理管理 ManagedManaged byby FlinkFlink 适配可用资源 Adapting to available resources 适应性适应性 AdaptiveAdaptive 托管内存托管内存 ManagedManaged MemoryMemory 仅 RocksDB 状态后端 RocksDB State Backend only Slot 内算子共享 Shared by operators within slot 流处理 Streaming 状态后端 State Backend 包括 Dat