0
点赞
收藏
分享

微信扫一扫

Flink(九):JobManager 内存简介

前行的跋涉者 2022-03-26 阅读 83

一、简介

         JobManager 具有许多与协调 Flink 应用程序的分布式执行有关的职责:它决定何时调度下一个 task(或一组 task)、对完成的 task 或执行失败做出反应、协调 checkpoint、并且协调从失败中恢复等等。这个进程由三个不同的组件组成ResourceManager、Dispatcher、JobMaster。需对JobManager 内存详细了解,以及内存在整体上以及细粒度上的配置方法

二、JobManager 内存模型简介

     

Flink JobManager 内存模型相关配置参数说明。

组成部分    配置参数    描述  
JVM 堆内存jobmanager.memory.heap.size    JVM 堆内存
堆外内存jobmanager.memory.off-heap.sizeJobManager 的堆外内存(直接内存或本地内存)默认值:128MB
JVM Metaspacejobmanager.memory.jvm-metaspace.size

Flink JVM 进程的 Metaspace

默认值256mb

JVM 开销

jobmanager.memory.jvm-overhead.min

jobmanager.memory.jvm-overhead.max

jobmanager.memory.jvm-overhead.fraction

用于其他 JVM 开销的本地内存,例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存的受限的等比内存部分

三、JobManager 内存运用场景

     

  • Flink 框架
  • 在作业提交时(例如一些特殊的批处理 Source)及 Checkpoint 完成的回调函数中执行的用户代码

  

      程序运行指定jobmanager内存,参数配置 -Djobmanager.memory.process.size=4056m,页面实际分配

举报

相关推荐

0 条评论