0
点赞
收藏
分享

微信扫一扫

Flink 并行度详解

前端王祖蓝 2021-10-09 阅读 51
flink

[TOC]

TaskManager与Slot介绍

Flink的每个TaskManager为集群提供slot。 slot的数量通常与每个TaskManager节点的可用CPU内核数成比例。一般情况下你的slot数是你每个节点的cpu的核数。

并行度(Parallel)

一个Flink程序由多个任务组成(source、transformation和 sink)。 一个任务由多个并行的实例(线程)来执行, 一个任务的并行实例(线程)数目就被称为该任务的并行度。

任务的并行度设置可以从多个层次指定

•Operator Level(算子层次)

•Execution Environment Level(执行环境层次)

•Client Level(客户端层次)

•System Level(系统层次)

并行度设置之Operator Level

算子、数据源和sink的并行度可以通过调用 setParallelism()方法来指定

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
 
DataStream<String> text = [...]
DataStream<Tuple2<String, Integer>> wordCounts = text
    .flatMap(new LineSplitter())
    .keyBy(0)
    .timeWindow(Time.seconds(5))
    .sum(1).setParallelism(5);
 
wordCounts.print();
 
env.execute("Word Count Example");
举报

相关推荐

0 条评论