0
点赞
收藏
分享

微信扫一扫

Airflow 设置Task优先级

Airflow要设置Task的优先级,涉及到这2个配置

1.weight_rule

2.priority_weight

weight_rule默认是downstream。还有其他2个配置upstream和absolute

priority_weight默认是1

比如,下面的DAG

Airflow 设置Task优先级_优先级

1.weight_rule=downstream

task

优先级

start

5

x1

2

x2

2

y1

1

y2

1

2.weight_rule=upstream

task

优先级

start

1

x1

2

x2

2

y1

3

y2

3

3.weight_rule=absolute

这种模式下,如果你不自己设置priority_weight的值的话,那就是默认值1

task

优先级

start

1

x1

1

x2

1

y1

1

y2

1

想要实现以下效果

Airflow 设置Task优先级_大数据_02

需要将

x1,x2的优先级单独设置高就可以了。


举报

相关推荐

0 条评论