0
点赞
收藏
分享

微信扫一扫

如何启用Impala的动态资源池

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


Fayson的github:

​​https://github.com/fayson/cdhproject​​


提示:代码块部分可以左右滑动查看噢


1.文档编写目的


在Cloudera Manager中动态资源池分为Yarn的动态资源池和Impala的动态资源池两种。Fayson在前面有多篇文章介绍了Yarn动态资源池的使用。本篇文章Fayson主要介绍如何通过CM启用Impala的动态资源池及介绍。


  • 内容概述

1.启用Impala动态资源池

2.动态资源池说明

3.总结


  • 测试环境

1.CM和CDH版本为5.15


2.启用Impala动态资源池


1.使用管理登录Cloudera Manager进入Impala服务配置界面


如何启用Impala的动态资源池_hadoop


2.在左侧类别中过滤“Admission Control”,配置如下选项


如何启用Impala的动态资源池_github_02


保存配置后重启Impala服务,以上就完成了Impala动态资源池的启用。


3.进入Impala动态资源池管理界面


如何启用Impala的动态资源池_cloudera_03


4.点击”Impala Admission Control”,进入资源池配置界面


如何启用Impala的动态资源池_github_04


3.动态资源池说明


在Impala Admission Control配置界面也同样提供了资源池的创建功能、计划模式以及放置规则。


1.Impala资源池管理,可以创建资源池对每个资源池进行资源配置


如何启用Impala的动态资源池_cloudera_05


创建资源池


如何启用Impala的动态资源池_github_06


2.计划模式,通过创建不同的计划模式,使集群在不同的时间段使用不同的资源池配置


如何启用Impala的动态资源池_hadoop_07


创建计划规则


如何启用Impala的动态资源池_hadoop_08


3.放置规则,通过创建放置规则,是用户提交的作业运行在不同的资源池


如何启用Impala的动态资源池_github_09


创建放置规则


如何启用Impala的动态资源池_cloudera_10


4.总结


1.Impala的Admission Control功能主要是为了限制用户提交SQL的并发数,以避免集群繁忙内存不足的情况。当集群的查询太多或查询需要的总内存太多,达到一个阈值时,提交的SQL将进入等待状态,当集群资源可用时才会开始查询。


2.Impala的动态资源池与Yarn动态资源池一致,可用创建多个不同的资源池、创建不同的执行计划以及设置放置规则。


3.Impala中的资源池的层级只支持两级,父级资源池均为root



提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

如何启用Impala的动态资源池_github_11

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操





举报

相关推荐

0 条评论