xxxx |
2020年06月 |
日期 | 版本 | 修订说明 | 修改人 |
2020-06-28 | V1.0.0 | 创建文档 | 王昱翔 |
| | | |
| | | |
| | | |
| | | |
| | | |
目 录
1. 引言 3
1.1 背景介绍 3
1.2 编写目的 3
1.3 适用范围 3
1.4 角色职责 3
1.5 其他 4
2. 当前环境概述 4
2.1离线数仓收集信息的 4
2.2 关闭收集信息的操作 5
- 引言
- 背景介绍xxx项目承接了线上多种实时数据，对主要的指标进了15分钟一次查询，这些统计指标对上层知道运营有重要作用。出版上线至今平台稳定运行，但日益增长的用户数量导致每日数据量不断增长，当前的集群面临严峻的处理能力和稳定性的挑战。
驾驶舱集群自上线(2019.10月份)上线后，承接了离线计算的主要任务，已有表数目接近10000张，单日任务数量接近3万，单表最大数据规模超过8亿+;集群目前处于亚健康状态，现在集群上每周五收集集群信息，占用大量的资源，需要关闭Collect Diagnostic Data Globally。 - 编写目的指导本次CDH平台关闭Collect Diagnostic Data Globally。
- 适用范围
- 甲方leader
- 运维开发人员
- 数据开发人员
- 角色职责
角色 | 职责 | 备注 |
PD | 需求提出者，发起需求评审，制定需求优先级，参与系分、测试评审； | 核心 |
设计人员 | 细分设计，制定开发计划，参与需求、测试评审 | 核心 |
运维人员 | 负责发布的执行；负责通知下游关联影响。 | 核心 |
- 其他其他需要说明的内容。
当前环境概述
驾驶舱集群自上线(2019.10月份)上线后，承接了离线计算的主要任务，已有表数目接10000张，单日任务数量接近3万，单表最大数据规模超过8亿+集群目前处于亚健康状态，需要对CDH集群关闭Collect Diagnostic Data Globally，减少资源收集信息时占用大量的资源。
2.1离线数仓收集信息的
离线总共41节点，收集信息的报错情况如下。
2.2 关闭收集信息的操作
1.进入集群管理---设置
2.允许使用情况数据收集对钩打掉，点击保存更改即可。
3.关闭自动将诊断数据发送至cloudera关闭，计划的诊断数据收集频率每周改成从不，关闭使用http上载诊断数据
