0
点赞
收藏
分享

微信扫一扫

达梦标准版DMETL安装部署

晴儿成长记 2022-10-16 阅读 154

达梦DMETL搭建







达梦数据库

2022年10月


DMETL简介

1.1 系统架构图

达梦标准版DMETL安装部署_linux


1.2整个系统主要组件

1.2.1 调度器

调度器负责流程分解和作业调度,负载均衡、协调多个执行器的功能。

1.2.2 原生执行器

原生执行器用于执行作业和转换流程,支持多节点部署,支持的节点数量在license

制定。

1.2.3 管理器

提供可视化的web 管理、设计、监控界面,通过管理器去操作、配置、监控系统。

1.2.4 控制器

控制器是调度器和执行器的守护进程(在上面的架构图中没有画出)与调度器和执行

器部署在同一服务器上,可以通过控制器去远程修改调度器、执行器参数,远程起停服务,

远程升级版本,监控系统资源等。一般情况下,一个物理服务器上只需要安装一个控制器,

该控制器此服务器上的多个执行器或者调度器。

1.2.5 yarn执行器

yarn 执行器用于执行作业和转换流程,可以将转换编译成mapreduce 作业运行,作业

作为yarn 应用程序运行。一个yarn 执行器对应一个hadoop 集群。

1.2.6 flink执行器

基于flink 的流式数据执行器,将转换编译成flink 作业运行在fink 集群上,一个fink

行器对应一个fink 集群。



标准版DMETL安装部署

2.1 上传DMETL压缩包​

省略

2.2 解压安装包,并给安装包执行权限​

[root@localhost ~]# unzip dmetl5_V5.03.11-Build\(2022.07.18-111696\)__Linux.x86_64_std.zip

[root@localhost ~]# cd dmetl5_V5.03.11-Build\(2022.07.18-111696\)__Linux.x86_64_std

[root@localhost dmetl]# chmod 755 * ###给文件中所有文件赋执行权限

2.3 安装相关组件​

2.3.1 安装调度器​

1.输入./dmetl5_scheduler_linux.x86_64.bin -i 命令进入交互式安装

达梦标准版DMETL安装部署_服务器_02



  1. 选择安装语言,选择2
  2. 达梦标准版DMETL安装部署_ETL_03



  3. 选择key,有key输入key存放路径,没有选择1
  4. 达梦标准版DMETL安装部署_ETL_04



  5. 版本选择标准版,选择1
  6. 达梦标准版DMETL安装部署_数据库_05



  7. 配置jdk和选择安装目录,jdk默认选择1,如果选择2或者3需要自己配置jdk环境,安装目录可以自定义
  8. 达梦标准版DMETL安装部署_服务器_06


  9. 选择元数据库存放的数据库可以选择内置数据库和外置数据库,如果选择外置数据库需要先搭建好数据库环境,选择相应的数据库,当前环境选择3,dm8数据库,输入数据库的配置信息,如下图:

达梦标准版DMETL安装部署_数据库_07


7.是否初始化数据库,选择y,会初始化元数据库信息,选择n,安装完成以后,启动服务的时候会初始化元数据库。服务名称和显示器名称,管理地址默认就可以,启动方式选择2,手动

达梦标准版DMETL安装部署_ETL_08


8 到root用户执行安装控制器服务

达梦标准版DMETL安装部署_数据库_09


2.3.2 安装manager管理器​

1.输入./dmetl5_manager_linux.x86_64.bin -i命令,进入交互式界面

[root@localhost dmetl]# ./dmetl5_manager_linux.x86_64.bin -i

2.选择安装语言,选择2

达梦标准版DMETL安装部署_服务器_10




  1. 选择jdk目录,默认选择1。安装目录可以自定义目录,默认与调度器相同目录
  2. 达梦标准版DMETL安装部署_数据库_11



  3. 选择存使用的数据库,可以使用内置数据库,本实验使用外置数据库,选择2,数据库类型选择1 dm,默认连接信息,可以选择n,跟数据库的情况输入相应的端口,ip,账号和密码。
  4. 达梦标准版DMETL安装部署_数据库_12


  5. 服务名称,管理端口,默认,启动方式选择2 手动,手动执行安装管理器服务

2.3.3 安装执行器​

1.输入 ./dmetl5_native_executor_linux.x86_64.bin -i 进入命令行安装


  1. 选择语言,输入2
  2. 达梦标准版DMETL安装部署_数据库_13


  3. 4.选择安装类型,选择2,安装原生执行器,选择1,jdk安装选择1,安装目录选择和上面调度器相同目录,如下图所示。
  4. 达梦标准版DMETL安装部署_ETL_14


  1. 选择安装目录与调度器相同时,提示是否继续安装,输入y,服务名称,显示名称,调度地址,端口号等等默认就可以,如下图所示:

达梦标准版DMETL安装部署_数据库_15


2.3.4启动组件服务器

  1. 启动和关闭调度器[root@localhost dmetl5]# cd /opt/dmetl5/scheduler/
    [root@localhost scheduler]# ./scheduler_service_start.sh ###启动调度器
    [root@localhost scheduler]# ./scheduler_service_stop.sh ###关闭调度器
  2. 启动和关闭控制器[root@localhost dmetl5]# cd /opt/dmetl5/controller/
    [root@localhost controller]# ./controller_service_start.sh
    [root@localhost controller]# ./controller_service_stop.sh
  3. 启动和关闭管理器[root@localhost controller]# cd /opt/dmetl5/manager/
    [root@localhost manager]# ./manager_service_start.sh
    [root@localhost manager]# ./manager_service_stop.sh
  4. 启动和关闭执行器

[root@localhost manager]# cd /opt/dmetl5/executor_native/

[root@localhost executor_native]# ./executor_native_service_start.sh

[root@localhost executor_native]# ./executor_native_service_stop.sh

2.4 浏览器登录DMETL平台

1.在浏览器输入http://172.17.188.19:8080/,输入账号和密码,默认账号和密码都admin。

达梦标准版DMETL安装部署_数据库_16


  1. 登录以后的界面如下图

达梦标准版DMETL安装部署_数据库_17


达梦社区网址:eco.dameng.com

举报

相关推荐

0 条评论