0
点赞
收藏
分享

微信扫一扫

Doris大数据分析保姆级使用教程

目录

Doris安装

集群部署

官网下载地址https://doris.apache.org/zh-CN/downloads/downloads.html,选择二进制下载,源码下载需要自己编译

image-20220427101120886

解压doris文件

tar -zxvf apache-doris-1.0.0-incubating-bin.tar.gz -C /opt/module/

集群规划

hadoop102hadoop103hadoop104
FE-LeaderFE-FlowerFE-Flower/Observer
BEBEBE
BROKERBROKERBROKER

修改配置文件vim conf/fe.conf

meta_dir = /opt/module/doris-meta

image-20220427101603591

集群中分发存储路径和FE配置文件,启动FE

# 创建meta文件夹存储路径
mkdir /opt/module/doris-meta
# 三台机器都要执行
sh bin/start_fe.sh --daemon

image-20220427101834656

修改配置文件vim conf/be.conf

# storage_root_path配置存储目录,可以用;来指定多个目录,每个目录后可以跟逗号,指定大小默认GB
storage_root_path = /opt/module/doris_storage1,10;/opt/module/doris_storage2

image-20220427101938432

集群中分发存储路径和BE配置文件,启动BE

# 创建storage_root_path存储路径
mkdir /opt/module/doris_storage1
mkdir /opt/module/doris_storage2
# 三台机器都要执行
sh bin/start_be.sh --daemon

image-20220427102159411

doris可以使用mysql客户端访问,如果未安装,则需要安装mysql-client

# 第一次访问不需要密码,可以自行设置密码
mysql -hdoris1 -P 9030 -uroot
# 修改密码
set password for 'root' = password('root');

image-20220427102511327

通过mysql客户端登入后,添加be节点,port为be上的heartbeat_service_port端口,默认9050

mysql> ALTER SYSTEM ADD BACKEND "hadoop102:9050";
mysql> ALTER SYSTEM ADD BACKEND "hadoop103:9050";
mysql> ALTER SYSTEM ADD BACKEND "hadoop104:9050";

通过mysql客户端,检测be节点状态,alive必须为true

mysql> SHOW PROC '/backends';

image-20220427102930405

可选,非必须部署,启动BROKER

# 三台集群都要启动
sh bin/start_broker.sh --daemon

image-20220427103101468

使用mysql客户端访问pe,添加broker节点

mysql> ALTER SYSTEM ADD BROKER broker_name "hadoop102:8000","hadoop103:8000","hadoop104:8000";

查看broker状态

mysql> SHOW PROC "/brokers";

image-20220427103310623

扩容缩容

Doris可以很方便的扩容和缩容FE、BE、Broker实例。通过页面访问进行监控,访问8030,账户为root,密码默认为空不用填写,除非上述设置了密码使用密码登录http://hadoop102:8030

image-20220427103745873

FE 扩容和缩容

FE 节点的扩容和缩容过程,不影响当前系统运行

使用mysql登录客户端后,可以使用sql命令查看FE状态,目前就一台FE

mysql> SHOW PROC '/frontends';

image-20220427103638426

image-20220427104026074

增加FE节点,FE分为Leader,Follower和Observer三种角色。默认一个集群只能有一个Leader,可以有多个Follower和Observer.其中Leader和Follower组成一个Paxos选择组,如果Leader宕机,则剩下的Follower会成为Leader,保证HA。Observer是负责同步Leader数据的不参与选举。如果只部署一个FE,则FE默认就是Leader

第一个启动的FE自动成为Leader。在此基础上,可以添加若干Follower和Observer。添加Follower或Observer。使用mysql-client连接到已启动的FE,并执行:

在doris2部署Follower,doris3上部署Observer

# 执行其中的一个即可,注解如下
# follower/observer_host IP节点位置
# edit_log_port fe.conf配置文件中可以查询到

# ALTER SYSTEM ADD FOLLOWER "follower_host:edit_log_port";
ALTER SYSTEM ADD FOLLOWER "hadoop103:9010";
# ALTER SYSTEM ADD OBSERVER "observer_host:edit_log_port";
ALTER SYSTEM ADD OBSERVER "hadoop104:9010";

image-20220427104449546

需要重启配置节点的FE,并添加如下参数启动

# --helper参数指定leader地址和端口号
sh bin/start_fe.sh --helper hadoop102:9010 --daemon
sh bin/start_fe.sh --helper hadoop102:9010 --daemon

全部启动完毕后,再通过mysql客户端,查看FE状况

mysql> SHOW PROC '/frontends';

image-20220427105314206

使用以下命令删除对应的FE节点ALTER SYSTEM DROP FOLLOWER[OBSERVER] "fe_host:edit_log_port";删除Follower FE时,确保最终剩余的Follower(包括 Leader)节点为奇数

ALTER SYSTEM DROP FOLLOWER "hadoop103:9010";
ALTER SYSTEM DROP OBSERVER "hadoop104:9010";	

BE 扩容和缩容

增加BE节点,就像上面安装一样在mysql客户端,使用ALTER SYSTEM ADD BACKEND

删除BE节点,使用ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";

具体文档请查看官网

举报

相关推荐

0 条评论