目录
Doris安装
集群部署
官网下载地址https://doris.apache.org/zh-CN/downloads/downloads.html
,选择二进制下载,源码下载需要自己编译
解压doris文件
tar -zxvf apache-doris-1.0.0-incubating-bin.tar.gz -C /opt/module/
集群规划
hadoop102 | hadoop103 | hadoop104 |
---|---|---|
FE-Leader | FE-Flower | FE-Flower/Observer |
BE | BE | BE |
BROKER | BROKER | BROKER |
修改配置文件vim conf/fe.conf
meta_dir = /opt/module/doris-meta
集群中分发存储路径和FE配置文件,启动FE
# 创建meta文件夹存储路径
mkdir /opt/module/doris-meta
# 三台机器都要执行
sh bin/start_fe.sh --daemon
修改配置文件vim conf/be.conf
# storage_root_path配置存储目录,可以用;来指定多个目录,每个目录后可以跟逗号,指定大小默认GB
storage_root_path = /opt/module/doris_storage1,10;/opt/module/doris_storage2
集群中分发存储路径和BE配置文件,启动BE
# 创建storage_root_path存储路径
mkdir /opt/module/doris_storage1
mkdir /opt/module/doris_storage2
# 三台机器都要执行
sh bin/start_be.sh --daemon
doris可以使用mysql客户端访问,如果未安装,则需要安装mysql-client
# 第一次访问不需要密码,可以自行设置密码
mysql -hdoris1 -P 9030 -uroot
# 修改密码
set password for 'root' = password('root');
通过mysql客户端登入后,添加be节点,port为be上的heartbeat_service_port端口,默认9050
mysql> ALTER SYSTEM ADD BACKEND "hadoop102:9050";
mysql> ALTER SYSTEM ADD BACKEND "hadoop103:9050";
mysql> ALTER SYSTEM ADD BACKEND "hadoop104:9050";
通过mysql客户端,检测be节点状态,alive必须为true
mysql> SHOW PROC '/backends';
可选,非必须部署,启动BROKER
# 三台集群都要启动
sh bin/start_broker.sh --daemon
使用mysql客户端访问pe,添加broker节点
mysql> ALTER SYSTEM ADD BROKER broker_name "hadoop102:8000","hadoop103:8000","hadoop104:8000";
查看broker状态
mysql> SHOW PROC "/brokers";
扩容缩容
Doris可以很方便的扩容和缩容FE、BE、Broker实例。通过页面访问进行监控,访问8030,账户为root,密码默认为空不用填写,除非上述设置了密码使用密码登录http://hadoop102:8030
FE 扩容和缩容
FE 节点的扩容和缩容过程,不影响当前系统运行
使用mysql登录客户端后,可以使用sql命令查看FE状态,目前就一台FE
mysql> SHOW PROC '/frontends';
增加FE节点,FE分为Leader,Follower和Observer三种角色。默认一个集群只能有一个Leader,可以有多个Follower和Observer.其中Leader和Follower组成一个Paxos选择组,如果Leader宕机,则剩下的Follower会成为Leader,保证HA。Observer是负责同步Leader数据的不参与选举。如果只部署一个FE,则FE默认就是Leader
第一个启动的FE自动成为Leader。在此基础上,可以添加若干Follower和Observer。添加Follower或Observer。使用mysql-client连接到已启动的FE,并执行:
在doris2部署Follower,doris3上部署Observer
# 执行其中的一个即可,注解如下
# follower/observer_host IP节点位置
# edit_log_port fe.conf配置文件中可以查询到
# ALTER SYSTEM ADD FOLLOWER "follower_host:edit_log_port";
ALTER SYSTEM ADD FOLLOWER "hadoop103:9010";
# ALTER SYSTEM ADD OBSERVER "observer_host:edit_log_port";
ALTER SYSTEM ADD OBSERVER "hadoop104:9010";
需要重启配置节点的FE,并添加如下参数启动
# --helper参数指定leader地址和端口号
sh bin/start_fe.sh --helper hadoop102:9010 --daemon
sh bin/start_fe.sh --helper hadoop102:9010 --daemon
全部启动完毕后,再通过mysql客户端,查看FE状况
mysql> SHOW PROC '/frontends';
使用以下命令删除对应的FE节点ALTER SYSTEM DROP FOLLOWER[OBSERVER] "fe_host:edit_log_port";
删除Follower FE时,确保最终剩余的Follower(包括 Leader)节点为奇数
ALTER SYSTEM DROP FOLLOWER "hadoop103:9010";
ALTER SYSTEM DROP OBSERVER "hadoop104:9010";
BE 扩容和缩容
增加BE节点,就像上面安装一样在mysql客户端,使用ALTER SYSTEM ADD BACKEND
删除BE节点,使用ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";
具体文档请查看官网