离线安装 TiSpark v2.5.1-CFANZ编程社区

作者：边城元元

一、背景

在安装 TiDB v6.0的时候，使用的是离线包，安装 TiSpark 采用的方式是在线安装的形式，使用 Tiup 扩容的方式安装 TiSpark 集群。并且最高的 TiSpark 版本是 TiSpark v2.4.1，没有最新的 Release TiSpark v2.5.1 。给自己提了个问题，能否离线安装 TiSpark ？目前我的浅层的理解是：在已有 Spark 集群的方式下可以实现离线安装 TiSpark。

使用 tiup 扩容的方式没有找到离线安装 TiSpark 的钥匙🔑

二、准备环境

2.1 准备安装包

离线安装： https://pingcap.com/zh/product-community/#TiDB 6.0.0-DMR

1）下载安装包 tidb-community-server-v6.0.0-linux-amd64.tar.gz

2）下载tookit tidb-community-toolkit-v6.0.0-linux-amd64.tar.gz

3）下载 Spark V3.1.3 https://dlcdn.apache.org/spark/spark-3.1.3/spark-3.1.3-bin-hadoop3.2.tgz

4）下载 TiSpark V2.5.1 https://github.com/pingcap/tispark/releases/download/v2.5.1/tispark-assembly-3.1-2.5.1.jar

2.2 Cluster111 拓扑

# cluster111.yml
server_configs:
  tidb:
    log.slow-threshold: 300
    binlog.enable: false
    binlog.ignore-error: false
  tikv:
    readpool.storage.use-unified-pool: false
    readpool.coprocessor.use-unified-pool: true
  pd:
    schedule.leader-schedule-limit: 4
    schedule.region-schedule-limit: 2048
    schedule.replica-schedule-limit: 64
    replication.location-labels:
      - host

pd_servers:
  - host: 10.0.2.15
    # ssh_port: 22
    # name: "pd-1"
    client_port: 2379
    # peer_port: 2380


tidb_servers:
  - host: 10.0.2.15

tikv_servers:
  - host: 10.0.2.15
    # ssh_port: 22
    port: 20160
    status_port: 20180
    config:
      server.grpc-concurrency: 4
monitoring_servers:
  - host: 10.0.2.15

grafana_servers:
  - host: 10.0.2.15

alertmanager_servers:
  - host: 10.0.2.15

mkdir -p /usr/local0/webserver/tidb/
cd /usr/local0/webserver/tidb/

tar -zxvf tidb-community-toolkit-v6.0.0-linux-amd64.tar.gz
tar -zxvf tidb-community-server-v6.0.0-linux-amd64.tar.gz

cd ./tidb-community-server-v6.0.0-linux-amd64/
sh local_install.sh 

source /root/.bash_profile
tiup update cluster
tiup cluster list
# 检测环境配置并尝试修正
tiup cluster check ./cluster111.yml --user root -p --apply
# 安装cluster111
tiup cluster deploy cluster111 v6.0.0 ./cluster111.yml --user root -p
# 启动集群
tiup cluster start cluster111
tiup cluster display cluster111

2.3 离线安装 Cluster111

# 安装tiup
curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh
source /root/.bash_profile

tiup update cluster
tiup cluster list

# 检测环境配置并尝试修正
tiup cluster check ./cluster111.yml --user root -p --apply
# 安装cluster111
tiup cluster deploy cluster111 v6.0.0 ./cluster111.yml --user root -p

# 启动集群
tiup cluster start cluster111
tiup cluster display cluster111

三、离线安装 TiSpark v2.5.1

3.1 解压 spark-3.1.3-bin-hadoop3.2.tgz

# 替换 Spark
mkdir -p /usr/local0/webserver/tispark && tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /usr/local0/webserver/tispark/
mv /usr/local0/webserver/tispark/spark-3.1.3-bin-hadoop3.2 /tidb-deploy/tispark-master-7077
chown tidb.tidb -R /tidb-deploy/tispark-master-7077
# 替换 TiSpark 包
cp -rf tispark-assembly-3.1-2.5.1.jar /tidb-deploy/tispark-master-7077/jars/

3.2 安装openjdk8(略)

3.3 spark-defaults.conf 中增加配置

# sql扩展类
spark.sql.extensions org.apache.spark.sql.TiExtensions
# master节点
spark.master spark://10.0.2.15:7077
# pd节点 多个pd用逗号隔开 如：10.16.20.1:2379,10.16.20.2:2379,10.16.20.3:2379
spark.tispark.pd.addresses 10.0.2.15:2379

3.4 启动 Spark 集群

/tidb-deploy/tispark-master-7077/sbin/start-all.sh

3.5 在已有 Spark 集群上部署 TiSpark

3.5.1 启动 Spark-shell 的方式

# 启动 spark-shell
/tidb-deploy/tispark-master-7077/bin/spark-shell --jars /tidb-deploy/tispark-master-7077/jars/tispark-assembly-3.1-2.5.1.jar 

# 执行 spark.sql("select ti_version()").collect

离线安装 TiSpark v2.5.1_spark

3.5.2 启动 Spark-sql 的方式

# 启动 Spark-sql
/tidb-deploy/tispark-master-7077/bin/spark-sql --jars /tidb-deploy/tispark-master-7077/jars/tispark-assembly-3.1-2.5.1.jar 

# 执行 select ti_version();

离线安装 TiSpark v2.5.1_spark_02