Spark集成ClickHouse(笔记)

目录

前言：

 一.配置环境

1.安装clickhouse驱动

2.配置clickhouse环境

二.spark 集成clickhouse

 直接上代码，里面有一些注释哦！

前言：

 一.配置环境

1.安装clickhouse驱动

<dependency>
        <groupId>ru.yandex.clickhouse</groupId>
        <artifactId>clickhouse-jdbc</artifactId>
        <version>0.3.1</version>
    </dependency>

2.配置clickhouse环境

（未安装clickhouse可参考文章：安装配置clickhouse）

进入目录：cd   /etc/clickhouse-server/

 编辑 config.xml，将listen_host注释打开，一般是注释状态！

二.spark 集成clickhouse

 直接上代码，里面有一些注释哦！

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{avg, broadcast, col, month, to_timestamp, when, year}

object DomeThree {
  def main(args: Array[String]): Unit = {
//new spark
val conf = new SparkConf().setMaster("local[*]").setAppName("three")
  .set("spark_testing_memory", "2222222222").set("dfs.client.use.datanode.hostname", "root") //设置spark运行容量 和 dfs的用户
System.setProperty("HADOOP_USER_NAME","root")
    // 创建SparkSession(根据自己需求配置)
    val sc = new SparkSession.Builder() 
      .config("hive.metastore.uris", "thrift://192.168.23.xx:9083")
      .config("hive.metastore.warehouse", "hdfs://192.168.23.xx://9000/user/hive/warehouse")
      .config("spark.sql.storeAssignmentPolicy", "LEGACY")
      .config(conf)
      .enableHiveSupport()
      .getOrCreate()
//    以jdbc为连接方式进行连接
    val frame = sc.read.format("jdbc")
      .option("driver","ru.yandex.clickhouse.ClickHouseDriver" )//      配置driver
      .option("url", "jdbc:clickhouse://192.168.23.xx:8123")   //       配置url
      .option("user", "default")                              
      .option("password", "123456")
      .option("dbtable", "shtd_result.cityavgcmpprovince")
      .load()

      frame.show()                    //查看表格
}
}

控制台打印（因为建的是空表模拟数据的）