【ClickHouse 探秘】你知道 ClickHouse SummingMergeTree 引擎吗？-CFANZ编程社区

1. ClickHouse SummingMergeTree 引擎应用场景

SummingMergeTree 是 ClickHouse 中一种特殊的表引擎，主要用于在插入数据时自动对某些列进行汇总。这种引擎特别适合以下场景：

日志分析：在处理大量日志数据时，通常需要对某些指标（如点击次数、访问次数等）进行汇总。
统计报表：生成各种统计报表时，需要对数据进行预聚合，以便快速生成报告。
实时监控：在实时监控系统中，需要对监控数据进行汇总，以便快速展示关键指标。

2. ClickHouse SummingMergeTree 引擎如何使用

创建表：首先，你需要创建一个使用 SummingMergeTree 引擎的表，并指定需要自动汇总的列。

CREATE TABLE my_summing_table
(
    id UInt64,
    date Date,
    value1 Int64,
    value2 Float64
)
ENGINE = SummingMergeTree()
PARTITION BY toYYYYMM(date)
ORDER BY (id, date)
SUMMARY (value1, value2);

插入数据：然后，你可以像往常一样插入数据，SummingMergeTree 会在插入时自动对指定的列进行汇总。

INSERT INTO my_summing_table (id, date, value1, value2) VALUES
(1, '2023-10-01', 10, 100.5),
(1, '2023-10-01', 20, 200.5),
(2, '2023-10-01', 30, 300.5);

查询数据：查询时，可以直接查询汇总后的数据。

SELECT id, date, value1, value2 FROM my_summing_table;

3. ClickHouse SummingMergeTree 引擎底层原理

SummingMergeTree 的底层原理主要包括以下几个方面：

数据插入：
- 当数据插入 SummingMergeTree 表时，ClickHouse 会根据 ORDER BY 子句对数据进行排序。
- 对于相同的 ORDER BY 键值，ClickHouse 会对指定的汇总列进行累加。
数据合并：
- SummingMergeTree 表在后台会定期进行数据合并操作，以进一步减少数据冗余和提高查询性能。
- 合并过程中，ClickHouse 会继续对相同键值的汇总列进行累加。
查询优化：
- 在查询时，ClickHouse 的查询优化器会优先选择已汇总的数据，从而提高查询速度。
- 如果查询条件与 ORDER BY 和 PARTITION BY 子句匹配，查询性能会进一步提升。

4. 使用 Java 代码实现 ClickHouse SummingMergeTree

要在 Java 中使用 ClickHouse 的 SummingMergeTree 引擎，可以借助 ClickHouse 的 JDBC 驱动。以下是一个简单的示例，展示了如何创建表、插入数据和查询数据。

添加依赖：首先，确保你的项目中添加了 ClickHouse 的 JDBC 驱动依赖。如果你使用 Maven，可以在 pom.xml 中添加以下依赖：

<dependency>
    <groupId>ru.yandex.clickhouse</groupId>
    <artifactId>clickhouse-jdbc</artifactId>
    <version>0.3.2</version>
</dependency>

创建表：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.Statement;

public class ClickHouseExample {
    public static void main(String[] args) {
        String url = "jdbc:clickhouse://localhost:8123/default";
        String user = "default";
        String password = "";

        try (Connection conn = DriverManager.getConnection(url, user, password);
             Statement stmt = conn.createStatement()) {

            // 创建表
            String createTableSql = "CREATE TABLE my_summing_table" +
                    "(" +
                    "    id UInt64," +
                    "    date Date," +
                    "    value1 Int64," +
                    "    value2 Float64" +
                    ") ENGINE = SummingMergeTree()" +
                    "PARTITION BY toYYYYMM(date)" +
                    "ORDER BY (id, date)" +
                    "SUMMARY (value1, value2)";
            stmt.executeUpdate(createTableSql);

            System.out.println("Table created successfully.");

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

插入数据：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;

public class ClickHouseExample {
    public static void main(String[] args) {
        String url = "jdbc:clickhouse://localhost:8123/default";
        String user = "default";
        String password = "";

        try (Connection conn = DriverManager.getConnection(url, user, password)) {

            // 插入数据
            String insertSql = "INSERT INTO my_summing_table (id, date, value1, value2) VALUES (?, ?, ?, ?)";
            PreparedStatement pstmt = conn.prepareStatement(insertSql);
            pstmt.setLong(1, 1);
            pstmt.setDate(2, java.sql.Date.valueOf("2023-10-01"));
            pstmt.setLong(3, 10);
            pstmt.setDouble(4, 100.5);
            pstmt.addBatch();

            pstmt.setLong(1, 1);
            pstmt.setDate(2, java.sql.Date.valueOf("2023-10-01"));
            pstmt.setLong(3, 20);
            pstmt.setDouble(4, 200.5);
            pstmt.addBatch();

            pstmt.setLong(1, 2);
            pstmt.setDate(2, java.sql.Date.valueOf("2023-10-01"));
            pstmt.setLong(3, 30);
            pstmt.setDouble(4, 300.5);
            pstmt.addBatch();

            pstmt.executeBatch();
            System.out.println("Data inserted successfully.");

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

查询数据：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;

public class ClickHouseExample {
    public static void main(String[] args) {
        String url = "jdbc:clickhouse://localhost:8123/default";
        String user = "default";
        String password = "";

        try (Connection conn = DriverManager.getConnection(url, user, password);
             Statement stmt = conn.createStatement()) {

            // 查询数据
            String selectSql = "SELECT id, date, value1, value2 FROM my_summing_table";
            ResultSet rs = stmt.executeQuery(selectSql);

            while (rs.next()) {
                long id = rs.getLong("id");
                java.sql.Date date = rs.getDate("date");
                long value1 = rs.getLong("value1");
                double value2 = rs.getDouble("value2");

                System.out.println("id: " + id + ", date: " + date + ", value1: " + value1 + ", value2: " + value2);
            }

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}