0
点赞
收藏
分享

微信扫一扫

Clickhouse MYSQL 大数据魔术 之 疯狂大数据


Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_数据库

以下为在公司中推广 CLICKHOUSE 产品的PPT 内容

————————————————————————————

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_数据分析_02

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_大数据_03

在我司,顾问作为数据分析和业务数据响应的人员,每天都被MYSQL 中关于OLAP的大SQL 和大数据量的JOIN所摧残着,数据算不出来,数据算出来要等到天荒地老,此时顾问的面部的表情是愤怒的。纷纷表示臣妾做不到,这样的数据运算。

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_数据分析_04

我们整体DB TEAM 做出了以下的努力

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_大数据_05

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_数据分析_06

让整体8个DBA 天天死去活来,为满足顾问的需求,天天出生入死,我们的心里话是,我太难了。

经过DB TEAM 本身的寻找,终于找到了一位,救苦救命的活菩萨  CLICKHOUSE

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_mysql_07

那我们就直奔主体,看看CLICKHOUSE 做了什么,让我们将她向神佛一样崇拜。

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_数据分析_08

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_mysql_09

以上是我司财务的顾问“大师”,写出的SQL语句,并且这里已经删减了各部分,要不根本无法呈现此SQL 的“伟大”。

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_mysql_10

同样的数据量,同样的SQL,我们在CLICKHOUSE 值需要7.5秒,而MYSQL 8.011 则需要1分48秒才能完成这个大SQL的计算。

更让人惊奇的是这还是在CLICKHOUSE 是单机,并且仅仅用了MYSQL 一半的CPU 和 内存资源下的结果。

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_mysql_11

那么到底为什么CLICKHOUSE 这么夸张的快,到底有什么依据没有。

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_sql_12

clickhouse 是俄罗斯战斗民族的高质量的程序代码所出品的,大数据产品。

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_大数据_13

他是一种列数数据库

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_数据库_14

与行式数据库相比,列式数据库有着得天独厚的数据OLAP的基因

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_数据分析_15

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_数据分析_16

列式存储的数据库的好处就显而易见了,通过向量模式的来执行数据查询的操作,可以实现一个基本上没有成本的查询引擎的功能,这样有利于CPU 进行数据计算,而不需要进行从磁盘或许数据的等待时间。

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_数据库_17

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_数据库_18

下面是我们的CLICKHOUSE 的产品与其他大数据产品的对比情况

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_sql_19

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_sql_20

CLICKHOUSE 不光解决了我们的业务查询分析的问题,还间接让数据库走入了大数据分析的道路。

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_大数据_21


Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_大数据_22

那么我们在CLICKHOUSE 中主要使用哪种数据库引擎来完成这个工作,Materialize ,可以进行数据的同步和数据的实施修改,查询。

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_sql_23

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_mysql_24

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_大数据_25

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_数据分析_26

Clickhouse    MYSQL 大数据魔术 之 疯狂大数据_大数据_27

注以上技术部分内容为我司DBA 蒋之皓撰写。

举报

相关推荐

大数据术语之ClickHouse

大数据 - ClickHouse

0 条评论