0
点赞
收藏
分享

微信扫一扫

浅谈几种常见的在线分析系统

编程练习生J 2022-03-30 阅读 50
大数据

不同于oltp在线事务系统,olap在线分析系统主要是用于用户聚合分析的目的的,常见的聚合分析一般有以下几种:

1.关系数据库系统,比如mysql,使用mysql的myiasm引擎的表比较适合用户数据聚合分析,最常见的比如: select xx from table group by userid等等,缺点就是慢,存储的数据量有限

2.sparksql + hdfs存储的方式,这种方式用于多维的数据聚合分析是目前比较常用的一种方式,速度较快,存储的数据量也足够庞大,缺点是系统比较复杂
3.elasticsearch的聚合分析方式,elasticsearch除了可以进行简单的查找外,还可以进行聚合分析,并且数据是准实时更新,不过elasticsearch的聚合分析比较耗费资源,并且支持的数据量大小也很有限

4.clickhouse,新一代聚合分析领域的王者,clickhouse支持多种查询引擎,比如mergeTree合并数引擎,列式存储,每一列都有单独的索引文件,数据文件都是经过压缩处理,索引的结构都是类似LSM的结构,数据查询速度极快,并且几乎完整支持标准的sql标准语法

举报

相关推荐

0 条评论