0
点赞
收藏
分享

微信扫一扫

HBase(17):表空间设计之数据压缩

小贴贴纸happy 2023-07-03 阅读 51

1 压缩算法

在HBase可以使用多种压缩编码,包括LZO、SNAPPY、GZIP。只在硬盘压缩,内存中或者网络传输中没有压缩。

压缩算法 压缩后占比 压缩 解压缩
GZIP 13.4% 21 MB/s 118 MB/s
LZO 20.5% 135 MB/s 410 MB/s
Zippy/Snappy 22.2% 172 MB/s 409 MB/s

  • GZIP的压缩率最高,但是其实CPU密集型的,对CPU的消耗比其他算法要多,压缩和解压速度也慢;
  • LZO的压缩率居中,比GZIP要低一些,但是压缩和解压速度明显要比GZIP快很多,其中解压速度快的更多;
  • Zippy/Snappy的压缩率最低,而压缩和解压速度要稍微比LZO要快一些
  • 本案例采用GZ算法,这样可以确保的压缩比最大化,更加节省空间

2 查看表数据压缩方式

通过以下输出可以看出,HBase创建表默认是没有指定压缩算法的

举报

相关推荐

0 条评论