dremio 24.1 zstd 支持的的处理

阅读 50

2023-06-25

以前我简单介绍过关于dremio 如何自己编译支持zstd 压缩,目前官方24.1 直接支持了,通过查看源码
实际上处理思路以及方法与我介绍的是一致的,具体可以参考我写过的博客

一些差异

  • dremio 自己编译了hadoop lib 库
  • dremio 支持了level 配置

参考资料


https://docs.dremio.com/software/data-formats/parquet-files/#parquet-file-compression

https://facebook.github.io/zstd/

精彩评论(0)

0 0 举报