dremio 默认parquet 文件存储的一些定义参数

实际上官方文档对于parquet 的定义已经有一些说明了，以下结合源码验证下

参考配置

参考配置参数sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java

block size
默认是256m
 
String PARQUET_BLOCK_SIZE = "store.parquet.block-size";
LongValidator PARQUET_BLOCK_SIZE_VALIDATOR = new LongValidator(PARQUET_BLOCK_SIZE, 256*1024*1024);
page size
100k
 
String PARQUET_PAGE_SIZE = "store.parquet.page-size";
LongValidator PARQUET_PAGE_SIZE_VALIDATOR = new LongValidator(PARQUET_PAGE_SIZE, 100000);
footer 大小
16m
 
String PARQUET_MAX_FOOTER_LEN = "store.parquet.max_footer_length";
LongValidator PARQUET_MAX_FOOTER_LEN_VALIDATOR = new LongValidator(PARQUET_MAX_FOOTER_LEN, 16*1024*1024);
压缩
EnumeratedStringValidator PARQUET_WRITER_COMPRESSION_TYPE_VALIDATOR = new EnumeratedStringValidator(
    PARQUET_WRITER_COMPRESSION_TYPE, "snappy", "snappy", "gzip", "none");
内存限制
512m
 
String PARQUET_MEMORY_THRESHOLD = "store.parquet.memory_threshold";
LongValidator PARQUET_MEMORY_THRESHOLD_VALIDATOR = new LongValidator(PARQUET_MEMORY_THRESHOLD, 512*1024*1024);

说明

以上是结合常量的一些配置参数，实际上 sabot/kernel/src/main/java/com/dremio/exec/store/parquet/ParquetRecordWriter.java 中也包含了不少，可以参考对比

参考资料

​​https://docs.dremio.com/software/data-formats/parquet-files/​​