parquet是什么
Parquet 是一种列式存储文件格式，主要用于大数据处理和分析.
关键特性
1.列式存储格式
在大数据系统中数据都是以宽表的形式存在，有很多column，但是查询分析，一般只涉及少量列查询，这种情况下，Parquet 可以仅读取所需的列，从而显著减少 I/O 并加快查询执行。
2.高效压缩和编码
Parquet 的列式存储格式允许更好的压缩比，因为同一列中的数据往往更加同质化。Parquet 支持多种压缩算法，如 Snappy、Gzip 和 LZO，此外，Parquet 使用先进的编码技术，如 RLE、bitpacking 和 dictionary-encoding，以进一步减少存储需求并提高查询性能。如果一列存储的数据，仅仅是二元数据，比如男女性别，那么可以用一个二进制串来存储，大大降息了存储所需的容量。
3.Schema 演进支持
Parquet 通过允许添加、删除或修改列而不影响现有数据来支持 schema 演进。
4.支持复杂数据类型
Parquet 支持丰富的数据类型集合，包括嵌套和重复结构，以及数组、映射（map）和结构（struct）等数据类型。此特性支持构建复杂的层次结构数据，并将其高效地存储在紧凑的二进制格式中。
格式布局
一个完整的Parquet文件包含数据和元数据信息。数据按行被切分为一到多个row group，每个row group中的每一列存储为一个连续的column chunk，每个column chunk切分为多个page。page是Parquet中的最小数据存储单元，一个page包含自身的元数据、实际数据值，和数据的嵌套层级信息。
Parquet将元数据放在文件末尾footer中，主要包含文件版本、schema，和每个row group中每个column chunk的位置、类型、编码方式、压缩方式、zone maps（page粒度统计指标，包含最大值、最小值、count）等信息。 为了提高查询效率，Parquet还支持额外的Bloom Filter结构。Bloom Filter是一种空间效率很高的概率数据结构，用于快速判断某个值是否存在。Parquet支持为每个column chunk创建Bloom Filter，当查询的选取值很少时，系统通过预先检查Bloom Filter从而快速判断查询值是否存在于该columns chunk中，不存在时直接跳过该column chunk。另外，元数据中的zone maps也可以起到类似的过滤作用。
schema evolution
Parquet 的 datafile 存储了数据的 schema information，当一个查询读取新的Parquet datafile中的schema，已经删除的column可以跳过不读取，对于新增的column发现旧的Parquet datafile中并不存在，可以返回对应的默认值或者null
压缩算法(compression)和编码选项(encoding)
1.压缩
Parquet 支持几乎所有流行的压缩算法，包括 Snappy、Gzip 和 LZO。Snappy 在压缩比和速度之间提供了良好的平衡，使其成为常见的选择。Gzip 提供更好的压缩比，但以较慢的压缩和解压速度作为代价。LZO 优化了速度，但提供了较低的压缩比。高度压缩的数据可能需要更多的 CPU 资源来进行解压缩，影响查询性能。所以，根据具体的业务需求（是追求查询性能还是追求存储成本）选择一个平衡的压缩算法和压缩级别。
2.编码
Parquet 支持多种编码方案，如 dict encoding, run-length encoding（RLE）和位打包（bit packing）。编码的选择取决于数据特征。例如，对于基数较低（不同值较少）的列，字典编码效果很好，而对于单调递增或递减值的列，增量编码更为合适。在绝大部分情况下，让 Parquet 自行选择就好，Parquet 会根据 column 的数据类型和分布自动选择最高效的编码技术。
- 字典编码（Dictionary Encoding）：Parquet在所有类型的列上都首先应用了字典编码。字典编码通过构建一个字典，将原始值替换为更易于存储的形式（如从0开始的整数），从而减少数据量。Parquet根据原始值的出现顺序构建字典，当字典超过容量阈值（默认1MB）时，后续数据不再使用字典编码，直接存储为原始值。字典编码特别适用于重复值较多的数据列。
- RLE+Bitpacking：Parquet对经过字典映射后的值再进一步编码。如果一个值连续重复出现8次或以上（该值目前不可配置），Parquet将使用RLE对该column chunk编码，否则使用Bitpacking。RLE（Run-Length Encoding）和Bitpacking算法示意图如下：
参考资料
数据库内核杂谈（三十）- 大数据时代的存储格式-Parquet_大数据_顾仲贤_InfoQ精选文章
数据库内核杂谈（三十一）- 大数据时代的存储格式-Parquet（2）大数据顾仲贤_InfoQ精选文章
Documentation | Parquet
15-721 Advanced Database Systems (Spring 2024) - 02 Data Formats & Encoding I
