Parquet and Avro

2026-08-201 引用

Parquet 列式存储与 Avro 行式存储入门:模型、文件结构、编码压缩、谓词下推与 Schema 演进,及选型对比

  • S:在后端/数据工程中,OLTP 行式存储与 OLAP 分析查询、流式传输对数据格式的需求不同,需要统一认知。
  • C:Parquet 与 Avro 都常出现在大数据栈,但一个偏列存分析、一个偏行存传输,容易混用或选型失误。
  • Q:Parquet 和 Avro 各自解决什么问题?如何根据读写模式、演进能力和生态做选型?
  • A:Parquet 是列式、不可变、适合分析的存储格式;Avro 是行式、Schema 嵌入、适合流式与 RPC 的交换格式;二者互补,常配合使用。

一句话:Avro 管行、管传输、管演进;Parquet 管列、管存储、管分析。

Parquet

  • S:离线数仓、湖仓(Data Lakehouse)、OLAP 查询需要对海量结构化数据做列裁剪和聚合扫描。
  • C:行式格式(CSV/JSON)全行扫描浪费 IO,压缩率低,且缺乏统计信息导致无法跳过无关数据。
  • Q:如何让“只查少数列、扫大量行”的分析查询更快更省?
  • A:Parquet 用列式存储 + 分层文件结构 + 编码/压缩 + 统计信息,实现列裁剪和谓词下推。

1. 核心抽象与存储模型

  • 列式 vs 行式:行式按 record 连续存储,适合 SELECT * 点查/事务;列式按 column 连续存储,适合 SELECT avg(col) WHERE col2 = ? 的分析型查询。
  • 不可变文件:Parquet 文件一经写入不可修改,适合批量写入、多次读取;小文件需定期 compaction。
  • 嵌套模型:基于 Google Dremel 的 repetition / definition level,原生支持嵌套/重复字段(LIST/MAP/STRUCT),无需扁平化。
行式 (Avro/CSV):  [row1: a1,b1,c1] [row2: a2,b2,c2] [row3: a3,b3,c3]
列式 (Parquet):   [a1,a2,a3] | [b1,b2,b3] | [c1,c2,c3]  -- 同一列连续存放

2. 文件结构

一个 Parquet 文件自包含 Schema + 数据 + 统计信息,典型分层:

Parquet File
├── Header: PAR1
├── Row Group 1 (约 128MB,行为单位的水平切分)
│   ├── Column Chunk: colA (多个 Page 组成)
│   │   ├── Page 0 (data + encoding + statistics: min/max/count)
│   │   ├── Page 1
│   │   └── Dictionary Page (可选)
│   ├── Column Chunk: colB
│   └── Column Chunk: colC
├── Row Group 2
├── ...
└── Footer
    ├── File Metadata (Schema, Row Group 偏移, 统计信息)
    └── PAR1
  • Row Group:行组,横向切分,多行组成,控制内存与并行度(建议 64~128MB)。
  • Column Chunk:一列在一个 Row Group 内的数据块,同一列压缩在一起。
  • Page:读写和编码的最小单位,内部带 min/max/null count 统计。
  • Footer:文件末尾集中存储 Schema 和所有 Row Group/Column Chunk 元数据,读取时先读 Footer 再按需读列。

读流程:读 Footer → 列裁剪(只读需要的 Column Chunk)→ 谓词下推(用 Page 统计跳过 Row Group/Page)→ 解码解压。

3. 编码 + 压缩

编码(Encoding)和压缩(Compression)是两层:

层级 作用 常见算法
Encoding 减少同列冗余,提升压缩率 Dictionary, RLE, Delta, Bit-Packed, Byte Stream Split
Compression 对 Page 级数据整体压缩 Snappy(默认,平衡速度/压缩比)、Gzip、ZSTD、LZ4
  • 同一列值重复度高 → Dictionary 编码效果好(如枚举、状态码)。
  • 单调递增列(时间戳、ID)→ Delta 编码。
  • 选型建议:Snappy 兼顾解压速度(查询友好);ZSTD 压缩比更高(归档友好),需权衡 CPU。

4. 关键优化:列裁剪与谓词下推

  • 列裁剪(Column Pruning / Projection Pushdown):SELECT a, b 只读 a、b 的 Column Chunk,其它列完全不 IO。
  • 谓词下推(Predicate Pushdown):WHERE age > 30 利用 Page/Row Group 的 min/max 统计跳过不满足条件的 Page;配合分区裁剪(year=2024/month=08 目录分区)效果叠加。
  • 向量化读取:列式布局天然适合批量/向量化执行(Arrow、ORC 类似),CPU 缓存友好。

5. Schema 演进

Parquet 文件 Footer 自带 Schema,但演进能力弱于 Avro:

  • 支持:新增列(nullable)、删除列(读时忽略)、列类型提升(如 int32 -> int64 部分引擎支持)。
  • 限制:重命名列需依赖列名匹配(部分引擎支持列 ID);修改列类型、不兼容的重命名会读失败;不像 Avro 有完善的 reader/writer 兼容规则。
  • 实践:依赖上层表格式(Hive Metastore / Delta Lake / Iceberg / Hudi)来管理 Schema 演进,Parquet 本身只存数据。

6. 适用场景与生态

  • 适用:离线数仓、数据湖、OLAP(Spark / Presto / Trino / ClickHouse / DuckDB / Hive)、特征存储、归档。
  • 不适用:频繁单行更新/点查、低延迟流式传输(需追加写)。
  • 生态位:与 Arrow 零拷贝互转(Arrow in-memory ↔ Parquet on-disk)、与 ORC 同为列存双雄(Parquet 更通用、ORC 在 Hive 向量读略优)。

Avro

  • S:服务间 RPC、Kafka 流式管道、ETL 中间态需要可靠地传输结构化记录。
  • C:JSON 无 Schema、类型弱、体积大;CSV 无嵌套;两者都难以做兼容性演进。
  • Q:如何让每条记录自描述、可演进、且序列化高效?
  • A:Avro 用 JSON 定义 Schema、行式二进制编码、Schema 随数据或外置于 Registry,支持完善的兼容性规则。

1. 核心抽象与存储模型

  • 行式存储:一条记录紧凑串行,适合逐行写/读、流式追加。
  • Schema 嵌入/外置:
    • Avro Object Container File:文件头嵌入 JSON Schema + 多条记录 + Sync Marker,支持切分。
    • Kafka 场景:消息体只存二进制,Schema 存于 Schema Registry,消息头带 schema_id。
  • 动态语言友好:无代码生成也可读写(Generic Record),有代码生成则类型安全。

2. Schema 定义(JSON)

json
{
       "type": "record",
       "name": "User",
       "namespace": "com.example",
       "fields": [
              {
                     "name": "id",
                     "type": "long"
              },
              {
                     "name": "name",
                     "type": "string"
              },
              {
                     "name": "email",
                     "type": [
                            "null",
                            "string"
                     ],
                     "default": null
              },
              {
                     "name": "age",
                     "type": "int",
                     "default": 0
              },
              {
                     "name": "tags",
                     "type": {
                            "type": "array",
                            "items": "string"
                     },
                     "default": []
              }
       ]
}

常用类型:null, boolean, int, long, float, double, string, bytes, record, enum, array, map, fixed, union。

3. 编码与压缩

  • 二进制编码:Varint + ZigZag 编码整数,字符串/bytes 带长度前缀,无字段名冗余,比 JSON 小 30~70%。
  • 文件级压缩:Object Container File 支持 deflate / snappy / zstandard,对整个 block 压缩。
  • 对比:Avro 的压缩在 block 级,Parquet 在 page/column 级且配合列编码,分析查询压缩比 Parquet 更高。

4. Schema Evolution 与兼容性

Avro 演进靠 writer schema vs reader schema 解析规则,核心是兼容性矩阵:

兼容类型 含义 允许的变更
Backward 新 reader 能读旧数据 新增带 default 的字段、删除字段(reader 忽略)
Forward 旧 reader 能读新数据 删除字段(旧 reader 不要求)、新增字段旧 reader 忽略
Full 双向兼容 新增带 default 且删除均为可选
None 不兼容 重命名无 alias、类型不兼容改动
  • 关键规则:新增字段必须带 default 才能 backward 兼容;union 中新增分支需谨慎;重命名用 aliases 过渡。
  • Registry 校验:Confluent Schema Registry / Apicurio 在写时校验兼容性,拒绝不兼容发布。

经验:流式场景优先保证 Backward 兼容,让消费者先升级、生产者后升级。

5. 适用场景与生态

  • 适用:Kafka 消息(kafka-avro-serializer)、ETL 中间文件、Hadoop MapReduce 中间态、RPC(Avro RPC)、CDC 事件流。
  • 不适用:OLAP 宽表分析(列裁剪无优势,需全行反序列化)。
  • 生态位:
    • Kafka 生态事实标准之一(另有 Protobuf/JSON Schema)。
    • Hadoop 生态:Avro ↔ Parquet 常配合——Kafka 用 Avro 传输,落地数仓转 Parquet 存储。

Parquet vs Avro 对比

维度 Parquet Avro
模型 列式,支持嵌套(Dremel levels) 行式,支持嵌套(record/array/map)
读写模式 批量写、列式读、适合扫描 逐行写、逐行读、适合流式
文件结构 Row Group / Column Chunk / Page + Footer Header(Schema) + Block(Sync Marker) 或 Registry 外置
压缩 列编码 + Page 压缩,压缩比高 行二进制 + Block 压缩,压缩比中等
查询加速 列裁剪 + 谓词下推 + 统计跳过 无列裁剪,需全行反序列化
Schema 演进 弱(依赖表格式),新增/删除列有限 强(reader/writer 解析 + Registry 校验)
适用场景 数仓/湖仓存储、OLAP 分析、归档 Kafka 流、RPC、ETL 中间态、CDC
生态 Spark/Arrow/Presto/DuckDB/ClickHouse/Delta/Iceberg Kafka/Hadoop/Spark/Flink/Registry
不可变性 文件不可变,需 compaction 文件可追加,需协调 Schema

互补关系:Kafka/CDC 用 Avro 传输 → 落地时转 Parquet 存储 → 查询用 Spark/DuckDB 扫 Parquet。这是湖仓最常见链路。


选型口诀 / 决策树

口诀:流选 Avro,存选 Parquet;行选 Avro,列选 Parquet;演进看 Avro,分析看 Parquet。

决策树:

需要落盘做分析吗?
├── 是 → 数据是否宽表、只查少数列?
│   ├── 是 → Parquet(列裁剪 + 压缩比高)
│   └── 否 → 仍优先 Parquet(除非需频繁行级更新 → 考虑 ORC/Hudi/Iceberg MOR)
└── 否 → 需要流式传输 / RPC / Kafka?
    ├── 是 → Avro(Schema 嵌入 + 兼容性强 + Registry)
    │   └── 已用 Protobuf?→ 继续 Protobuf,Avro 与其互替
    └── 否 → 临时中间态?
        ├── 跨语言/需 Schema → Avro
        └── 人可读调试 → JSON(非生产大流量)

落地建议:

  • 数仓事实/维度表、大宽表、日志归档 → Parquet + Snappy/ZSTD + 分区(dt=...)+ 128MB Row Group。
  • Kafka Topic Value、CDC Binlog 事件、ETL 中间文件 → Avro + Schema Registry(Backward 兼容)。
  • 两者衔接:Flink/Spark Structured Streaming read Avro from Kafka → write Parquet to S3/HDFS。

评论