Parquet and Avro
Parquet 列式存储与 Avro 行式存储入门:模型、文件结构、编码压缩、谓词下推与 Schema 演进,及选型对比
- S:在后端/数据工程中,OLTP 行式存储与 OLAP 分析查询、流式传输对数据格式的需求不同,需要统一认知。
- C:Parquet 与 Avro 都常出现在大数据栈,但一个偏列存分析、一个偏行存传输,容易混用或选型失误。
- Q:Parquet 和 Avro 各自解决什么问题?如何根据读写模式、演进能力和生态做选型?
- A:Parquet 是列式、不可变、适合分析的存储格式;Avro 是行式、Schema 嵌入、适合流式与 RPC 的交换格式;二者互补,常配合使用。
一句话:Avro 管行、管传输、管演进;Parquet 管列、管存储、管分析。
Parquet
- S:离线数仓、湖仓(Data Lakehouse)、OLAP 查询需要对海量结构化数据做列裁剪和聚合扫描。
- C:行式格式(CSV/JSON)全行扫描浪费 IO,压缩率低,且缺乏统计信息导致无法跳过无关数据。
- Q:如何让“只查少数列、扫大量行”的分析查询更快更省?
- A:Parquet 用列式存储 + 分层文件结构 + 编码/压缩 + 统计信息,实现列裁剪和谓词下推。
1. 核心抽象与存储模型
- 列式 vs 行式:行式按 record 连续存储,适合
SELECT *点查/事务;列式按 column 连续存储,适合SELECT avg(col) WHERE col2 = ?的分析型查询。 - 不可变文件:Parquet 文件一经写入不可修改,适合批量写入、多次读取;小文件需定期 compaction。
- 嵌套模型:基于 Google Dremel 的
repetition / definition level,原生支持嵌套/重复字段(LIST/MAP/STRUCT),无需扁平化。
行式 (Avro/CSV): [row1: a1,b1,c1] [row2: a2,b2,c2] [row3: a3,b3,c3]
列式 (Parquet): [a1,a2,a3] | [b1,b2,b3] | [c1,c2,c3] -- 同一列连续存放
2. 文件结构
一个 Parquet 文件自包含 Schema + 数据 + 统计信息,典型分层:
Parquet File
├── Header: PAR1
├── Row Group 1 (约 128MB,行为单位的水平切分)
│ ├── Column Chunk: colA (多个 Page 组成)
│ │ ├── Page 0 (data + encoding + statistics: min/max/count)
│ │ ├── Page 1
│ │ └── Dictionary Page (可选)
│ ├── Column Chunk: colB
│ └── Column Chunk: colC
├── Row Group 2
├── ...
└── Footer
├── File Metadata (Schema, Row Group 偏移, 统计信息)
└── PAR1
- Row Group:行组,横向切分,多行组成,控制内存与并行度(建议 64~128MB)。
- Column Chunk:一列在一个 Row Group 内的数据块,同一列压缩在一起。
- Page:读写和编码的最小单位,内部带
min/max/null count统计。 - Footer:文件末尾集中存储 Schema 和所有 Row Group/Column Chunk 元数据,读取时先读 Footer 再按需读列。
读流程:读 Footer → 列裁剪(只读需要的 Column Chunk)→ 谓词下推(用 Page 统计跳过 Row Group/Page)→ 解码解压。
3. 编码 + 压缩
编码(Encoding)和压缩(Compression)是两层:
| 层级 | 作用 | 常见算法 |
|---|---|---|
| Encoding | 减少同列冗余,提升压缩率 | Dictionary, RLE, Delta, Bit-Packed, Byte Stream Split |
| Compression | 对 Page 级数据整体压缩 | Snappy(默认,平衡速度/压缩比)、Gzip、ZSTD、LZ4 |
- 同一列值重复度高 → Dictionary 编码效果好(如枚举、状态码)。
- 单调递增列(时间戳、ID)→ Delta 编码。
- 选型建议:Snappy 兼顾解压速度(查询友好);ZSTD 压缩比更高(归档友好),需权衡 CPU。
4. 关键优化:列裁剪与谓词下推
- 列裁剪(Column Pruning / Projection Pushdown):
SELECT a, b只读 a、b 的 Column Chunk,其它列完全不 IO。 - 谓词下推(Predicate Pushdown):
WHERE age > 30利用 Page/Row Group 的min/max统计跳过不满足条件的 Page;配合分区裁剪(year=2024/month=08目录分区)效果叠加。 - 向量化读取:列式布局天然适合批量/向量化执行(Arrow、ORC 类似),CPU 缓存友好。
5. Schema 演进
Parquet 文件 Footer 自带 Schema,但演进能力弱于 Avro:
- 支持:新增列(nullable)、删除列(读时忽略)、列类型提升(如
int32 -> int64部分引擎支持)。 - 限制:重命名列需依赖列名匹配(部分引擎支持列 ID);修改列类型、不兼容的重命名会读失败;不像 Avro 有完善的 reader/writer 兼容规则。
- 实践:依赖上层表格式(Hive Metastore / Delta Lake / Iceberg / Hudi)来管理 Schema 演进,Parquet 本身只存数据。
6. 适用场景与生态
- 适用:离线数仓、数据湖、OLAP(Spark / Presto / Trino / ClickHouse / DuckDB / Hive)、特征存储、归档。
- 不适用:频繁单行更新/点查、低延迟流式传输(需追加写)。
- 生态位:与 Arrow 零拷贝互转(
Arrow in-memory ↔ Parquet on-disk)、与 ORC 同为列存双雄(Parquet 更通用、ORC 在 Hive 向量读略优)。
Avro
- S:服务间 RPC、Kafka 流式管道、ETL 中间态需要可靠地传输结构化记录。
- C:JSON 无 Schema、类型弱、体积大;CSV 无嵌套;两者都难以做兼容性演进。
- Q:如何让每条记录自描述、可演进、且序列化高效?
- A:Avro 用 JSON 定义 Schema、行式二进制编码、Schema 随数据或外置于 Registry,支持完善的兼容性规则。
1. 核心抽象与存储模型
- 行式存储:一条记录紧凑串行,适合逐行写/读、流式追加。
- Schema 嵌入/外置:
- Avro Object Container File:文件头嵌入 JSON Schema + 多条记录 + Sync Marker,支持切分。
- Kafka 场景:消息体只存二进制,Schema 存于 Schema Registry,消息头带
schema_id。
- 动态语言友好:无代码生成也可读写(Generic Record),有代码生成则类型安全。
2. Schema 定义(JSON)
{
"type": "record",
"name": "User",
"namespace": "com.example",
"fields": [
{
"name": "id",
"type": "long"
},
{
"name": "name",
"type": "string"
},
{
"name": "email",
"type": [
"null",
"string"
],
"default": null
},
{
"name": "age",
"type": "int",
"default": 0
},
{
"name": "tags",
"type": {
"type": "array",
"items": "string"
},
"default": []
}
]
}常用类型:null, boolean, int, long, float, double, string, bytes, record, enum, array, map, fixed, union。
3. 编码与压缩
- 二进制编码:Varint + ZigZag 编码整数,字符串/bytes 带长度前缀,无字段名冗余,比 JSON 小 30~70%。
- 文件级压缩:Object Container File 支持
deflate/snappy/zstandard,对整个 block 压缩。 - 对比:Avro 的压缩在 block 级,Parquet 在 page/column 级且配合列编码,分析查询压缩比 Parquet 更高。
4. Schema Evolution 与兼容性
Avro 演进靠 writer schema vs reader schema 解析规则,核心是兼容性矩阵:
| 兼容类型 | 含义 | 允许的变更 |
|---|---|---|
| Backward | 新 reader 能读旧数据 | 新增带 default 的字段、删除字段(reader 忽略) |
| Forward | 旧 reader 能读新数据 | 删除字段(旧 reader 不要求)、新增字段旧 reader 忽略 |
| Full | 双向兼容 | 新增带 default 且删除均为可选 |
| None | 不兼容 | 重命名无 alias、类型不兼容改动 |
- 关键规则:新增字段必须带
default才能 backward 兼容;union中新增分支需谨慎;重命名用aliases过渡。 - Registry 校验:Confluent Schema Registry / Apicurio 在写时校验兼容性,拒绝不兼容发布。
经验:流式场景优先保证 Backward 兼容,让消费者先升级、生产者后升级。
5. 适用场景与生态
- 适用:Kafka 消息(
kafka-avro-serializer)、ETL 中间文件、Hadoop MapReduce 中间态、RPC(Avro RPC)、CDC 事件流。 - 不适用:OLAP 宽表分析(列裁剪无优势,需全行反序列化)。
- 生态位:
- Kafka 生态事实标准之一(另有 Protobuf/JSON Schema)。
- Hadoop 生态:Avro ↔ Parquet 常配合——Kafka 用 Avro 传输,落地数仓转 Parquet 存储。
Parquet vs Avro 对比
| 维度 | Parquet | Avro |
|---|---|---|
| 模型 | 列式,支持嵌套(Dremel levels) | 行式,支持嵌套(record/array/map) |
| 读写模式 | 批量写、列式读、适合扫描 | 逐行写、逐行读、适合流式 |
| 文件结构 | Row Group / Column Chunk / Page + Footer | Header(Schema) + Block(Sync Marker) 或 Registry 外置 |
| 压缩 | 列编码 + Page 压缩,压缩比高 | 行二进制 + Block 压缩,压缩比中等 |
| 查询加速 | 列裁剪 + 谓词下推 + 统计跳过 | 无列裁剪,需全行反序列化 |
| Schema 演进 | 弱(依赖表格式),新增/删除列有限 | 强(reader/writer 解析 + Registry 校验) |
| 适用场景 | 数仓/湖仓存储、OLAP 分析、归档 | Kafka 流、RPC、ETL 中间态、CDC |
| 生态 | Spark/Arrow/Presto/DuckDB/ClickHouse/Delta/Iceberg | Kafka/Hadoop/Spark/Flink/Registry |
| 不可变性 | 文件不可变,需 compaction | 文件可追加,需协调 Schema |
互补关系:Kafka/CDC 用 Avro 传输 → 落地时转 Parquet 存储 → 查询用 Spark/DuckDB 扫 Parquet。这是湖仓最常见链路。
选型口诀 / 决策树
口诀:流选 Avro,存选 Parquet;行选 Avro,列选 Parquet;演进看 Avro,分析看 Parquet。
决策树:
需要落盘做分析吗?
├── 是 → 数据是否宽表、只查少数列?
│ ├── 是 → Parquet(列裁剪 + 压缩比高)
│ └── 否 → 仍优先 Parquet(除非需频繁行级更新 → 考虑 ORC/Hudi/Iceberg MOR)
└── 否 → 需要流式传输 / RPC / Kafka?
├── 是 → Avro(Schema 嵌入 + 兼容性强 + Registry)
│ └── 已用 Protobuf?→ 继续 Protobuf,Avro 与其互替
└── 否 → 临时中间态?
├── 跨语言/需 Schema → Avro
└── 人可读调试 → JSON(非生产大流量)
落地建议:
- 数仓事实/维度表、大宽表、日志归档 → Parquet + Snappy/ZSTD + 分区(
dt=...)+ 128MB Row Group。 - Kafka Topic Value、CDC Binlog 事件、ETL 中间文件 → Avro + Schema Registry(Backward 兼容)。
- 两者衔接:Flink/Spark Structured Streaming
read Avro from Kafka → write Parquet to S3/HDFS。
评论