DuckDB

DuckDB 是面向本地分析的嵌入式列式数据库,可直接用 SQL 查询进程内数据与 Parquet 等文件

  • S:数据分析常从 CSV、Parquet 或 DataFrame 开始,数据量大于手工处理能力,但未必值得部署数据库服务。
  • C:把数据导入远程 OLAP 系统会增加部署、传输和运维成本;SQLite 易嵌入,却主要面向行式事务负载。
  • Q:如何在单机或应用进程内直接执行高效的分析 SQL?
  • A:DuckDB 采用嵌入式部署、列式存储和向量化执行,让应用可以像使用库一样运行 OLAP 查询,并直接扫描常见文件与内存数据。

心智模型

DuckDB ≈ 面向分析的 SQLite:没有独立服务进程,连接的却是列式、向量化的查询引擎。

text
CSV / JSON / Parquet / Arrow / DataFrame
                  ↓
       SQL + vectorized execution
                  ↓
       local result / persisted DB

“像 SQLite”描述的是部署方式,不是存储和执行模型。DuckDB 优先优化批量扫描、过滤、连接和聚合,而不是大量并发的短事务。

核心抽象

嵌入式数据库

DuckDB 作为库链接到宿主进程,查询不经过网络协议。它既能使用内存数据库,也能把表和元数据持久化到单个数据库文件。这种形态适合本地分析、Notebook、CLI、测试以及应用内分析功能。

代价是计算和内存会与宿主进程共享故障域;它不是天然的多租户数据库服务。多个线程可以并行执行查询,但跨进程并发写入和服务端资源隔离不是其主要场景。

列式存储与向量化执行

  • 列式布局只读取查询需要的列,并让同一类型的值连续存放,利于压缩和 CPU cache。
  • 执行器以一批值为单位在算子间传递,而不是逐行解释表达式,降低函数调用和分支开销。
  • 查询采用流水线执行;过滤、投影、聚合和 join 可以分块处理,不必把所有中间结果完整物化。
  • 超出内存的操作可以把中间数据溢写到磁盘,但磁盘空间和 I/O 仍是必须规划的资源边界。

直接查询外部数据

文件可以作为表参与查询,无须先执行传统导入:

sql
SELECT region, sum(amount) AS revenue
FROM read_parquet('orders/*.parquet')
WHERE ordered_at >= DATE '2026-01-01'
GROUP BY region
ORDER BY revenue DESC;

查询 Parquet 时,列裁剪和谓词下推能减少实际读取的数据,详见 Parquet and Avro。DuckDB 也可与 Arrow、Pandas、Polars 等交换批量数据,避免把所有值转成文本。

扩展使 DuckDB 能访问更多格式和远程对象存储。扩展和凭证应像其他可执行依赖一样治理,不应默认加载不受信任的扩展。

异步 I/O 为什么重要

扫描分析通常会同时读取多个文件或远程对象。如果查询执行线程同步等待高延迟存储,CPU 会闲置。DuckDB v2.0 预览中的异步 I/O 将阻塞读取提交给独立的 ASYNC 线程池,数据就绪后再恢复相关工作;它不是依赖少量线程执行真正的非阻塞 I/O,而是用可独立配置的 I/O 线程并发隐藏等待延迟。

该预览实现的范围应按版本确认:文章发布时主要覆盖 Parquet,以及未压缩、可 seek 的 UTF-8 CSV 扫描。异步 I/O 不能减少总字节量,也不能替代列裁剪、谓词下推和合理的文件大小,并且仍受存储端并发限制、网络带宽、线程数和内存缓冲约束。

选型边界

系统 更适合
DuckDB 单机、嵌入式、交互式 OLAP,直接分析文件或 DataFrame
SQLite 嵌入式 OLTP、点查、小事务和应用状态
PostgreSQL 长期运行的多用户服务、事务与混合查询
ClickHouse 分布式、大规模、持续在线的分析服务

以下情况不要仅因为“SQL 可用”就选择 DuckDB:高并发在线事务、需要独立数据库服务的强隔离、多节点水平扩展,或由多个进程持续并发写同一数据库文件。

实践检查表

  1. 先确认负载是扫描/聚合还是点查/事务。
  2. 对 Parquet 使用过滤和列选择,并通过查询计划确认下推是否生效。
  3. 控制单次查询内存、临时目录空间和远程读取并发。
  4. 生产嵌入时固定 DuckDB 与扩展版本,记录 SQL 行为和数据格式兼容性。
  5. 用真实数据做端到端基准,不用小样本推断远程对象存储表现。
  1. https://duckdb.org/why_duckdb
  2. https://duckdb.org/docs/stable/internals/overview
  3. https://duckdb.org/2026/07/31/asynchronous-io

评论