DuckDB
DuckDB 是面向本地分析的嵌入式列式数据库,可直接用 SQL 查询进程内数据与 Parquet 等文件
- S:数据分析常从 CSV、Parquet 或 DataFrame 开始,数据量大于手工处理能力,但未必值得部署数据库服务。
- C:把数据导入远程 OLAP 系统会增加部署、传输和运维成本;SQLite 易嵌入,却主要面向行式事务负载。
- Q:如何在单机或应用进程内直接执行高效的分析 SQL?
- A:DuckDB 采用嵌入式部署、列式存储和向量化执行,让应用可以像使用库一样运行 OLAP 查询,并直接扫描常见文件与内存数据。
心智模型
DuckDB ≈ 面向分析的 SQLite:没有独立服务进程,连接的却是列式、向量化的查询引擎。
CSV / JSON / Parquet / Arrow / DataFrame
↓
SQL + vectorized execution
↓
local result / persisted DB“像 SQLite”描述的是部署方式,不是存储和执行模型。DuckDB 优先优化批量扫描、过滤、连接和聚合,而不是大量并发的短事务。
核心抽象
嵌入式数据库
DuckDB 作为库链接到宿主进程,查询不经过网络协议。它既能使用内存数据库,也能把表和元数据持久化到单个数据库文件。这种形态适合本地分析、Notebook、CLI、测试以及应用内分析功能。
代价是计算和内存会与宿主进程共享故障域;它不是天然的多租户数据库服务。多个线程可以并行执行查询,但跨进程并发写入和服务端资源隔离不是其主要场景。
列式存储与向量化执行
- 列式布局只读取查询需要的列,并让同一类型的值连续存放,利于压缩和 CPU cache。
- 执行器以一批值为单位在算子间传递,而不是逐行解释表达式,降低函数调用和分支开销。
- 查询采用流水线执行;过滤、投影、聚合和 join 可以分块处理,不必把所有中间结果完整物化。
- 超出内存的操作可以把中间数据溢写到磁盘,但磁盘空间和 I/O 仍是必须规划的资源边界。
直接查询外部数据
文件可以作为表参与查询,无须先执行传统导入:
SELECT region, sum(amount) AS revenue
FROM read_parquet('orders/*.parquet')
WHERE ordered_at >= DATE '2026-01-01'
GROUP BY region
ORDER BY revenue DESC;查询 Parquet 时,列裁剪和谓词下推能减少实际读取的数据,详见 Parquet and Avro。DuckDB 也可与 Arrow、Pandas、Polars 等交换批量数据,避免把所有值转成文本。
扩展使 DuckDB 能访问更多格式和远程对象存储。扩展和凭证应像其他可执行依赖一样治理,不应默认加载不受信任的扩展。
异步 I/O 为什么重要
扫描分析通常会同时读取多个文件或远程对象。如果查询执行线程同步等待高延迟存储,CPU 会闲置。DuckDB v2.0 预览中的异步 I/O 将阻塞读取提交给独立的 ASYNC 线程池,数据就绪后再恢复相关工作;它不是依赖少量线程执行真正的非阻塞 I/O,而是用可独立配置的 I/O 线程并发隐藏等待延迟。
该预览实现的范围应按版本确认:文章发布时主要覆盖 Parquet,以及未压缩、可 seek 的 UTF-8 CSV 扫描。异步 I/O 不能减少总字节量,也不能替代列裁剪、谓词下推和合理的文件大小,并且仍受存储端并发限制、网络带宽、线程数和内存缓冲约束。
选型边界
| 系统 | 更适合 |
|---|---|
| DuckDB | 单机、嵌入式、交互式 OLAP,直接分析文件或 DataFrame |
| SQLite | 嵌入式 OLTP、点查、小事务和应用状态 |
| PostgreSQL | 长期运行的多用户服务、事务与混合查询 |
| ClickHouse | 分布式、大规模、持续在线的分析服务 |
以下情况不要仅因为“SQL 可用”就选择 DuckDB:高并发在线事务、需要独立数据库服务的强隔离、多节点水平扩展,或由多个进程持续并发写同一数据库文件。
实践检查表
- 先确认负载是扫描/聚合还是点查/事务。
- 对 Parquet 使用过滤和列选择,并通过查询计划确认下推是否生效。
- 控制单次查询内存、临时目录空间和远程读取并发。
- 生产嵌入时固定 DuckDB 与扩展版本,记录 SQL 行为和数据格式兼容性。
- 用真实数据做端到端基准,不用小样本推断远程对象存储表现。
评论