1 · 读书笔记：I-HEART-LOGs#

I Heart Logs: Event Data, Stream Processing, and Data Integration

https://book.douban.com/subject/26107374/

• What：日志（commit log）是只追加、有序的记录序列，是分布式系统实现一致性、复制和恢复的核心抽象
• Why：企业数据系统爆炸增长，日志以统一的发布/订阅模型解耦数据生产与消费，替代点对点集成的混乱
• How：以日志为中心（Log + Serving Nodes）构建架构，用流处理统一批处理，用有状态流处理替代外部查询

1.1 · 核心观点：

日志（append-only、有序的记录序列）是分布式系统的核心抽象。 企业中所有数据、数据流和数据系统可以看作一个巨型分布式数据库，而日志就是这个数据库的 WAL。 以日志为中心的架构能统一解决数据集成、流处理和批处理问题。

1.1.1 · 1. 日志是什么#

• 这里的日志不是 syslog/应用日志，而是 数据库中的 commit log / WAL：只追加、有序、带逻辑时间戳
• 表与日志的对偶性：日志记录变化（changelog），表记录最新状态（snapshot）。完整日志可回溯到任意历史状态，类似 Git

1.1.2 · 2. 日志为什么是核心抽象#

• 状态机复制：如果多个节点运行同一段确定性逻辑，从同一初始状态出发，按同一顺序处理同一序列的输入，那么它们最终一定会达到相同的状态。日志正是那个”统一排序、统一分发输入”的组件——所有节点从同一份有序日志消费，因此结果一致
  • 类比纯函数：每个节点就是 f(state, input) → new_state，无副作用、无随机性；日志保证所有节点拿到的 input 序列一致，所以最终 state 一致
• 数据库内部：日志保证故障恢复（WAL）和主从复制（BinLog）
• 分布式系统：日志抽象比共识算法更自然——共识每次只决定一件事，日志天然支持并发多决策
• 数据集成：数据系统爆炸增长，日志以统一的发布/订阅模型解耦生产者和消费者

1.1.3 · 3. 怎么用日志建架构#

• Log + Serving Nodes：所有写入进 Log，Serving Nodes 订阅 Log 建索引、提供查询
• ETL 重新分配：ETL（Extract 抽取、Transform 转换、Load 加载）是将数据从源系统搬到目标系统的经典流程。传统做法将三步揉在一起，书中建议拆开分配：生产者做格式标准化（E）→ 流处理做数据补充 join（T）→ 消费端做聚合 aggregation（L），各司其职
• 统一流处理替代 Lambda Architecture：Lambda 需维护两份逻辑（流+批）。Kafka 留存策略（Retention Policy）让消息不会消费后立刻删除，而是按时间/大小/key 压缩（Compaction）保留历史数据，需要重处理时重置 offset 从头消费即可，无需单独的批处理层
• 有状态流处理：将外部数据库缓存内置到流处理器中，订阅变更事件保持最终一致，避免每条数据都查 OLTP

1.2 · 启发点（关键洞察）：

1. 企业即数据库：把企业所有系统看作一个巨型分布式数据库——原始表是基础数据，Redis/ES/Hive 是索引，Flink/Storm 是触发器+物化视图，Kafka 是操作日志。这个视角让数据集成问题变得清晰
2. 日志比共识更实用：我们过于关注 Raft/Paxos 等共识算法的实现细节，却忽略了日志作为抽象原语的巨大实践价值——就像谈 hash table 不必纠结 murmur hash 还是 linear probing
3. 表和日志是对偶的：changelog → 回放 → 表；表 → 快照 + 增量 → changelog。理解这一点就理解了 CDC（Change Data Capture）的本质
4. 批处理是流处理的特例：人口普查 vs 实时出生/死亡上报。流处理 + 日志留存策略可以完全替代 Lambda Architecture，消除维护两份逻辑的痛苦
5. 数据集成是数据金字塔的地基：类比马斯洛需求层次，先解决”所有系统能读写所有数据”，才能谈数据语义、数据理解、自动化

1.3 · 行动：

1. 在设计数据管道时，优先考虑 Log + Serving Nodes 架构，而非点对点集成
2. 重新审视现有系统中的 ETL 流程，看能否用流处理 + Kafka 留存替代批处理
3. 阅读 Jay Kreps 的原始博客 The Log，这是本书的详细版
4. 实践 CDC（Change Data Capture）：用 Debezium 等工具将数据库变更转为事件流，体会”表与日志对偶性”

1.4 · 金句：

1. “The log is the foundation of stream processing, real-time computation, and data integration.”
2. “You can think of the log as acting as a kind of messaging system with durability guarantees and strong ordering semantics.”
3. “If two identical, deterministic processes begin in the same state and get the same inputs in the same order, they will produce the same output and end in the same state.”（状态机复制原则）
4. “A database is nothing more than a collection of such logs, each of which is an ordered, immutable sequence of records.”