云原生分布式存储基石：etcd深入解析

出版者:机械工业出版社

作者:杜军

页数:309

出版时间:2018-11-5

价格:79

装帧:平装

isbn号码:9787111611929

丛书系列:云计算技术系列丛书

具体描述

本书为读者深度解析分布式键值存储系统，全书分为3部分，第1部分是对分布式系统的概念和一致性协议的综述，重点解析Raft协议，使读者对分布式键值存储系统有初步了解；第2部分介绍etcd安装、部署、运维、安全、API调用等方面的知识，帮助读者进一步掌握分布式系统的使用方法，熟悉其常见功能和使用场景；第3部分是本书的特色部分，从代码层次深入探讨了etcd各大关键特性的具体设计与实现原理，读者读完本部分，会对整个etcd的架构有更加清晰的认识，可以从中汲取灵感，从而将一些实用的经验应用到自己的分布式系统中。

作者简介

杜军，浙江大学计算机学院硕士毕业，《Docker——容器与容器云》和《云原生分布式存储基石：etcd》这两本书的作者。现任职于华为Cloud BU PaaS服务产品部，主要负责容器与Kubernetes集群管理技术的研发。是Kubernetes核心维护者，也是CNCF TOC Contributor。在Kubernetes社区主导了Kube-proxy IPVS模式，Pod网络QoS，流图调度器Poseidon，Cluster-API-OpenStack和边缘计算KubeEdge等项目的开发。你可以在KubeCon，LinuxCon和CNUTCon等大会找到我分享的主题演讲，我也做过多次Kubernetes和CKA考试的培训。

目录信息

前言
第一部分 基础篇
第1章 分布式系统与一致性协议 2
1.1 CAP原理 3
1.2 一致性 5
1.2.1 一致性模型 7
1.2.2 一致性模型分述 9
1.2.3 复制状态机 16
1.2.4 拜占庭将军问题 18
1.2.5 FLP不可能性 19
1.2.6 小结 21
1.3 Paxos协议 22
1.4 Raft协议：为可理解性而生 24
1.4.1 Raft一致性算法 26
1.4.2 可用性与时序 45
1.4.3 异常情况 46
1.4.4 日志压缩与快照 52
1.4.5 Raft算法性能评估 56
1.4.6 小结 58
第二部分 实战篇
第2章 为什么使用etcd 62
2.1 etcd是什么 64
2.2 etcd架构简介 66
2.2.1 etcd数据通道 69
2.2.2 etcd架构 71
2.3 etcd典型应用场景举例 72
2.3.1 服务注册与发现 72
2.3.2 消息发布和订阅 75
2.3.3 负载均衡 76
2.3.4 分布式通知与协调 77
2.3.5 分布式锁 78
2.3.6 分布式队列 80
2.3.7 集群监控与Leader竞选 81
2.3.8 小结 82
2.4 etcd性能测试 82
2.4.1 etcd读性能 82
2.4.2 etcd写性能 83
2.5 etcd与其他键值存储系统的对比 84
2.5.1 ZooKeeper VS etcd 85
2.5.2 Consul VS etcd 88
2.5.3 NewSQL（Cloud Spanner、CockroachDB、TiDB）VS etcd 88
2.5.4 使用etcd做分布式协同 89
2.5.5 小结 90
2.6 使用etcd的项目 90
2.7 etcd概念词汇表 91
2.8 etcd发展里程碑 92
2.8.1 etcd 0.4版本 93
2.8.2 etcd 2.0版本 93
2.8.3 etcd 3.0版本 93
第3章 etcd初体验 95
3.1 单机部署 95
3.1.1 单实例etcd 95
3.1.2 多实例etcd 98
3.2 多节点集群化部署 100
3.2.1 静态配置 101
3.2.2 服务发现 104
3.3 etcdctl常用命令行 107
3.3.1 key的常规操作 107
3.3.2 key的历史与watch 112
3.3.3 租约 115
3.4 etcd常用配置参数 117
3.4.1 member相关参数项 117
3.4.2 cluster相关参数项 118
3.4.3 proxy相关参数项 120
3.4.4 安全相关参数项 120
3.4.5 日志相关参数项 121
3.4.6 不安全参数项 121
3.4.7 统计相关参数项 122
3.4.8 认证相关参数项 122
第4章 etcd开放API之v 2123
4.1 API保证 124
4.2 etcd v2 API 126
4.2.1 集群管理API 126
4.2.2 键值API 126
4.2.3 键的TTL 130
4.2.4 等待变化通知：watch 134
4.2.5 自动创建有序key 146
4.2.6 目录TTL 148
4.2.7 原子的CAS 149
4.2.8 原子的CAD 151
4.2.9 创建目录 153
4.2.10 罗列目录 154
4.2.11 删除目录 156
4.2.12 获取一个隐藏节点 157
4.2.13 通过文件设置key 158
4.2.14 线性读 158
4.3 统计数据 158
4.3.1 Leader数据 159
4.3.2 节点自身的数据 160
4.3.3 更多统计数据 161
4.4 member API 162
4.4.1 List member 162
4.4.2 加入一个member 163
4.4.3 删除一个member 163
4.4.4 修改member的peer URL 164
第5章 etcd开放API之v 3165
5.1 从etcd v2到etcd v 3166
5.1.1 gRPC 167
5.1.2 序列化和反序列化优化 167
5.1.3 减少TCP连接 167
5.1.4 租约机制 167
5.1.5 etcd v3的观察者模式 168
5.1.6 etcd v3的数据存储模型 169
5.1.7 etcd v3的迷你事务 170
5.1.8 快照 171
5.1.9 大规模watch 171
5.2 gRPC服务 172
5.3 请求和响应 174
5.4 KV API 176
5.4.1 键值对 176
5.4.2 revision 177
5.4.3 键区间 178
5.4.4 Range API 178
5.4.5 PUT调用 181
5.4.6 事务 182
5.4.7 Compact调用 186
5.5 watch API 186
5.5.1 Event 187
5.5.2 流式watch 187
5.6 Lease API 190
5.6.1 获得租约 190
5.6.2 Keep Alives 192
5.7 API使用示例 192
第6章 etcd集群运维与稳定性 195
6.1 etcd升级 195
6.1.1 etcd从2.3升级到3. 0195
6.1.2 etcd从3.0升级到3. 1199
6.2 从etcd v2切换到v 3202
6.2.1 切换客户端代码 202
6.2.2 数据迁移 203
6.3 运行时重配置 204
6.3.1 两阶段配置更新保证集群安全 205
6.3.2 永久性失去半数以上member 206
6.4 参数调优 207
6.4.1 时间参数 207
6.4.2 快照 208
6.4.3 磁盘 209
6.4.4 网络 209
6.5 监控 209
6.6 维护 210
6.6.1 压缩历史版本 210
6.6.2 消除碎片化 211
6.6.3 存储配额 211
6.6.4 快照备份 213
6.7 灾难恢复 213
6.7.1 快照 214
6.7.2 恢复集群 214
6.8 etcd网关 215
6.8.1 什么时候使用etcd网关 216
6.8.2 什么时候不该使用etcd网关 216
6.8.3 启动etcd网关 217
6.9 gRPC代理 217
6.9.1 可扩展的watch API 218
6.9.2 限制 219
6.9.3 可扩展的带租约的API 219
6.9.4 服务端保护 220
6.9.5 启动gRPC代理 220
6.9.6 客户端节点同步和域名解析 221
6.9.7 名字空间 222
6.10 故障恢复 223
6.10.1 小部分从节点故障 223
6.10.2 主节点故障 224
6.10.3 大部分节点故障 224
6.10.4 网络分区 224
6.10.5 集群启动异常 225
6.11 硬件 225
第7章 etcd安全 231
7.1 访问安全 231
7.1.1 权限资源 232
7.1.2 键值资源 234
7.1.3 配置资源 234
7.2 etcd访问控制实践 235
7.2.1 User相关命令 235
7.2.2 Role相关命令 236
7.2.3 启用用户权限功能 237
7.3 传输安全 238
7.3.1 TLS/SSL工作原理 239
7.3.2 使用TLS加密etcd通信 241
7.3.3 etcd安全配置详解 247
第三部分 高级篇
第8章 多版本并发控制 252
8.1 为什么选择MVCC 253
8.2 etcd v2存储机制实现 255
8.3 etcd v3数据模型 255
8.3.1 逻辑视图 256
8.3.2 物理视图 259
8.4 etcd v3的MVCC的实现 259
8.5 etcd v3 MVCC源码分析 261
8.5.1 revision 262
8.5.2 key到revision之间的映射关系 263
8.5.3 从BoltDB中读取key的value值 264
8.5.4 压缩历史版本 266
8.6 为什么选择BoltDB作为底层的存储引擎 267
第9章 etcd的日志和快照管理 269
9.1 数据的持久化和复制 271
9.2 etcd的日志管理 272
9.2.1 WAL数据结构 272
9.2.2 WAL文件物理格式 273
9.2.3 WAL文件的初始化 274
9.2.4 WAL追加日志项 276
9.2.5 WAL日志回放 277
9.2.6 Master向Slave推送日志 278
9.2.7 Follower日志追加 280
9.3 etcd v2的快照管理 280
9.3.1 快照数据结构 281
9.3.2 创建快照 281
9.3.3 快照复制 284
9.3.4 快照之后的日志回收 286
第10章 etcd v3的事务和隔离 288
10.1 事务ACID 288
10.2 事务的隔离性 289
10.2.1 Read uncommitted（读未提交） 290
10.2.2 Read committed（读提交） 290
10.2.3 Repeatable read（重复读） 290
10.3 etcd的事务 291
10.3.1 Serializability的重要性 291
10.3.2 etcd v3的事务实现 293
10.3.3 软件事务内存 295
10.3.4 etcd v3 STM实现 296
第11章 etcd watch机制详解 300
11.1 etcd v2的watch机制详解 300
11.1.1 客户端的watch请求 300
11.1.2 key发生变更时通知客户端 303
11.1.3 带版本号的watch 303
11.1.4 etcd v2 watch的限制 304
11.2 etcd v3的watch实现机制 306
· · · · · · (收起)

读后感

我都有点怀疑作者自己有没有看过源码了。 全都是翻译，而且直接使用原来论文的图片？有版权吗？ 还是去看隔壁的etcd技术内幕吧，那本作者明显有诚意。 补充 a aa a啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊...  

这图是官网的，拷贝下来这么难？确实难，因为我拷贝过，很容易错位，没想到还有分页的。还有看看这惊人的行间距，贵没关系，这样搞就不诚实了。本来 etcd 是挺好的话题，也是 k8s 的基石，结果搞成这样，难道我们技术提高了所以这些小细节就可以忽略了？内容没细看，先喷一句吧...

这图是官网的，拷贝下来这么难？确实难，因为我拷贝过，很容易错位，没想到还有分页的。还有看看这惊人的行间距，贵没关系，这样搞就不诚实了。本来 etcd 是挺好的话题，也是 k8s 的基石，结果搞成这样，难道我们技术提高了所以这些小细节就可以忽略了？内容没细看，先喷一句吧...

@[Jun Du] 作为作者，这么吹真的好吗？ @[Jun Du] 作为作者，这么吹真的好吗？ @[Jun Du] 作为作者，这么吹真的好吗？ @[Jun Du] 作为作者，这么吹真的好吗？ @[Jun Du] 作为作者，这么吹真的好吗？ @[Jun Du] 作为作者，这么吹真的好吗？ @[Jun Du] 作为作者，这么吹真的好吗...  

这图是官网的，拷贝下来这么难？确实难，因为我拷贝过，很容易错位，没想到还有分页的。还有看看这惊人的行间距，贵没关系，这样搞就不诚实了。本来 etcd 是挺好的话题，也是 k8s 的基石，结果搞成这样，难道我们技术提高了所以这些小细节就可以忽略了？内容没细看，先喷一句吧...

用户评价

这本书的封面设计就透着一股深邃感，那种低饱和度的蓝灰色调，配上简洁有力的标题字体，一下子就能抓住技术人员的眼球。我拿到手后，首先被它的装帧质量所吸引，纸张的厚度和质感都恰到好处，翻阅起来非常舒服，即便是长时间阅读也不会觉得眼睛疲劳。从排版来看，作者显然在阅读体验上也下了不少功夫，代码块的格式清晰易读，图表的绘制也相当专业，逻辑脉络一目了然。这不仅仅是一本技术手册，更像是一件精心打磨的工艺品，让人爱不释手。我初步浏览了一下目录结构，感觉作者对于整体知识体系的把握非常到位，从宏观概念的梳理，到具体实现细节的剖析，层层递进，展现出扎实的理论基础和丰富的实践经验。这种对细节的极致追求，让我对书中内容的深度和广度充满了期待，相信它能为我构建起一个坚实的技术认知框架。

读完关于性能调优和运维监控章节后，我有一种茅塞顿开的感觉。很多时候，我们使用etcd只是把它当成一个黑箱服务来调用，遇到问题往往束手无策，只能依赖重启或者增加资源来勉强维持。这本书则彻底改变了这种被动局面。它详细剖析了影响etcd性能的关键因素，比如磁盘I/O的瓶颈、网络延迟对Raft心跳的影响，甚至连Go语言的垃圾回收机制与etcd性能之间的微妙关系都被拿出来做了深入的探讨。更重要的是，作者还提供了一套系统化的监控指标解读指南，教我们如何从Prometheus等监控系统中提取真正有价值的信息，预判潜在的集群风险。这种前瞻性的指导，无疑极大地提升了我们对核心基础设施的掌控力和主动性，让“维护”从一种救火行为，转变为一种科学管理。

这本书的结构组织，可以说是将理论深度与工程实践完美地融合在了一起。它并非那种纯粹的“API参考手册”或者“源码导读”，而是提供了一种“原理先行，应用殿后”的叙事路径。作者在解释etcd如何保证数据强一致性的同时，会穿插进去实际生产环境中可能遇到的网络分区、节点宕机等极端场景下的表现和应对策略。这种实战导向的写作态度，使得书中的每一个知识点都有着明确的落地场景支撑，而不是空中楼阁。例如，在探讨事务处理和MVCC（多版本并发控制）部分时，作者没有停留在理论描述，而是结合具体的SQL操作示例，展示了etcd是如何在保证性能的同时实现事务的原子性的。这对于我这种需要将etcd集成到自研业务系统中的开发者来说，简直是雪中送炭，提供了宝贵的工程参考依据。

这本书的价值，我认为超越了仅仅教会读者如何“使用”etcd的范畴，它更像是一份关于构建高可靠性、分布式数据服务的“思想钢印”。它不仅仅是关于一个工具的解析，更是对分布式系统设计哲学的一次深刻洗礼。作者在字里行间流露出的对“工程的严谨性”的执着，潜移默化地影响着读者的思维方式。比如，在讨论集群扩容和缩容的平滑迁移策略时，书中对每一个步骤可能产生的异步状态和数据不一致风险点的分析，都细致到令人叹服。这种系统级的、全局性的思考模式，远比单纯掌握某个命令参数更有价值。读完后，我感觉自己对整个云原生生态中“数据一致性”这一核心难题有了更深刻、更全面的认识，这对于我未来设计任何涉及数据持久化和同步的系统，都将是一笔宝贵的精神财富。

初读几章，最让我印象深刻的是作者在讲解复杂概念时所展现出的那种近乎“匠人精神”的耐心。面对etcd这种底层、高并发的分布式系统，很多书籍往往倾向于堆砌术语或者直接展示代码片段，结果是读者在迷雾中摸索。然而，这本书的处理方式非常巧妙，它总是先用非常形象的比喻或者贴近实际的场景，将抽象的Raft协议、领导者选举、日志复制等核心机制“具象化”。我尤其欣赏它在论述一致性模型时所使用的对比分析法，将不同理论的优劣势剖析得淋漓尽致。这种由浅入深、循序渐进的讲解风格，极大地降低了初学者的入门门槛，同时也让有经验的工程师能从中找到新的理解视角。每一次阅读，都感觉像是在一位经验丰富的老前辈的带领下，小心翼翼地探索一个精密的机械装置的内部构造，每转动一个齿轮，都能清晰地听到“咔哒”一声，理解随之而来。

读了试读章节，很不错，原理介绍的比较详细。

很烂 说起来八卦的时候特别来劲

思路不清晰，没有条理

不错的 etcd 和 raft 入门书

入门书,字大书薄.基础篇还算有所收获,可惜语焉不详,CAP只讲了C.后面,各种状态的同步机制分析,图还都是错的,实战篇,混杂着etcd2和etcd3的内容,大部分都是官方文档翻译,非常偏运维.高级篇就东一榔头西一棒槌来了,也就是说个大概,不够透彻.