大规模Web服务开发技术

出版者:电子工业出版社

作者:伊藤直也

页数:336

译者:李剑

出版时间:2011-7

价格:59.00元

isbn号码:9787121138843

具体描述

Hatena是日本最大的Web服务提供商之一，它提供的服务包括关键字（类似于维基百科）、博客、相册等。《大规模Web服务开发技术》由伊藤直也、田中慎司所著，内容主要来自Hatena为学生们举行的暑期实习的课程，内容涵盖广泛，介绍了性能优化、分布式、算法、系统架构等各个方面，甚至还介绍了硬件的经济成本，是运维工程师们必不可少的参考书。书中还包括几个算法实习课题，介绍了压缩算法、全文搜索等算法的实现方法，对于打算靠Web创业的人不失为一本很不错的参考书。

作者简介

伊藤直也(Naoya Ito)

Hatena株式会社董事兼CTO。合著作有《BlogHacks(0‘Reilly Japan)、《“24小时365天”服务器／基础设施的支撑技术》(技术评论社)。曾获情报处理学会主办的“Software Japan 2009”的Software JapanAward奖，以及“乐天Technical Conference 2008”的Technology Award银奖。

田中慎司(Shinji Tanaka)

Hatena株式会社董事，信息学博士。合著有《“24小时365天”服务器／基础设施的支撑技术》(技术评论社)一书，还主持过多本著作的翻译。支撑着Hatena服务器的是由600多台服务器构成的系统，现在这一系统的性能及设备运维由他全权负责。

目录信息

目 录
第1章 大规模Web服务的开发定位——掌握整体 2
第0课 本书的起源——本书讲述的范围 3
从事大规模Web服务开发——面向大学生的Hatena实习 3
本书讲述的内容 3
本书不讲述的内容 5
致今后从事大规模Web服务的人 5
第1课 大规模服务和小规模服务 6
Hatena的服务规模 6
Hatena是大规模，Google、Facebook是超大规模 8
小规模服务和大规模服务的区别 9
应对大规模数据量 11
第2课 持续增长的服务和大规模化的障碍 13
Web服务的困难 13
Hatena的成长经历 13
系统增长战略——最小化开端、预见变化的管理和设计 17
第3课 服务开发现场 18
Hatena的技术团队体制 18
Hatena的沟通方式 19
服务开发的实际状况 19
开发所用的工具 21
总结 23
第2章 大规模数据处理入门
——内存和磁盘、Web应用程序和负载 24
第4课 Hatena Bookmark的数据规模 25
以Hatena Bookmark为例介绍大规模数据 25
Hatena Bookmark的数据规模 25
针对大规模数据的查询——处理大规模数据的感觉 26
第5课 大规模数据处理的难点——内存和磁盘 28
为何处理大规模数据如此困难——因为无法在内存中
计算 28
内存和磁盘的速度差异——内存要快105～106倍 28
为何磁盘这么慢？——内存和磁盘 29
操作系统层的加速处理 31
传输速度和总线的速度差异 31
第6课 可扩展性的要点 37
扩展和可扩展性 37
可扩展性的要点——CPU负载和I/O负载 38
Web应用程序和负载的关系 38
数据库的可扩展性很难保证 39
第7课 处理大规模数据的基础知识 44
面向程序员的大规模数据的基础 44
处理大规模数据的三个重点——写程序的技巧 44
处理大规模数据之前的三大前提知识——程序开发的
底层基础 45
第3章 操作系统的缓存和分布式
——高效处理大规模数据的原理 50
第8课 操作系统的缓存机制 51
在理解操作系统缓存的基础上编写应用程序——页面
缓存 51
虚拟内存机制 52
Linux页面缓存原理 54
VFS 56
Linux以页面为单位缓存磁盘 57
内存空闲时就缓存——通过sar确认 59
增加内存降低I/O负载 60
页面缓存是透明的 61
第9课 降低I/O负载的策略 67
以缓存为前提的降低I/O负载的策略 67
扩展到多台服务器——无法全部缓存的情况 68
单纯增加数量无法保证可扩展性 69
第10课 利用局部性的分布式 74
什么是利用局部性的分布式？ 74
Partitioning——考虑局部性的分布式 75
根据访问模式分割成“岛”——考虑局部性的分布式 78
以页面缓存为前提的基本应用规则 79
第4章 数据库的横向扩展策略
——以分布式为基础的MySQL应用 82
第11课 正确应用索引
——分布式MySQL应用的大前提 83
分布式MySQL应用的三大要点 83
灵活应用操作系统缓存 83
索引的重点——B树 86
索引的效果 89
确认索引是否有效的方法——explain命令 92
第12课 MySQL的分布式
——以扩展为前提的系统设计 95
MySQL的replication功能 95
master/slave的特征——对参照系进行扩展，更新类
不扩展 96
第13课 MySQL的横向扩展和Partitioning 99
MySQL的横向扩展策略 99
关于Partitioning（表分割）的补充 99
以Partitioning为前提的设计 99
避免JOIN——利用where…in… 102
Partitioning的代价 103
第2～4章的小结 107
第5章 大规模数据处理“实践”入门
——应用程序开发的重点 108
第14课 特殊用途索引——处理大规模数据 109
索引和系统架构——超过RDBMS的处理能力时 109
特殊用途索引——使用调优后的数据结构 111
第15课 理论联系实践 115
探寻必须的技术条件 115
第2～5章小结 117
第6章 压缩编程
——考虑数据大小和I/O加速之间的关系 118
第16课 ［课题］以紧凑、简洁方式保存整数数据 119
以紧凑方式保存整数数据 119
出题意图——解决该课题有什么好处？ 119
课题所用文件的内容 121
第17课 可变字节码和速度的感觉 122
可变字节码——用紧凑格式保存整数数据 122
可变字节码的伪代码 123
用“差”存储已排序整数 126
（补充）压缩的基础 126
（补充）压缩对象是整数的情形——背景理论 127
第18课 课题详解及解答范例 129
课题详解 129
（参考）pack()函数——将Perl内部数据结构以
二进制形式输出 131
（参考）二进制数据的read/write 133
（参考）性能分析 135
解答范例和思路 136
第7章 算法实用化
——从身边的例子来看理论、研究的实践投入 142
第19课 算法和算法评测 143
数据规模和复杂度的差异 143
何谓算法？ 144
学习算法的意义——计算机资源有限，工程师的通用
语言 145
算法评测——复杂度记法 146
纸巾能折叠几次？——O(logn)和O(n)的差距 148
算法和数据结构——千丝万缕的联系 149
复杂度和常数项——评测很重要 150
应用算法的实际情况——简单就是美 151
灵活应用第三方实现——CPAN等 153
通过实例加深感受 155
第20课 Hatena Diary的关键字链接 156
什么是关键字链接？ 156
最初的实现 156
出问题了！——关键字字典越来越大 157
用模式匹配实现关键字链接的问题 158
从正则表达式到Trie——改变匹配的实现方式 158
Aho-Corasick算法 160
换成Regexp::List 162
关键字链接的实现、变迁和考察 163
第21课 Hatena Bookmark的文章分类 164
什么是文章分类？ 164
机器学习和大规模数据 165
大规模数据和Web服务——The Google Way of Science 166
贝叶斯过滤器的原理 167
算法实用化之路——Hatena Bookmark的实例 170
防守姿态和进攻姿态——从文档分类功能说开去 171
第8章 Hatena关键字链接的实现
——理解通向应用之路 176
第22课 ［课题］创建Hatena关键字链接 177
使用Aho-Corasick算法创建Hatena关键字链接 177
编写测试 180
第23课 解答范例和思路 182
解答范例 182
第9章 挑战全文搜索技术
——各种各样的大规模数据处理经验技巧 184
第24课 全文搜索技术的应用范围 185
用Hatena的数据创建搜索引擎 185
Hatena Diray的全文搜索——搜索服务之外的搜索
系统 185
Hatena Bookmark的全文搜索——满足细节要求的系统 187
第25课 搜索系统的架构 190
搜索系统所需的步骤 190
各种各样的搜索引擎 191
全文搜索的种类 193
第26课 搜索引擎的内部结构 198
逆向索引的结构——Dictionary+Postings 198
Dictionary的创建方法——逆向索引的创建方法 200
小结 210
Postings的创建方法——逆向索引的创建方法 211
关于评分的补充 213
参考文献 214
第10章 创建全文搜索引擎
——基本部分、改进、速度和准确度的要求 216
第27课 ［课题］创建Hatena Bookmark全文搜索 217
开发全文搜索引擎 217
课题内容 217
示例数据格式和数据大小 218
字典的组成——Dictionary、Postings 219
界面 220
基础部分+改进 220
以速度和准确度一决胜负 221
第28课 答案范例和思路 223
解答范例 223
indexer.pl的实现 223
searcher.pl的实现 225
可以改善的地方 227
第11章 支持大规模数据处理的服务器/基础设施入门
—— Web服务的后台 230
第29课 企业软件vs. Web服务 231
企业软件vs. Web服务——应用范围上的差异 231
Web服务的基础设施——三个重点 233
第30课 云vs.自行构建基础设施 235
云计算 235
云的优缺点 235
Hatena应用的云服务 236
自行构筑基础设施的优点 237
自行构建基础设施和垂直结合模型 239
Hatena的服务规模 240
Hatena Bookmark的系统架构图 240
第12章 保证可扩展性的必要思路
——规模扩大和系统扩展 242
第31课 层和可扩展性 243
对可扩展性的要求——一台服务器能处理的流量极限 243
各层的可扩展性 244
第32课 掌握负载进行调优 245
掌握负载——可视化的管理界面 245
测量负载的指标——平均负载、内存和CPU相关信息 247
根据用途进行调优——面向用户的服务器和面向爬虫
的服务器 247
应用程序服务器、数据库服务器的调优策略和服务器
数量 249
服务规模和调优 250
保证可扩展性 251
第13章 保证冗余性和系统的稳定化
——实现100%在线率的原理 252
第33课 保证冗余性 253
保证冗余性——应用程序服务器 253
保证冗余性——数据库服务器 254
保证冗余性——存储服务器 257
第34课 系统稳定化 261
保持系统稳定的权衡 261
系统的不稳定因素 262
第35课 系统稳定对策 267
实际的系统稳定对策——维持适当余量，消灭不稳定
因素 267
第14章 提高效率
——提高硬件资源的使用率 270
第36课 虚拟化技术 271
引入虚拟化技术 271
虚拟化技术的效果 272
虚拟服务器的构建策略 273
总结虚拟化的优势 275
虚拟化和运营——通过服务器管理工具在运营上发挥
虚拟化的优势 276
虚拟化的注意点 277
第37课 硬件和提高效率
——实现低成本的关键技术 280
提高处理器性能 280
内存和硬盘成本下降 281
有效利用廉价硬件——以虚拟化为前提的硬件应用 282
SSD 284
第15章 Web服务和网络
——通过网络看服务增长 288
第38课 网络的分界点 289
服务增长和网络的分界点 289
1Gbps的极限——PC路由器的极限 289
500台主机的极限——子网、ARP表的极限 290
网络架构的层次化 291
全球化 292
第39课 挑战更高的极限 295
超越10Gbps的世界 295
Hatena的基础设施——第11～15章的总结 296
第16章 特别篇 当前构建Web服务需要的实践技术
——应对大规模Web服务须知 298
特别篇第1课 作业队列系统TheSchwartz、Gearman 299
Web服务和请求 299
作业队列系统入门 299
Hatena的作业队列系统 300
通过日志进行分析 302
特别篇第2课 存储方式的选择RDBMS还是
key-value存储 303
如何保存不断增加的数据 303
选择存储系统的前提条件 304
存储系统的种类 305
RDBMS 305
分布式key-value存储 308
分布式文件系统 310
其他存储 312
存储系统的选择策略 314
特别篇第3课 缓存系统——Squid、Varnish 315
Web应用程序负载与代理/缓存系统 315
Squid——基本结构 317
Varnish 321
特别篇第4课 计算集群——Hadoop 323
大量日志数据的并行处理 323
MapReduce计算模型 323
Hadoop 325
索引 327
· · · · · · (收起)

读后感

周末去上海陪妹子的两天在路途上看完了这本《大规模 Web 服务开发技术》。 《大规模 Web 服务开发技术》是日本的 Hetena 团队以夏天举办的实习活动的课程讲义为基础整理的开发、运营大规模服务的入门书。书中更多的偏重了 Hetena 技术团队发展过程中的实践经验总结，将一个...  

此书是写给公司的新进员工，经验不足的，就如现在的我！什么分布式 负载均衡 集群 等只是知道个单词，再深入点就不晓得了！ 这本书算是揭秘吧，带给我们走入大公司的内部，看着他们的技术的使用，上面知识点的讲解！ 大规模高并发 是web人员都想做到的一个层次，但并不是每...  

周末去上海陪妹子的两天在路途上看完了这本《大规模 Web 服务开发技术》。 《大规模 Web 服务开发技术》是日本的 Hetena 团队以夏天举办的实习活动的课程讲义为基础整理的开发、运营大规模服务的入门书。书中更多的偏重了 Hetena 技术团队发展过程中的实践经验总结，将一个...  

周末去上海陪妹子的两天在路途上看完了这本《大规模 Web 服务开发技术》。 《大规模 Web 服务开发技术》是日本的 Hetena 团队以夏天举办的实习活动的课程讲义为基础整理的开发、运营大规模服务的入门书。书中更多的偏重了 Hetena 技术团队发展过程中的实践经验总结，将一个...  

用户评价

这本书简直把我从一个对Web服务一窍不通的新手，硬生生拉扯着变成了一个能够独立思考并初步构建复杂系统的工程师！我记得刚拿到这本书的时候，封面“大规模Web服务开发技术”这几个字，在我看来就像是天书，但我实在是被工作中频繁遇到的性能瓶颈、扩展难题以及时不时出现的宕机事故折磨得够呛，所以抱着试试看的心态翻开了它。第一章就像是给我铺垫了一层坚实的基础，从最核心的HTTP协议原理、RESTful设计理念，到如何优雅地处理并发请求，都讲得非常透彻。我尤其喜欢它对负载均衡策略的深入剖析，各种算法的优缺点、适用场景，都用图文并茂的方式展现出来，让我不再是凭空想象，而是能真正理解“如何让请求更均匀地分散到各个服务器上”。后面关于服务拆分、微服务架构的讨论，更是让我茅塞顿开，我以前总觉得服务就应该是一个大而全的整体，出问题了就难以定位，而这本书却循序渐进地引导我认识到，将复杂系统分解成更小、更独立的服务，不仅提高了可维护性，也大大增强了系统的弹性。还有关于缓存策略的讲解，从CDN到应用层缓存，再到数据库缓存，每一个层面都细致入微，让我明白了如何有效地减少对后端服务的压力，提升响应速度。当然，书中也提到了数据库的选型和优化，以及如何进行高效的日志收集和监控，这些看似“小”的细节，却在实际工作中扮演着至关重要的角色。总而言之，这本书为我构建大规模Web服务提供了一套完整的思维框架和实操指南，让我少走了很多弯路。

读完这本书，我感觉自己仿佛经历了一场“洗礼”，对Web服务的理解从“建好就行”升级到了“考虑长远、考虑扩展、考虑稳定”。书中关于系统架构设计的论述，让我对“高可用”和“高并发”有了更深刻的理解。我之前总是纠结于如何让单个服务做得更好，而这本书则引导我思考如何将多个服务有机地组合起来，形成一个整体，并且这个整体是能够应对海量用户访问和不断增长的业务需求的。它对于微服务拆分策略的详细讲解，比如如何根据业务领域进行拆分，以及如何处理服务间的依赖关系，为我提供了非常实用的指导。还有关于数据一致性在分布式系统中的挑战，以及各种解决方案的对比，让我大开眼界。我尤其喜欢书中对“最终一致性”模型下，如何设计能够容忍数据暂时不一致的业务场景的讨论，这在很多互联网应用中都非常常见。书中还对大数据存储和处理的常见技术进行了介绍，虽然不是核心内容，但对于理解大规模Web服务的后端支撑体系非常有帮助。另外，关于灰度发布和蓝绿部署等发布策略的讲解，也让我看到了如何以更安全、更可控的方式进行系统升级，从而最大限度地降低对用户的影响。这本书的内容非常扎实，让我觉得每一页都充满了干货。

这本书，我得说，它提供了一种全新的视角来看待Web服务的构建过程，尤其是在我接触到一些需要处理天文数字级别用户访问的场景时，这本书的价值就更加凸显了。作者在书中对于“可伸缩性”这个概念的阐述，简直是点睛之笔。我之前以为只要服务器够多，就能解决一切问题，但这本书告诉我，真正的“大规模”不仅仅是数量的堆叠，更关乎设计的智慧。它深入浅出地讲解了诸如水平扩展、垂直扩展的权衡，以及如何通过无状态设计来最大化系统的伸缩能力。特别是关于分布式系统的CAP理论以及最终一致性等概念的讲解，虽然初听起来有些抽象，但作者通过生动的案例，将这些理论落实到了具体的实践中，比如如何设计能够容忍节点失效的系统，以及如何管理分布式事务。书中还专门开辟了一个章节来讨论API网关的设计和作用，这对我来说太及时了，我一直困惑于如何统一管理众多微服务暴露的接口，以及如何实现认证、限流等安全策略，这本书就提供了一个非常成熟的解决方案。另外，关于消息队列在异步通信中的重要性，以及如何利用它来实现服务间的解耦和削峰填谷，也让我受益匪浅。我印象特别深刻的是，它在讨论容错机制时，不仅仅是简单的异常捕获，而是提到了断路器、限流器、重试机制等更高级的策略，让我明白了如何构建一个真正健壮、能够抵御各种“黑天鹅”事件的系统。

这本书带给我的启发，远不止于技术层面的知识，更在于一种系统性的思考方式。作者在书中对于“自动化运维”的强调，让我深刻认识到，在大规模Web服务的背后，高效的运维能力是多么重要。从自动化部署、自动化监控，到自动化故障恢复，书中提出的理念和方法，都指向了如何用技术手段来降低人力成本，提高运维效率。我尤其欣赏它关于“监控即代码”的讨论，以及如何构建一个全方位的监控体系，能够实时感知系统的运行状态，并在问题发生的第一时间发出预警。书中还对分布式日志系统和链路追踪技术进行了详细的介绍，这对于排查复杂系统中的问题起到了至关重要的作用，让我能够快速定位到问题的根源，而不再是大海捞针。另外，书中对“基础设施即代码”（Infrastructure as Code）的理念的阐述，也让我看到了如何通过代码来管理和配置服务器、网络等基础设施，从而实现环境的一致性和可重复性。我感觉这本书就像是为我打开了一扇通往“工业级”Web服务开发的大门，让我看到了一个成熟的互联网公司是如何构建和维护其核心服务的。它所涵盖的内容，从架构设计到部署运维，从性能优化到安全性保障，都紧密围绕着“大规模”这个主题展开，让我学到了很多宝贵的经验和实用的技巧。

坦白讲，这本书的深度和广度都让我感到惊叹，尤其是在我之前只关注单个服务功能实现的情况下，它完全颠覆了我对“大规模”的认知。书中的内容，特别是关于持续集成/持续部署（CI/CD）流程的构建，对我提升团队的开发效率起到了决定性的作用。我曾深受困扰于手动部署的繁琐和易出错，而这本书则系统地介绍了如何使用自动化工具，从代码提交到最终上线，实现全流程的自动化，这大大缩短了开发周期，也降低了人为失误的风险。此外，关于服务治理方面的讨论，也让我对如何有效地管理和监控运行中的海量服务有了更清晰的认识。书中提到了服务注册与发现、配置中心、服务熔断等关键技术，并详细讲解了它们的工作原理和实际应用。我尤其欣赏作者在讨论性能优化时，从多个维度进行的剖析，比如如何通过数据结构和算法的选择来优化代码执行效率，如何设计高效的数据库查询，以及如何利用分布式缓存来减少数据库压力。书中关于压力测试和性能基准的章节，也让我学会了如何科学地评估系统的承载能力，以及如何找出性能瓶颈所在。还有一个让我印象深刻的点是，书中对安全性问题的关注，它不仅仅是提到了基本的身份认证和授权，还深入探讨了DDoS攻击的防御、数据加密等更高级的安全措施，让我明白构建安全可靠的大规模Web服务是多么重要。

草略翻过，里面数据挖掘的内容该回头看看

对于刚毕业相了解web技术的同学将是非常有帮助的一本书。就是web技术的索引。想看更高级的技术就可以读读 《构建高性能Web站点》

可以叫「写给大家看的架构书」

有助于了解部署大规模Web服务时的注意事项。简单介绍了相关的操作系统、算法、搜索技术、虚拟化等。

show me more, please~