解密搜索引擎技术实战(第二版)

作者:罗刚

页数:500

出版时间:2013-11-30

价格:50

装帧:平装

isbn号码:9788121217323

具体描述

总结搜索引擎相关理论与实际解决方案，并给出了 java 实现，其中利用了流行的开源项目lucene和solr，而且还包括原创的实现。

作者简介

猎兔搜索创始人

目录信息

第1章 搜索引擎总体结构 1
1.1 搜索引擎基本模块 2
1.2 开发环境 2
1.3 搜索引擎工作原理 4
1.3.1 网络爬虫 4
1.3.2 全文索引结构与Lucene实现 4
1.3.3 搜索用户界面 7
1.3.4 计算框架 8
1.3.5 文本挖掘 9
1.4 本章小结 10
第2章 网络爬虫的原理与应用 11
2.1 爬虫的基本原理 12
2.2 爬虫架构 14
2.2.1 基本架构 15
2.2.2 分布式爬虫架构 17
2.2.3 垂直爬虫架构 18
2.3 抓取网页 19
2.3.1 下载网页的基本方法 20
2.3.2 网页更新 23
2.3.3 抓取限制应对方法 25
2.3.4 URL地址提取 27
2.3.5 抓取JavaScript动态页面 28
2.3.6 抓取即时信息 31
2.3.7 抓取暗网 32
2.3.8 信息过滤 33
2.3.9 最好优先遍历 38
2.4 存储URL地址 40
2.4.1 BerkeleyDB 40
2.4.2 布隆过滤器 42
2.5 并行抓取 45
2.5.1 多线程爬虫 45
2.5.2 垂直搜索的多线程爬虫 47
2.5.3 异步I/O 49
2.6 RSS抓取 52
2.7 抓取FTP 54
2.8 下载图片 55
2.9 图像的OCR识别 56
2.9.1 图像二值化 57
2.9.2 切分图像 59
2.9.3 SVM分类 62
2.10 Web结构挖掘 66
2.10.1 存储Web图 66
2.10.2 PageRank算法 70
2.10.3 HITs算法 77
2.10.4 主题相关的PageRank 81
2.11 部署爬虫 82
2.12 本章小结 82
第3章 索引内容提取 86
3.1 从HTML文件中提取文本 87
3.1.1 字符集编码 87
3.1.2 识别网页的编码 90
3.1.3 网页编码转换为字符串编码 93
3.1.4 使用HTMLParser实现定向抓取 93
3.1.5 使用正则表达式提取数据 98
3.1.6 结构化信息提取 99
3.1.7 网页的DOM结构 102
3.1.8 使用NekoHTML提取信息 104
3.1.9 网页去噪 109
3.1.10 网页结构相似度计算 114
3.1.11 提取标题 116
3.1.12 提取日期 117
3.2 从非HTML文件中提取文本 117
3.2.1 提取标题的一般方法 118
3.2.2 PDF文件 122
3.2.3 Word文件 126
3.2.4 Rtf文件 127
3.2.5 Excel文件 138
3.2.6 PowerPoint文件 141
3.3 提取垂直行业信息 141
3.3.1 医疗行业 141
3.3.2 旅游行业 142
3.4 流媒体内容提取 143
3.4.1 音频流内容提取 143
3.4.2 视频流内容提取 147
3.5 存储提取内容 148
3.6 本章小结 149
第4章 中文分词原理与实现 151
4.1 Lucene中的中文分词 152
4.1.1 Lucene切分原理 152
4.1.2 Lucene中的Analyzer 154
4.1.3 自己写Analyzer 155
4.1.4 Lietu中文分词 158
4.2 查找词典算法 158
4.2.1 标准Trie树 159
4.2.2 三叉Trie树 162
4.3 中文分词的原理 166
4.4 中文分词流程与结构 170
4.5 形成切分词图 171
4.6 概率语言模型的分词方法 177
4.7 N元分词方法 181
4.8 新词发现 183
4.9 未登录词识别 185
4.10 词性标注 186
4.10.1 隐马尔可夫模型 189
4.10.2 基于转换的错误学习方法 197
4.11 平滑算法 199
4.12 机器学习的方法 203
4.12.1 最大熵 204
4.12.2 条件随机场 207
4.13 有限状态机 207
4.14 本章小结 214
第5章 让搜索引擎理解自然语言 216
5.1 停用词表 217
5.2 句法分析树 219
5.3 相似度计算 223
5.4 文档排重 226
5.4.1 语义指纹 227
5.4.2 SimHash 230
5.4.3 分布式文档排重 240
5.5 中文关键词提取 241
5.5.1 关键词提取的基本方法 241
5.5.2 HITS算法应用于关键词提取 243
5.5.3 从网页中提取关键词 245
5.6 相关搜索词 246
5.6.1 挖掘相关搜索词 246
5.6.2 使用多线程计算相关搜索词 248
5.7 信息提取 249
5.8 拼写检查与建议 254
5.8.1 模糊匹配问题 257
5.8.2 英文拼写检查 260
5.8.3 中文拼写检查 261
5.9 自动摘要 264
5.9.1 自动摘要技术 264
5.9.2 自动摘要的设计 265
5.9.3 基于篇章结构的自动摘要 271
5.9.4 Lucene中的动态摘要 271
5.10 文本分类 274
5.10.1 特征提取 276
5.10.2 中心向量法 280
5.10.3 朴素贝叶斯 282
5.10.4 支持向量机 291
5.10.5 多级分类 299
5.10.6 规则方法 300
5.10.7 网页分类 303
5.11 自动聚类 304
5.11.1 聚类的定义 304
5.11.2 K均值聚类方法 304
5.11.3 K均值实现 306
5.11.4 深入理解DBScan算法 310
5.11.5 使用DBScan算法聚类实例 312
5.12 拼音转换 314
5.13 概念搜索 315
5.14 多语言搜索 323
5.15 跨语言搜索 324
5.16 情感识别 325
5.16.1 确定词语的褒贬倾向 328
5.16.2 实现情感识别 329
5.16.3 用户协同过滤 331
5.17 本章小结 332
第6章 Lucene原理与应用 334
6.1 Lucene深入介绍 335
6.1.1 常用查询 335
6.1.2 查询语法与解析 336
6.1.3 查询原理 340
6.1.4 使用Filter筛选搜索结果 341
6.1.5 遍历索引库 341
6.1.6 索引数值列 343
6.2 Lucene中的压缩算法 346
6.2.1 变长压缩 346
6.2.2 PForDelta 348
6.2.3 前缀压缩 351
6.2.4 差分编码 352
6.2.5 设计索引库结构 354
6.3 创建和维护索引库 355
6.3.1 创建索引库 355
6.3.2 向索引库中添加索引文档 356
6.3.3 删除索引库中的索引文档 359
6.3.4 更新索引库中的索引文档 359
6.3.5 索引的合并 360
6.3.6 索引文件格式 360
6.3.7 分发索引 363
6.3.8 修复索引 366
6.4 查找索引库 366
6.5 读写并发控制 367
6.6 优化使用Lucene 368
6.6.1 索引优化 368
6.6.2 查询优化 369
6.6.3 实现时间加权排序 372
6.6.4 实现字词混合索引 375
6.6.5 重用Tokenizer 380
6.6.6 定制Tokenizer 380
6.7 检索模型 382
6.7.1 向量空间模型 382
6.7.2 BM25概率模型 387
6.7.3 统计语言模型 392
6.8 查询大容量索引 394
6.9 实时搜索 395
6.10 本章小结 396
第7章 搜索引擎用户界面 397
7.1 实现Lucene搜索 398
7.2 搜索页面设计 399
7.2.1 Struts2实现的搜索界面 399
7.2.2 翻页组件 400
7.3 实现搜索接口 401
7.3.1 编码识别 401
7.3.2 布尔搜索 404
7.3.3 指定范围搜索 405
7.3.4 搜索结果排序 406
7.3.5 搜索页面的索引缓存与更新 406
7.4 历史搜索词记录 409
7.5 实现关键词高亮显示 410
7.6 实现分类统计视图 412
7.7 实现相似文档搜索 417
7.8 实现AJAX搜索联想词 419
7.8.1 估计查询词的文档频率 419
7.8.2 搜索联想词总体结构 420
7.8.3 服务器端处理 420
7.8.4 浏览器端处理 421
7.8.5 服务器端改进 426
7.8.6 拼音提示 429
7.8.7 部署总结 430
7.9 集成其他功能 430
7.9.1 拼写检查 430
7.9.2 分类统计 431
7.9.3 相关搜索 433
7.9.4 再次查找 436
7.9.5 搜索日志 436
7.10 搜索日志分析 438
7.10.1 日志信息过滤 438
7.10.2 信息统计 440
7.10.3 挖掘日志信息 442
7.11 本章小结 443
第8章 使用Solr实现企业搜索 444
8.1 Solr简介 445
8.2 Solr基本用法 446
8.2.1 Solr服务器端的配置与中文支持 447
8.2.2 把数据放进Solr 452
8.2.3 删除数据 454
8.2.4 Solr客户端与搜索界面 455
8.2.5 Solr索引库的查找 457
8.2.6 索引分发 461
8.2.7 Solr搜索优化 464
8.3 从FAST Search移植到Solr 467
8.4 Solr扩展与定制 468
8.4.1 Solr中字词混合索引 469
8.4.2 相关检索 470
8.4.3 搜索结果去重 472
8.4.4 定制输入输出 476
8.4.5 分布式搜索 480
8.4.6 SolrJ查询分析器 481
8.4.7 扩展SolrJ 489
8.4.8 扩展Solr 490
8.4.9 查询Web图 494
8.5 Solr的.NET客户端 496
8.6 Solr的PHP客户端 502
8.7 本章小结 505
第9章 地理信息系统案例分析 506
9.1 新闻提取 508
9.2 POI信息提取 512
9.2.1 提取主体 517
9.2.2 提取地区 519
9.2.3 指代消解 520
9.3 本章小结 522
第10章 户外活动搜索案例分析 523
10.1 爬虫 524
10.2 信息提取 525
10.3 活动分类 528
10.4 搜索 529
10.5 本章小结 530
参考资料 531
· · · · · · (收起)

读后感

正如大多数中国技术作家一样，这本厚厚的书对搜索的每部分都涉及了一点，而每部分的深度都比较浅，并且基本所有东西都可以轻易找到相关资料，作者自己对于这些技术的看法，适用范围之类的经验甚少。。总之我觉得读者看了目录就可以用搜索引擎来达到相关的学习效果了  

搞一堆术语,本来很装逼的书... 结果,Struts2什么ajax都扯进来... 掉价... 个人认为是堆砌的书... 不值得购买... 当然....初学者嘛..还是值得看看入门的... 邮件列表更加有参考价值... 这书不专....求太广了.....就不太可能变的精...  

全面剖析搜索技术，但不乏深度。对搜索主流技术都做了详尽介绍，示例基于Java和LUCENE，一本不错的初中级学习书籍，也适合作为大中专院校教材。对视频搜索和语音搜索方面稍微偏少一些，希望再版有所补充。 另外，原价是69多，怎么这里是55，直接写的折扣价？

一本太装的书，看着目录还行，看看里面的内容，就受不了了。。。 大部分内容没有深度，这个倒不算什么大问题 毕竟是实战嘛 很多地方 标题和内容根本对不上 不少地方语句之间衔接不起来 粗制滥造啊 拜托以后不要再写这种书了 首先要端正态度啊  

正如大多数中国技术作家一样，这本厚厚的书对搜索的每部分都涉及了一点，而每部分的深度都比较浅，并且基本所有东西都可以轻易找到相关资料，作者自己对于这些技术的看法，适用范围之类的经验甚少。。总之我觉得读者看了目录就可以用搜索引擎来达到相关的学习效果了  

用户评价

这本书的作者在搜索引擎领域有着深厚的积累，从他的文字中就能感受到这一点。他对每一个概念的讲解都非常到位，循序渐进，不会让人感到突兀。尤其是对于一些核心算法的介绍，他能够抽丝剥茧，将复杂的数学模型和工程实现相结合，让我能够清晰地看到它们是如何工作的。我特别喜欢他在举例时使用的场景，这些场景往往都非常贴近实际应用，让我能够更好地理解理论知识的落地。阅读过程中，我也尝试着按照书中的一些思路去思考，并结合我自己的工作经验去验证。这种理论与实践相结合的学习方式，是我在这本书中最受益的地方。它不仅仅是一本技术书籍，更像是一位经验丰富的导师，在细心地指导我如何一步步掌握这门复杂的技术。

这本书的包装和纸张质量都相当不错，印刷清晰，文字排版也很舒服。拿到手上沉甸甸的，感觉内容应该很充实。我之前就对搜索引擎这个领域非常感兴趣，但总觉得隔着一层神秘的面纱。市面上也有一些相关的书籍，但很多要么过于理论化，要么过于碎片化，真正能让我深入理解其底层原理的还真不多。这本书的第二版，顾名思义，应该是在第一版的基础上有了更多的更新和改进，这让我对接下来的阅读充满了期待。我尤其关注的是它是否能够将复杂的技术概念用更易于理解的方式呈现出来，同时又不失技术上的严谨性。毕竟，作为一名读者，我希望能够通过这本书真正掌握一些实用的技能，而不是仅仅停留在概念层面。我也希望这本书能够涵盖当前最新的技术趋势，让我了解搜索引擎技术是如何不断发展的。

我一直对信息检索的背后机制感到好奇，而这本书恰好填补了我在这一块的知识空白。它深入浅出地讲解了从文本预处理、索引构建到查询处理的整个流程，每一个环节都处理得相当细致。我特别欣赏作者在解释倒排索引时所做的类比，这让我很快就理解了这个核心概念。此外，书中关于相关性排序的部分也让我印象深刻，各种排序算法的优缺点以及在不同场景下的适用性都有详细的阐述。我曾在工作中遇到过搜索结果的相关性不佳的问题，通过学习这本书，我发现了很多可以改进的方向。这本书不仅仅是技术科普，它更像是一本“武功秘籍”，能够帮助我提升解决实际问题的能力。

我是一名初学者，之前对搜索引擎的技术了解非常有限。这本书的第二版，对于我这样的人来说，简直是福音。作者用非常通俗易懂的语言，解释了许多我之前认为非常晦涩难懂的概念，比如TF-IDF、BM25等。我发现，原来搜索引擎的核心逻辑并没有想象中那么复杂，关键在于作者的讲解方式。书中的图示和代码示例也起到了很大的帮助作用，让我能够更直观地理解算法的原理。我非常庆幸自己选择了这本书作为入门读物，它不仅为我打开了搜索引擎技术的大门，也点燃了我深入学习的兴趣。

我是一名经验丰富的工程师，对搜索引擎技术已经有了一定的了解。但是，这本书的第二版依然能给我带来新的启发。作者在数据结构和算法优化方面的讲解，尤其让我印象深刻。他对于各种索引结构的权衡和选择，以及如何通过精巧的算法来提升搜索效率，都提供了非常深入的见解。我从书中学习到了很多之前没有接触过的优化技巧，这些技巧可以直接应用于我目前的项目中，帮助我提升系统的性能。这本书能够让不同层次的读者都从中获益，这一点非常难得。

这本书不仅仅是关于技术，它还探讨了搜索引擎在信息时代扮演的角色以及它所带来的社会影响。作者的见解非常独到，让我从更广阔的视角去审视搜索引擎技术。例如，他在讨论个性化搜索时，不仅分析了其技术实现，也探讨了用户隐私和信息茧房等问题。这种对技术伦理和社会责任的关注，让这本书更具深度和价值。我之前也读过一些关于大数据和人工智能的书籍，但这本书将这些技术与搜索引擎有机地结合起来，提供了一个非常完整的框架。我相信，随着技术的不断发展，这本书中的很多观点都会变得更加重要。

这本书的结构安排非常合理，从基础概念到高级主题，层层递进。我喜欢它在讲解完一个模块后，都会有相关的案例分析或者思考题，这能够帮助我巩固所学的知识，并激发我的进一步思考。作者在语言风格上也非常独特，既有技术性的严谨，又不失人文关怀，读起来不会感到枯燥乏味。我尤其喜欢书中提到的一些历史发展脉络，了解搜索引擎技术是如何从最初的简单匹配发展到如今的智能化检索，让我对这个领域有了更宏观的认识。这本书也让我意识到，搜索引擎远不止我们看到的那么简单，背后涉及的知识体系是多么庞大和深奥。

总而言之，这本书的质量和内容都让我非常满意。它不仅是一本技术书籍，更是一份宝贵的知识财富。我非常推荐这本书给所有对搜索引擎技术感兴趣的人，无论是初学者还是有经验的工程师，都能从中获得深刻的理解和实用的技能。它的权威性、深度和广度都让我信服，我将继续深入学习和实践书中的内容，相信这会对我未来的职业发展产生积极的影响。能够拥有一本如此高质量的书籍，我感到非常幸运。

这本书的深入程度让我感到惊喜。它并没有停留在表面介绍，而是深入到搜索引擎的各个关键模块，比如爬虫的策略、如何有效地存储和检索海量数据、以及如何优化搜索的性能。作者在讲解这些内容时，不仅引用了大量的学术研究成果，还结合了业界实际应用的经验。我特别欣赏他对于分布式系统在搜索引擎中的应用的阐述，这让我理解了为什么现代搜索引擎能够处理如此庞大的数据量。这本书让我认识到，要构建一个高效、可扩展的搜索引擎，需要多方面的技术协同。

这本书的实战性是我选择它的主要原因。作者在讲解理论知识的同时，也提供了大量的代码片段和实践指导。我尝试着跟着书中的例子去实现一些简单的功能，这让我能够更深刻地理解书中的概念，并且收获了宝贵的实践经验。我也发现，书中的一些案例分析，能够直接应用到我日常的工作中，帮助我解决一些棘手的问题。这本书让我从“知道”变成了“做到”，这种转变对我来说意义重大。我相信，通过反复研读和实践，我能够真正掌握搜索引擎的核心技术。