搜索引擎技术基础

出版者:清华大学出版社

作者:刘奕群

页数:256

出版时间:2010

价格:26.00元

isbn号码:9787302227960

具体描述

这是一本关于搜索引擎的教科书，它从研究实践者的角度介绍了搜索引擎的相关技术及其产业，并试图协助读者成为搜索引擎领域的局内人。与传统的将搜索引擎作为信息检索系统实现的一个特殊实例的做法不同，作者试图把搜索引擎作为一个独立的研究课题，从纷繁复杂的互联网数据现象和搜索引擎工作案例中提炼知识点，对现代商业搜索引擎的体系结构、运行原理、运营机制和核心算法进行总结和讲解。

本书是清华大学计算机系与百度公司合作在清华大学开设的“搜索引擎技术基础”课程的教材，适合作为高等院校信息科学技术、图书馆学等相关专业本科生与研究生相关课程的教材，也可作为相关领域技术人员与搜索引擎技术爱好者的参考资料。

作者简介

Ph.D & Assistant Professor,

PRIR Group

National Lab of Intelligent Tech. & Sys.

Department of Computer Sci. & Tech.

Tsinghua University, Beijing, China

目录信息

第1章 为什么要关注搜索引擎 1
1.1 互联网上最重要的应用系统 1
1.2 人类历史上最大规模的信息集散平台 2
1.3 学术界重要的技术研发平台 3
1.4 经济领域能够盈利的“生意” 4
第2章 搜索引擎的基本概念与发展历史 6
2.1 互联网与万维网的发展 6
2.2 英雄辈出：搜索引擎的发展历史回顾 11
2.3 搜索引擎的定义与运行原理概述 15
2.4 总结：我们能够从历史中学到什么？ 17
参考文献 18
第3章 搜索引擎性能评价 20
3.1 搜索引擎评价与Cranfield评价体系 22
3.2 查询样例集合构建 24
3.2.1 查询样例集合构建中的真实性 24
3.2.2 查询样例集合构建中的代表性 26
3.2.3 查询样例集合构建中信息需求表述的完整性 27
3.3 正确答案集合构建 31
3.4 搜索引擎评价指标 34
3.5 搜索引擎性能评价的新进展 39
参考文献 42
第4章 搜索引擎体系结构概述 44
4.1 数据抓取子系统的主要功能与性能需求 46
4.1.1 及时性 47
4.1.2 全面性 50
4.1.3 高效性 51
4.2 内容索引子系统的主要功能与性能需求 54
4.2.1 内容索引子系统的主要功能 54
4.2.2 倒排索引结构 55
4.2.3 内容索引子系统的性能需求 57
4.3 内容检索子系统的主要功能与性能需求 60
4.3.1 内容检索子系统与文本信息检索系统 60
4.3.2 内容检索子系统的相关性需求 62
4.3.3 内容检索子系统的查询理解需求 64
4.3.4 内容检索子系统的效率需求 67
4.4 链接结构分析子系统的主要功能与性能需求 68
4.4.1 基于链接结构分析评价数据质量 68
4.4.2 基于链接结构分析扩展文档描述 69
4.4.3 链接结构分析子系统的效率需求 71
4.5 搜索引擎体系结构设计理念 72
参考文献 73
第5章 数据抓取子系统设计及核心算法 75
5.1 抓取系统的基本架构 75
5.2 数据抓取涉及的网络协议 77
5.2.1 URL规范 77
5.2.2 HTTP协议 78
5.2.3 User-Agent 79
5.2.4 robots协议 80
5.3 网页抓取技术 81
5.3.1 网页抓取的基本过程 81
5.3.2 基于异步I/O模型的抓取器 82
5.3.3 抓取压力控制 84
5.3.4 对URL重定向的支持 84
5.3.5 对HTTPS协议的支持 85
5.4 链接选取策略 86
5.4.1 爬虫的抓取方式 86
5.4.2 抓取优先级策略 87
5.4.3 网页的重访策略 89
5.4.4 链接去重策略 90
5.5 网页存储技术 91
5.5.1 分布式哈希存储系统 92
5.5.2 基于BigTable 的网页存储系统 94
参考文献 94
第6章 内容索引子系统设计及核心算法 96
6.1 最小的语义单位--词项 97
6.1.1 中文分词问题 97
6.1.2 英文词干抽取 101
6.1.3 停用词去除 102
6.1.4 词项列表的构建 103
6.2 索引的数据结构 105
6.2.1 词项出现信息记录 105
6.2.2 倒排索引和正排索引 108
6.2.3 索引的并行存储结构 108
6.3 索引子系统的运行方式 111
6.3.1 预处理 111
6.3.2 建立索引 113
6.3.3 使用索引 117
参考文献 119
第7章 内容检索子系统设计及其核心算法 121
7.1 文本信息检索模型 121
7.1.1 布尔模型 122
7.1.2 向量空间模型 124
7.1.3 概率模型 129
7.1.4 语言模型 131
7.2 内容检索子系统运行方式 136
7.2.1 内容相似程度 136
7.2.2 数据质量评估结果 138
7.2.3 用户偏好情况 139
7.2.4 竞价排名情况 140
7.2.5 合并排序依据 141
参考文献 142
第8章 链接结构分析子系统设计及核心算法 144
8.1 万维网链接结构图 144
8.1.1 万维网链接图的规模 145
8.1.2 万维网链接图的连通情况 146
8.1.3 万维网链接图的入度和出度分布 148
8.2 超链接结构分析的基础 149
8.3 HITS算法的基本思路及实现 153
8.4 PageRank算法的基本思路及实现 156
8.5 链接结构分析结果的应用与排序因素融合 163
参考文献 165
第9章 万维网数据质量评估 167
9.1 万维网数据质量评估困境 168
9.2 数据质量评估的解决思路 169
9.2.1 宏观粒度网络数据质量评估技术 169
9.2.2 微观粒度网络数据质量评估技术 170
9.2.3 冗余页面识别技术 172
9.2.4 网络数据质量评估方式总述 173
9.3 面向搜索引擎需求的网络数据质量定义 174
9.3.1 基于万维网链接结构分析的网页质量定义 174
9.3.2 基于搜索引擎用户信息需求分析的网页质量定义 174
9.4 基于万维网链接结构分析的网页质量评估 176
9.4.1 PageRank在真实万维网环境中的困境 176
9.4.2 用户访问数据与用户浏览关系图 179
9.4.3 基于用户浏览关系图的页面质量评估 180
9.5 基于搜索引擎用户信息需求分析的网页质量评估 182
9.5.1 网页查询无关特征 182
9.5.2 查询目标页面与普通页面的差异分析 183
9.5.3 查询目标页面与普通页面的长度特征差异 184
9.5.4 查询目标页面与普通页面的PageRank特征差异 185
9.5.5 基于用户信息需求分析的网页质量评估方法 186
9.5.6 基于用户信息需求分析的网页质量评估效果 187
参考文献 190
第10章 万维网垃圾网页识别 193
10.1 垃圾网页作弊方式 195
10.1.1 基于内容的作弊方式 195
10.1.2 基于链接的作弊方式 205
10.1.3 垃圾网页作弊与搜索引擎优化 210
10.2 垃圾网页盈利方式 211
10.2.1 垃圾网页作弊目的及其分类 212
10.2.2 促进广告浏览及点击 213
10.2.3 促进移动增值服务订制 214
10.2.4 促进站点访问流量提升 215
10.2.5 欺诈和违法信息宣传 215
10.2.6 软件产品推广 217
10.2.7 垃圾网页作弊目的分布情况 218
10.3 垃圾网页识别方法 219
10.3.1 垃圾网页识别的效果评价 219
10.3.2 基于网页内容的垃圾网页识别 222
10.3.3 基于链接结构的垃圾网页识别 228
10.3.4 基于用户行为的垃圾网页识别 231
参考文献 233
第11章 搜索引擎广告技术 235
11.1 引言 235
11.2 历史、现状和未来 235
11.3 搜索引擎付费搜索原理 240
11.4 搜索引擎广告的检索和匹配算法 244
11.5 计算广告学 245
参考文献 248
第12章 中文搜索引擎的现状与未来 251
12.1 国内外搜索引擎市场的发展现状 251
12.2 搜索引擎的未来发展展望 254
12.2.1 手持设备搜索 254
12.2.2 暗网数据与用户产生内容(UGC)的获取 255
12.2.3 搜索引擎将成为社会和自然科学研究的重要平台？ 255
12.2.4 搜索引擎向其他产业进军 256
本书特色 257
· · · · · · (收起)

读后感

一本很教材的教材，从语言还是观点都透着大学教材的味道，想看纸质书然后去明白搜索引擎是怎么回事的这本书是很好的选择，还有一本叫《走进搜索引擎》的，如果不是搜索引擎开发人员，而是搜索营销人员，这样的书读一本就够了，了解一个搜索运作的基本过程就够了，技术类的书永...  

还没有读过，但百度和清华大学联手出版的书应该不至于太差。 非常期待，市面上还没有看到。应该就在7月吧。

一本很教材的教材，从语言还是观点都透着大学教材的味道，想看纸质书然后去明白搜索引擎是怎么回事的这本书是很好的选择，还有一本叫《走进搜索引擎》的，如果不是搜索引擎开发人员，而是搜索营销人员，这样的书读一本就够了，了解一个搜索运作的基本过程就够了，技术类的书永...  

一本很教材的教材，从语言还是观点都透着大学教材的味道，想看纸质书然后去明白搜索引擎是怎么回事的这本书是很好的选择，还有一本叫《走进搜索引擎》的，如果不是搜索引擎开发人员，而是搜索营销人员，这样的书读一本就够了，了解一个搜索运作的基本过程就够了，技术类的书永...  

一本很教材的教材，从语言还是观点都透着大学教材的味道，想看纸质书然后去明白搜索引擎是怎么回事的这本书是很好的选择，还有一本叫《走进搜索引擎》的，如果不是搜索引擎开发人员，而是搜索营销人员，这样的书读一本就够了，了解一个搜索运作的基本过程就够了，技术类的书永...  

用户评价

这本书的封面设计得非常简洁有力，那种深邃的蓝色调让人联想到浩瀚的数据海洋，中间的白色字体如同灯塔般醒目，透着一股沉稳和专业感。我原本以为这是一本枯燥的技术手册，但翻开第一页，作者用一种近乎散文诗的笔触描绘了信息爆炸时代下，人们如何依赖无形的“索引之手”来获取知识的渴望与挑战。书中对搜索引擎历史的梳理，从早期的目录式检索，到基于关键词匹配的革新，再到如今复杂的语义理解和个性化推荐，简直就是一部微型的信息技术演进史。特别是关于早期网页爬虫的工作机制，作者没有堆砌晦涩的算法公式，而是用生动的比喻，比如将爬虫比作勤奋的“数字蜜蜂”，细致入微地讲解了它们如何循着超链接的路径在互联网的森林中采集“花粉”（数据）。这种叙事方式，极大地降低了入门的门槛，让一个非计算机专业背景的读者也能迅速抓住核心概念，体会到信息组织学背后的智慧与不易。它不仅是知识的传递，更像是一场对人类如何驾驭海量信息的哲学思考之旅。

这本书的结构安排堪称一绝，逻辑链条清晰得如同精密仪器的内部构造。它并没有急于展示那些令人眼花缭乱的最新模型，而是将基础概念打磨得极其扎实。我特别欣赏其中关于“倒排索引”那一章节的深度剖析。作者用了大量的篇幅，详尽地解释了为什么这种看似简单的结构，却是支撑现代搜索引擎高性能响应的基石。书中通过几个经典的案例，图文并茂地展示了如何从一个巨大的文档集合中，瞬间定位到包含特定词汇的文档列表，其效率之高令人惊叹。更难得的是，作者没有停留在描述“是什么”，而是深入挖掘了“为什么”——为什么选择特定的数据结构，它在时间复杂度和空间占用上的权衡点在哪里。读完这部分，我不再仅仅是使用搜索引擎的用户，更像是一个隐约窥见了其内部运作奥秘的“幕后观察者”，对每一次搜索请求背后的计算艺术油然而生敬意。这本厚重的书，每一页都充满了被精心打磨过的干货，绝无水分。

这本书的语言风格有一种独特的，略带古典的严谨美感，这在当代技术书籍中是相当少见的。它避免了当前技术文档中常见的碎片化和过度简化的倾向，而是坚持用一种完整、深入的论述方式来构建知识体系。例如，在解释信息检索的数学基础时，作者没有回避概率论和线性代数的严密性，但他总能及时地用一个贴切的物理或日常生活中的例子来“软化”这些概念，确保读者在理解其深度的同时，不至于迷失在公式的迷宫里。全书读完，我感觉自己像是接受了一次系统而严格的“信息科学”通识教育，它构建了我对信息处理领域整体的认知地图，让我明白了从数据采集到结果呈现的每一个环节是如何环环相扣的。这绝对是一本值得反复研读、并在职业生涯中不断回溯参考的经典之作，其价值远超其定价。

阅读这本书的过程，体验更像是一次沉浸式的工程实践回顾，而不是一次被动的知识灌输。作者在讲解高级主题时，会不时穿插一些他在业界真实遇到的挑战和解决方案。比如，当涉及到大规模分布式系统下的索引构建和维护时，书中详细描述了如何处理数据一致性、节点故障恢复以及如何在高并发环境下保证查询服务的稳定性。这些叙述充满了实战经验的烙印，那种面对系统崩溃边缘仍能保持清醒头脑、运用巧妙设计化险为夷的描述，极具感染力。书中附带的那些算法伪代码，虽然只是概念性的展示，但其清晰的逻辑流向，完全可以作为构建实际系统的蓝图参考。对于有志于从事搜索技术研发的工程师来说，这本书提供的不仅仅是理论知识，更是一种解决复杂工程问题的思维框架和解决问题的韧性。

与其他同类书籍相比，这本书最大的亮点在于它对“相关性排序”的探讨达到了近乎艺术的境界。作者并没有将排序算法简单地归结为PageRank的变体，而是将搜索结果的优化分解成了若干个维度：文本匹配度、链接结构权重、用户行为反馈，甚至是时间敏感性。他用一种非常细腻的笔触，剖析了这些因子是如何相互作用、相互制衡的。我印象最深的是对“查询意图理解”的讨论，书中提到，搜索引擎不再仅仅是匹配字符，它必须猜测用户潜藏的需求，这已经跨越了纯粹的技术范畴，进入了“计算社会学”的领地。书中引用了几个非常具有代表性的历史案例，说明了算法的微小变动如何深刻地影响了信息的获取和舆论的导向。这种对技术伦理和社会影响的关注，使得这本书的格局一下子就提升了，它不仅仅是一本“如何做”的技术指南，更是一部关于“应该如何做”的行业规范宣言。

书还没出版就看过了，写得确实非常不错，关键是一个”新“字。很多内容都是业界前沿，而且作者及所在的实验室也一直在做搜索引擎相关的研究。非常不错的一本书。

书还没出版就看过了，写得确实非常不错，关键是一个”新“字。很多内容都是业界前沿，而且作者及所在的实验室也一直在做搜索引擎相关的研究。非常不错的一本书。

书还没出版就看过了，写得确实非常不错，关键是一个”新“字。很多内容都是业界前沿，而且作者及所在的实验室也一直在做搜索引擎相关的研究。非常不错的一本书。

书还没出版就看过了，写得确实非常不错，关键是一个”新“字。很多内容都是业界前沿，而且作者及所在的实验室也一直在做搜索引擎相关的研究。非常不错的一本书。

书还没出版就看过了，写得确实非常不错，关键是一个”新“字。很多内容都是业界前沿，而且作者及所在的实验室也一直在做搜索引擎相关的研究。非常不错的一本书。