Python爬虫大数据采集与挖掘-微课视频版（大数据与人工智能技术丛书）

出版者:清华大学出版社

作者:曾剑平

页数:296

出版时间:2020-3-4

价格:0

装帧:平装

isbn号码:9787302540540

具体描述

本书围绕大数据采集，对采集技术的相关基础、技术原理、Python实现技术、大数据挖掘与应用方法进行了系统介绍。书中全面完整地覆盖了各种类型的网络爬虫及相关的信息处理挖掘技术，并提供了27个与爬虫相关技术和应用相关的Python程序。本书可以作为高等院校大数据、计算机、信息以及经管、金融等人文社科相关专业研究生和高年级本科生的教材，也可以作为大数据、计算机、信息以及经管、金融等人文社科领域研究人员和专业技术人员的参考书。

目录信息

目录
源码下载
第一部分概述
第1章大数据采集概述
1.1互联网大数据与采集
1.1.1互联网大数据来源
1.1.2互联网大数据的特征
1.2Python爬虫大数据采集技术的重要性
1.3爬虫技术研究及应用现状
1.4爬虫技术的应用场景
1.5爬虫大数据采集的技术体系
1.5.1技术体系构成
1.5.2相关技术
1.5.3技术评价方法
1.6爬虫大数据采集与挖掘的合规性
1.7爬虫大数据采集技术的展望
思考题
第二部分基础篇
第2章Web页面及相关技术
2.1HTML语言规范
2.1.1HTML标签
2.1.2HTML整体结构
2.1.3CSS简述
2.1.4常用标签
2.1.5HTML语言的版本进化
2.2编码体系与规范
2.2.1ASCII
2.2.2gb2312/gbk
2.2.3unicode
2.2.4utf8
2.2.5网页中的编码和Python处理
2.3Python正则表达式
思考题
第3章Web应用架构与协议
3.1常用的Web服务器软件
3.1.1流行的Web服务器软件
3.1.2在Python中配置Web服务器
3.2Web服务器的应用架构
3.2.1典型的应用架构
3.2.2Web页面的类型
3.2.3页面文件的组织方式
3.3Robots协议
3.3.1Robots协议的来历
3.3.2Robots协议的规范与实现
3.4HTTP协议
3.4.1HTTP版本的技术特性
3.4.2HTTP报文
3.4.3HTTP头部
3.4.4HTTP状态码
3.4.5HTTPS
3.5状态保持技术
3.5.1Cookie
3.5.2Session
思考题
第三部分技术与实现篇
第4章普通爬虫页面采集技术与Python实现
4.1普通爬虫的体系架构
4.2Web服务器连接器
4.2.1整体处理过程
4.2.2DNS缓存
4.2.3requests/response的使用方法
4.2.4错误和异常的处理
4.3超链接及域名提取与过滤
4.3.1超链接的类型
4.3.2提取方法
4.3.3遵守Robots协议的友好爬虫
4.4爬行策略与实现
4.4.1爬行策略及设计方法
4.4.2宽度优先和深度优先策略
4.4.3基于PageRank的重要性排序
4.4.4其他策略
4.4.5爬行策略设计的综合考虑
思考题
第5章动态页面采集技术与Python实现
5.1动态页面内容的生成与交互
5.1.1页面内容的生成方式
5.1.2动态页面交互的实现
5.2动态页面采集技术
5.3使用带参数的URL
5.4利用Cookie和Session
5.5使用Ajax： 以评论型页面为例
5.5.1获取URL地址
5.5.2获取动态请求参数
5.6模拟浏览器——以自动登录邮箱为例
思考题
第6章Web信息提取与Python实现
6.1Web信息提取任务及要求
6.2Web页面内容提取的思路
6.2.1DOM树
6.2.2提取方法
6.3基于HTML结构的内容提取方法
6.3.1html.parser
6.3.2lxml
6.3.3html5lib
6.3.4BeautifulSoup
6.3.5PyQuery
6.4基于统计的Web内容抽取方法
思考题
第7章主题爬虫页面采集技术与Python实现
7.1主题爬虫的使用场景
7.2主题爬虫技术框架
7.3主题及其表示
7.4相关度计算
7.4.1主题相关度的计算
7.4.2链接相关度估算
7.4.3页面内容相关度计算
7.5特定新闻主题采集
思考题
第8章Deep Web爬虫与Python实现
8.1相关概念
8.2Deep Web的特征和采集要求
8.3深度网页内容获取技术架构
8.3.1领域本体知识库
8.3.2寻找表单
8.3.3表单处理
8.3.4结果处理
8.4图书信息采集
思考题
第9章微博信息采集与Python实现
9.1微博信息采集方法概述
9.2微博开放平台授权与测试
9.3在Python中调用微博API采集数据
9.3.1流程介绍
9.3.2微博API及使用方法
9.3.3采集微博用户个人信息
9.3.4采集微博博文
9.3.5微博API的限制
9.4通过爬虫采集微博信息
思考题
第10章反爬虫技术与反反爬虫技术
10.1两种技术的概述
10.2反爬虫技术
10.2.1爬虫检测技术
10.2.2爬虫阻断技术
10.3反反爬虫技术
思考题
第四部分大数据挖掘与应用篇
第11章文本信息处理与挖掘技术
11.1文本预处理
11.1.1词汇切分
11.1.2停用词过滤
11.1.3词形规范化
11.1.4Python开源库jieba的使用
11.2文本的向量空间模型
11.2.1特征选择
11.2.2模型表示
11.2.3使用Python构建向量空间表示
11.3文本分类及实现技术
11.3.1分类技术概要
11.3.2分类器技术
11.3.3新闻分类的Python实现
11.4主题及其实现技术
11.4.1主题的定义
11.4.2基于向量空间的主题构建
11.4.3LDA主题模型
11.4.4LDA模型的Python实现
11.5大数据可视化技术
11.5.1大数据可视化方法概述
11.5.2Python开源库的使用
思考题
第12章互联网大数据获取技术的应用
12.1常见应用模式
12.2新闻阅读器采集与分析
12.2.1目标任务
12.2.2总体思路
12.2.3新闻内容采集与提取
12.2.4新闻分析
12.3爬虫用于Web网站SQL注入检测
12.3.1目标任务
12.3.2总体思路
12.3.3Python程序设计
思考题
附录A代码与数据
附录B相关包索引
附录C爬虫框架
附录D书中视频对应二维码汇总表
参考文献
· · · · · · (收起)

用户评价

**评价五：** 作为一个有着一定Python基础，但对数据挖掘领域并不熟悉的职场人士，这本书为我打开了一扇新的大门。它非常注重实战，从最简单的网页数据抓取到复杂的大数据处理，都提供了完整的解决方案。微课视频的设置，更是将学习过程变得高效而有趣。我曾尝试过阅读一些纯文字的爬虫书籍，但常常因为缺乏直观的演示而感到枯燥，这本书恰恰弥补了这一点。在处理大量用户评论数据进行情感分析时，书中提供的代码示例和讲解，让我能够快速上手，并根据自己的需求进行调整。例如，如何利用jieba分词库进行中文文本分词，如何构建词袋模型，如何使用TF-IDF算法提取特征，以及如何利用scikit-learn库进行情感分类，这些都得到了清晰的阐述。视频的演示，让我在看到代码运行结果的同时，也能理解每一步背后的逻辑。

**评价七：** 我一直认为，学习技术最有效的方式就是“动手实践”，而这本书正是秉承了这一理念。其“微课视频版”的定位，使得学习过程不再是枯燥的文字阅读，而是伴随着生动形象的视频演示。这对于我这种视觉学习者来说，简直是福音。书中的内容循序渐进，从Python基础知识的简要回顾，到网络请求原理的讲解，再到各种爬虫技术的深入剖析，逻辑性非常强。尤其是对于一些复杂的爬虫场景，例如需要模拟登录、处理Cookie、应对IP封锁等，书中都提供了非常实用的解决方案和代码示例。而到了大数据挖掘的部分，本书更是展现了其专业性。它不仅介绍了常用的算法，更深入地讲解了如何对数据进行特征工程、如何评估模型的效果，以及如何选择最适合特定问题的算法。我曾经遇到过一个需要对用户行为进行聚类分析的项目，书中关于K-Means算法的讲解和演示，直接帮助我完成了任务，大大提升了工作效率。

**评价一：** 初次翻开《Python爬虫大数据采集与挖掘——微课视频版》，就被其清晰的结构和理论与实践相结合的风格所吸引。本书并非仅仅罗列枯燥的代码，而是通过一系列循序渐进的微课视频，将复杂的爬虫技术和大数据分析方法变得触手可及。我尤其欣赏作者在讲解数据采集部分时，对于不同网站反爬机制的深入剖析，从基础的Requests库到进阶的Selenium自动化，再到处理Ajax请求和JavaScript渲染，每一步都伴随着详细的代码演示和易于理解的解释。更让我惊喜的是，书中还涉及了分布式爬虫的架构设计思路，这对于需要处理海量数据的项目来说，无疑是宝贵的知识。虽然视频是微课形式，但每段视频都精炼而实用，观看后能够迅速掌握核心概念，并立刻动手实践。对于新手来说，这套流程设计极大地降低了学习门槛，避免了“只知其一不知其所以然”的困境。例如，在讲解如何抓取知乎某一话题下的全部回答时，书中不仅提供了完整的代码，还细致地讲解了如何分析页面结构、识别API接口、处理分页加载等关键步骤，并且视频演示了如何在调试工具中一步步找到这些信息，这比单纯看文字说明要直观得多。

**评价八：** 《Python爬虫大数据采集与挖掘——微课视频版》是一本非常“接地气”的书。它没有回避实际项目中可能遇到的各种技术难题，而是逐一击破，给出了清晰的解决方案。我最欣赏的是它在数据采集部分对反爬虫机制的深入讲解，从HTTP请求头的设置到JavaScript的执行环境模拟，作者都给出了非常详细的解释和代码示例，这对于那些经常被网站“挡在门外”的爬虫开发者来说，无疑是雪中送炭。而本书的另一大亮点，即大数据挖掘部分，则更加侧重于将采集到的数据转化为有价值的信息。作者并没有仅仅停留在算法的介绍，而是强调了数据预处理和特征工程的重要性。例如，在处理文本数据时，书中详细讲解了如何进行分词、去除停用词、构建TF-IDF模型等，这些都是构建有效挖掘模型的基础。配套的微课视频，更是将抽象的算法原理和复杂的代码实现，以一种直观易懂的方式呈现出来，大大缩短了我的学习周期。

**评价三：** 作为一名在校学生，能够接触到这样一套兼具理论深度和实操性的教材，实属幸运。这本书的内容涵盖了从基础的Python语法和常用库，到高级的爬虫技术和数据挖掘算法，形成了一个完整的知识体系。我尤其喜欢书中“微课视频版”的特色，这意味着我不仅可以阅读书中的文字内容，还可以通过观看视频来加深理解。这对于像我这样需要反复理解概念的学生来说，是极大的便利。例如，在学习如何构建一个分布式爬虫框架时，书中提供了详细的架构图和代码示例，而配套的视频则生动地演示了每个组件如何协同工作，以及如何进行故障排查和性能优化。我曾尝试过自己搭建类似的系统，但走了不少弯路，而这本书的指导让我茅塞顿开。此外，书中还穿插了一些关于数据清洗、去重、缺失值处理的实用技巧，这些细节往往是决定数据挖掘项目成败的关键，却常常被忽略。

**评价二：** 这本书简直是Python爬虫领域的“瑞士军刀”！我一直对大数据挖掘充满兴趣，但苦于没有合适的切入点，直到我遇到了这本书。它不仅仅是教你如何“爬”，更重要的是教会你如何“用”。数据采集的部分扎实而全面，从最基础的HTML解析到复杂的动态网页抓取，都覆盖得非常到位。但我认为本书真正的亮点在于其大数据挖掘部分的深度。作者并没有停留在浅层的概念介绍，而是深入到如何利用Python进行数据预处理、特征工程，以及应用各种机器学习算法进行分析。书中对一些主流的挖掘算法，如K-Means聚类、决策树、支持向量机等，都有详细的讲解，并且结合了实际的数据集进行案例分析。尤其是关于文本挖掘的部分，如何对大量的用户评论进行情感分析、主题建模，这些都是我工作中急需用到的技术，书中提供的解决方案和代码模板，让我少走了很多弯路。视频的辅助使得学习过程更加生动有趣，尤其是在演示复杂的算法原理和代码实现时，动态的视觉效果能够帮助大脑更好地理解和记忆。

**评价九：** 这本书的出现，让我对Python在数据科学领域的应用有了全新的认识。它不仅仅是关于爬虫技术的“招式”，更是关于大数据分析的“内功心法”。从数据采集的方方面面，到数据挖掘的深度应用，都覆盖得非常全面。我特别喜欢书中在讲解爬虫技术时，对各种异常情况的处理。比如，当网络连接不稳定、页面结构发生变化时，如何优雅地处理这些错误，避免程序崩溃，书中都有详细的指导。而对于大数据挖掘部分，作者并没有止步于算法的堆砌，而是强调了数据理解和业务场景的重要性。例如，在进行用户画像分析时，书中会引导读者思考需要采集哪些数据，如何从中提取有意义的特征，以及如何将分析结果应用到实际的业务决策中。视频的辅助，让那些原本晦涩难懂的概念变得生动起来，我常常会在看完视频后，立刻打开IDE跟着敲代码，这种学习体验非常棒。

**评价四：** 这本书的价值，远远超出了它的书名所能概括的。它不仅是关于Python爬虫和大数据采集，更是一本关于如何从海量数据中提炼价值的指南。作者在书中展现了极强的逻辑思维能力和丰富的实践经验。数据采集部分，我最看重的是它在处理“疑难杂症”方面的能力。比如，如何应对CDN加速、IP代理池的搭建与管理、验证码的识别（虽然书中并未深入到OCR，但提供了基本的思路和方向），这些都是实际爬虫项目中常常遇到的挑战。更让我眼前一亮的是，书中对于数据挖掘阶段的讲解，它并没有将算法停留在“会用”的层面，而是深入到了算法背后的原理、优缺点以及适用场景。比如，在讲解如何选择合适的分类算法时，作者详细对比了逻辑回归、朴素贝叶斯、随机森林等算法在不同数据集上的表现，并给出了实用的建议。视频部分也是锦上添花，当一些抽象的概念通过生动的演示呈现时，理解起来就变得异常轻松。

**评价六：** 坦白说，市面上关于Python爬虫和大数据挖掘的书籍层出不穷，但能够真正做到深入浅出、理论与实践完美结合的却不多。《Python爬虫大数据采集与挖掘——微课视频版》无疑是其中的佼佼者。作者在讲解爬虫技术时，对各种常用工具和框架的优缺点分析得非常到位，并且详细介绍了如何根据实际需求选择最合适的工具。例如，在处理动态加载数据时，书中不仅展示了如何使用Selenium，还介绍了分析JavaScript和Ajax请求的方法，这使得我对爬虫技术的理解更加全面。更难得的是，本书将大数据挖掘的技术流程梳理得非常清晰。从数据采集、清洗、预处理，到特征选择、模型构建、评估和部署，每一个环节都有详细的讲解和相应的代码实现。我尤其喜欢书中关于如何进行数据可视化部分的介绍，利用Matplotlib和Seaborn绘制的各种图表，能够非常直观地展示数据中的规律和趋势，这对于报告的撰写和方案的解读非常有帮助。

**评价十：** 在我看来，《Python爬虫大数据采集与挖掘——微课视频版》不仅仅是一本书，更像是一个完整的学习生态系统。它的内容设计非常人性化，从入门到精通，每一个环节都考虑得周到。在数据采集部分，作者不仅讲解了基础的HTTP协议和Requests库，还深入到了Scrapy框架的应用，以及如何构建分布式爬虫。我尤其欣赏书中关于如何处理JavaScript渲染页面的详细讲解，这对于抓取现代网页至关重要。而到了大数据挖掘部分，本书将理论知识与实践案例紧密结合。作者不仅介绍了各种机器学习算法，更重要的是教会读者如何根据实际问题选择合适的算法，如何对模型进行调优，以及如何评估模型的效果。例如，在进行预测性分析时，书中会详细讲解如何使用时间序列模型，如何处理缺失值，以及如何进行模型评估。配套的微课视频，更是将原本枯燥的技术讲解变得生动有趣，让学习过程充满动力。

会处理数据是现在IT从业人的一项重要技能，能玩的溜数据基本是高薪就业的一个重大敲门砖。本书对于想从基础爬虫和网络基础知识到实战的小白来说很友好，稍微了解前端知识可以更有利于入手爬虫基础到高级，whatever，不懂也没关系，跟着书里的的内容，从基础到处理网页不同部件的详细处理方式都有。反爬虫的地方还挺有意思，扩充视野。 主要还可以跟着书籍配套视频学也是没问题的，感受一下老师风趣的讲课风格。

会处理数据是现在IT从业人的一项重要技能，能玩的溜数据基本是高薪就业的一个重大敲门砖。本书对于想从基础爬虫和网络基础知识到实战的小白来说很友好，稍微了解前端知识可以更有利于入手爬虫基础到高级，whatever，不懂也没关系，跟着书里的的内容，从基础到处理网页不同部件的详细处理方式都有。反爬虫的地方还挺有意思，扩充视野。 主要还可以跟着书籍配套视频学也是没问题的，感受一下老师风趣的讲课风格。

会处理数据是现在IT从业人的一项重要技能，能玩的溜数据基本是高薪就业的一个重大敲门砖。本书对于想从基础爬虫和网络基础知识到实战的小白来说很友好，稍微了解前端知识可以更有利于入手爬虫基础到高级，whatever，不懂也没关系，跟着书里的的内容，从基础到处理网页不同部件的详细处理方式都有。反爬虫的地方还挺有意思，扩充视野。 主要还可以跟着书籍配套视频学也是没问题的，感受一下老师风趣的讲课风格。

会处理数据是现在IT从业人的一项重要技能，能玩的溜数据基本是高薪就业的一个重大敲门砖。本书对于想从基础爬虫和网络基础知识到实战的小白来说很友好，稍微了解前端知识可以更有利于入手爬虫基础到高级，whatever，不懂也没关系，跟着书里的的内容，从基础到处理网页不同部件的详细处理方式都有。反爬虫的地方还挺有意思，扩充视野。 主要还可以跟着书籍配套视频学也是没问题的，感受一下老师风趣的讲课风格。

会处理数据是现在IT从业人的一项重要技能，能玩的溜数据基本是高薪就业的一个重大敲门砖。本书对于想从基础爬虫和网络基础知识到实战的小白来说很友好，稍微了解前端知识可以更有利于入手爬虫基础到高级，whatever，不懂也没关系，跟着书里的的内容，从基础到处理网页不同部件的详细处理方式都有。反爬虫的地方还挺有意思，扩充视野。 主要还可以跟着书籍配套视频学也是没问题的，感受一下老师风趣的讲课风格。