Web Scraping with Python

出版者:O'Reilly Media

作者:Ryan Mitchell

页数:256

出版时间:2015-7-24

价格:USD 31.99

装帧:Paperback

isbn号码:9781491910290

作者简介

Ryan Mitchell

数据科学家、软件工程师，目前在波士顿LinkeDrive公司负责开发公司的API和数据分析工具。此前，曾在Abine公司构建网络爬虫和网络机器人。她经常做网络数据采集项目的咨询工作，主要面向金融和零售业。另著有Instant Web Scraping with Java。

读后感

1.可以尝试使用Google API 2.对于容易被封杀的站点使用tor来匿名 3.使用Tesseract识别验证码，可以训练特殊字体提高识别率 4.爬取整个网站的外链链接是件容易的事情 5.使用selenium作为测试网站的框架 6.注意cookie和request header的使用，努力让网站不把你当做爬虫对待  

5.3.2 基本命令 第二段第一句话： 除了用户自定义变量名（MySQL 5.x 版本是不区分大小写的，MySQL 5.0 之前的版本是不区分大小写的），MySQL 语句是不区分大小写的。（wtf ？？？？？？？ 5.4 Email 查询圣诞节的代码缩进错误（sendMail函数和while都错了，会造成死循环！ 8.2...  

作者显然是此行达人，踩坑踩多了都是直接上经验。 书里的代码很优美、正规并且很简洁，运用了大量的递归算法和正则表达式。但是有些地方译者翻译的有误，比如第31页，倒数第六行冒号翻译成了分号，显然运行了源码并且对比了wiki网站才会知道这是误翻译。 另外，作者源码也有错...  

第三章有好几个地方出现“分号”，但又实在不明白哪里有分号，只好查了原文。 原文是 colons，也就是冒号。 写在这里，给其他同学提个醒。 ： 这是冒号 ； 这是分号 公平地说，原书中也有一些低级错误，比如第七章开始不久，有个函数里把 input 写成了content，中文版照抄了...  

1.可以尝试使用Google API 2.对于容易被封杀的站点使用tor来匿名 3.使用Tesseract识别验证码，可以训练特殊字体提高识别率 4.爬取整个网站的外链链接是件容易的事情 5.使用selenium作为测试网站的框架 6.注意cookie和request header的使用，努力让网站不把你当做爬虫对待  

用户评价

对于“错误处理与健壮性”的讨论，简直是敷衍到了令人发指的地步。在任何严肃的工程实践中，我们都深知，抓取失败是常态而非例外。然而，这本书在处理异常逻辑时，采取了一种近乎天真的态度。它似乎假设所有的网络请求都会成功返回200状态码，所有的HTML结构都会完美无缺地存在。当书中偶尔提到`try...except`结构时，也只是简单地写了一个捕获所有异常的万能代码块，然后建议“此处应该添加更精细的错误日志记录”，但随后就再也没有下文，完全没有深入探讨如何区分是超时错误、DNS解析失败、还是特定HTML元素缺失等不同类型的故障，并给出针对性的恢复策略。这意味着，如果我按照书中的范例构建了一个爬虫项目，一旦遇到任何稍微复杂一点的网站（比如那些有严格速率限制的网站），我的程序会立刻崩溃，毫无抵抗之力。一本合格的实战书籍，理应将错误处理作为核心章节来对待，而不是一个可有可无的脚注。

这本书的排版和设计简直是一场视觉的灾难，简直让人怀疑设计者是否真的理解“用户体验”这个词的含义。打开书本的第一页，我就被那些密密麻麻、毫无章法的字体和配色轰炸了双眼。导航系统混乱不堪，章节之间的逻辑跳跃性极大，仿佛是把一堆不相关的技术文档生硬地缝合在一起。我花了整整半个小时才摸索清楚如何找到我真正感兴趣的那个关于异步请求的章节，而当我终于定位到它时，发现代码示例的缩进完全不规范，注释更是少得可怜，很多关键步骤完全是靠读者自己去猜想和推断，这对于一个初学者来说，简直是噩梦般的存在。更别提那些插图了，质量低劣到令人发指，很多流程图看起来像是用最基础的绘图软件匆忙拼凑出来的，根本无法清晰地传达任何复杂概念。我甚至怀疑，作者和出版商是否在印刷前对这本书进行过任何一次像样的校对和审阅。如果说阅读技术书籍是一种学习体验，那么捧起这本书，更像是在进行一场充满挫败感的“寻宝游戏”，而宝藏（知识）往往被隐藏在无尽的排版错误和设计缺陷之下。这绝不是一本应该出现在专业技术书架上的作品，它更像是一份内部草稿，被仓促地推向了市场。

这本书的叙事风格极其干燥、刻板，缺乏任何能够激发学习热情的“人情味”。通篇读下来，感觉就像是在被一个机器人进行冷冰冰的知识灌输，每一个技术点的介绍都像是教科书式的定义堆砌，生硬地罗列着函数名和参数说明，却没有提供任何“为什么”和“在什么场景下使用”的实际背景故事或案例分析。举例来说，在讲解数据清洗部分时，作者只是简单地列出几种正则表达式的用法，然后就草草收场，完全没有展示一个真实、混乱的HTML文档是如何一步步被解析、被修正，最终变成干净的表格数据的过程。这种抽象化的讲解方式，对于那些希望通过具体实例来理解抽象概念的实践型学习者来说，简直是酷刑。我需要看到作者亲身经历过的“坑”，看到他们如何从失败中吸取教训，而不是被强行塞入一套完美的、脱离实际的理论框架。这种“只讲理论不讲实践精神”的写作方式，极大地削弱了学习的乐趣和效率。

更令人生疑的是这本书的“依赖库版本管理”的混乱。书中多次提到使用某个特定的库版本，并声称只有该版本才能完美运行代码，但它既没有清晰地指导读者如何锁定或降级这些库的版本（比如通过精确的`requirements.txt`文件），也没有对这些版本依赖的合理性做出解释。当我尝试在较新的Python环境中安装这些库时，立刻遭遇了大量的兼容性冲突和弃用警告。这迫使我不得不花费大量时间去搭建一个特定的、可能已经过时的虚拟环境，只是为了让书中的示例代码能够勉强运行起来。这种对环境设置的含糊处理，反映出作者对现代软件开发工作流缺乏基本的尊重。专业的教程应该提供清晰的、可复现的环境构建指南，而不是让读者在版本地狱中挣扎。这本书对这种基础工程实践的忽视，无疑为任何希望将书中知识投入实际生产环境的人士设置了极高的、不必要的入门门槛。

我必须指出，这本书在对“现代网络环境”的理解上，显得极其滞后和片面。它似乎停留在好几年前的网络形态中喋喋不休，对于当前主流的JavaScript渲染框架、反爬虫机制的演变，以及API调用模式的更新换代，几乎是避而不谈，或者只是用一笔带过、缺乏深度的语言敷衍了事。我尝试用书中的方法去抓取一个我日常使用的、基于React构建的电商网站数据，结果发现，书里提到的所有“万无一失”的请求头伪装技巧统统失效了，网站直接返回了加密的Token验证信息。这让我非常恼火，因为这意味着我不得不花费额外的时间去搜索最新的Stack Overflow讨论和GitHub Gists，去寻找如何应对这些现代防御措施的解决方案，这完全违背了我购买一本“教程”的初衷——我需要的是一个可以直接上手的、与时俱进的指导，而不是一个需要不断“打补丁”的过时蓝图。如果作者无法跟上网络技术的快速迭代，那么出版这样的书籍是对读者时间和金钱的极大不尊重，它提供的只是历史的脚注，而非实用的工具箱。

入门级，有些简略，存储读取部分，高级部分除了数据清洗都没看，留待之后需要时再查阅

许多方法暂时没有应用场景，入门足够

说的太简陋，不适合Python初学者

非常全面，web信息获取的很多方面都提到了：基本的网页html解析（beautifulsoup），站点链接，全网链接，利用api，基本的数据清理，自然语言的处理（NLTK），表单登录处理（requests），js解析（selenium），图片文本识别（tesseract）。这么全面，当然不算深入，对于入门了解整体方面非常不错。

近期唯一认真读的书 但是书就是比较浅（。自己可能已经是文盲了