基于深度学习的自然语言处理

出版者:机械工业出版社

作者:Yoav Goldberg

页数:255

译者:车万翔

出版时间:2018-5-1

价格:69

装帧:平装

isbn号码:9787111593737

丛书系列:智能科学与技术丛书

具体描述

本书重点介绍了神经网络模型在自然语言处理中的应用。首先介绍有监督的机器学习和前馈神经网络的基本知识，如何将机器学习方法应用在自然语言处理中，以及词向量表示（而不是符号表示）的应用。然后介绍更多专门的神经网络结构，包括一维卷积神经网络、循环神经网络、条件生成模型和基于注意力的模型。后，讨论树形网络、结构化预测以及多任务学习的前景。

作者简介

Yoav Goldberg现就职于以色列巴伊兰大学，是自然语言处理领域一位非常活跃的青年学者。Goldberg博士期间的主要研究方向为依存句法分析，随着深度学习的兴起，他也将研究兴趣转移至此，并成功地将该技术应用于依存句法分析等任务。与此同时，他在理论上对词嵌入和传统矩阵分解方法的对比分析也具有广泛的影响力。另外，他还是DyNet深度学习库的主要开发者之一。

目录信息

目录
前言
致谢
第1章引言
1.1自然语言处理的挑战
1.2神经网络和深度学习
1.3自然语言处理中的深度学习
1.4本书的覆盖面和组织结构
1.5本书未覆盖的内容
1.6术语
1.7数学符号
注释
部分有监督分类与前馈神经网络
第2章学习基础与线性模型
2.1有监督学习和参数化函数
2.2训练集、测试集和验证集
2.3线性模型
2.3.1二分类
2.3.2对数线性二分类
2.3.3多分类
2.4表示
2.5独热和稠密向量表示
2.6对数线性多分类
2.7训练和优化
2.7.1损失函数
2.7.2正则化
2.8基于梯度的优化
2.8.1随机梯度下降
2.8.2实例
2.8.3其他训练方法
第3章从线性模型到多层感知器
3.1线性模型的局限性：异或问题
3.2非线性输入转换
3.3核方法
3.4可训练的映射函数
第4章前馈神经网络
4.1一个关于大脑的比喻
4.2数学表示
4.3表达能力
4.4常见的非线性函数
4.5损失函数
4.6正则化与丢弃法
4.7相似和距离层
4.8嵌入层
第5章神经网络训练
5.1计算图的抽象概念
5.1.1前向计算
5.1.2反向计算（导数、反向传播）
5.1.3软件
5.1.4实现流程
5.1.5网络构成
5.2实践经验
5.2.1优化算法的选择
5.2.2初始化
5.2.3重启与集成
5.2.4梯度消失与梯度爆炸
5.2.5饱和神经元与死神经元
5.2.6随机打乱
5.2.7学习率
5.2.8minibatch
第二部分处理自然语言数据
第6章文本特征构造
6.1NLP分类问题中的拓扑结构
6.2NLP问题中的特征
6.2.1直接可观测特征
6.2.2可推断的语言学特征
6.2.3核心特征与组合特征
6.2.4n元组特征
6.2.5分布特征
第7章NLP特征的案例分析
7.1文本分类：语言识别
7.2文本分类：主题分类
7.3文本分类：作者归属
7.4上下文中的单词：词性标注
7.5上下文中的单词：命名实体识别
7.6上下文中单词的语言特征：介词词义消歧
7.7上下文中单词的关系：弧分解分析
第8章从文本特征到输入
8.1编码分类特征
8.1.1独热编码
8.1.2稠密编码（特征嵌入）
8.1.3稠密向量与独热表示
8.2组合稠密向量
8.2.1基于窗口的特征
8.2.2可变特征数目：连续词袋
8.3独热和稠密向量间的关系
8.4杂项
8.4.1距离与位置特征
8.4.2补齐、未登录词和词丢弃
8.4.3特征组合
8.4.4向量共享
8.4.5维度
8.4.6嵌入的词表
8.4.7网络的输出
8.5例子：词性标注
8.6例子：弧分解分析
第9章语言模型
9.1语言模型任务
9.2语言模型评估：困惑度
9.3语言模型的传统方法
9.3.1延伸阅读
9.3.2传统语言模型的限制
9.4神经语言模型
9.5使用语言模型进行生成
9.6副产品：词的表示
第10章预训练的词表示
10.1随机初始化
10.2有监督的特定任务的预训练
10.3无监督的预训练
10.4词嵌入算法
10.4.1分布式假设和词表示
10.4.2从神经语言模型到分布式表示
10.4.3词语联系
10.4.4其他算法
10.5上下文的选择
10.5.1窗口方法
10.5.2句子、段落或文档
10.5.3句法窗口
10.5.4多语种
10.5.5基于字符级别和子词的表示
10.6处理多字单元和字变形
10.7分布式方法的限制
第11章使用词嵌入
11.1词向量的获取
11.2词的相似度
11.3词聚类
11.4寻找相似词
11.5同中选异
11.6短文档相似度
11.7词的类比
11.8改装和映射
11.9实用性和陷阱
第12章案例分析:一种用于句子意义推理的前馈结构
12.1自然语言推理与 SNLI数据集
12.2文本相似网络
第三部分特殊的结构
第13章n元语法探测器：卷积神经网络
13.1基础卷积池化
13.1.1文本上的一维卷积
13.1.2向量池化
13.1.3变体
13.2其他选择：特征哈希
13.3层次化卷积
第14章循环神经网络：序列和栈建模
14.1RNN抽象描述
14.2RNN的训练
14.3RNN常见使用模式
14.3.1接收器
14.3.2编码器
14.3.3传感器
14.4双向RNN
14.5堆叠RNN
14.6用于表示栈的RNN
14.7文献阅读的注意事项
第15章实际的循环神经网络结构
15.1作为RNN的CBOW
15.2简单RNN
15.3门结构
15.3.1长短期记忆网络
15.3.2门限循环单元
15.4其他变体
15.5应用到RNN的丢弃机制
第16章通过循环网络建模
16.1接收器
16.1.1情感分类器
16.1.2主谓一致语法检查
16.2作为特征提取器的RNN
16.2.1词性标注
16.2.2RNNCNN文本分类
16.2.3弧分解依存句法分析
第17章条件生成
17.1RNN生成器
17.2条件生成（编码器）
17.2.1序列到序列模型
17.2.2应用
17.2.3其他条件上下文
17.3无监督的句子相似性
17.4结合注意力机制的条件生成
17.4.1计算复杂性
17.4.2可解释性
17.5自然语言处理中基于注意力机制的模型
17.5.1机器翻译
17.5.2形态屈折
17.5.3句法分析
第四部分其他主题
第18章用递归神经网络对树建模
18.1形式化定义
18.2扩展和变体
18.3递归神经网络的训练
18.4一种简单的替代——线性化树
18.5前景
第19章结构化输出预测
19.1基于搜索的结构化预测
19.1.1基于线性模型的结构化预测
19.1.2非线性结构化预测
19.1.3概率目标函数（CRF）
19.1.4近似搜索
19.1.5重排序
19.1.6参考阅读
19.2贪心结构化预测
19.3条件生成与结构化输出预测
19.4实例
19.4.1基于搜索的结构化预测：一阶依存句法分析
19.4.2基于NeuralCRF的命名实体识别
19.4.3基于柱搜索的NERCRF近似
第20章级联、多任务与半监督学习
20.1模型级联
20.2多任务学习
20.2.1多任务设置下的训练
20.2.2选择性共享
20.2.3作为多任务学习的词嵌入预训练
20.2.4条件生成中的多任务学习
20.2.5作为正则的多任务学习
20.2.6注意事项
20.3半监督学习
20.4实例
20.4.1眼动预测与句子压缩
20.4.2弧标注与句法分析
20.4.3介词词义消歧与介词翻译预测
20.4.4条件生成：多语言机器翻译、句法分析以及图像描述生成
20.5前景
第21章结论
21.1我们学到了什么
21.2未来的挑战
参考文献
· · · · · · (收起)

读后感

扫码关注公众号 「图灵的猫」，点击“学习资料”菜单，可以获得海量python、机器学习、深度学习书籍、课程资源，以及书中对应习题答案和代码。后台回复SSR更有机场节点相送~ 入门避坑指南 自学三年，基本无人带路，转专业的我自然是难上加难，踩过无数坑，走过很多弯路。这里我...

扫码关注公众号 「图灵的猫」，点击“学习资料”菜单，可以获得海量python、机器学习、深度学习书籍、课程资源，以及书中对应习题答案和代码。后台回复SSR更有机场节点相送~ 入门避坑指南 自学三年，基本无人带路，转专业的我自然是难上加难，踩过无数坑，走过很多弯路。这里我...

扫码关注公众号 「图灵的猫」，点击“学习资料”菜单，可以获得海量python、机器学习、深度学习书籍、课程资源，以及书中对应习题答案和代码。后台回复SSR更有机场节点相送~ 入门避坑指南 自学三年，基本无人带路，转专业的我自然是难上加难，踩过无数坑，走过很多弯路。这里我...

扫码关注公众号 「图灵的猫」，点击“学习资料”菜单，可以获得海量python、机器学习、深度学习书籍、课程资源，以及书中对应习题答案和代码。后台回复SSR更有机场节点相送~ 入门避坑指南 自学三年，基本无人带路，转专业的我自然是难上加难，踩过无数坑，走过很多弯路。这里我...

扫码关注公众号 「图灵的猫」，点击“学习资料”菜单，可以获得海量python、机器学习、深度学习书籍、课程资源，以及书中对应习题答案和代码。后台回复SSR更有机场节点相送~ 入门避坑指南 自学三年，基本无人带路，转专业的我自然是难上加难，踩过无数坑，走过很多弯路。这里我...

用户评价

这本书的出版，无疑为我这样渴望深入理解自然语言处理（NLP）前沿技术的读者打开了一扇新的大门。在信息爆炸的时代，文本数据以惊人的速度增长，如何从中提取有价值的信息，理解人类的语言，已成为人工智能领域的核心挑战。这本书的题目——“基于深度学习的自然语言处理”，直接点明了其研究方向，也暗示了它将带领我们探索当今最热门、最具潜力的技术路径。我一直对深度学习在图像识别、语音识别等领域的卓越表现印象深刻，而将其应用于NLP，更是充满了无限的可能性。我特别期待这本书能够系统地梳理深度学习模型在NLP中的应用，比如从词嵌入到循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元（GRU），再到目前大放异彩的Transformer架构及其衍生模型，如BERT、GPT系列等。我希望能看到它们是如何被构建、训练，以及在具体的NLP任务中，如文本分类、情感分析、机器翻译、问答系统、文本生成等方面，发挥出怎样的威力。同时，我也希望书中能提及一些实际的案例和代码示例，以便我能够将理论知识转化为实践能力，亲手搭建和调试模型，感受深度学习的魅力，并能解决实际的NLP问题。这本书的出现，让我看到了在NLP领域进一步深造和发展的希望，它将是我探索人工智能语言理解奥秘的强大助手。

在我对人工智能技术持续的学习和探索过程中，自然语言处理（NLP）始终是吸引我目光的焦点。而“基于深度学习的自然语言处理”这本书的题目，则精准地概括了我希望深入了解的技术方向。我相信，深度学习模型已经成为NLP领域的核心驱动力，它能够捕捉到语言的复杂性和多维度语义。我非常期待这本书能够系统地梳理深度学习在NLP中的应用，从词嵌入（Word Embeddings）的多种表示方法，到能够有效处理序列数据的循环神经网络（RNN）及其变体（LSTM、GRU），再到如今在NLP领域取得突破性进展的Transformer架构及其预训练模型，如BERT、GPT等。我希望书中能够详细解释这些模型的工作原理，它们如何学习语言的表示，以及如何有效地应用于文本分类、情感分析、机器翻译、问答系统等各种NLP任务。同时，我也对如何评估NLP模型的性能、如何处理数据中的噪声和偏差，以及如何在实际应用中进行模型部署和优化等问题抱有浓厚的兴趣。这本书的出现，为我提供了一个系统学习和深入研究NLP领域最新进展的宝贵机会，它将是我在该领域不断前进的重要指导。

作为一名对前沿科技充满好奇心的学习者，我一直在寻找能够引领我进入AI语言理解核心的指南，而这本书的出现，恰好满足了我的这一愿望。题目中“深度学习”和“自然语言处理”这两个关键词的结合，预示着这本书将是一场关于人工智能如何“读懂”人类语言的深度探索。我非常期待它能详尽地介绍深度学习在NLP领域的核心技术和发展脉络。从早期的基于统计的模型，到如今深度学习的统治地位，这个转变过程充满了技术革新和思想的碰撞。我想知道，究竟是什么样的模型结构，能够让机器像人一样理解词语之间的细微差别，捕捉句子中的语义和语境。我希望书中能深入讲解诸如词向量（Word Embeddings）的原理和不同方法的优劣，比如Word2Vec、GloVe、FastText等，以及它们如何将离散的文本转化为连续的向量空间。更重要的是，我期待了解循环神经网络（RNN）及其变种（LSTM, GRU）在处理序列数据时的作用，以及它们在文本生成、序列标注等任务中的应用。当然，Transformer架构的出现无疑是NLP领域的一大飞跃，我迫切希望这本书能够对其进行深入浅出的剖析，解释自注意力机制（Self-Attention）如何实现并行计算和长距离依赖的捕捉，以及BERT、GPT等预训练模型如何通过海量数据学习语言的通用表示，并微调到各种下游任务。这本书的出现，对我来说，不仅仅是一本书，更是一张通往AI语言智能世界的地图，引领我发现其中的无限可能。

作为一名热衷于人工智能前沿技术的学习者，我一直关注着自然语言处理（NLP）的发展。而“基于深度学习的自然语言处理”这个书名，无疑直接触及了我最感兴趣的研究方向。我深知，深度学习模型为NLP带来了前所未有的突破，它能够深入理解语言的结构、语义和上下文。我非常期待这本书能够全面介绍深度学习在NLP领域的应用，从词嵌入技术，到能够处理文本序列的RNN、LSTM、GRU，再到如今在NLP领域占据核心地位的Transformer架构及其预训练模型，如BERT、GPT等。我希望书中能够详细阐述这些模型的工作原理，它们是如何学习语言的表示，以及如何应用于文本分类、情感分析、机器翻译、问答系统等各种实际任务。此外，我也关注模型的可解释性、鲁棒性以及在不同语言和文化背景下的适应性问题。这本书的出现，为我提供了一个深入理解和掌握NLP前沿技术的绝佳机会，它将是我在AI语言智能领域探索的重要指南。

我对人工智能如何“理解”人类语言的机制一直感到好奇，而“基于深度学习的自然语言处理”这个书名，精准地指明了探寻这一奥秘的路径。我非常看好深度学习在NLP领域所展现出的强大能力，它能够捕捉到语言的细微之处和复杂的语义关系。我期待这本书能够详细介绍深度学习在NLP中的关键技术和发展历程，从基础的词向量表示（Word Embeddings），到能够处理时序信息的RNN、LSTM、GRU，再到革命性的Transformer架构及其衍生模型，如BERT、GPT等。我希望书中能深入解析这些模型的原理，它们如何学习文本的表示，以及如何在文本分类、情感分析、机器翻译、问答系统等任务中发挥关键作用。我尤其希望能够通过这本书，掌握如何将这些理论知识应用于实际的NLP问题，例如通过代码实现模型，并对其进行评估和优化。这本书的出现，为我打开了通往AI语言理解世界的一扇窗，我期待在这里获得系统的知识和实践的指导。

我对人工智能的兴趣由来已久，而“自然语言处理”一直是其中最让我着迷的部分，因为语言是我们交流和思考的基础。当得知有《基于深度学习的自然语言处理》这本书时，我感到非常兴奋，因为我知道深度学习已经在NLP领域取得了巨大的成就。我希望这本书能够系统地介绍深度学习在NLP中的核心技术，从词向量的表示方法，到循环神经网络（RNN）及其变体（LSTM、GRU）在处理序列数据上的优势，再到Transformer架构如何通过自注意力机制实现了并行计算和长距离依赖的有效捕捉。我特别关注书中对BERT、GPT等预训练模型的讲解，它们如何通过海量数据学习通用的语言知识，并能够灵活地应用于各种下游任务。我期待书中能包含一些实际的案例和代码示例，帮助我理解模型的具体实现，并能够动手实践，从而更深入地掌握NLP技术。这本书的出现，为我提供了一个宝贵的学习资源，让我能够系统地提升自己在NLP领域的知识和技能。

作为一个对人工智能的语言智能部分充满热情的研究者，我一直在寻找一本能够全面、深入地介绍“基于深度学习的自然语言处理”的著作，而这本书的出现，让我眼前一亮。我非常看重深度学习模型在理解和生成人类语言方面的强大能力，它能够处理文本的序列性、上下文依赖以及语义的复杂性，这是传统方法难以比拟的。我期待这本书能够系统地梳理深度学习在NLP中的发展历程，从最初的词向量表示（Word Embeddings）如Word2Vec、GloVe，到能够处理序列数据的循环神经网络（RNN）及其改进型（LSTM、GRU），再到如今在NLP领域占据统治地位的Transformer架构及其预训练模型（BERT、GPT等）。我希望书中能详细解释这些模型的原理，包括它们是如何构建的，如何学习文本的表示，以及如何在具体的NLP任务中应用，例如文本分类、命名实体识别、机器翻译、问答系统、文本生成等。此外，我也关注如何评估NLP模型的性能，以及在实际应用中可能遇到的挑战和解决方案。这本书的出现，无疑为我提供了一个系统学习和深入研究NLP的绝佳机会，它将是我探索人工智能如何真正“理解”人类语言的宝贵参考。

一直以来，我都被人类语言的魅力所吸引，并渴望了解机器如何才能真正“理解”和“运用”它。当看到《基于深度学习的自然语言处理》这本书时，我感到一种强烈的学习冲动。我明白，深度学习已经成为NLP领域的核心驱动力，它能够捕捉到语言中复杂的模式和语义。我希望这本书能够详细阐述深度学习模型在NLP中的应用，从最基础的词嵌入（Word Embeddings），到能够处理序列数据的RNN、LSTM、GRU，再到如今引领潮流的Transformer架构及其预训练模型，如BERT、GPT等。我尤其期待书中能够深入讲解这些模型如何捕捉文本的上下文信息，理解词语之间的关系，以及如何被有效地应用于各种NLP任务，例如文本分类、情感分析、机器翻译、问答系统等。我希望这本书不仅能让我理解理论，更能让我掌握实践，能够亲自动手实现和调试这些模型。这本书的出现，对我来说，就像是开启了一扇通往AI语言理解世界的大门，我期待在这里获得丰富的知识和深刻的洞见。

在我对人工智能的诸多领域进行探索的过程中，自然语言处理（NLP）始终是我最为关注的焦点之一。而“基于深度学习的自然语言处理”这个书名，精准地击中了我的兴趣点。我深信，深度学习模型为NLP带来了前所未有的突破，它能够捕捉到语言的深层语义和复杂结构。我非常期待这本书能够提供对深度学习在NLP中应用的全面梳理，从基础的词嵌入技术，到强大的序列模型如RNN、LSTM、GRU，再到革命性的Transformer架构及其在BERT、GPT等模型中的应用。我希望能深入理解这些模型的工作原理，它们是如何通过大量数据学习语言的表示，以及如何应用于各种NLP任务，如文本摘要、情感分析、对话系统等。我尤其关心这本书是否能提供一些关于模型训练、评估以及实际部署的指导，这对于我将理论知识转化为实践能力至关重要。这本书的出现，为我提供了一个系统学习和深入理解NLP领域最新进展的绝佳途径，它将是我深入研究这一前沿技术的重要参考。

长久以来，我一直对如何让计算机理解并生成人类语言这件事深感着迷，而“基于深度学习的自然语言处理”这个书名，无疑点燃了我内心深处对这一领域的求知欲。我特别关注深度学习如何在NLP中实现突破，因为我深信，这种强大的模型能够捕捉到传统方法难以触及的语言的复杂性和细微之处。我期待这本书能够为我揭示深度学习模型在NLP任务中的具体应用，例如，如何利用卷积神经网络（CNN）进行文本分类和情感分析，如何运用循环神经网络（RNN）及其变体（LSTM、GRU）来处理长序列的文本，理解其上下文信息，以及如何利用注意力机制（Attention Mechanism）来提高机器翻译的质量。更重要的是，我希望能看到Transformer架构及其衍生模型，如BERT、GPT系列等，在NLP领域带来的革命性变化，它们是如何通过预训练和微调的方式，在各种NLP任务上取得卓越的成果。这本书的题目给我一种踏实感，似乎它将系统地、有条理地引导我一步步走进这个复杂而迷人的领域。我希望书中不仅有理论的深度，还能有实践的指导，让我能够理解模型背后的数学原理，也能掌握如何运用这些技术解决实际问题。期待这本书能成为我学习NLP的坚实基石。

这本书不如读几篇深度学习应用在NLP领域的论文有启发。针对深度学习应用在NLP就是简单的描述一下方向。第一部分讲讲神经网络，机器学习的书都有 第二部分讲讲NLP相关书都有第三部分讲讲深度学习深度学习的书都重复了就最后一部分有一些价值讲讲深度学习在NLP领域的应用就几十页吧。不知道为啥评分这么高

理论综述，入门的话会看的云里雾里。

作者Goldberg，NLP届的领军人物之一，书中条理清晰，内容翔实，书百分百是本好书，目前深度学习做NLP最具权威的书了。但是翻译过来还是有些生硬，作者的一些比武还没纠正。结合英文看效果更好。

很新的书，除了最新的bert xlnet这种，前面的算法演进基本上都涵盖到了。

翻译一般，很多地方讲的太浅，可以当作nlp+dl综述来看