ELK stack权威指南

出版者:机械工业出版社

作者:饶琛琳

页数:391

出版时间:2015-10

价格:79.00元

装帧:平装

isbn号码:9787111516347

丛书系列:数据分析与决策技术丛书

具体描述

ELK stack是以Elasticsearch、Logstash、Kibana三个开源软件为主的数据处理工具链，是目前开源界最流行的实时数据分析解决方案，成为实时日志处理领域开源界的第一选择。然而，ELK stack并不是实时数据分析的灵丹妙药，使用不恰当，反而会事倍功半。本书对ELK stack的原理进行了解剖，不仅分享了大量实战案例和实现效果，而且分析了部分源代码，使读者不仅知其然还知其所以然。读者可通过本书快速掌握实时日志处理方法，并搭建自己的数据分析系统。本书分为三大部分，共19章。第一部分“Logstash”介绍Logstash的安装与配置、场景示例、性能与测试、扩展方案、源码解析、插件开发等；第二部分“Elasticsearch”介绍Elasticsearch的架构原理、数据接口用例、性能优化、测试和扩展方案、映射与模板的定制、监控方案等；第三部分“Kibana”介绍Kibana 3和Kibana 4的特点对比，并分别讲解了Kibana 3和Kibana 4的配置、案例与源代码解析。

作者简介

饶琛琳，新浪网系统架构师，曾任人人网技术专家，中华网高级运维工程师等职位。参与了大规模系统的运维监控设计与自动化平台建设，对CDN架构、系统监控和日志分析都有丰富的经验。乐于分享，是ElasticsearchChina用户组负责人之一，活跃于Puppet和Logstash等开源社区，分享了大量技术文章。

目录信息

第部分 Logstash
第1章入门示例 3
1.1下载安装 3
1.2HellOWbrld 5
1.3配置语法 7
1.3.1语法 8
1.3.2命令行参数 10
1.4插件安装 1l
1.5长期运行方式 12
第2章插件配置 15
2.1输入插件 15
2.1.1标准输入 16
2.1.2文件输入 17
2.1.3 TCP输入 18
2.1.4 syslog输入 19
2.1.5 collectd输入 21
2.2编解码配置 23
2.2.1 JSON编解码 24
2.2.2多行事件编码 -25
2.2.3网络流编码 26
2.3过滤器配置 _28
2.3.1 date时间处理 28
2.3.2 grok正则捕获 30
2.3.3 GeoIP地址查询 33
2.3.4 JSON编解码 34
2.3.5 key-value切分 35
2.3.6 metrics数值统计 36
2.3.7 mutate数据修改 37
2.3.8随心所欲的Ruby处理 42
2.3.9 split拆分事件 _43
2.3.10 elapsed 43
2.4输出插件 44
2.4.1输出到Elasticsearch 44
2.4.2发送email 49
2.4.3调用系统命令执行 ’50
2.4.4保存成文件 50
2.4.5报警发送到Nagios 51
2.4.6 statsd 52
2.4.7标准输出stdout 54
?2.4.8 TCP发送数据 55
2.4.9输出到HDFS 55
第3章场景示例 57
3.1 Nginx访问日志 57
3.1.1 grok处理方式 57
3.1.2 split处理方式 -58
3.1.3 json格式 -6l
3.1.4 syslog方式发送 62
3.2 Nginx错误日志 62
3.3 Postfix日志 63
3.4 0ssec日志 64
3.4.1配置所有Ossec agent采用
syslog输出 -64
3.4.2配置Logstash 65
3.4.3推荐Kibana仪表盘 65
3.5Windows系统日志 67
3.5.1采集端配置 67
3.5.2接收解析端配置 68
3.6 Java日志 69
3.6.1 Log4J配置 70
3.6.2 Logstash配置 70
3.6.3异常堆栈测试验证 70
3.6.4 JSON Event layout 71
3.7 MySQL慢查询日志 -73
3.8 Docker日志 74
3.8.1记录到主机磁盘 75
3.8.2通过logspout收集 75
第4章性能与监控 77
4.1性能测试 77
4.1.1配置示例 77
4.1.2使用方式 78
4.1.3额外的话 79
4.2监控方案 79
4.2.1 logstash-input-heartbeat心跳
检测方式 80
4.2.2 JMX启动参数方式 8l
第5章扩展方案 83
5.1通过Redis队列扩展 84
5.1.1读取Redis数据 84
5.1.2采用list类型扩展Logstash''''85
5.1.3输出到Redis 86
5.2通过Kafka队列扩展 87
5.2.1 Logstashl.4版本插件的安装 88
5.2.2 Input配置 88
5.2.3 0utput配置 90
5.3 logstash-forwarder'''. 91
5.3.1 Indexer端配置 91
5.3.2 Shipper端配置 92
5.3.3 AIX上的logstash-forwarder-
java -‘93
5.4 Rsyslog''''' 95
5.4.1常用模块介绍 95
5.4.2与Logstash合作 96
5.4.3 Mmextemal模块 ’97
5.5 NxlOg ‘99
5.6 Heka 101
5.7 Fluentd 102
5.7.1配置示例 103
5.7.2 Fluentd插件 -104
?5.8 MeSSage::PaSSing 104
第6章Logstash源码解析 --107
6.2.1 Input中的 Codec ll0
6.2.2 0utput中的 Worker 111
第7章插件开发 113
7.1插件格式 113
7.2插件的关键方法 114
7.3插件打包 115
7.4 Filter插件开发示例 116
7.4.1 mmdb数据库的生成方法 116
7.4.2 LogStash::Filters::Mmdb实现117
7.4.3 logstash-filter-mmdb打包 l l 9
7.5 Input插件开发示例 119
7.5.1 FileWatch模块原理 120
7.5.2 LogStash::Inputs::Utmp实现 l21
7.6 0utput插件开发示例 124
第二部分 Elasticsearch
第8章架构原理 129
8.1准实时索引的实现 129
8.1.1动态更新的Lucene索引 129
8.1.2利用磁盘缓存实现的
准实时检索 l30
8.1.3 translog提供的磁盘同步
控制 131
8.2 segmentmerge的影响 132
8.2.1归并线程配置 133
8.2.2归并策略 134
8.2.3 0ptimize接口 134
8.3 routing和replica的读写过程 134
8.3.1路由计算 134
8.3.2副本致性 135
8.4 shard的allocate控制 136
8.4.1 reroute接口 138
8.4.2冷热数据的读写分离 138
8.5 自动发现的配置 139
8.5.1 multicast方式 140
8.5.2 unicast方式 l40
第9章数据接口用例 141
9.1增删改查操作 141
9.2搜索请求 143
9.2.1全文搜索 143
9.2.2聚合请求 145
9.3脚本 147
9.3.1动态提交 147
9.3.2固定文件 l47
9.3.3其他语言 148
9.4重建索引 148
9.4.1 Perl客户端 149
9.4.2用Logstash重建索引 l49
9.5 Spark Streaming交互 150
第10章性能优化 l53
10.1 bulk提交 153
10．1.1bulk大小 154
第11章测试和扩展方案167
第12章映射与模版的订制181
第13章监控方案189
第14章Elasticsearch在运维监控领域的其他应用215
第三部分Kibana
第15章Kibana的产品对比231
第16章Kibana3 235
第17章Kibana3 源码解析297
第18章Kibana4 319
第19章Kibana4源码解析363
· · · · · · (收起)

读后感

又是一本证明“技术大牛不一定适合教书育人”的经典案例，个人认为zabbix的几本书都算好书。说回这本打着权威指南的elkstack，实在太糟糕，居然直接从logstash讲起，而且跳过基本的安装步骤，另外讲的版本是1.x，现在已经是5.x了，作者喜欢甩一堆专业名词和语法但不做解释，这...  

以下评价针对书本身，不代表作者本身水平！ 最近在研究 ELK 的应用问题，我是使用场景集中在 elasticsearch+kibana+beats ，没有使用 logstash ，实践中使用的是 ELK 5.0+ 版本； 下面说说这本书的问题（个人感觉）： 1.看书的过程中发现经常突然跳出一些之前未见过的 keyword ...

以下评价针对书本身，不代表作者本身水平！ 最近在研究 ELK 的应用问题，我是使用场景集中在 elasticsearch+kibana+beats ，没有使用 logstash ，实践中使用的是 ELK 5.0+ 版本； 下面说说这本书的问题（个人感觉）： 1.看书的过程中发现经常突然跳出一些之前未见过的 keyword ...

以下评价针对书本身，不代表作者本身水平！ 最近在研究 ELK 的应用问题，我是使用场景集中在 elasticsearch+kibana+beats ，没有使用 logstash ，实践中使用的是 ELK 5.0+ 版本； 下面说说这本书的问题（个人感觉）： 1.看书的过程中发现经常突然跳出一些之前未见过的 keyword ...

以下评价针对书本身，不代表作者本身水平！ 最近在研究 ELK 的应用问题，我是使用场景集中在 elasticsearch+kibana+beats ，没有使用 logstash ，实践中使用的是 ELK 5.0+ 版本； 下面说说这本书的问题（个人感觉）： 1.看书的过程中发现经常突然跳出一些之前未见过的 keyword ...

用户评价

说实话，市面上很多号称“权威”的技术书籍，读起来常常让人觉得空泛，要么就是版本太旧，要么就是理论大于实践。但《ELK Stack权威指南》这次是真的做到了“权威”二字。它的深度和广度令人印象深刻，尤其是在安全性和可扩展性方面的内容，这往往是入门书籍会避开的“深水区”。书中关于X-Pack组件的安全集成，特别是如何配置LDAP或SAML进行单点登录（SSO），写得极其详尽，每一个步骤都有截图和配置文件的完整示例，这对于企业级部署来说至关重要。另外，作者对Elasticsearch集群的调优部分简直是教科书级别。我曾经因为一个慢查询导致整个集群延迟飙升，束手无策。后来对照书中的“内存缓存策略”和“JVM堆栈设置的最佳实践”，我才发现是我们对堆内存的分配存在严重的误区。它不仅告诉你“该做什么”，更解释了“为什么这么做”——比如为什么应该将更多内存分配给堆外内存而不是堆内内存，这种底层逻辑的解释，让所有的优化操作都有了坚实的理论支撑。

总而言之，如果你的目标是让ELK Stack成为一个稳定、高效、能够支撑企业级海量数据分析的平台，那么这本书绝对是你的案头必备。我发现自己不再需要频繁地去官方文档的深处去“考古”查找某个参数的最佳值，因为这本书已经把官方文档中最精华、最容易被误解的部分提炼出来，并用清晰的逻辑重新组织和阐述了。例如，在数据持久化策略上，它对Cold, Warm, Hot, Frozen Tier的配置哲学进行了深入解读，指导我如何根据数据的访问频率动态调整存储层级，从而实现了成本的大幅优化，这笔账算下来，买书的钱简直不值一提。它不仅是一个技术手册，更像是一位资深架构师在你身边手把手地指导你完成一次复杂的生产环境部署和优化。阅读完后，那种对技术栈的掌控感和信心是其他任何快速入门指南都无法给予的。

这本《ELK Stack权威指南》简直是为我们这些在日志海洋里摸爬滚打的工程师量身定做的救命稻草！我记得刚开始接触ELK时，那感觉就像是面对一堆散乱的乐高积木，Elasticsearch的索引、Logstash的数据管道、Kibana的可视化——每个模块单独看似乎都能理解，但把它们串联起来，尤其是在处理海量、高并发的实时数据流时，简直是噩梦。这本书的厉害之处在于，它没有停留在那些浅显的“安装教程”层面，而是深入到了架构的本质。比如，它对分片（Shard）和副本（Replica）的底层工作原理剖析得极其透彻，我以前只是知道设置得越多越好，但读完后才明白其中的性能权衡和资源消耗模型。书中详细讲解了如何根据业务场景选择合适的映射（Mapping）策略，这直接影响到后续搜索的效率和成本，对我优化现有集群的查询速度起到了立竿见影的效果。更别提Logstash的Filter部分，那些复杂的Grok表达式和自定义的Ruby脚本处理，书里提供的案例都是生产级别的，直接拿来修改就能用，极大地缩短了我调试复杂日志解析配置的时间。看完这本书，我感觉自己不再是ELK的“使用者”，而是真正意义上的“架构师”，能够预见并解决潜在的性能瓶颈。

对于那些已经对ELK有基本了解，但渴望突破瓶颈、迈向精通的开发者和运维人员来说，这本书的价值是无可替代的。它最大的亮点之一是对“生态系统集成”的深入探讨。现在纯粹的ELK已经很少见了，大家都在用各种旁路工具。书中关于如何将Kafka、Flink与Logstash/Elasticsearch无缝集成的内容，提供了非常实用的中间件数据流处理架构思路。例如，它详细对比了使用Kafka作为缓冲层与直接使用Filebeat/Metricbeat的区别，并给出了在微服务架构下如何保证日志不丢失的最终一致性方案。此外，对于Elastic Stack的升级维护，作者也给出了非常实用的“滚动升级”和“蓝绿部署”策略建议，这些都是血泪换来的经验，直接写在书里，极大地降低了我们在生产环境中进行版本迭代的风险和焦虑感。

这本书的叙述风格非常独特，它不像传统教材那样枯燥乏味，反而带有一种资深专家的经验分享味道。阅读体验非常流畅，即使是面对像Beats Agent配置这样看似琐碎的操作，作者也能将其融入到一个完整的“数据采集到展示”的流程中去讲解，使得知识点之间的联系非常紧密。我特别欣赏它对Kibana可视化部分的处理。很多指南到Kibana就草草收场，只教你如何拖拽字段。而这本书深入探讨了Canvas的强大功能，甚至讲解了如何通过Lens结合自定义聚合函数来创建那些传统Dashboard难以实现的“定制化监控视图”。我印象最深的是关于时序数据分析那一章，它展示了如何利用Elasticsearch的Date Histogram聚合配合各种Pipeline处理器，实现多维度的数据下钻和对比分析，这直接帮我优化了我们产品性能监控仪表板的交互逻辑。读完后，我感觉自己对“数据讲故事”的能力也得到了极大的提升，不再是简单的数据堆砌。

学习一门技术还是从官方开始吧，这一步我走的太落后了。

大致浏览 想要了解elasticsearch的

大概看完了一遍，还是感觉需要有些基础才能理解好，里面讲解的一些实例我在生产上还没遇到，等遇到时再来看看。

介绍了ELK

ELK stack 权威指南节选出来的书